Модули для веб-разработки

urllib и urllib2

Библиотеки предназначены для управления URL-адресом в Python. Они позволяют вам получать доступ к файлам в сети, как если бы они находились на вашем компьютере. Также используются для HTTP-запросов.

Каждый модуль имеет свой функционал, часто их используют вместе. Новичку легко запутаться, ведь ряд методов urllib также доступен и в urllib2. Также к минусам можно отнести непонятную документацию.

BeautifulSoup

Используется для парсинга HTML и XML документов. Часто применяется для скрапинга веб-страниц.

Модуль удобен в использовании, он содержит несколько методов и идиом для работы с деревом разбора.

С кодировкой также не возникает проблем. Модуль преобразует входящие документы в Unicode, а исходящие — в UTF-8.

BeautifulSoup сам сделает за вас всю работу. Он парсит все данные, которые вы ему даете, а также делает полный обход дерева разбора.

Selenium

Selenium WebDriver – это программная библиотека для управления браузерами. WebDriver представляет собой драйверы для различных браузеров и клиентские библиотеки на разных языках программирования, предназначенные для управления этими драйверами.

По сути своей использование такого веб-драйвера сводится к созданию бота, выполняющего всю ручную работу с браузером автоматизированно.

В основном используется для:

Автоматизированного тестирования функционала веб-сайтов и веб-приложений.
Регрессионного тестирования, то есть, проверки, что старый код не перестал работать правильно после внесения новых изменений.

Плюсы модуля из официальной документации:

Возможность проводить чаще регрессионное тестирование.
Быстрое предоставление разработчикам отчета о состоянии продукта.
Получение потенциально бесконечного числа прогонов тестов.
Обеспечение поддержки Agile и экстремальным методам разработки.
Сохранение строгой документации тестов.
Обнаружение ошибок, которые были пропущены на стадии ручного тестирования.

Достойные упоминания

Django и Flask

Django и Flask - фреймворки, но они также облегчают веб-разработчикам жизнь. Они избавит вас от стресса, связанного со сборкой веб-приложений с нуля.

Что выбрать зависит от разрабатываемого проекта. Flask намного легче и быстрее установить, но он включает меньший набор инструментов, чем Django. Последний лучше всего подходит для приложений с тяжёлыми функциями, например аутентификацией, тогда как Flask предпочтителен для простых базовых веб-приложений.