📊 ТОП-10 инструментов для Data Science

Хотите сделать свою работу в области науки о данных продуктивнее? Подбирайте удобные и эффективные инструменты. Рассмотрим десять лучших, получивших наибольшее распространение среди специалистов по Data Science во всем мире.

1. Jupyter Notebook

Краткий обзор

Jupyter Notebook представляет собой инструмент для проведения исследовательской работы в сфере науки о данных. Его особенностью являются интерактивные ячейки кода, запускать который можно изолированно друг от друга, мгновенно получая результат в виде расчетов, таблиц, графиков и т.п.

Jupyter Notebook – это программное обеспечение с открытым исходным кодом и веб-интерфейсом, доступном пользователю как на локальном компьютере через браузер, так и на удаленном сервере.

Ссылка на исходный код проекта на GitHub.

Установка

Инструкции по установке продукта можно прочитать по ссылке.

Альтернативным способом является установка в составе дистрибутива языков программирования Anaconda, содержащим языки программирования R и Python (по умолчанию), а также несколько прикладных рабочих инструментов для Data Scientist'a: собственно Jupyter Notebook, Jupyter Lab, Spyder и других.

Ссылка на исходный код проекта на GitHub.

Установка

Инструкции по установке продукта можно прочитать по ссылке.

Альтернативным способом является установка в составе дистрибутива языков программирования Anaconda, содержащим языки программирования R и Python (по умолчанию), а также несколько прикладных рабочих инструментов для Data Scientist'a: собственно Jupyter Notebook, Jupyter Lab, Spyder и других.

Пример установки дистрибутива доступен по ссылке.

Помимо указанных инструментов дистрибутив содержит обязательные пакеты для работы с данными: Scipy, numpy, pandas.

Запуск и создание файлов

Запуск Jupyter Notebook в терминале:

После запуска Jupyter Notebook перед пользователем в браузере автоматически открывается встроенный проводник, необходимый для создания рабочего файла в формате .ipynb, который в профессиональной среде называют «ноутбукам» или «тетрадками».

Создание файла доступно в меню файлового менеджера в правом верхнем углу: New -> python3.

После создания файла, в новой вкладке браузера становится доступно основное окно инструмента. Оно содержит элементы меню управления файлами и ячейками, а также ячейки для работы с кодом и текстом под меню.

Основная рабочая зона

Доступно два основных формата работы внутри ячеек: разметка текста и код.

В формате разметки текста синтаксис аналогичен языку Markdown. В этом формате можно описать заголовки и подзаголовки документа, комментарии, имя и контактные данные автора и т.п. В формате редактирования кода ячейка активна для исполнения в той программной среде, в которой запущен ноутбук. По умолчанию речь идет о языке программирования Python, окружение для которого создано при помощи системы управления средой Conda, однако после дополнительной настройки доступны и другие языки:

• Ruby;
• Perl;
• R;
• bash.

Доступно два режима работы с ячейками:

• редактирование содержимого, в котором осуществляются операции внутри ячейки;
• командный режим, в котором операции осуществляются над самой ячейкой.

Первый режим интуитивно понятен и активируется кликом левой кнопкой мыши внутри ячейки, после чего слева от ячейки появится цветовой индикатор зеленого цвета.

Второй режим активируется кликом левой кнопкой мыши слева от ячейки. В таком режиме ячейку можно перемещать выше/ниже других, изменять формат работы с ячейкой, добавлять новые ячейки и удалять существующие, объединять их и т.п. В командном режиме цветовой индикатор слева от ячейки – синего цвета.

Для запуска команды bash, перед кодом в ячейке необходимо добавить восклицательный знак:

В подавляющем большинстве случаев работа с ячейками Jupyter Notebook осуществляется с помощью сочетания горячих клавиш клавиатуры (латинская раскладка) в командном режиме:

• a (above) – вставить ячейку выше выделенной;
• b (below) – вставить ячейку ниже выделенной;
• x – удалить ячейку;
• m – перевести ячейку в формат разметки текста – Markdown;
• y – перевести ячейку в формат работы с кодом;
• shift+enter – запустить ячейку и выделить следующую за ней.

Кроме перечисленных комбинаций, в основном меню инструмента доступны все возможные сочетания клавиш, которые помогают ускорить исследовательскую работу: help -> keyboard shortcuts.

Особенности

Jupyter Notebook содержит малое количество элементов управления, панелей инструментов и т.п., поэтому может пригодиться на начальных этапах освоения науки о данных, а также в небольших индивидуальных работах.

2. Jupyter Lab

Краткий обзор

Jupyter Lab – это интерфейс нового поколения для Jupyter Notebook. Основные отличия от предыдущего инструмента заметны именно при визуальном сравнении. Слева появляется панель, которая содержит четыре вкладки:

• Файловый менеджер.
• Запущенные терминалы и ядра.
• Содержание.
• Менеджер расширений.

Отдельного окна файлового менеджера у Jupyter Lab нет, он встроен в левую панель. Запущенные терминалы и ядра позволяют видеть перечень открытых вкладок и управлять ими.

С точки зрения функциональности, именно наличие менеджера расширений делает Jupyter Lab модульным и масштабируемым инструментом, настроенным на актуальные задачи по Data Science.

Во вкладке Settings основного меню Jupyter Lab есть возможность выбирать цветовые темы оформления.

В сентябре 2021 года была анонсирована настольная версия – JupyterLab App, созданная с использованием HTML, CSS и JavaScript на фреймворке Electron.

Ссылка на GitHub проекта.

Установка

Для начала, необходима установка системы управления средой Conda, которую можно осуществить из репозитория Miniforge на GitHub.

Ссылка на GitHub проекта.

Далее, установка Jupyter Lab осуществляется командой в терминале:

Возможна установка в составе дистрибутива языков программирования Anaconda, как было описано выше.

Запуск и создание файлов

Запуск Jupyter Lab в терминале:

Для создания нового файла необходимо кликнуть левой кнопкой мыши на кнопку New Launcher (+) под главным меню.

После этого откроется новая вкладка с перечнем возможных типов файлов:

После создания файлов все они отображаются в проводнике во вкладке слева:

Помимо самих ноутбуков в формате .ipynb Jupyter Lab поддерживает ряд других форматов:

• .csv, что позволяет изучать наборы данных;
• .jpg/gif/png, что позволяет просматривать изображения в проектах компьютерного зрения;
• .pdf, что дает возможность изучать документацию;
• .md, что помогает в описании и документировании проекта.

Основная рабочая зона

В отличие от Jupyter Notebook, перетаскивание ячеек в Jupyter Lab можно осуществлять в графическом режиме, удерживая левую кнопку мыши.

Ячейки с большим количеством текста/кода можно сворачивать кликом левой кнопкой мыши по цветовому индикатору. После сворачивания ячейки отображаются в виде троеточия. Разворачивание ячейки происходит аналогично.

Если ноутбук содержит много текста и кода, навигация по различным участкам документа становится неудобной. Для решения проблемы предусмотрена возможность параллельного просмотра еще одного ноутбука.

Для этого требуется кликнуть правой кнопкой мыши по заголовку вкладки и выбрать: New View for Notebook. В остальном механика взаимодействия с основной рабочей зоной первых двух инструментов схожа.

Особенности

Поскольку Jupyter Lab имеет встроенный проводник и поддерживает различные дополнительные форматы файлов, расширения, использование инструмента подходит для крупных исследовательских проектов со сложной логикой.

3. Расширения Jupyter Lab

JupyterLab TensorBoard

TensorBoard – это набор веб-приложений для визуализации графиков метрик качества моделей во время их обучения в TensorFlow.

Ссылка на GitHub проекта.

Установка осуществляется через менеджер расширений левой панели:

JupyterLab Git

После установки расширения на левой панели становится доступна вкладка Git. Это позволяет контролировать версии файлов в рамках исследовательского проекта.

Ссылка на GitHub проекта.

JupyterLab variableInspector

Расширение JupyterLab, которое показывает используемые в настоящее время переменные и их значения.

Ссылка на GitHub проекта.

JupyterLab plotly

Plotly – это расширение JupyterLab для визуализации диаграмм Plotly. Библиотека Python Plotly позволяет создавать интерактивные графики высокого качества.

Ссылка на примеры диаграмм Plotly.

Ссылка на GitHub проекта.

Расширений для JupyterLab существенно больше чем мы описали, поэтому каждый Data Scientist может провести ни один час в поисках подходящих для работы.

4. Azure Data Studio

Краткий обзор

Azure Data Studio имеет схожий подход к работе с кодом и разметкой текста в отдельно взятых изолированных ячейках, как и Jupyter Lab. Инструмент является бесплатным и кросс-платформенным. On-premise решение поддерживается следующими операционными системами: Windows, macOS и Linux.

Разработчики Azure Data Studio, компания Microsoft, позиционируют свой продукт как единое решение для аналитики данных собранных воедино из различных источников.

Левая панель инструмента содержит шесть вкладок:

• Соединения.
• Поиск.
• Ноутбуки.
• Проводник.
• Управление версиями.
• Расширения.

Во вкладке Соединения отражается перечень всех доступных (активных и неактивных) соединений с внешними ресурсами:

Эта вкладка позволяет создавать новые соединения, группировать их по папкам и фильтровать только активные соединения из общего списка.

Вкладка Поиск позволяет произвести перебор всех включений искомого текста в разрезе рабочих файлов:

Вкладка Ноутбуки содержит перечень рабочих ноутбуков, совмещенных с результатами текущего поиска из предыдущей вкладки:

Вкладка Проводник содержит перечень файлов из подключенной к инструменту рабочей папки (директории):

Вкладка Управление версиями позволяет реализовать инициализацию Git-репозитория и отправку текущей (зафиксированной) версии ноутбука в удаленный репозиторий на GitHub:

Azure Data Studio базируется на Visual Studio Code, что дает дополнительную возможность использовать расширения Visual Studio Code, но не все из них совместимы.

Ссылка на GitHub проекта.

Установка

Инструкции по установке продукта можно прочитать по ссылке.

Основным способом доставки инструмента до пользователя является бинарная дистрибьюция.

Запуск и создание файлов

Запуск Azure Data Studio в графическом режиме через главное меню:

Menu -> Azure Data Studio

Создание рабочего ноутбука осуществляется через основное меню инструмента:

File -> New Notebook (Alt + N)

Для создания подключения к SQL-серверу:

File -> New Query

Основная рабочая зона

Azure Data Studio позволяет работать параллельно в нескольких вкладках, в каждой из которых запущено свое собственное ядро/задача. Например, в одной вкладке в ячейках выполняются скрипты SQL, в другой – код на Python, в третьей – запрос на подключение к SQL-серверу.

Наиболее часто используемые команды при работе с ячейками осуществляются с помощью сочетания горячих клавиш клавиатуры, полный перечень которых доступен в меню:

File -> Preferences -> Keyboard Shortcuts

В правом верхнем углу основной рабочей области находится иконка менеджера пакетов, кликнув по которой левой кнопкой мыши можно контролировать уже установленные пакеты, а также устанавливать новые.

Особенности

Применение Azure Data Studio целесообразно в проектах, где требуется сбор воедино набора данных из большого количества различных источников, запросы к которым необходимо писать с применением SQL.

5. Расширение Azure Data Studio

Managed Instance Dashboard

Панель мониторинга предоставляет сведения об экземпляре базы данных SQL Azure, связанные с его производительностью и работоспособностью. Список некоторых из доступных отчетов:

• Свойства экземпляра.
• Использование хранилища как для локального хранилища SSD, так и для удаленного хранилища Azure Premium.
• Использование ЦП/хранилища.
• Статус реплик базы данных.

Query History

Query History – это панель для просмотра прошлых выполненных запросов.

Строка истории запроса содержит четыре части:

• Значок статуса: ✔️, если запрос выполнен успешно. Если возникли какие-либо ошибки, отображается значок ❌.
• Текст запроса: это текст запроса, который был выполнен.
• Информация о подключении: сервер и база данных, к которым был выполнен запрос.
• Отметка времени: дата и время выполнения запроса.

Redgate SQL Search

Redgate SQL Search – это надстройка, которая позволяет быстро искать текстовые вхождения внутри строк SQL-скриптов в базах данных, подключенных к Azure Data Studio.

Machine Learning

Расширение Machine Learning для Azure Data Studio позволяет управлять пакетами, импортировать обученные модели машинного обучения, делать прогнозы и создавать ноутбуки для проведения экспериментов с базами данных SQL.

Schema Visualization

Расширение Schema Visualization дает визуальное представление о структуре баз SQL, подключенных к Azure Data Studio. Среди функций расширения – экспорт схем в формате .svg.

Для изучения полного перечня воспользуйтесь менеджером расширений в левой панели инструмента.

https://t.me/ai_machinelearning_big_data

Часть 2