Prophecy.io

Еще один инструмент сегодня, на этот раз для работы с данными. Называется Prophecy. Есть бесплатная версия, можно зарегистрироваться без VPN, у меня получилось с почтой gmail (но код подтверждения улетел в спам, так что не забудьте там посмотреть, если он вдруг долго не приходит).

Инструмент позволяет работать с SQL, и несколькими языками программирования через Apache Spark (поддерживает Python, R, Java и Scala; если коротко, Apache Spark – это экосистема, которая позволяет работать с очень большими объемами данных и используется там, где у локального компьютера не хватает памяти).

Я выбрала посмотреть Apache Spark, хотя мне раньше с ним не приходилось работать.

Для начала там предлагают тестовые наборы данных, чтобы можно было не грузить свои и посмотреть, как все работает.

Данные можно подгружать в разных форматах, как в популярных csv / xlsx / json, так и в форматах kafka / mongodb и многих других.

Чтобы объединить таблицы, нужно ткнуть на нужные столбцы (в примере – ID покупателя в обеих таблицах), и SQL выполняется самостоятельно.

Даже там, где нужно написать немножко кода, его можно сгенерировать с помощью ИИ-ассистента.

Короче говоря, это быстрее и проще, чем писать всё руками самостоятельно. При некотором дополнительном обучении справится даже человек, который в гробу видел эти ваши сиквелы, в белых тапочках.

Обучение, кстати, достаточно простое. Оранжевый кружок, который у меня на всех скриншотах появился, – это обучающий курсор. Он бегает по экрану и показывает, куда тыкать. Внизу подсказки относительно того, что писать.

Я прошлась по их заранее подготовленной схеме: загрузка таблиц – объединение – расчет показателей – формирование финальной таблицы. Но схему можно сделать свою под собственный проект, и так же просто по ней пройти.

А в конце можно посмотреть код, который писался всё это время без вашего непосредственного участия.

К проекту можно подключить GitHub и работать с командой.