2802

1. представится (но я стою перед вами не как гуру познавший дзен правильного пути, а как упорный лажук, который никогда не сдаётся) + представить маскота презентации: персонажа ат приставку бимо. этот герой выбран не случайно: в нек эпиз к бимо обращаются как к девочке + цвет её корпуса напоминает цвета wwc. вы будете видеть бимо на важных слайдах

2. собственных знаний мне показалось слишком мало и я обратилась за помощью к коллегам и спросила их:

оказалось, что большинство провалов на карьерном пути происходит из-за софт скилов. им уделена большая часть моего доклада. также я выбрала достаточно общие хард-скилы. тут проблемой оказалось то, что каждый конкретный случай требует отдельной и длительной предыстории, на которую сейчас, к сожалению, нету времени. в конце вас ждёт немножко советов для настоящих и будущих всевозможных дата инженеров.

софт:

3. сразу же 2 истории хорошая и плохая: начну с плохой: в начале нашей работы, на этапе подбора тех. стека мы хотели использовать один фреймворк машинного обучения, который, как оказалось, нам не подошёл. спустя два месяца у нас случился кризис технологий и мы возобновили поиски, снова обратили внимание на тот же фреймворк, не вспомнив, почему мы от него отказались, вновь начали его изучение, вновь прийдя к тому, чо он нам не подходит. документируй мы результаты своих исследований этого бы не произошло, мы бы сэкономили 2 дня. пусть это мелочь, но на таких мелочах взрастают простои и неэфективность. хорошая: последные пол года я тчательно оформляю все свои исследования и репорты, и в течении 10 минут могу вновь вникнуть в курс дела.

4. даже если вы не общаетесь нис бизнесами, ни с заказчиками, вы в любом слчае, работаете в команде. говорить или писать живым людям вам прийдётся в любом случае и лучше делать это, если не хорошо, то хотя бы сносно.

5. просто расскажу историю: как-то мы определили 9-ти дневный спринт (опустим его наполнение), мы закончили его за 1,5 месяца. это был позор, потеря доверия и выгорание команды.всё из-за неправильных эстимейтов.

6. это, наверное самое важное, доврительные отношения внутри команды. по отдельности вы можете быть профессионалами, но вы не будете так сильны по отдельности как вместе. сильные стороны одного перекрывают слабые другого.

7. этот совет мне дал мой товарищ, который очень жалеет, что в своё время не уделял внимание подбору проектов, а сейчас при поиске работы, это сыграло с ним злую шутку. он сказал это мне, а я доношу его слова вам. просто помните об этом.

хард:

8. конкретный язык - всего лишь инструмент. в принципе парето это даже не 20, это первых 2 процента. и дальше будет длинный путь, изучеия чего-то нового. принципы пректирования, паттерны и антипаттерны, знания в смежных областях. это долгий путь, который делает из вас профессионала, по капельке, каждый день.

9. как раз за несколько дней до выступления я осознала, что несколько моих крутятся сейчас на нашей бете. велосипед - это отличное средство обучения, они даже живут на некоторых продах, но это не точно.

10. очень короткая история: как-то я искала ошибку 2-е суток, потом у нас появилось логирование. чем лучше будут ваши логи: читабельней и лаконичней, тем меньше времени вы потратите на устранение ошибок.

11. это совет из ещё одного внешнего источника, мне его прислали буквально на днях. и это заставило меня задуматься. иногда вы всё делаете правильно, вы мастера своего дела, ваш код идеален, а проект интересен, но всё просто может пойти не так. ваш стартап не зайдёт, проект не выстрелит. просто так бывает, это грустно, это мой страшный сон. нужно просто вставать и двигаться дальше

12. про бизнес и дата сайнс: ваша задача говорить с ними, уточнять что именно им надо, в каких целях информация будет использована (среднее среднему рознь). про мл: метрика метрике рознь, нужно понимать бизнес-задачи и влияние каждого конкретного алгоритма на конечный результат.

13. 

если вы ещё не пробовали дбскан, то обязательно попробуйте. в него хорошо вкладывается бизнес-логика + решены проблемы шумов и линейно нераздилимых кластеров.

концепция распределения данных, когда несколько сущностей создают существенный дисбаланс в количестве записей (пример с фильмами и оценками). если вам нужен скачок в точности модели и у вас не монстр-ансамбль, попробуйте убрать чуть-чуть от биг хед.

классный показатель для модели, который показывает 2 вещи: тенденцию в группе и типичность/атипичность конкретной записи в разрезе группы. пример: относительное отклонение суммы покупки клиента от среднего сгруппированного по категори трат.

на пайтоне есть классная либа, нетворкх, для операций над графами. визуализация данных через граф позволяет понять их лучше.