Курсы кафедры МИИ
Кафедра математики искусственного интеллекта - новая, и в этом году мы впервые запускаем сразу несколько курсов. Их программы создавались с нуля вместе с преподавателями, которые активно занимаются исследованиями и современной практикой в своих областях.
Хотим заранее познакомить вас с содержанием дисциплин и немного рассказать о них.
Особенно рекомендуем обратить внимание на курс Александра Коваленко - он входит в блок дисциплин по выбору. Публикуем подробности до начала семестра, чтобы вы успели выбрать курс, который лучше соответствует вашим интересам.
Ниже - краткий путеводитель по курсам девятого семестра.
Теория информации: приложения к искусственному интеллекту
Теория информации изучает фундаментальные ограничения на то, насколько эффективно можно сжимать, передавать и восстанавливать данные в присутствии шума.
В науке не существует единого подхода к определению понятия информации: в разных областях оно трактуется по-разному. Тем не менее эти трактовки удаётся объединить в общий фреймворк.
Центральные объекты теории информации - энтропия, взаимная информация и дивергенции. Они дают универсальный язык для описания статистических зависимостей и пределов эффективности систем обработки данных.
Возникнув как формальная теория связи, теория информации сегодня применяется в криптографии, биологии, квантовых вычислениях и машинном обучении. В последнем случае она претендует на роль «теории всего», описывая с единых позиций классические задачи: отбор признаков, классификацию, регрессию, обучение без учителя, генеративное моделирование и другие.
Теоретико-информационные подходы также активно применяются для исследования малоизученных явлений в глубоком обучении - таких как обобщающая способность переопределённых нейросетей, гроккинг и роль проекционных голов в контрастивных методах.
Современный ресёрч в глубоком обучении во многом опирается на эмпирический цикл: масштабирование данных и вычислений, подбор функций потерь и аугментаций, бенчмарк-ориентированные абляции. Эти практики позволяют находить эффективные методы, но редко объясняют, почему именно они работают.
Курс выступает связующим звеном между инженерной практикой и теоретическим фундаментом: студенты изучат основные теоретико-информационные подходы и разберут их ключевые приложения в машинном обучении.
Преподаватели: Иван Бутаков, Александр Семененко.
Трек: теоретический.
Формат: одна лекция и один семинар в неделю.
Место проведения: МФТИ.
Графовые нейронные сети (курс по выбору)
Графы как комбинаторные и топологические структуры естественно возникают в задачах искусственного интеллекта: во взаимодействиях пользователей, молекулярных структурах, сценах в компьютерном зрении, графах знаний и вычислительных графах самих нейросетей.
Для таких данных табличное или последовательное представление может терять существенную структурную информацию.
Графовые нейронные сети - класс моделей, оперирующих непосредственно на графовой структуре и позволяющих решать задачи на уровне узлов, рёбер и графов целиком.
Курс выстроен от классических бейзлайнов - структурных признаков, label propagation и node2vec - через ключевую парадигму message passing к продвинутым темам:
— GCN, GAT и GraphSAGE;
— построение неявно заданных графов;
— гетерогенные графы;
— выразительность и патологии GNN: oversmoothing и oversquashing;
— графовые трансформеры;
— темпоральные графы с фиксированной и меняющейся структурой;
— детекция аномалий;
— связки GNN с LLM;
— графовые foundation-модели.
Практическая часть курса предполагает выполнение исследовательского проекта: воспроизведение и сравнительный анализ ключевых методов современного фронтира с выявлением перспективных направлений их модификации.
Преподаватель: Александр Коваленко.
Треки: теоретический и практический.
Формат: одна лекция в неделю и один семинар раз в две недели.
Место проведения: офис Сбера (возможны изменения).
Старт занятий: 21 сентября.
Современное компьютерное зрение
Многие идеи, определившие развитие глубокого обучения, впервые появились или получили убедительную проверку именно в компьютерном зрении. Свёрточные архитектуры, генеративные модели, self-supervised-обучение и мультимодальные системы - визуальные данные стали естественной лабораторией для исследования принципов работы нейросетей.
Дисциплина прослеживает развитие компьютерного зрения от классических методов до современного исследовательского фронтира. Архитектурные и алгоритмические решения рассматриваются вместе с лежащими в их основе идеями из оптимизации, теории информации и статистической теории обучения.
Курс ведёт команда экспертов Сбера под руководством исполнительного директора Максима Макаренко. В команду курса входят Юлия Беликова, Иван Карпухин и Андрей Савченко - эксперты с практическим опытом в области компьютерного зрения и машинного обучения. К отдельным занятиям будут присоединяться приглашённые эксперты из ведущих университетов и AI-лабораторий мира.
Преподаватели: Максим Макаренко, Юлия Беликова, Иван Карпухин, Андрей Савченко.
Трек: практический.
Формат: одна лекция в неделю и один семинар раз в две недели.
Место проведения: офис Сбера (возможны изменения).
Рекомендательные системы
Рекомендательные системы - одна из наиболее зрелых прикладных областей машинного обучения. Они непосредственно влияют на продуктовые метрики в ритейле, стриминговых сервисах, рекламе, социальных сетях и информационном поиске.
При этом задача рекомендаций сопряжена с рядом фундаментальных трудностей: разреженность взаимодействий, холодный старт, popularity bias и feedback loop. Всё это делает наивные подходы неточными и требует продуманной методологии на каждом этапе - от подготовки данных до онлайн-оценки.
Курс систематически проводит студентов от постановки математической задачи и построения базовых бейзлайнов через классические методы - коллаборативную фильтрацию, матричную факторизацию и линейные модели - к современным нейросетевым архитектурам.
В программе:
— двухбашенные модели для этапа candidate generation;
— модели взаимодействия признаков для ранжирования: Wide&Deep, DeepFM, DCN-v2;
— последовательные рекомендации: SASRec, BERT4Rec;
— генеративные подходы на основе семантических идентификаторов;
— применение LLM и обучения с подкреплением.
Отдельное внимание уделяется методологии оценки: офлайн- и онлайн-метрикам, проблемам воспроизводимости академических результатов и связи с бизнес-показателями.
Преподаватели: Алексей Васильев, Антон Кленицкий.
Треки: теоретический и практический.
Формат: чередование лекций и семинаров.
Место проведения: офис Сбера.
Научно-исследовательский семинар
На отборе вы много раз спрашивали:
"А когда и как я смогу начать работать с научным руководителем в рамках кафедры?"
И вот ответ - еженедельный научный семинар!
Его основная задача - помочь вам найти наилучшего для себя руководителя и задачу.
Но даже если вы имеете хороший исследовательский опыт и своего руководителя уже нашли, этот семинар всё ещё будет полезен для вас.
На семинаре будут выступать специалисты, представляющие разные передовые направления исследований в области искусственного интеллекта. Они расскажут о своих проектах, а некоторые из них предложат конкретные задачи, над которыми можно будет работать вместе - с перспективой подготовки публикации для ведущего научного журнала или конференции категории A* - не только внутри Сбера.
Если у вас уже есть руководитель и первые исследовательские результаты, мы также пригласим вас выступить на семинаре.
Треки: теоретический и практический.
Формат: семинар раз в неделю.
Место проведения: МФТИ или офис Сбера - в зависимости от расписания.
Старт занятий: 24 сентября.
Курсы от других кафедр
Статистическая теория машинного обучения
Современные алгоритмы машинного обучения демонстрируют впечатляющие эмпирические результаты, однако вопросы о том, почему они обобщают, когда обучение принципиально возможно и где проходят его фундаментальные границы, требуют отдельного математического аппарата.
Статистическая теория обучения даёт строгий язык для ответа на эти вопросы, опираясь на взаимосвязанные математические концепции: комбинаторные характеристики сложности классов гипотез (VC-размерность, числа покрытия и упаковки), средние по Радемахеру как мера ёмкости класса функций и неравенства концентрации меры (Хеффдинг, Бернштейн, МакДиармид, Талагран), связывающие эмпирический и истинный риск.
Курс последовательно развивает этот аппарат - от PAC-обучаемости и симметризации через энтропийный метод и условия малого шума Маммена-Цыбакова к локальным средним по Радемахеру, дающим адаптивные оценки скорости сходимости.
Теория систематически применяется к анализу конкретных алгоритмов: метод опорных векторов (включая ядерный случай и теорему о представителе), бустинг (AdaBoost, связь слабой и сильной обучаемости), а также генеративные диффузионные модели - для последних разбирается оценка скор-функции через минимизацию эмпирического риска и связь генеративного моделирования с задачей стохастического оптимального управления и потенциалами Шрёдингера.
Преподаватель: Никита Пучкин.
Треки: теоретический и практический.
Место проведения: МФТИ.
Методы оптимизации в задачах машинного обучения
Значительная часть задач машинного обучения - от обучения нейросетей до вариационного вывода - формулируется как задача оптимизации. Свойства целевой функции и допустимого множества (выпуклость, гладкость, наличие ограничений) определяют, какие методы применимы и какие гарантии сходимости достижимы, а понимание этих связей необходимо как для грамотного выбора алгоритма, так и для разработки новых.
Курс выстроен от фундамента выпуклого анализа (условия оптимальности, двойственность, субдифференциальное исчисление) через классические и ускоренные методы первого порядка к более сложным конструкциям: стохастическая оптимизация и методы редукции дисперсии, методы второго порядка, негладкая и проекционная оптимизация, методы на основе двойственности (штрафные функции, ADMM, метод внутренней точки), седловые задачи.
Продвинутые темы - зеркальный спуск, риманова оптимизация, оптимизация на пространстве распределений - показывают, как базовые идеи методов оптимизации обобщаются на более сложные математические структуры.
Преподаватель: Савелий Чежегов.
Треки: теоретический и практический.
Место проведения: МФТИ.
Математика больших данных (курс по выбору)
Стандартные курсы по анализу данных и машинному обучению, как правило, выстроены вокруг прикладных сюжетов: конкретных задач, моделей и бенчмарков.
Математический аппарат в них редуцирован к минимуму, необходимому для обоснования конкретного алгоритма.
Данный курс занимает комплементарную позицию: его цель - дать строгое концептуальное представление о математических структурах, которые стоят за задачами анализа больших данных.
Курс организован как набор взаимосвязанных сюжетов, каждый из которых раскрывает отдельный пласт математики, существенный для современного анализа данных: концентрация меры и её приложения к теории обучения, энтропийные и теоретико-информационные границы, эргодическая теория и методы Монте-Карло, стохастическая и распределённая оптимизация, матричные и тензорные разложения, математические основы обучения с подкреплением. Формат предполагает участие приглашённых лекторов - специалистов в соответствующих областях.
Преподаватель: Александр Гасников.
Треки: теоретический и практический.
Место проведения: МФТИ.