Skip to content

Latest commit

 

History

15 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 

Repository files navigation

Agentic LLM Systems: Reverse and Forward Engineering

Агентные LLM-системы: реверс-инжиниринг и инжиниринг

Промпт — это 10% агента. Курс — про остальные 90%.

Курс ИТМО × DeepPavlov, осенний семестр 2026/27 (октябрь — середина декабря, ~10 недель).

➡️ Подать заявку на отбор — набор до 24 человек.


1. Преподаватели 👨‍🎓

  • Кузнецов Денис Павлович — заведующий лабораторией нейронных систем и глубокого обучения DeepPavlov
  • Алексеев Илья Алексеевич — исследователь DeepPavlov, аспирант ВМК МГУ, Сбер Риски
  • Леднева Дарья Романовна — исследователь DeepPavlov, Сбер
  • Соломатин Роман Игоревич — исследователь DeepPavlov, ментейнер MTEB, Сбер

🔸 Уточняется: распределение лекций и семинаров между преподавателями, приглашённые спикеры из индустрии.

2. О чём курс 📝

Агентные LLM-системы за два года прошли путь от демок в ноутбуках до систем, которые крутятся в проде, ходят в сеть, исполняют код и работают с чувствительными данными. Проблема в том, что «собрать агента» и «понимать, почему агент работает» — это два разных навыка, и второму почти нигде не учат.

Этот курс — про второй навык. Мы разбираем агентные системы послойно: от того, как устроен attention и почему LLM вообще умеет пользоваться инструментами, до того, как этого агента изолировать, сделать отказоустойчивым и измерить.

Курс держится на трёх опорах:

  1. Глубина «под капотом». Мы не берём фреймворк как чёрный ящик. Каждый механизм — attention, tool calling, память, KV-кэш, контекстное окно, скиллы, харнесс — разбирается до уровня, на котором студент может воспроизвести его сам и объяснить, где он ломается.
  2. Исследовательская работа. Еженедельные разборы свежих статей: студент готовит статью, защищает её перед группой, отвечает на вопросы. За семестр набирается корпус из ~20 работ по агентным системам — от red-teaming и гардрейлов до computer use и terminal-бенчмарков. Это отдельный навык: читать arXiv и отличать реальный результат от красивого графика.
  3. Проект. Каждый студент делает свою агентную систему и доводит её через три чекпоинта до состояния, когда её можно запустить, измерить и показать.

Как итог вы будете

Знать

  • Устройство трансформера и природу LLM: attention, pre-train и post-train, reasoning
  • Механику tool calling, эмбеддингов и retrieval
  • Анатомию агента: харнесс, тулы, скиллы, память, контекст и KV-кэш
  • Классы отказов: prompt injection, эксфильтрация, зацикливание, потеря состояния
  • Требования инфраструктуры: изоляция, персистентность, сеть, durability

Уметь

  • Диагностировать ошибки в агентном цикле
  • Проектировать инструменты под LLM и подключать внешние системы через MCP
  • Выбирать стратегию памяти и кэширования под бюджет контекста
  • Запускать агента изолированно и закрывать найденные уязвимости гардрейлами
  • Собирать eval-набор и измерять качество метриками, а не ощущениями

Применять

  • Сквозную разработку агентной системы от постановки до защиты
  • Практику eval-driven development
  • Послойную отладку агента: модель, харнесс, инструмент, инфраструктура
  • Научные статьи и их идеи в собственных проектах

Роли: AI Engineer, AI Architect, ML Engineer, Research Engineer.

3. Структура курса 🗂️

Курс собран из четырёх блоков. Первые два отвечают на вопрос «как это работает изнутри», третий — «как это не развалится в проде», четвёртый — «как понять, что стало лучше».

Блок 1. LLM (2 недели)

От базовых нейросетей до современных языковых моделей. Нужен, чтобы дальше не было слов-заклинаний.

Цель: понять, что такое LLM

  • Word2vec, RNN, Attention, Transformer, GPT, претрейнинг
  • post-training, ризонинг, архитектурные модификации

Блок 2. Агент (3 недели)

Что видит и чего не видит модель внутри агентного цикла.

Ключевой объект изучения: агент

  • структурированный выход, тулколлинг, ReAct, харнесс
  • context engineering, RAG, память, text2sql, паттерны использования данных
  • workflow vs agent, планирование, мультиагентность, скиллы, автономность
  • human-in-the-loop, prompt caching

Блок 3. Практика (4 недели)

Агент как обычный, но очень странный сервис.

Цель: увидеть как абстрации реализуются на практике

  • MCP, сандбоксы, cloud, SSH
  • eval-driven development, трейсинг, LLM-as-judge
  • инъекции, гардрейлы, делегирование прав, red teaming
  • дюрабилити, UI-протоколы, A2A

Блок 4. Эволюция (1 неделя)

Куда все движется.

  • Eval-driven development
  • Эволюция агента

🔸 Уточняется: порядок тем внутри блоков 3–4. Распределение занятий по неделям — в разделе Формат.

4. Формат 🔲

Всего 24 пары: 10 лекций + 8 семинаров + 4 занятия по проектам + 2 пары экзамена.

Что Сколько Когда
Лекции 10 каждую неделю, весь семестр
Семинары с разбором статей 8 со 2-й недели (после лекции про attention) по 9-ю
Занятия по проектам 4 вводное + 3 чекпоинта, с 4-й недели
Экзамен по статьям 2 январь
Обязательные практические задачи — блоки 1–2

График по неделям 🗓️

Неделя Блок Лекция Семинар Пар
1 Блок 1. LLM 1. Языковое моделирование 1
2 2. Обучение LLM 1 2
3 Блок 2. Агент 3. Анатомия агента 2 2
4 4. Контекст + Проекты: вводное 3 3
5 5. Паттерны оркестрации 4 2
6 Блок 3. Практика 6. Тулы и среда + Чекпоинт 1 5 3
7 7. Evals и наблюдаемость 6 2
8 8. Безопасность и доступ + Чекпоинт 2 7 3
9 9. Production-ready агент 8 2
10 Блок 4. Эволюция 10. Прод и экосистема + Чекпоинт 3 (финальная защита) 2
— Экзамен Экзамен по статьям (2 пары) 2
Итого 10 лекций + 8 семинаров + 4 проектных + 2 экзамен 24 24

Обязательные практические задачи (без них курс не закрывается):

  1. Свой мини-харнесс агента с нуля — агентный цикл, tool calling, память, обработка ошибок и ретраи. Без фреймворков: пишем руками, чтобы понимать, что фреймворки делают за нас.
  2. Теоретический разбор «Attention Is All You Need» (выборочно обязательный).

🔸 Уточняется: точные даты старта, дедлайнов чекпоинтов и экзамена; формат сдачи мини-харнесса (репозиторий + демо).

5. Пререквизиты 🪪

  • Классический Data Science: регрессии, градиентный бустинг, метрики
  • Понимание нейросетей: архитектура, обучение, backprop
  • Подготовка данных для обучения, разметка датасетов
  • Python на уровне собственных функций, классов и скриптов; Pandas, Numpy, Matplotlib
  • Уверенная командная строка, базовое знакомство с Docker и базами данных
  • Английский на уровне чтения arXiv

Готовность активно работать весь семестр. У курса высокая нагрузка и много практики.

6. Темы для разборов статей 📚

Корпус статей семестра в papers.md, в разработке.

🔸 Уточняется: финальный список из ~20 статей к экзамену, распределение по 8 семинарам.

7. Система оценивания 📊

Итоговая оценка (A, B, C, ...) — сумма баллов по трём категориям.

Обязательные практические задачи. Без сдачи курс не считается пройденным:

  • Свой мини-харнесс с нуля
  • Теоретический разбор «Attention Is All You Need» (выборочно обязательный)

Разборы статей — 50 баллов. В течение семестра студент разбирает статьи на семинарах перед группой: задаёт вопросы и отвечает на них. Для максимального балла нужно поучаствовать в нескольких семинарах. Чтобы выступать на семинаре, сначала нужно сдать допуск.

  • 4 допуска к семинару с разбором статьи — 25 баллов (6.25 за каждый)
  • 4 участия в семинарах с разбором статьи — 25 баллов (6.25 за каждый)

Итого для максимума нужно закрыть 4 семинара из 8 (допуск + участие в каждом). Баллы сверх 25 в каждой категории не начисляются, но лишние допуски и участия страхуют от пропусков.

Проект — 50 баллов. Оцениваются оригинальность и качество. Плагиат не допускается. Проектных занятий 4: вводное (неделя 4) и три чекпоинта (недели 6, 8, 10).

  • 3 чекпоинта — 50 баллов (16.66 за каждый), последний чекпоинт — финальная защита
  • Альтернативы проекту (обсуждаются индивидуально): участие в соревновании, проект схожей тематики, вклад в open source в том же направлении.

Экзамен — от 70 баллов. Проходит в январе, 2 пары. Вопросы по ~20 статьям, пройденным в курсе.

Академическая честность

Все виды работ выполняются индивидуально, без посторонней помощи. Не допускается делиться своими решениями целиком или частично, а также использовать фрагменты чужих решений. Допускаются обсуждения между студентами на уровне общих идей и подходов. Проверка на плагиат проводится автоматическими инструментами и вручную. При выявлении плагиата штрафные санкции применяются равносильно к донору и реципиенту и включают аннулирование результатов работы.


Что ещё уточняется 🔸

  • Распределение лекций/семинаров между преподавателями, приглашённые спикеры
  • Точные даты занятий, чекпоинтов и экзамена (сетка по неделям — в разделе «Формат»)
  • Финальный список статей к экзамену
  • Технологический стек для проектов (LLM-провайдеры, инфраструктура, доступ к вычислениям)
  • Формат вступительного видео по курсу

About

No description, website, or topics provided.

Resources

Stars

12 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors