Курс "Практикум на ЭВМ 2022/2023" для бакалавров 3 курса кафедры ММП ВМК МГУ, весенний семестр

Этот репозиторий содержит материалы к курсу "Практикум на ЭВМ", читаемому бакалаврам 3 курса кафедры ММП факультета ВМК МГУ в весеннем семестре 2023 года.

О курсе

• Обязательный курс для студентов каф. ММП 3 курса, 6 семестр
• Отчётность: зачёт с оценкой

Курс читается в поддержку курсов "Глубинное обучение" и "Математические методы распознавания образов" (машинное обучение, часть 2), читаемых на кафедре ММП. В ходе курса студенты выполняют различные практические задания.

Курс лекций по глубинному обучению

Общефакультетский курс лекций по машинному обучению 2022-2023

Общефакультетский курс лекций по машинному обучению 2021-2022

Курс лекций по машинному обучению

Курс семинаров по машинному обучению

Материалы

Видеозаписи практикумов выкладываются в этом плейлисте.

Видеозаписи практикумов 2022 года в этом плейлисте.

Видеозаписи практикумов 2021 года в этом плейлисте.

Задания выкладываются здесь.

Занятия

Дата	Номер	Тема	Материалы	ДЗ
14 февраля	01	Введение в нейросети MLP Инициализация сетей	Введение в нейросети. MLP. Инициализация сетей	¯\_(ツ)_/¯
21 февраля	02	Автоматическое дифференцирование Задачи Backpropagation	Решение задач	¯\_(ツ)_/¯
28 февраля	03	Dropout BatchNorm Введение в Pytorch	Введение в Pytorch	Полносвязная нейронная сеть на numpy
07 марта	04	Цикл обучения в Pytorch CNN для классификации Transfer Learning	Свёрточные нейронные сети. Цикл обучения	¯\_(ツ)_/¯
14 марта	05	Семантическая сегментация Transposed Convolution	Семантическая сегментация	Сегментация изображений
21 марта	06	Обработка последовательностей RNN BPTT LSTM Gradient Clipping	Рекуррентные нейронные сети	¯\_(ツ)_/¯
28 марта	07	Языковые модели Эмбеддинги Torchtext Декодинг LM BLEU/ROUGH	Языковые модели. Torchtext	Рекуррентные Нейронные Сети. Dropout. LM
04 апреля	08	Механизм внимания Архитектура Transformer Attention is all you need	Механизм внимания. Архитектура Transformer	¯\_(ツ)_/¯
11 апреля	09	Токенизаторы Популярные transformer модели: BERT, GPT Особенности дообучения transformer моделей Transformers + 🤗	Transformer модели. HuggingFace	¯\_(ツ)_/¯
20 апреля	10	Обработка сигналов Представления звука: Waveform, Спектрограмы ASR: CTC, LAS, RNN-T	Обработка звука	Денойзинг аудио. Conformer
25 апреля	11			¯\_(ツ)_/¯
02 мая	--			¯\_(ツ)_/¯
09 мая	--			¯\_(ツ)_/¯
19 мая	12	Особенности вычислений на GPU Распределённое обучение JIT. libtorch	Advanced PyTorch Torch JIT + C++ API	¯\_(ツ)_/¯
23 мая	--			¯\_(ツ)_/¯

Формат сдачи курса

• В рамках семестра предполагается выполнить пять четыре больших практических заданий стоимостью 10 баллов каждое.
• За каждый день просрочки задания назначается штраф — 1 балл.
  • B ≥ 30 и 4 практических заданий сданы на оценку ≥ 4 ⇒ отлично
  • B ≥ 20 и 3 практических задания сданы на оценку ≥ 4 ⇒ хорошо
  • B ≥ 10 и 2 практических задания сданы на оценку ≥ 4 ⇒ удовлетворительно
  • иначе ⇒ неудовлетворительно