MPRG Deep Learning Lecture Notebook

Python チュートリアル

Google Colaboratory・Pythonの使い方

1. Google Colaboratoryの動作確認
2. PythonプログミングとNumPy

初級編

初級1：ゼロから理解するDeep Learning

1. 最適化（GD, Momentum, AdaGrad, Adam)
2. 単純パーセプトロンによるAND回路の作成
3. MLPによるXOR回路の作成
4. MLPによる2クラス分類
5. ミニバッチを用いたMLPの学習
6. MLPによる多クラス分類（MNIST）
7. 正則化（Dropout）
8. Batch Normalizationの導入
9. im2colを用いた効率的な畳み込み処理
10. CNNによる画像認識（MNIST, Numpy実装）

初級2：PyTorchで作るシンプルネットワーク

1. MLPによる画像認識（MNIST, PyTorch実装）
2. CNNによる画像認識（MNIST, PyTorch実装）
3. 誤差関数の変更による学習効果
4. CNNによる画像認識（CIFAR10, PyTorch実装）
5. 既存のデータセットの活用
6. データセットクラスの作成
7. データ拡張（Data Augmentation）
8. ハイパーパラメータの探索と検証データ

中級編

中級1：PyTorchで作るモダンネットワーク

1. Residual Network（ResNet, スキップ構造）
2. SENet
3. CNNの可視化（CAM）
4. CNNの可視化（Grad-CAM）
5. ファインチューニングと転移学習
6. Attention Branch Network（ABN）
7. EfficientNet
8. Single Shot Object Detector (SSD)
9. SegNet
10. マルチタスク基礎（分類＋回帰）
11. マルチタスク応用（検出＋セグメンテーション）
12. Knowledge Distillation
13. Deep Mutual Learning
14. 半教師付き学習
15. 自己教師付き学習

中級2：PyTorchで作る深層生成モデル

1. Auto Encoderによる画像の復元とデノイジング
2. Variational Autoencoder (VAE)
3. 繰り返し処理による異常検知
4. Generative Adversarial Networks (GAN)
5. Deep Convolutional GAN (DC-GAN)
6. Conditional GAN
7. Conditional DC-GAN
8. CycleGAN（スタイル変換）
9. BigGAN
10. StyleGAN
11. Denoising Diffusion Probabilistic Model
12. Latent Diffusion Model

中級3：PyTorchで作る再帰型ネットワーク

1. Recurrent Neural Networkによる電力予測
2. Recurrent Neural NetworkによるBitcoinの価格予測
3. Encoder-Decoderによる計算機作成
4. Attention Seq2seqによる計算機作成
5. Attention Seq2seqによる日付変換
6. Transformerによる計算機作成
7. Convolutional LSTMを用いた動画像予測

中級4：PyTorchで作る強化学習

1. 強化学習（Q学習とQ Network）によるCart Pole制御
2. DQN（クリッピング・リプレイ・ターゲットネットワーク）
3. Policy gradient （DQNの改良）
4. Actor-cltic
5. Mask-Attention
6. DQNの応用例

中級5：PyTorchで作るグラフニューラルネットワーク

1. グラフ表現
2. GCNによるノード分類
3. ST-GCNによる動作認識
4. STA-GCNによる動作認識
5. グラフ生成

中級6：PyTorchで作るVision Transformer (ViT)

1. ViTの教師あり学習（フルスクラッチ・fine-tuning）
2. Attention Weightの可視化
3. DeiT
4. MAE

その他

機械学習の基礎

1. グラフを描画する
2. ユークリッド距離を用いたクラス識別
3. マハラノビス距離を用いたクラス識別
4. k最近傍法による教師あり学習
5. 線形SVMによる教師あり学習
6. 非線形SVMによる教師あり学習
7. AdaBoostによる教師あり学習
8. RandomForestによる教師あり学習
9. マテリアルズインフォマティクス

プログラム練習帳

1. プログラム練習帳：画像認識
2. プログラム練習帳：CSVファイル