課程大綱：

Dive into Deep Learning培訓(xùn)

1 基礎(chǔ)數(shù)學(xué)知識(shí)

2 多層感知機(jī)

3 卷積神經(jīng)網(wǎng)絡(luò)

4 線性神經(jīng)網(wǎng)絡(luò)

5 深度學(xué)習(xí)計(jì)算

6 前沿神經(jīng)網(wǎng)絡(luò)

階段 1 預(yù)備知識(shí)

1
課程說(shuō)明
2
數(shù)據(jù)操作
3
Pandas 數(shù)據(jù)預(yù)處理
4
線性代數(shù)
5
微分、偏導(dǎo)數(shù)、梯度和鏈?zhǔn)椒▌t
6
自動(dòng)求梯度
7
概率的簡(jiǎn)單介紹
8
查閱文檔

階段 2 線性神經(jīng)網(wǎng)絡(luò)

9
線性回歸介紹
10
線性回歸從零實(shí)現(xiàn)
11
線性回歸簡(jiǎn)潔實(shí)現(xiàn)
12
Fashion-MNIST 圖像分類
13
Softmax 回歸從零實(shí)現(xiàn)
14
Softmax 回歸簡(jiǎn)潔實(shí)現(xiàn)

階段 3 多層感知機(jī)

15
多層感知機(jī)介紹
16
多層感知機(jī)從零實(shí)現(xiàn)
17
多層感知機(jī)簡(jiǎn)潔實(shí)現(xiàn)
18
模型選擇，欠擬合和過(guò)擬合
19
權(quán)重衰減
20
Dropout 機(jī)制
21
數(shù)值穩(wěn)定性和模型初始化
22
Kaggle 預(yù)測(cè)房?jī)r(jià)實(shí)戰(zhàn)項(xiàng)目

階段 4 深度學(xué)習(xí)計(jì)算

23
模型的構(gòu)造
24
參數(shù)訪問(wèn)、初始化和共享
25
自定義網(wǎng)絡(luò)層
26
文件讀取和存儲(chǔ)

階段 5 卷積神經(jīng)網(wǎng)絡(luò)

27
卷積層介紹
28
填充和步幅
29
多通道輸入和輸出卷積層
30
池化層介紹
31
LeNet 卷積神經(jīng)網(wǎng)絡(luò)

階段 6 前沿卷積神經(jīng)網(wǎng)絡(luò)

32
AlexNet 深度卷積神經(jīng)網(wǎng)絡(luò)
33
VGG 使用重復(fù)元素網(wǎng)絡(luò)
34
NiN 網(wǎng)絡(luò)中的網(wǎng)絡(luò)
35
GoogleNet 擁有并行連接的網(wǎng)絡(luò)
36
批量歸一化
37
ResNet 殘差網(wǎng)絡(luò)
38
DenseNet 稠密連接網(wǎng)絡(luò)

第一部分：會(huì)簡(jiǎn)單介紹 PyTorch 的使用和一些學(xué)習(xí)深度學(xué)習(xí)基礎(chǔ)的數(shù)學(xué)知識(shí)。

第二部分：會(huì)應(yīng)用之前學(xué)到的知識(shí)，從零開(kāi)始實(shí)現(xiàn)線性回歸和分類問(wèn)題，同時(shí)也會(huì)使用 PyTorch 中的高級(jí) API 進(jìn)行實(shí)現(xiàn)。

第三部分：會(huì)接觸深度神經(jīng)網(wǎng)絡(luò)，會(huì)實(shí)現(xiàn)多層感知機(jī)，以及學(xué)習(xí)什么是過(guò)擬合，以及如何進(jìn)行處理。

第四部分：會(huì)介紹如何使用 PyTorch 搭建深度模型，更進(jìn)一步對(duì) PyTorch 進(jìn)行說(shuō)明。

第五部分：介紹卷積網(wǎng)絡(luò)的相關(guān)知識(shí)，包括卷積層的基礎(chǔ)知識(shí)，池化層。后會(huì)實(shí)現(xiàn) LeNet。

第六部分：關(guān)注前沿的卷積網(wǎng)絡(luò)，會(huì)講到新的卷積網(wǎng)絡(luò)殘差網(wǎng)絡(luò) ResNet，稠密連接網(wǎng)絡(luò) DenseNet 的實(shí)現(xiàn)。