📌 Course Contents
+ Techniques for SGD, Convergence Analysis
+ Momentum algorithm
+ Variance reduction techniques (SVRG)
+ The Kernel Trick, Gram Matrices, and Feature Extraction
+ Hyperparameter optimization
+ Parallelism
📌 Teaching Method
現場 ppt 講解,偶爾寫白板
📌 Course Materials
教材查一下會發現是修改自 Cornell 的 Advanced Machine Learning Systems 的課堂講義,基本上一模一樣。
📌 Assignments and Exams
作業:
1. 讀論文寫心得 x1
2. 數學證明作業 x2
3. 聽演講寫心得 (後來因為演講方影片處理進度太慢而取消,提早寫作業的直接 QQ)
期中考一次:基本上就是考講義內容,照著講義的方式推過一次基本上就有分。可以帶一張 A4 筆記
報論文一次:自己選論文主題,機器學習相關皆可,上課現場約 30 分鐘的報告。
Final project:一樣自己選主題,機器學習相關皆可。講交書面報告與 15 分鐘影片說明。
📌 Grading
期初老師給的:
– HW (paper reading and discussion) 25%
– Projects 30%
– midterm 20%
– Paper presentation 25%
– class participation: 5%
📌 Reviews & Feedback
雖然是叫做分散式機器學習,但主題很雜,分散式的部份只有一點,作業完全無關於分散式。加上報告主題不限制,所以基本上是機器學習大雜燴的一堂課。因為老師沒自己準備教材,會感覺老師對講義的一些細節不是很清楚。個人不是很推這一門課。