他曾開創斯坦福第一門深度學習課，如今 " 講課癮 " 又犯了。

——

文｜杜晨 編輯｜VickyXiao 題圖來源 | 斯坦福大學網站

幾年前，斯坦福大學博士生 Andrej Karpathy 做了一件令 AI 社區非常敬佩的事情：在學校里創辦了一門深度學習本科課程，并且將視頻全部免費公開。

作為深度學習的早期研究者和教育者之一，Karpathy 賭對了方向。經過十多年的快速發展和技術創新，現在深度學習技術已經驅動著搜索、圖像識別、社交網絡、工業自動化、自動駕駛等諸多關鍵領域和產業。

由于研究成就突出，Karpathy 自己也成為了應用 AI 技術發展的受益者，走出學術進入業界的第一份工作，就是特斯拉的特斯拉出任 AI 部門總監，領導 Autopilot 以及整個特斯拉自動 / 輔助駕駛技術項目的研發，并帶領公司深入到了機器人等更多前沿領域。

上個月，Karpathy 宣布從特斯拉正式離職。

當人們還在關注他下一站要去哪，他卻毫無意外地 " 重操舊業 "，當起了 " 老師 "。

/ 把 " 錘子 " 交到每個人的手上 /

就在上周，Karpathy 重新啟用了注冊了多年但從沒用過的 YouTube " 小號 "，發布了一條長達 2 個半小時的教學視頻，題為《手把手帶你入門神經網絡和反向傳播：構建 micrograd"》。

他表示，關于反向傳播（神經網絡的基礎算法之一）以及構建神經網絡的工作，這條視頻是目前為止門檻最低、最全面的講解。他還宣稱，只要觀眾對 Python 有基礎了解，并且還記得一點高中水平的微積分，就可以輕松入門：

" 如果看完還不了解反向傳播和神經網絡的核心，那我就直播吃鞋 "

圖片來源：Andrej Karpathy

通過這門課，Karpathy 用基本的 Python 編程方法，以及他自己開發的 Micrograd 引擎，帶著大家完成神經網絡構建、編寫損失函數、手動調優等基礎操作，并且在過程中對反向傳播等關鍵知識進行了系統的介紹。

至于授課風格，Karpathy 也是非常理解當代年輕工程師在寫代碼時候的煩惱，貫徹了 "talk is cheap, show me the code" 的理念：整堂課的大部分時間基本就是在直播自己的屏幕畫面，手把手教大家寫代碼 ……

圖片來源：Andrej Karpathy / YouTube

Karpathy 曾在多倫多大學、斯坦福大學就讀，師從的 Geoff Hinton、李飛飛教授都是當今深度學習的領軍人物。他也是 OpenAI 的創始成員之一，曾在早期的谷歌大腦、Google Research、DeepMind 等知名研究機構實習。

作為深度學習領域的知名學者和從業者，Karpathy 出鏡相當頻繁，經常在 CVPR、NeurIPS 等知名學術會議的上發表論文和演講，還曾作為英偉達 Geforce 技術大會主演講嘉賓。

頗為搞笑的是，在 2014 年，他曾經以自己的 " 血肉之軀 "，在 ImageNet 挑戰賽上對一個卷積神經網絡發起了挑戰，并且獲得了勝利，因此被學術界和行業里戲稱為 ImageNet 的 " 人類基準 " ( the human benchmark of ImageNet ) 。

圖片來源：Andrej Karpathy

然而很多人對 Karpathy 印象最深，最感激他的，反而是他在博士就讀期間做的一件大善事：

創辦了 CS231n，斯坦福第一門面向本科生的深度學習課程。

圖片來源：Andrej Karpathy、斯坦福大學

CS231n 以計算機視覺為主要方向，深入淺出探討深度學習技術，創課第一年就有總計 150 名學生報名，到了 2016 年翻了一倍，次年又再翻了一倍。目前這門課已經成為了斯坦福校內所有院系里報名人數最多、最受歡迎的課程之一。課程的 TA 都有 16 人；和 Karpathy 一起創課的李飛飛，至今仍在擔任主講人。

更重要的是，從創課的第二年，Karpathy 就把 CS231n 的授課視頻、講義、作業、筆記等大量相關資源全部公開，放在互聯網上。不止是報名的學生，就算沒報名上的、其它院校的學生，乃至于世界上的任何人，只要有網絡，就可以免費上課。

再往前推五年，隨著 Udacity、Coursera 等公司的成立，" 慕課 " ( MOOC ) 的理念早已廣為人知。在這些知名公司的平臺上，也有著不少計算機科學和機器學習方面的課程。

然而 CS231n 的橫空問世，特別是它更加先進和實時的課程設計，以及沒有任何商業味道的開放屬性，使其成為了前沿深度學習技術向全社會普及的關鍵節點。

圖片來源：Andrej Karpathy、斯坦福大學

關于為何要免費開放課程，Karpathy 曾經表示，自己在當時非常強烈地感覺到深度學習將會成為具有巨大革命性意義的技術，有望在社會的各方各面得到廣泛運用，就像一把好用的錘子。

但是在當年，很多人連錘子都 " 買不起 "，更別提了解它的能力和掌握它的用法——是他決定站出來，做這個給大家免費發放錘子的人。

這門課最有意思的體驗，在于它沒有一個提前定好、絕不偏離的課程設置：

" 別的科目上課，講的可能是 19 世紀的知識。在我們的課上，經常今天講的論文是上周，甚至昨天剛剛發表的，"Karpathy 說到，" 我們講的不是核物理，不是上太空，你只需要基本的微積分和代數知識，就可以聽懂我們的課程，了解和掌握當下正在發生的新事物。每次的課程都在改變，感受非常不一樣，但是大家都非常享受這樣的體驗。"

由于創課當時 Karpathy 還是一位博士生，當老師確實占用了他大量的時間和精力。每年教兩次，每次四個月，一到上課的那段時間，他都不得不開動 120% 的精力，甚至博士學位的相關研究工作都不得不停擺。

" 盡管如此，我還是覺得這門課是我讀博期間的高光時刻。"

Andrej Karpathy 圖片來源本人

如果簡單瀏覽一遍 Karpathy 的履歷，一般人可能不會以為他是一個教學型的學者。但實際上他真的特別熱衷于傳道授業解惑，特別是給大家分享他本人的學習結果，和掌握技能的獨特經驗。

他曾經以博士生過來人的身份寫過一些經驗談，發表在斯坦福官網以及個人播客上。比如對于本科生備戰考試，他真誠告誡大家 " 熬夜不值 "、" 多找多換 TA"、" 備考初期自學，考前多交流 " 等。而對于糾結是否讀博的學生，他專門寫過一篇 " 博士生存指南 " 萬字文，從前期準備、導師選擇、研究課題、著述發表、學術演講等諸多方面，分享了大量的指導思想和具體經驗 ……

圖片來源：Andrej Karpathy

如果你以為他只講深度學習，那就太小看人家了：

對于非本專業的內容，他也會用自己的業余時間，做長期、系統性的研究和測試，然后寫成文章。比如他在 GitHub 賬號上曾經寫過一篇" 生物黑客 "的文章，分享了自己在體育鍛煉、斷食、血液檢測、體能藥物、睡眠研究等方面做過的測試經驗。

少為人知的是，Karpathy 還是一個專業的魔方老師 ……

在解魔方這件事上他有一個 alter ego，名叫 Badmephisto。他有一個專門講授魔方知識的網站，做過一個教你如何解魔方的 app（iPhone & Android），還在 YouTube 上傳了大量教學視頻，總共有 900 多萬觀看量 ……

老哥可真是上課上癮啊 ……

Karpathy 在谷歌實習期間內部渠道搞到了一臺 Google Glass，錄制了這段在自行車上解魔方的視頻 動圖來源：Andrej Karpathy

/ AI 大佬都愛講課 /

值得注意的是，不止 Karpathy，深度學習 /AI 領域的大佬級別人物，都特別愛 " 講課 "。

這么說確實有點廢話文學了 …… 因為這些大佬當中，很多人本身就在知名院校有著常規或終身教職，一部分進入工業界的人士，之前也有很強學術和教學背景。但他們即使現在在工業界身居高位忙到不行，仍然對深度學習知識的傳播和普及充滿熱情。

比如 Karpathy 在多倫多大學的老師 Geoff Hinton 教授。他是反向傳播等深度學習關鍵算法的發明人，深度學習領域的 " 三劍客 " 之一，圖靈獎獲得者。有這樣一種對于他的評價：當其他人還在質疑機器 / 深度學習的時候，Hinton 在多倫多一邊默默地教書，一邊持續著研究推進，終于以一己之力復活了機器學習研究和行業，堪稱深度學習之父。

自從創立的 DNNResearch 公司于 2013 年被谷歌收購，Hinton 在谷歌一直有職位，但實際上他的主要研究工作還是在多倫多大學的計算機科學系。雖然近年來他已經不怎么講常規課程了，但他仍然會花很多時間和精力，指導學生研究和參與論文寫作。并且，他也參與錄制了一些深度學習神經網絡方面的免費網課內容。

截圖來源：Coursera

" 三劍客 " 的另外兩位成員 Yoshua Benjio 和 Yann LeCun，也有各自的教職。

Bengio 是蒙特利爾大學教授，也創辦了 Mila 人工智能研究所并擔任科學總監。他至今仍在學校和 Mila 研究所帶領和指導著大量的研究生、博士生和博士后研究員。他經常參加各種外部機構的演講和授課邀請，之后的視頻也都會公開在網上。

LeCun 在 Meta 擔任副總裁兼首席 AI 科學家，還是紐約大學電氣和計算機工程系教授。他曾經誠懇地表示過，自己可能沒有辦法及時查收和回復學校郵箱和電話留言。不過，至少去年他還在紐約大學的數據科學中心 ( NYU-CDS ) 教深度學習的相關課程。另外因為疫情等原因，NYU-CDS 的所有由 LeCun 教授的深度學習課程，在 2020 年也都完全線上化并免費公開了：

視線轉回國內，前幾年離職回校教書的原騰訊 AI Lab 主任張潼，也是一個有趣的例子。他是機器學習領域知名的國際專家，曾經在美國大學拿到終身教職，在 IBM 研究院、雅虎研究院、百度 IDL 擔任研究和管理方面的高級別職位，還是 ICML、NIPS 等一系列國際頂級學術會議的主席或領域主席。

然而可能是因為更享受教書和學術界的環境，張潼在 2019 年初離開了騰訊 AI Lab，來到了港科大數學系和計算機科學工程系，直接就拿到了專為特別杰出且成就非凡的學者才設立的講席教授 ( chair professor ) 資格。

當然他也沒有完全離開業界，在港科大和創新工場之間牽線搭橋，幫助兩家機構成立了聯合實驗室，專注于基礎科研。現在的他，在港科大做研究、帶學生，這一學期還教了 COMP6211E 和 MATH6450J 兩個和機器學習優化相關的課程。

這些熱愛傳道授業解惑的頂尖學者讓我們看到：即便在高度商業化的今天，一項技術、一種知識，仍然可以通過教育這種古典的形式，加上 " 免費網課 " 的創新手段，來完成更高效、更具公益性的普及。

這樣的大佬們，請多來點，不要停。