人工智能时代的思考
2024年的诺奖、Hinton、八十年代的UCSD
2024年的诺贝尔物理学奖出人意料地颁给了人工智能领域的两位先锋：John Hopfield 和被誉为“AI之父”的Geoffrey Hinton（杰弗里•辛顿）。
诺奖官方声明中提到他们“运用了物理学工具”，在基于人工神经网络的机器学习方面所作出的基础性贡献。这一奖项极大地强调了跨学科研究的重要性，展示了“火星撞地球所迸发的能量”，也就是物理学的见解与计算机科学碰撞所能迸发的巨大能量。
火星撞地球，物理学不存在了，化学也不存在了。继这一令人惊讶的消息之后，仅隔一日，2024年诺贝尔化学奖也出人意料地授予了开发AlphaFold人工智能模型的科学家。
“问渠哪得清如许，为有源头活水来”。本文想简单地聊一下这“清如许的渠”，即早期机器学习里的师徒关系和思想的传承。这里就要提到我的母校加州大学圣迭亚哥分校（UCSD）。母校是宇宙上第一个创立认知科学系的大学，是认知科学领域的麦加，Hinton多次提到他在UCSD的经历对其人工智能思维的形成起到的至关重要的作用。在UCSD的经历帮他开启了影响人工智能领域数十年的职业生涯，及后来在CMU和多伦多大学等机构做出的许多重要贡献。
上世纪八十年代UCSD汇聚了一批世界级的认知科学学者，如David Rumelhart、Terry Sejnowski、Donald Norman等。当今机器学习和统计学交叉领域的巨擘UC Berkeley的Michael Jordan是Rumelhart当时的博士生。Rumelhart和CMU的James McClelland 还有Hinton, Jordan 在内的PDP小组出版了业界的“圣经”——《Parallel Distributed Processing》 (PDP)。
博士毕业后Hinton流浪了几年，然后前往UCSD做Rumelhart的博士后。期间，Rumelhart、Hinton和Williams将反向传播算法应用于多层神经网络。他们的研究证明，这种网络能够有效地学习数据的内部表示。在2018年接受采访时，Hinton提到：“David Rumelhart 提出了反向传播的核心理念，因此这项发明是他的功劳。” Rumelhart英年早逝，否则他应该得诺奖。
1985年，Hinton和Sejnowski提出了“玻尔兹曼机”的网络模型。玻尔兹曼机引入了概率方法来理解学习和记忆，它影响了人工智能模型在复杂数据中学习模式和关系的能力。Sejnowski 是Hopfield 在Princeton的博士生，这工作是Hopfield网络的进化。
Sejnowski 和 Hinton ▼
近几年，Hinton本人拿到各种花色的诺奖，成了“万紫千红”。以Rumelhart命名的Rumelhart Prize，号称认知科学的诺奖， 从2001年起授予认知科学领域的杰出人物， Hinton是Rumelhart Prize的第一位获奖者。2018年，Hinton 得了计算机的诺奖——图灵奖和2024年的物理学诺奖。
在这人工智能疯狂的时代，Hinton“万紫千红”总是“春”，这里面还有“花团锦簇”效应。Hinton的徒子徒孙——学生、博士后和博士后的博士后，他们也拿各种“诺奖”，其中博士后杨立坤（LeCun）获图灵奖，博士生 Ilya 一年前把OpenAI的头头给撸了，我们给Ilya发一个诺贝尔“敢斗奖”。今年化学诺奖得主Hassabis，在理论上算是Hinton的“徒孙”—— 博士后的博士后。Hassabis曾是Peter Dayan的博士后，而Dayan则是Hinton的博士后，从学术传承上来说，Hassabis与Hinton有师承关系。当然还有很多人的贡献，比如李飞飞等才有了这个人工智能的春天。
Hinton是物理学博士，他的爱丁堡的同门师兄Peter Higgs，2013年就因上帝粒子获得物理奖。Higgs玻色子的发现解释了粒子如何获得质量，是现代物理学中一个重要的突破。
上世纪八十年代，我在UCSD计算机系读博。当时认知科学是门新兴的交叉学科，属心理学系。人们说“隔行如隔山”，在UCSD，计算机科学系与心理学系仅一楼之隔。我周围的许多同学跑到隔壁心理学系去学Neural Network （神经网络），这在我看来是织女下嫁牛郎——跌份。卅年风水轮流，而今女承父业，登攀此隅！他们讨论 backpropagation（反向传播），simulated annealing（模拟退火）, ……，好不热闹，好像明天就能得诺奖。
人工智能的发展潮起潮落。八十年代是个高潮，其间人们也发明了很多其他的算法，比如根据生命科学的基因算法（Genetic algorithm），九十年代来了，她进入了低谷。
深度学习简史，上世纪七十年代人工智能进入了冰川期，而八十年代的神经网络研究把她带入了一个高潮，这复兴的“活水”源自加州理工学院。
1980年，Hopfield 离开Princeton 加入加州理工学院。1981年至1983年，大物理学家费曼, Carver Mead 和 Hopfield 在加州理工学院开设了一门为期一年的课程，名为“计算物理学”。Hopfield在此期间提出了“Hopfield网络”，引发了神经网络研究的第一次复兴，其理论基础主要依托统计力学和神经科学，核心思想是将物理学中的能量最小化原理应用于神经网络。在此基础上，Hinton更进一步，他希望机器能够像人类一样自主学习和分类信息。
海宁 2024年秋 加利福尼亚
