科学启发的机器学习理论丨周日直播· AI+Science 读书会

　　

　　导语

　　在这次读书会中，讲者会结合一些行业大佬们的观点，讨论AI到底需要什么样的理论。主流的有PAC learning theory（Book: Foundations of machine learning）和基于统计物理的分析(Book: Phase transitions in machine learning)，讲者将简要介绍并讨论它们的区别。

　　理论最终是用来服务实验的，第一步是如何用理论理解已有的实验现象(phenomenology), 第二步是用理论指导实验。为了做到第一步，讲者会介绍一些已有的现象，以及如何构建“物理理论”来解释这些现象。这些现象包括：memorization, phase transition, neural collapse, information bottleneck, representation learning等等。这些不同的现象就如同盲人摸到大象的不同侧面，我们希望AI的“大统一理论”可以用一种自洽的方式刻画整头大象。

　　是近年兴起的将人工智能和科学相结合的一种趋势。集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣，共同发起以“AI+Science”为主题的读书会，从2023年3月26日开始，每周日早上 9:00-11:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

　　

　　分享简介

　　学习理论是人工智能和机器学习领域的核心主题，它探讨了如何从数据中学习和做出预测的基本原理。这个领域的研究问题包括：如何定义和度量学习的有效性？如何设计有效的学习算法？以及如何理解和解释学习算法的行为？

　　在这个领域中，有两个主流的理论框架：PAC学习理论和基于统计物理的分析。PAC学习理论，即概率近似正确（Probably Approximately Correct）学习理论，是一种形式化的学习理论，它提供了一种量化学习算法性能的方法。而基于统计物理的分析则提供了一种从宏观角度理解学习现象的方法，它关注的是学习系统的全局性质和行为。

　　然而，这两种理论框架都面临着挑战。例如，PAC学习理论的一些假设在实际应用中可能不成立，而基于统计物理的分析则需要对系统的细节有深入的理解。此外，如何将这些理论应用到实际的学习系统中，以及如何用这些理论来解释和预测实验现象，也是当前的研究热点。

　　分享大纲

　　1. 学习理论的基本框架

　　1.1 PAC学习理论的介绍

　　1.2 基于统计物理的分析的介绍

　　1.3 这两种理论的比较和区别

　　2. 理论与实验的关系

　　2.1 如何用理论理解已有的实验现象

　　2.2 如何用理论指导实验

　　3. 现象与理论的对应

　　3.1 讨论一些已有的现象，包括：memorization, phase transition, neural collapse, information bottleneck, representation learning等

　　3.2 如何构建“物理理论”来解释这些现象

　　4. AI的“大统一理论”

　　4.1 对AI的“大统一理论”的探索

　　4.2 如何用一种自洽的方式刻画整个学习系统

　　核心概念

　　1. PAC学习理论：PAC（Probably Approximately Correct）学习理论是由Leslie Valiant提出的，它是一种形式化的学习理论，提供了一种量化学习算法性能的方法。简单来说，一个PAC学习算法能够在多项式时间内找到一个近似正确的假设，这个假设在大多数情况下都是正确的。

　　2. 基于统计物理的分析：这是一种从宏观角度理解学习现象的方法，它关注的是学习系统的全局性质和行为。这种方法通常需要对系统的细节有深入的理解。推荐：地球系统科学读书会第二期《》，介绍了有关统计物理学的基本概念和理论，以及如何将其应用于地球复杂系统。

　　3. Memorization：在机器学习中，记忆化是指模型学习到训练数据的特定细节，而不仅仅是概括的模式。这可能会导致过拟合，即模型在训练数据上表现良好，但在新的、未见过的数据上表现不佳。

　　4. Phase Transition：在统计物理中，相变是指系统从一种状态突然转变为另一种状态。在机器学习中，相变可能指的是学习过程中的某种突变，例如模型的性能突然提高或降低。推荐：北京师范大学系统科学学院院长陈晓松老师关于《复杂性与临界现象》的课程（地址：https://campus.swarma.org/course/1131），里面详细地介绍了相变等核心概念。

　　5. Neural Collapse：神经塌缩是指在深度学习训练过程中，相同标签样本的表示发生塌缩，不同标签样本的中心构成一个超锥体。https://www.pnas.org/doi/10.1073/pnas.2015509117

　　6. Information Bottleneck：信息瓶颈是一种理论框架，用于理解深度学习模型如何从输入数据中提取有用的信息。它的核心思想是，模型应该尽可能地压缩输入数据，同时保留与目标任务相关的信息。推荐：犹他大学的在读博士生方榯楷的分享，其中重点介绍了信息瓶颈理论与因果宏观变量编码。

　　7. Representation Learning：表示学习是机器学习的一个重要任务，它的目标是找到一种能够捕捉到数据本质结构和特性的数据表示方法。这种表示方法可以使得后续的学习任务更加容易。因果表征学习则是在表征学习的基础上，进一步引入了因果关系的考虑。它的目标不仅是找到一种有效的数据表示，而且这种表示还需要能够揭示数据中的因果关系。这样的表示可以帮助我们理解数据生成的机制，预测干预或变化条件下的结果，推荐集智俱乐部的，系统性的探讨了因果表征学习的整体框架。

　　主讲人介绍

　　

　　刘子鸣，目前是麻省理工学院（MIT）物理系博士生，导师是Max Tegmark。此前2020年他从北京大学获得物理学士学位。他的研究兴趣在AI和物理的交叉：一方面AI for Physics，利用AI工具自动化物理规律和概念的发现；另一方面Physics for AI，利用物理启发构建AI理论和更具可解释性的模型。

　　直播信息

　　2023年6月11日（周日） 20:00-22:00

　　参与方式：仅B站直播

　　扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。

　　推荐学习资源

　　1. 《Foundations of Machine Learning》：这本书详细介绍了PAC学习理论和其他机器学习的基本理论。

　　

　　2. 《Phase Transitions in Machine Learning》：这本书从统计物理的角度分析了机器学习中的一些现象，包括相变。

　　

　　3.

　　AI+Science 读书会启动

　　AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。

　　集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 10:00-12:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

　　详情请见：

　　集智学园最新AI课程，

　　张江教授亲授：第三代人工智能技术基础

　　——从可微分编程到因果推理

　　自1956年“人工智能”诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。

　　本课程试图系统梳理从机器学习到大语言模型，从图神经网络到因果推理等一系列可能成为第三代人工智能基础的技术要素，为研究者或学生在生成式AI、大模型、AI for Science等相关领域的学习和研究工作奠定基础。

　　https://campus.swarma.org/course/5084?from=wechat

　　图神经网络与组合优化读书会启动

　　现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

　　为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！

　　详情请见：