焦李成院士：百模大战是好事，但不是终点

最新推荐文章于 2025-09-02 23:49:03 发布

转载最新推荐文章于 2025-09-02 23:49:03 发布 · 127 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.csdn.net/csdnnews/article/details/133109166

文章标签：

#开发语言

转载专栏收录该内容

34 篇文章

订阅专栏

整理 | 明明如月责编 | 夏萌

出品 | CSDN（ID：CSDNnews）

2023 年 8 月24 日到 8 月26 日，由中国计算机学会主办，中国计算机学会高性能计算专业委员会、中国海洋大学、青岛海洋科技中心、齐鲁工业大学（山东省科学院）共同承办，青岛高新技术产业开发区管理委员会、青岛国实科技集团有限公司、山东省计算中心（国家超级计算济南中心）、中北大学、北京并行科技股份有限公司共同协办的 “算力互联·智领未来” 2023 年 CCF 全国高性能计算学术年会（CCF HPC China 2023）在青岛的中国红岛国际会议展览中心举办。

在本届大会期间，9 位中外院士齐聚，11 场特邀报告、6 场产业报告、46 场主题论坛、30 余场特色活动、4 场“2023 中国超算最佳应用”入围作品展示等精彩纷呈。

在该年会上，焦李成院士通过《关于大模型计算的几点思考》的报告，详细介绍了当前大模型技术发展的现状、问题和未来展望。焦李成院士认为：百模大战是好事，但不是终点，强调了结合多学科视角回归技术源头的重要性。

院士简介：

焦李成：欧洲科学院外籍院士，俄罗斯自然科学院外籍院士，IEEE Fellow，西安电子科技大学华山杰出教授、计算机科学与技术学部主任、人工智能研究院院长

详情如下：

高性能计算与人工智能密切相关
这个主题是一个非常有意义的命题作文。在经历了所谓的“百模大战”之后，对于高性能计算来说，我们应该往何处发展？在大数据、互联网和人工智能的时代，高性能计算应该走向何方？我们不能指望每个人都能凭借模型参与这个竞争世界，那么我们该如何前进呢？

因此，在当代社会，我们应该采取一些行动。这个话题实际上引起了很多人的关注。我对人工智能已经有了大约 40 多年的了解，但我只是了解了一些皮毛。但是，对于 ChatGPT 这个机器人，起初它只是一个聊天机器人，当然，前几次它可能只是一般老百姓能够认知的程度。然而，没有人预料到它会如此快速地普及，并给大家带来如此强烈的冲击。那么，ChatGPT 到底代表了一种什么样的技术趋势？或者说，它引领了一种什么样的革新？当然，现在我们要讨论的是，我们应该如何强调它给我们带来的变革或影响。这个影响肯定是双面的，但我们应该如何看待它呢？换言之，它对 HPC 的发展有何作用？

事实上，ChatGPT 最初只是用于自然语言处理，现在被称为通用大型模型。有些人称之为大模型，但我并不太喜欢这个词。大家都在谈论大数据、大算力，一大堆“大”字。我更喜欢它最初的英文含义，即基础模型。现在通用人工智能领域，我通过学习和实践，认为我们应该继续朝这个方向发展。我要说的是，从 2018 年到现在的 5 年时间里，ChatGPT 经历了巨大的变化。这些变化最初源于对自然语言处理的研究，而不仅仅是其他领域。然而，我想指出的是，现在人们总是谈论模型具有几百亿甚至几千亿参数，以及如何进行训练，然后就能得到结果。

那么，我们是否可以将所有问题都以相同的方式处理呢？对于科学发现的新模式，只要我们对数据进行不断的训练，不论数据的本质如何，我们就能得出结果。但这个结果究竟是什么呢？我们所处理的大数据，可能也包含了小样本，但它们只是物理问题的一部分，而非全部。这引发了一个问题：这种处理方式是否正确？它是否具有健康的属性？数据的数量是否足够？通过计算得出的结果是否与物理场景和问题相一致？我们需要回答这个问题，而不仅仅是因为数据量越大，使用的 GPU 越多，就认为计算结果是正确的。我们需要了解其物理机理是什么。无论是深度学习还是人工智能，如果我们无法解释其本质，如果我们无法追溯数据获取的过程，那我们对数据的感知就无法准确。我们无法确定我们所获得的数据与真实问题存在多大差异。

因此，从这个意义上讲，我们应该如何前进？物理世界和模型世界之间的差距有多大？我们如何确定问题的匹配程度？当我们的计算结果与现实问题一致，并且能够充分利用计算能力的优势时，我们的认知模型、任务模型、领域模型、场景模型，乃至后续的应用模型，才能达到一致。如果这些模型不一致，我们计算得出的结果又意味着什么呢？

同时，我们目前所获得的是数据和信息，我们需要将其与模型相匹配。最后，我们要做出决策，并采取行动。这一切是否合理？我们的大模型是否真正能够表达物理世界的本质？有人会说，大模型已经出现了，只需训练少数参数，看，我们获得了突破，获得了团队，甚至涌现了许多具体的智能。但我想问一句，这些现象是通过计算得出的，还是它们体现了物理本质，或者是揭示了物理机理，只是我们之前未曾察觉到而已？我们应该如何回答这个问题？

因此，我们关注的是大模型的表象，关注的是其规模、训练过程以及使用了多少万个 GPU。然而，我们也应该关注基础模型，它代表着物理本质，或者代表着我们对物理问题逼近的本质。如果我们可以描述这个物理问题所涉及的数据，那么当然可以解释这个问题。但如果我们只能获得其中一部分数据呢？如果我们所建模的方程具有病态性质，那么我们计算得出的结果又意味着什么呢？这种计算的意义在哪里？

因此，我们的大模型和大训练必须建立在对物理世界的感知和对基础数据的理解之上。只有这样，我们才能谈论其可解释性，才能真正达到与人脑相似的水平。人脑从未经过几千亿参数的训练，却拥有联想、感悟和记忆等特性。仅依靠数据足够吗？大脑绝不会说：“等一下，我先算一算就得到结果了。”事实并非如此。因果推理和知识对大脑的作用远不止于数据，它们是基于知识的。

从这个意义上来讲，我们如何前进？我即将参加世界第一届通用人工智能大会，然而我想提问的是，物理、能量、信息、商务，甚至因果关系等等，这些是物理场景和问题本身所具有的特征。

在智能计算和智能存储之间，我们能够实现多大程度的一致性呢？我们应该如何前进？为什么 ChatGPT 能够取得如此快速的进步？

有人会说，这是因为 GPU 的数量增加，计算速度变快了，以前神经网络的计算速度较慢，而现在快了，是这样吗？我认为中国人工智能学会举办的第一届会议所提出的"大模型技术"这个名称是相当恰当的。为什么大模型技术能取得现在的结果？当然，这并不是终点，至少是阶段性的结果。但是为什么会取得现在这样的成果呢？实际上，这离不开基础科学技术的突破。过去的五年看起来是五代模型的递归过程，但更重要的是核心的神经网络技术，也就是学习技术、建模技术、感知技术和认知技术的进步。其中，有代表性的突破是 Transformer、扩散模型等。新的神经网络模型的出现使得其与旧有的认知过程更加贴近，从而实现了技术的突破，同时也带来了大模型技术的突破。Transformer 作为神经网络的基础模型，同时也是核心技术之一。迄今为止，对于它对未来的影响有多大，我们都无法过分估计，因为它确实是通用的。但是，我们是否可以将其视为无所不能的？我们经常听到一些说法，如分割一切、压缩一切、分离一切，但它真的能够解决所有问题吗？我们对数据的要求有多高？它能够完全解决问题吗？或许我对这个词的理解还没有达到那个程度，毕竟这是一个过程。

在这里，我们列出了 Transformer 的一些问题，这些问题可以帮助我们理解为什么 ChatGPT 大模型能够取得今天的进展。当然，最初只是针对自然语言处理，涉及声音、文字、语言和图像等多模态信息只是我们跨模态、多模态信息的一部分。我们不能够忽视听觉、视觉和动作，这是不可避免的。直到 GPT-4 才出现了多模态技术，而最近这方面的发展进展较快。因此，表征、推理、生成、迁移和量化等构成了新一代生成式人工智能的主要任务。没有生成式人工智能模型的进展，也就不会有现在 ChatGPT 技术的应用。

让我们从一个更正式的角度来讨论当前的问题。许多传统问题的解决是建立在科学技术基础的突破之上，这才使得我们能够取得今天的成果。

然而，更为重要的是关键技术的突破，使我们得以探索和研究许多问题。回顾起这一过程中带来的挑战，我们可以追溯到上世纪 80 年代末到 90 年代中期的时期。当时，计算机和人工智能领域的人士各自从事符号、连接和行为等研究。然而，我们可以看到，这种方法只是盲人摸象，只能获取到智能行为的一部分。因此，现如今我们认识到通用人工智能的每个方面都是不可或缺的，每个方面都是对智能行为的一种模拟。

ChatGPT 为我们带来的是从知觉到感知、从表示到推理的全方位能力，甚至到如今对具象思维和自主性的追求。虽然我一直避免涉及意识这个哲学问题，因为它离我较远，但现在人们认为有了模型之后，我们必须考虑意识。我认为这个问题值得我们深思。接下来，我将阐述人工智能协会关于人工智能发展的不同层面的论证，从基础研究到应用领域，再到核心技术，这个论证已经进行了十几年。论证中提到的蓝色字体只是其中一个方向，即使加上最近计算机图像和图形的发展，它们也只是人工智能的一小部分，而非全部。因此，人工智能基础领域的创新，包括我们强调的图灵测试，目前还没有任何算法能够通过，尽管图灵测试是非常伟大的。

因此，回到 ChatGPT，我们需要回归到核心，回顾数学基础、数理逻辑和计算能力的重要性。所有这些都是高性能计算（HPC）的核心技术和关键所在，因此 HPC 与人工智能密切相关。在这个意义上，我们应该将二者结合起来。刚才我提到了大数据、互联网、人工智能和云计算，那么 HPC 在其中扮演着什么样的角色？这个问题仍然值得我们深思。

回归到创新的源头，不仅涉及语义，还包括大数据的感知和认知。从学习、推理、联想、记忆到情景感知，虽然人工智能或深度学习能够在音乐、棋类、书画等方面有所表现，但与人类相比仍存在一定的差距。不同的场景、问题、人和心情会产生不同的诗歌创作，这涉及情感和记忆。

让我们从一个更正式的角度来讨论当前的问题。ChatGPT 最初的发展是一个模型，其基础是数据，源自人类的贡献。因此，它具有性别、种族和地理等差异。在人工智能领域，我们既要坚守传统，也要不断创新，并确保其朝着正确为人民服务的方向发展。虽然并非所有的人工智能问题都已得到解决，但我们可以以一个典型的例子来说明，即使是最出色的播音员也无法完全以标准语音表达出 ChatGPT 的全部能力。我只是举了一个极端的例子，但语音识别仍然有进一步的发展空间。

多个任务并行处理的难题，既是人工智能领域的挑战，也是高性能计算的难题，涉及情感和智商等方面。到目前为止，使机器具备情感仍然是一个难题。我们能够摒弃种族、政治和个人因素来处理这个问题吗？这是我们需要不断回答的问题。

因此，大家都在关注人工智能和深度学习，但我们必须问自己：它的可解释性在哪里？潜在风险又在哪里？要回答这些问题，我们必须回到问题的本质，我们所面对的是一个物理世界，是一个社会。这个社会有人的参与和反馈，人们处于不断变化的动态社会中，数据和场景也在不断变化。由于人类具有情感，因此在这个意义上，可解释性和风险都具有多样性。因此，我们不能仅将其视为一门技术来处理这些问题。

ChatGPT 的成功，只是一个极端的例子。这是一个由 8 人团队构建的模型，骨干团队包含了 40 人，他们明确分工、建立清晰的架构并坚定方向。他们从基础开始，致力于构建通用系统。正是由于这些努力，ChatGPT 才能取得今天的成果。

百模大战是好事，但不是终点
我之前提到的"百模大战"是一个积极的现象，在发展的阶段我们应该加以鼓励。然而，我们应该意识到，"百模大战"只是面对不同场景的手段，而不是我们的终极目标。我们需要将其转化为社会发展的生产力。从这个意义上说，如果每个人都只关注自己的模型、囤积自己的数据，而忽视了社会和模型的发展，那将会面临相当大的困难。我在这个领域已经从事了 30 多年的工作，我们也在研究大型模型，但是仅仅依靠数据而不考虑物理经验和知识的获取，纯粹从数据的角度构建大型模型，可能与实际应用还有一定距离。因此，大型模型既带来了新机遇，同时也带来了挑战。

在这个意义上，我们需要思考如何从图灵测试走向通用人工智能，使机器具备智能。请记住，让机器具备智能一定需要人类的参与，并且必须在开放的环境中进行。这个环境是不断变化的，数据不断增加，人类的目标也在不断调整、学习和优化的过程中。我们不断做出决策，然后根据我们的行动和反馈进行调整。因此，感知、认知、学习、推理和决策始终是人工智能的核心。这是我们未来发展的潜力所在，而不仅仅是依靠一个大型模型以解决所有问题的想法。

因此，人工智能从最初的具备计算和算法能力，到能够听和说、认知和观察，现在我们希望它能够理解、思考，并能进行决策和行动。我们需要实现 "ABC"，也就是算、感知和真正的认知，才能回答这个问题。

谈到人工智能和深度学习的三次浪潮，这表明了我们需要更加深入地研究这些问题。回答这个问题，我们自己的思考是，我特别推荐大家关注以下几个方面：在人工智能领域，近 50 年来获得图灵奖的成果一直在思考机器如何进行推理；在脑科学领域，百年来获得诺贝尔奖的成果一直在研究人类思考的方式；在生物进化领域，同样获得诺贝尔奖的成果一直在探讨生物如何进行进化和优化；而在物理学领域，百年来的成果也在揭示人工智能的物理本质。要使人工智能持续发展，这些方面缺一不可。

从这个意义上来讲，我们需要回到问题的本质和机理，回到基础才能真正实现人工智能和科学的交融，实现"AI for Science，Science for AI"。只有这样，我们才能朝着正确的方向前进。大脑的运作不仅仅依赖于计算能力，也不仅仅依赖于存储能力。如今，我们讨论的是存储、计算和感知的综合，但这也需要考虑到大脑是否遵循这种方式。在过去的 20 到 30 年里，生物学领域获得的诺贝尔奖揭示了大脑具有吸收能力、学习能力、训练能力、知识能力、多样性和鲁棒性的特点。然而，这些特点在现有的神经网络模型或深度网络模型中并没有得到充分体现。我们的基本机理仍然停留在 50 年代或 60 年代，最多到 70 年代的水平。

因此，我们需要更深入地研究工作。我们需要探索如何将物理规律与大型模型结合起来。我们需要从物理规律和原则中汲取启示，以推动大型模型的建立和发展。同时，我们还需要解决下一代人工智能面临的问题，包括可解释性、鲁棒性、安全性、迁移性、能效性、自适应性和创造性等方面的挑战。这需要数据、模型、知识、推理和认知的共同发展。因此，我们不仅需要从逼近理论、表征理论、学习理论和优化理论的角度来推动人工智能和深度网络的基础研究，还需要从关键的技术角度来解决这些问题。

眼下，各地都在积极推进数字化转型，都在致力于省级重点工程的推动。这是一件好事，表明我们正处于发展阶段，我们需要更加努力。机器人技术家、人工智能教育家以及人工智能赋能新基建等方面的发展，都表明我们国家在应用场景上正在进行创新和工作。

当然，我们也需要培养人才，这是前所未有的挑战。在我国，我们第 14 个门类——交叉门类中，设立了 8 个一级学科，其中包括智能学科与技术。国家首次出台了一个领域的人工智能研究生培养计划。目前，我国大约有 498所高校设立了人工智能专业，248 所高校设立了智能科学专业，而智能学科与技术是国家一级学科。此外，还有1531 所高校设立了人工智能技术与服务专业。我很荣幸地告诉大家，我们学校是唯一一所同时入选国家双一流建设的智能科学和人工智能领域的高校。同时，我们也是国家首批通过质量认证的智能科学高校之一。此前，我们还获得了双软软科评为 A+ 的荣誉，其中也包括人工智能领域的成果。迄今为止，我们每年招收的本科生超过 400人，研究生超过 300 人。目前，我们为国家培养的本科生和研究生总数已超过 3000 人。在过去的五年中，我们获得了 200 多项冠亚季军。

然而，我们仍然需要从核心技术着手，在良好的环境和创新的氛围中，从源头、从基础、从交叉、从创新出发。我们必须回答以下问题：“我是谁，我从哪里来，我要到哪里去”。这也是解决人工智能关键瓶颈问题的关键所在。源头、基础、交叉和创新是我们绝不能忽视的要素。在生物学、物理化学、数学、算法、硬件、场景和大型模型等领域，这些是最核心的技术。因此，这 16 个问题需要我们去回答，我认为我们还有很长的路要走。