万字长文剖析城市大模型：认知、应用、展望

2022年底，ChatGPT的横空出世让千行百业看到通用人工智能的拐点。随后，GPT-4系列在高质量文本生成、推理分析方面表现出卓越能力，LLaMA拓展广泛应用生态，Sora视频生成惊艳亮相，通用大模型 、尤其是 Transformer 架构能力的快速提升给大家不断带来惊喜。

然而尽管通用大模型能力出色且进步飞快，但在面对特定行业或领域的问题时，仍存在相当的局限性。在AGI（通用人工智能）目标实现之前，我们仍需探讨大模型近期的行业应用模式问题。构建行业大模型、领域大模型是现实的选择。如果说通用大模型是完成了通识教育的高中生，我们希望让它再学习一些特定领域的知识和技能，成为该领域的本科生甚至研究生，为解决领域问题提供更加专业的精准的帮助。面向城市，我们甚至希望，发挥机器比人脑碾压级的存储与计算优势，解决那些人脑无法解决的复杂系统问题。通过构建城市大模型，也许能帮助我们解决城市问题、助力城市发展、辅助规划决策、提升治理效能。

城市大模型能做些什么？技术驱动下为城市治理带来什么变化？又产生什么问题？如何构建城市大模型？技术的迭代更新非常迅速，很多问题还看不到确定性的结论，但经过一年多的实践探索，还是有一些方向和趋势已经显露端倪。

一、认知：

什么是行业大模型

下面哪个是你理解的行业大模型？

• 从零开始，用领域内的专业数据，从预训练开始，做大模型。

• 在通用大模型的基础上，学习行业特色数据与专业知识，即在大模型基础上经过行业知识精调，形成行业大模型。

• 基于基础大模型能力，进行应用开发，解决一些专业性问题。

目前，行业大模型还没有准确定义，上面这三种都会被叫做行业大模型。从一般用户的角度，如果只关心使用效果，也不用关心到底是哪一种方式做到的。但如果想多了解一点技术路线，或者关心自己的（或者行业的）数据资产与知识沉淀，那就需要区分是以上三种中的哪一种。

1. 纯纯型

从零开始，用领域内的专业数据，从预训练开始，做大模型。

想想如果能搞一个纯纯的根正苗红城市大模型，没有乱七八糟的数据噪声，它熟悉城市发展历史、了解产业经济的发展规律、掌握城市各方面的现状情况，最好还能理解不同主体的利益博弈，秉承以人民为中心的价值观......无论是赋能城市治理、公共服务、还是领导决策，都是极好的。

这在技术上并非没有可能性，但问题是成本太高而没有可行性。行业数据、算力成本、技术门槛都是问题。没有足够的数据就谈不上大。GPT-3的官方训练数据是753GB，LLaMA4828.2GB，文心一言亿级。换算成咱们最长的总规说明书，以10W字一份计算，1000GB就是500多亿份总规说明书。此外，高昂的算力成本，复杂的底层技术，都让从零训练行业模型的门槛高的摸不起，毫无性价比。

23年上半年，就是大模型最火爆的时候，有城市领导询问几个大厂：是否愿意为某个城市、或者政府政务专门训练一个大模型？得到的回答，当然是否定的。

目前看，除了如生物基因蛋白质分子结构、时序时空这些特殊模态的大模型外，从零构建一个行业大模型是没有必要的，也不符合大模型主要能力来自“预训练”的本质。

2. 精调型

在通用大模型的基础上，学习行业特色数据与专业知识，即在大模型基础上经过行业知识精调，形成行业大模型。

可能更符合多数人的认知。相对于开发一个全新的大模型，微调现有的通用大模型更为简单快捷，只需要高质量的行业数据即可。这个概念在上半年时候被广为宣传，以至于几乎绝大多数甲方客户都喜欢问：你们的行业大模型是用什么数据，怎么微调出来的，调前调后的效果有啥区别？

但考虑以下三方面因素后，这种行业大模型技术路线也有适用范围选择条件：数据知识、参数规模、基础模型。

（1）高质量的行业数据显然相当重要，它决定了要教给大模型什么样的行业知识。当然真正挖掘、整合和利用行业数据是件非常复杂的事。在城市领域，大概显性知识也就只有规划文本说明、政策文件、法规规范这么几类。当然，我们认为城市中最重要的共性知识是空间知识，通常适合通过多模态方式传递，这里暂时不提。城市规划设计中，“这个设计感觉不好”这种需要靠“悟”的方式来学习的经验和知识是无法被模型去学习的。所以，在对行业/领域知识进行梳理和理解后，就会发现，大模型能学的知识很有限，能做的也就很有限。通用人工智能还远没有那么通用，大概能理解这些的 AI 就是 AGI 了。

（2）参数规模与智能涌现。GPT3.5，文心一言、通义千问、GLM都是千亿以上参数规模。一般认为达到千亿参数（也有认为是更小规模，比如500-600亿）才出现“智能涌现”。面对城市复杂系统，智能涌现是我们非常需要的能力。而行业大模型通常基于百亿，或者更低参数规模的模型进行调优。因为只有这样，才能取得较好的调优效果、效率、性价比，以及私有化部署的可能。所以都是大模型没毛病，但只能做到形似而无法神似，难以达到我们对通用人工智能聪明程度的预期。

（3）基础模型能力与精调获得能力。有个常见的情况，就是费劲调了多轮，结果基础模型能力一升级，发现那些精调出来的能力被基础模型超越了。所以有人认为，调行业模型，不如等基础大模型能力升级。在基础模型能力还远没有看到边界的时候，调行业模型没有必要。还有种情况经常发生：一个任务能力通过精调提升后，其它能力大幅下降了。这实在有悖大模型的“通用”特长，也只能等待算法科学家来解决。

所以在深入行业大模型精调时，常常会产生“行业大模型”不存在的质疑。甚至有观点认为，不应该试图让大模型获得某种特殊的能力。

但面向特殊的行业领域，我们就是希望大模型在某些方面比能用大模型再“长”一些。这就引出了第三种行业大模型。

3. 应用型

基于基础大模型能力，进行应用开发，解决一些特定问题。

可能很多人的第一反应是这叫什么行业大模型，但可能真是现阶段最靠谱、也越来越成为主流形态了。关注的不是模型本身，而是具体要完成的任务。面向具体任务，利用大模型理解、记忆、生成、推理等基础能力，与其它工具、或者其它模型组合，来开发应用。

所谓特定问题，结合城市专业，可以分为知识的管理与生产、操作类问题两大类。知识的管理与生产，利用大模型检索问答、内容创作能力，解决规划设计过程中的创意过程、规范性问题。操作类问题如自动化绘图建模，利用大模型完成