中国最强AI研究院的大模型为何迟到了

出品｜虎嗅科技组

作者｜齐健

(资料图片)

编辑｜陈伊凡

头图｜FlagStudio

“OpenAI会再开源大模型吗？”

当智源研究院理事长张宏江向线上参加2023年智源大会的OpenAI首席执行官Sam Altman问及开源问题时，Sam Altman微笑表示，OpenAI未来会开放更多代码，但没有具体的开源时间表。

这样的讨论来自这次智源大会的话题之一——开源大模型。

6月9日，2023年智源大会在北京举行，座无虚席。在大会现场，“算力”、“大模型”“生态”等与AI相关的词时不时出现在参会者的聊天中，还有这个产业链上的各家公司。

本次大会上，智源研究院发布了全面开源的悟道3.0。包括视觉大模型系列“视界”，语言大模型系列“天鹰”，以及独创的大模型评测体系“天秤”。

大模型开源，就意味着公开模型代码，供AI开发者研究。悟道3.0中的“天鹰”基础层语言模型还是一款可商用的模型，每个人都可以免费使用这款大模型。

“目前，国际上有三家机构在AI领域处在前沿地位，微软的深度合作伙伴OpenAI，谷歌，以及BAAI。”微软总裁Brad Smith在不久前的一次采访中，曾提到一家与OpenAI、谷歌齐名的中国“最强”AI研究机构BAAI，这家机构就是北京智源人工智能研究院。这样一家研究院举办的人工智能大会，被众多业内人士视为行业的风向标。

被微软总裁高度认可的智源研究院，早在2020年10月已启动了AI大模型“悟道”项目，并先后发布了悟道大模型1.0和2.0两个版本。其中悟道2.0官方公布的参数规模达到1.7万亿。彼时，OpenAI公布1750亿参数的GPT-3模型也才一年时间。

不过，就是这样一个AI大模型的先行者，在最近半年的AI大模型热潮中，却异常低调。

当大厂和创业公司中，大模型层出不穷时，智源在过去三个多月里，对外一直保持“静默”状态，除了4月上旬与Meta的抠图AI“SAM”撞车的“SegGPT”，几乎没有向公众透露任何有关AI大模型的信息。

对此，AI行业内外的很多人都有疑问，在AI大模型领域领先的智源研究院，为什么在大模型的高潮时刻似乎来迟了？

开源模型要拆了OpenAI的护城河吗？

“虽然现在的大模型竞争火热，但无论是OpenAI还是谷歌，都没有护城河，因为‘开源’正在AI大模型领域崛起。”

在一份谷歌泄露的文件中，谷歌内部研究人员认为，开源模型或将引领大模型发展的未来，这份文件中提到“开源模型的迭代速度更快，可定制性更强，更有私密性，而当免费的、不受限制的替代品质量相当时，人们不会为受限制的模型付费。”这或许也是智源选择开发开源大模型的原因之一。

目前，开源的商用大模型并不多，智源研究院对目前已发布的部分AI大模型进行了一个调查，在国外发布的39个开源语言大模型中，可商用的大模型有16个。国内已发布的28个大语言模型中，开源模型有11个，其中开源可商用的模型仅有1个。

智源此次发布的大语言模型是开源且可商用的模型，也是目前为数不多的可商用开源大语言模型之一，这也决定了这样的模型在发布之前需要更加谨慎。

“就智源来说，肯定不希望开源模型太难看，所以会谨慎发布。”智源大会现场的一位AI研究员表示，开源模型难免要被反复验证，被大量开发者挑bug，为了保证开源模型的质量，智源的研发进度可能被“开源”拖慢了一些。

智源研究院院长黄铁军认为，目前我国市场上大模型的开源开放力度远远不够，“我们应该进一步加强开源开放。开源开放也是竞争，真有水平、真有好算法，拿出来评测、去比，才能证明技术水平。”

目前国内的大模型技术透明度不高，不少国内厂商在大模型发布之初，都曾被质疑模型是否自研。有人说他们是API调用ChatGPT，也有人说他们用Meta泄露的LLaMA模型+ChatGPT的答案数据训练而来，开源模型则从源头上断绝了这些质疑。

不过，开源模型，提高技术透明度并不是为了自证清白，而是真的要“集中力量办大事”。据智源数据显示，天鹰大语言模型每天的训练成本在10万元以上，而在国内“百模大战”甚至“千模大战”的大势下，很多行业中都在进行大量不必要的重复训练，导致的重复开支可能是个天文数字。

而开源模型可以减少重复训练，对于有模型需求的企业来说，直接利用开源可商用的AI大模型，结合自身数据进行训练，或许是AI落地和行业应用的最优解。

开源的另一方面考虑，在于前期积累用户和开发者，以便构建良好生态，并实现未来的商业化。一位国内大模型公司创始人告诉虎嗅，“OpenAI的GPT-1和GPT-2都是开源的大模型，这是为了积累用户，提高模型的认可度。等到GPT-3的模型能力涌现出来，就会开始考虑商业化，模型也会逐渐走向封闭。因此，开源模型一般不会允许商用，这也是出于后续商业化的考虑。”

但显然，智源作为非营利的研究机构，在开源问题上，并没有商业化的考虑。对于智源而言，在模型开源方面，一方面是希望通过对底层模型等开源开放，促进AI大模型行业的科研创新，加速产业落地。另一方面，或许也是想要基于开源模型积累更多的用户反馈，提升大模型在工程上的可用性。

不过，模型开源也并非“完美”。

一位大厂AI技术总监告诉虎嗅，目前的AI大模型的商业化市场可以分为三层，第一层是完全具备自研模型能力的头部大玩家，第二层是需要根据特定场景训练专有模型的企业，第三层则是只需要通用模型能力，使用API接口调用即可满足需求的中小客户。

在这个背景下，开源模型对于有自研能力的头部玩家来说，可以帮助他们省去了大量研发模型的时间和成本。但对于第二层和第三层企业来说，则需要他们自己组建技术团队去对模型进行训练和调优，而这对于很多技术实力不那么雄厚的企业来说，反而把落地流程变得更加复杂了，开源对他们来说似乎有一些“免费的东西最贵”的感觉。

此“悟道”已非彼“悟道”

智源的悟道3.0，是一套完全重新开发的大模型系列，这也是其“迟发”的原因之一。

既然已经有了悟道2.0的基础，智源为什么要重新开发一套模型体系？一方面是模型的技术方向调整，另一方面则是由于模型底层训练数据的“换血”。

“悟道2.0的研发是在2021年，所以无论是语言模型（如GLM）还是文生图模型（如CogView），其所基于的算法架构从现在来看是比较早的。在过去一年多，相关领域的模型架构已经有了更多的验证、或演进。例如，语言模型中采用decoder only的架构，已经证实，加以更高质量的数据，可以在大规模参数的基础模型中，获得更好的生成性能。在文生图模型中，我们改用了基于difussion来进行进一步的创新。所以在悟道3.0中，我们对语言大模型、文图生成大模型等都采用了这些更新的架构来重新开发。”在智源研究院副院长兼总工程师林咏华表示，基于过去模型的研究，悟道3.0在很多方向进行了重构。

另外，悟道3.0还对底层模型的训练数据进行了全面优化升级，训练数据中使用了更新的悟道中文数据，包括2021年到现在的，并进行了更严格的质量清洗；另一方面，增加了大量的高质量中文，包括中文书籍、文献等；此外还增加了高质量的代码数据集等，因此基础模型也发生了很大的改变。

在此之前，很多国内模型对中文理解能力不行的问题，就源自底层模型训练的数据不是原生中文。国外的AI大模型，以及部分国内模型都采用了大量国外开源数据进行训练。其中主要的来源包括著名的开源数据集Common Crawl。

智源对100万条Common Crawl网页数据进行分析，可以提取出中文的网页有39052个。从站源角度来看，可以提取出中文的网站共有25842个，其中IP在中国内地的，只有4522个，占比仅为17%。这样不仅中文数据的准确性大打折扣，安全性也很低。

“训练基础模型的语料很大程度会影响AIGC应用、微调后的模型等内容生成的合规、安全和价值观。”林咏华表示，天鹰基础模型的中文能力不是简单的翻译，而是把足够多中文的知识“压到这个模型里”，它的中文互联网数据99%来自国内网站，企业可以放心地基于它做持续训练。

同时，通过大量对数据、数字的精细化处理和清洗，达到用少的数据量来训练出一样性能甚至性能更好的模型，这个数据甚至低到30%、40%的数据量就能赶上或者超过现有的开源模型了。

如今看来，这条路径对于智源来说，也许是个更优解。因为在训练数据方面，智源与互联网厂商相比存在短板。互联网大厂不仅拥有大量来自用户侧的交互数据，还拥有很多可用于训练的版权数据。就在不久前，阿里达摩院刚刚发布来一款视频语言数据集Youku-mPLUG，其中的所有内容均来自阿里旗下的视频平台优酷。

由于智源没有深厚的用户基础，所以在训练数据方面，只能通过与版权方协商获得授权，并通过一些公益数据项目一点点采集积累。

但是，目前智源的中文数据集还只能做到部分开源，其主要原因是，中文数据的版权分散在各个机构手中，目前智源的训练数据是在多方协调下，获得的针对开源模型研究开放的使用权限。大部分数据只能应用到智源的模型中，而没有开放二次使用的权利。

国内大模型行业的黄埔军校

悟道3.0正在讲一个与悟道2.0不同的故事，研发团队的变化是其中之一。作为AI大模型行业的先驱，智源研究院就像是国内AI大模型的黄埔军校。上到智源学者，下至基层工程师，在今天的大模型热潮中，都成了行业里的香饽饽，智源的原始团队中，也孵化了几个大模型的创业团队。

在悟道3.0之前，一个大模型系列是由多个外部实验室联合发布的研究成果的组合，而这次的悟道3.0是由智源团队完全自研的系列模型。

2021年发布的悟道2.0模型，其中包括：文源、文澜、文汇、文溯。其中，两个核心模型分别由清华的两个实验室主力完成。而如今这两个团队都已成立了自己的创业公司，并沿着CPM和GLM的研发路径形成了自己的独立产品。

其中，GLM的主力研发团队清华大学知识工程研究室（KEG），就与智谱AI一同推出了开源模型ChatGLM-6B，并得到了业界的广泛认可；CPM的主力研发团队，清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）中的部分成员组成的深言科技，成立一年就受到了各家资本的青睐，今年的两轮融资中分别出现了腾讯投资、红杉中国、奇绩创坛等基金的身影。

有接近智源研究院的人士告诉虎嗅，自从国内AI大模型升温以来，智源团队成为了人才大战的“围猎目标”，“整个研发团队都被其他公司或猎头盯上”。

当下国内AI大模型行业，最不缺的是钱，最缺的就是人。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT，硕博学历职位的月薪普遍高于3万，最高达9万。“在薪酬方面IT大厂并不会占多少便宜，AI大模型的研发都是高举高打，创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳对虎嗅表示，人才大战在AI行业里将会越来越激烈。

“薪酬double，在智源的很多员工看来根本就没有竞争力。因为现在都是拿着五倍甚至十倍工资来挖人。即使你再有理想，对未来再有规划，也很难顶住过百万年薪的诱惑。”一位接近智源的人士告诉虎嗅，由于智源是一家非营利研究机构，薪酬水平很难与互联网大厂或者是背后有大量资本支持的创业公司相比。

虎嗅从猎头处了解到NLP（自然语言识别）研究专家的年薪目前起步都会超过100万。对于一些工作年限长，工资不高的员工来说，面对几倍的薪水很难不动摇。

不过，从目前智源的公开数据来看，智源研究院的各个核心项目团队带头人，多数还在全职负责智源研究院的研发项目。

“悟道3.0的模型全部是智源自己的研究人员开发的，包括天鹰、天秤，以及视界。”林咏华表示，智源研究院目前的研发实力在行业中一直是顶尖的。

关键词：