中国新增大模型已超美国，黄仁勋要来中国兑现英伟达万亿市值
马斯克前脚刚走，市场就传言黄仁勋也要来。也许是这位AI“军火商”，已经看到了今年中国“炼制”的10亿参数以上的大模型，数量已经超过了美国。
(资料图片仅供参考)
流传中的行程单，细节还很丰富。比如到访时间在6月，还会与腾讯、字节跳动、理想、比亚迪和小米的高管碰面。这些都与AI相关。而英伟达又是目前AI竞赛唯一的军火商。
失去了英伟达的GPU，大模型就会歇火。最近，OpenAI 收到最多的用户投诉，都是关于 API 的可靠性和速度，究其原因，就是GPU资源短缺；要扩展GPT-4的多模态能力，也需要更多的GPU资源。
英伟达本周触及了万亿美元市值。如果他顺利成行，就是今年第三位管理着或管理过万亿美元市值的美国科技巨头的一把手到访中国。与库克和马斯克相仿，黄仁勋也反对与脱钩断链。稍有不同的是，相比中国的产能，他更需要中国的市场。
黄仁勋判断，未来生成式人工智能将推动万亿美元的数据中心将从通用计算向加速计算转型。这点燃了市场热情。但这个庞大的市场，几乎一半属于中国，一半属于美国。目前，中国发布了79个大模型，仅次于美国，两国相加，占了全球80%。
在上周财报发布前，黄仁勋接受媒体采访时，再次表达了他的担忧。“如果失去了中国市场，我们并没有应变计划。中国只有一个。”目前，美国政府限制英伟达向中国提供A100与H100，只能提供带宽缩水的A800或H800。
即使如此，来自中国大陆的订单也占了英伟达最近一年销售额的1/5。像木头姐这样的AI信徒，也觉得英伟达如今的股价，已经跑在了技术曲线的前面。
英伟达本周又发布了适用于AI的超级芯片GH200Grace Hopper与超级计算机DGX GH200，无论是算力、带宽、还是能耗指标，提升惊人。也许黄仁勋应该来中国与客户们好好谈谈，如何在美国管制之下，更好地进入中国市场，满足中国“百模大战”的庞大算力需求。
黄仁勋已经开始担心，“如果中国不能从美国购买，他们就会自己制造。”与美国同行们纷纷自研芯片一样，中国科技巨头也在研发迭代自己的芯片。《华尔街日报》发现封锁磨练了中国企业的技术。中国巨头正在尝试组合多块性能稍低的芯片，或使用不同类型的芯片，来加速大模型的训练；而且，要比美国巨头更积极主动地结合使用多种软件技术，降低训练大模型的算力需求。
英伟达也有追赶者，其中的五家初创企业称为Big 5。它们是Graphcore、Habana、Cambricon（寒武纪）、Cerebras与Sambanova。但很少有AI研究在论文中提及使用它们的芯片。芯片在早期采用者中使用，是行业使用的领先指标。
提及相关算力硬件的AI论文的数量
来源：stateof ai compute index
Graphcore正在被欧洲与美国抛弃，因为难敌英伟达的竞争，也因为与它合作的微软开始自研芯片。红杉资本开始减记这笔投入。该公司首席执行官Nigel Toon一边警告英国政府，欧洲正在被美国科技殖民（techcolonization），一边将目光瞄向中国。Graphcore的中文名叫拟未科技。官网介绍显示，它“是百度飞桨一直以来的好朋友和重要伙伴”。
英伟达的万亿美元帝国，建立在科技巨头对AI的市场竞争之上，也建立在中国与美国对AI的地缘竞争之上。黄仁勋来了大陆，能找到一首最符合他心境的歌吗？
本周，还有这些发生在AI领域的事件值得关注：
一、风险、监管与伦理
美国内部对AI主战场在哪有分歧。部分美国官员认为在于风险与安全，部分认为在于地缘竞争。这使得美国在本周的美欧贸易和技术委员会（TTC）上，没有对欧盟的AI监管规则做出一致回应。适用这些监管规则的企业，基本上位于美国。美国对AI使用的监管有粗略的共识，但对技术本身，尤其是关键基础设施与法律责任认定分歧较大。
日本不会对AI训练数据实施版权保护。日本允许 AI 使用任何数据，“无论是出于非营利还是商业目的，无论是复制以外的行为，也无论是从非法网站或其他方式获得的内容。”这让杨立昆感慨，“日本已经成为机器学习的天堂。知识产权重要原则是最大化公共利益，而不是最大化内容所有者的权利。”
生成式AI编码工具将加剧技术债务。“技术债务”用来描述采用了短期内加速软件开发的方案，给后续迭代等带来的额外成本。它是长期以来困扰首席信息官的挑战之一。媒体引述部分IT高管与高校学者的话称，这些问题会因生成式AI而变得更为迫切，甚至造成混乱。
第二封公开信将AI风险视为核武器。人工智能安全中心(Center for AI Safety)的公开信总共22个单词，将人工智能与流行病、核武器的风险对标。深度学习最著名的三家初创公司DeepMind、OpenAI与Anthropic的创始人，“深度学习三巨头”中的辛顿与本吉奥在公开信中签字，但杨立昆认为现阶段的人工智能非常初级，再次选择不签名。
二、中美科技巨头
阿里“通义听悟”开放公测。这是阿里旗下第三款结合大模型能力的产品，也是目前第一款对外开放公测的产品。“通义千问”发布后，阿里先后发布了接入大模型的钉钉与天猫精灵，需要完成互联网新技术新业务安全评估后才能对外提供服务；通义听悟并不凭空生成内容，其主要功能是速记和总结对话内容，竞争对手是科大讯飞。
微软10亿美元购买CoreWeave的AI算力。微软已经与初创公司CoreWeave签署人工智能算力协议，用于云计算基础设施，价值可能高达数十亿美元。CoreWeave曾是以太坊挖矿企业，后转型出售比传统云厂商更便宜的算力，本周刚获得2亿美元融资。
三、大模型和行业应用
全球最大广告公司WPP推出AI营销工具。该公司与英伟达合作，开发了一个基于生成式AI的多模态的内容引擎，可为客户大批量制作适应不同的市场或国家的广告内容，为不同数字频道以及特定用户群体创建定制广告。此前，中国的蓝色光标也在工作流程中开始采用了AIGC工具。
小冰公司首批网红“GPT 克隆人”推出。两周前，小冰公司宣布在中国与日本启动“克隆人计划”，采集三分钟个人数据，生产与本人对话特征、声音、外貌及身高接近的数字人，限制在300人。本周，首批网红克隆人面世。在专有社交平台上，网红可以将认证的克隆人有偿或无偿提供给自己的粉丝。
哈佛大学的一门计算机课程转向AI。CS50是一门计算机课程，有数百名校园学生和超过40万名在线学生参加。如今，它计划使用AI来评分作业，教授编码和个性化学习技巧。目前，团队正在调试虚拟助教，让它通过频繁互动来帮助学生学习，而不是简单地发现或修复编码错误。对在线教育而言，AI是挑战也是机遇。Duolingo在今年3月推出了ChatGPT支持的更昂贵的订阅选项；而Chegg的股票自今年年初以来下跌了约三分之二，因为人们转向OpenAI，平台用户增长放缓。
ChatGPT时代，教育科技企业股价变化
来源:FT，Refinitiv
此外，投资咨询行业也面临冲击。四大会计师毕马威（KPMG）、对冲基金Coatue和风险投资公司Headline与Moonfire都在使用最新的人工智能工具为客户提供建议，或帮助指导他们的交易。
AI制药领域，晶泰科技与礼来签署了AI小分子新药发现合作，里程碑总收益2.5亿美元，预付款数百万美元。
智子引擎进军多模态大模型落地机器人场景。基于今年3月发布的“图生文”模型“元乘象 ChatImg1.0”，智子引擎推出了支持语音、文本、图像交互的多模态的ChatImg2.0。本周，智子引擎与软通智慧合作发布了城市多模态大模型和城市治理云GPT-Creator2.0；宣布正与北京理工大学合作，尝试“ChatImg2.0+实体机器人”。
Naver计划为外国政府提供本地化大模型。Naver将出口人工智能大模型比作在海外建造并运营核电站。一些国家由于安全问题，不愿使用美国的云和AI。Naver处于韩国人工智能生态系统的最前沿，热衷于为阿拉伯国家以及西班牙、墨西哥等非英语国家开发本地化的人工智能应用程序。此前它还与三星合作自研芯片。
四、资金流向
百度设立10亿人民币文心投资基金。百度还将举办文心杯创业大赛，最高奖项1000万元早期投资。李彦宏称，未来中国会有自己的生态系统，至少一个，也可能是两三个基础大模型，支持开发原生AI应用。
Runway融资1亿美元，谷歌以云入股。Runway上月以 15 亿美元估值融资1 亿美元，谷歌是此轮的投资者。与微软投资OpenAI类似，谷歌的投资也以云服务信用额的形式兑现。用户使用AI视频编辑器RunwayML，可以在几分钟内编辑好手机录制的视频。
光芯片初创公司Lightmatter获1.54亿美元C轮融资。生成式AI在各行各业的扩散，使得执行推理的能源指数级增长，结果是热负荷过高，每瓦性能停滞不前。谷歌风投青睐这家公司研发的低功耗芯片Envise，成为本轮的投资者之一。
本周生成式AI领域的融资还有
来源：Pitchbook
五、基础设施
英伟达发布新AI硬件，市值突破万亿美元。英伟达GH200 Grace Hopper超级芯片已全面投产，总带宽7倍于传统加速系统，互连功耗降低到原来的1/5；大内存AI超级计算机DGXGH200，采用新互连方式，让256个GH200 GraceHopper超级芯片能像单个巨型GPU一样协同运行。英伟达还推出了旨在提高AI云的性能和效率的网络平台NVIDIA Spectrum-X、面向游戏的定制AI模型代工服务ACE for Games等。
联发科车规级芯片中将加入英伟达GPU。联发科将开发集成英伟达GPU芯粒（chiplet）的汽车SoC，搭载NVIDIA AI和图形计算IP。这款主要用于智能座舱的芯片与基于英伟达技术的自动驾驶系统兼容。高通目前在智能座舱领域居于垄断地位。
吉姆·凯勒联合LG打造AI及RISC-V芯片。这位芯片大神担任CEO的加拿大AI芯片公司Tenstorrent ，宣布与LG电子合作，为智能电视、汽车产品和数据中心开发AI芯片。双方的合作还包括Tenstorrent研发的开源架构的RISC-V芯片技术。凯勒为AMD与Intel服务多年，为苹果研发了A系列芯片，曾任特斯拉自动驾驶硬件项目副总裁。
六、开源生态
OpenAI正在考虑开源GPT-3。在一次闭门会议上，OpenAI创始人奥特曼重申了他对开源重要性的信念。之所以还没有开源GPT-3，是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。
中文医疗大模型华佗GPT开源。该模型由香港中文大学与深圳市大数据研究院训练，能使语言模型具备像医生一样的诊断能力和提供有用信息的能力。它还开源了医疗问答数据集，只用于科研目的。哈工大此前也开源了名为Huatuo的中医医疗GPT，现已更名为本草（BenTsao）。
七、论文
Meta模型架构Megabyte比Transformer快四成。Transformer在处理长字节序列时算力损耗严重。Meta新架构“兆字节”（Megabyte），在相同的计算预算下，能训练更大、性能更好的模型，扩展到非常长的序列，并提高生成速度。（MEGABYTE: Predicting Million-byte Sequences with MultiscaleTransformers）
谷歌让大模型变成工具制造者。谷歌Deepmind通过引入框架"LLMs As Tool Makers"(LATM)，使大模型能够创建和使用自己的工具来解决各种任务。通过分工，将工具制作任务分配给功能强大但资源密集的模型，执行一次，反复使用；将工具使用任务分配给轻量且经济高效的模型，降低处理任务的平均计算成本。（Large Language Models as Tool Makers）
过程监督新突破，在数学推理中减少幻觉。降低幻觉的出现频率，是构建符合人类期望的AGI的关键步骤。OpenAI训练了一个模型，通过对每一个正确的推理步骤（过程监督）给予奖励，而不仅仅是奖励最后的正确答案（结果监督）。与结果监督相比，过程监督不仅提高了模型的性能，而且也带来了重要的对齐优势。（Let"s Verify Step by Step）
生物医学通用生成预训练模型BiomedGPT。由于现有标记生物医学数据集的数量和模态有限，以前研究主要集中在特定任务或特定模态，为数万种疾病单独开发不同模型不切实际且不经济。BiomedGPT可以在跨越视觉、语言和多模态领域的各种任务中实现有竞争力的表现，第二版已经在开发当中。（BiomedGPT: A Unified and Generalist Biomedical GenerativePre-trained Transformer for Vision, Language, and Multimodal Tasks ）
GPT-4 是更好的数据分析师吗？阿里达摩院研究发现，GPT-4在完成特定任务时，可以实现与人类相当的水平。而且，完成任务所需的GPT-4 的成本，相当于高级数据分析师的0.45%，初级数据分析师的0.71%。（Is GPT-4 a Good Data Analyst? ）
八、大模型竞赛
深圳公布AI发展行动方案。《深圳市加快推动人工智能高质量发展高水平应用行动方案（2023—2024年）》发布，提出发挥政府投资引导基金作用，形成规模1000亿元的人工智能基金群，强化智能算力集群、数据和人才要素的供给。方案还列出了第一批“城市＋AI”应用场景清单，指定了责任单位。
中国已推出79个大语言模型，今年推出数量已超美国。新发布的《中国人工智能大模型地图研究报告》统计，过去5年，中国10亿以上参数规模的大模型已经发布了79个，涉及14个省市，北京和广东最多。美国已经发布了100个大模型。中国和美国遥遥领先，占全球总量的80%以上。
全球大模型数量
来源：中国人工智能大模型地图研究报告
关键词：
