优化ai大模型攻关创新环境 助力上海“模都”建设
致公党党员,上海第二工业大学经济与管理学院投资系教师范涛;上海人工智能实验室主任助理、科学技术发展部部长、研究员乔宇反映,2023世界人工智能大会上,上海公布了推动人工智能大模型创新发展的若干措施,并发布“模都”倡议,成立上海人工智能开源生态产业集群,志在打造ai“模都”。大模型是当下人工智能产业的前沿方向,目前,国内已形成“百模大战”的态势,且北京大模型的数量领先于上海。大模型的同质化以及中小模型的发展难题和挑战已逐渐凸显,超大模型的突破、尖端人才的培养、高性能算力的统筹以及算法的原创性突破都是亟待解决的问题。上海要打造人工智能科创高地,在大模型这一前沿领域抓住先机,亟需在数据、算法、算力等方面形成上海首创国内通用的技术框架、标准范式和硬技术底座。
当前,上海已落地多项政策措施支持大模型创新研发,算力基础设施位居全国前列,众多内外资gpu公司分布在上海,为大模型提供潜在优质“技术底座”,同时还重点布局了一批ai大模型相关应用场景。但上海大模型创新也面临着一些瓶颈难题:
一是大模型相关顶尖创新技术人才稀缺。在程序技术和技术逻辑上进行突破的技术“开发师”和测试“调优师”等高端算法技术人才稀少,目前“大厂”往往用应用开发的人才来凑数。兼备技术研究与多场景落地设计的“架构师”人才缺失,包括将大模型的前沿技术与场景设计相链接的创新技术人才、将累积的技术多模态融合到更复杂应用场景的高端技术逻辑人才等,这些人才往往是“大厂”差异化竞争策略的关键。此外,芯片设计、开源设计架构、各类设备关键零部件等芯片生产链条上的尖端基础研发人才欠缺,一定程度上会掣肘大模型迭代速度。
二是围绕算力部署的“软硬件配套”尚未跟上。目前上海最新国产芯片不足以支撑大模型的研发和使用,上海的最新芯片属于云端gpu产品,虽然理论性能指标强,但云端芯片不能满足超大模型训练所需高精细颗粒度、算力速度及稳定性的要求。主流大模型使用的仍是英伟达a100、h100或a800、h800,而英伟达订单能见度已至2024年,芯片非常紧缺。围绕大模型的上海自产软件和服务架构生态尚未建立,国产芯片算力的释放受计算平台等适配软件的制约,由于前期芯片厂商并未朝大模型的技术路线演进,短期内开发出兼容cuda计算平台的技术难度较大,大模型厂商即使选择上海云端芯片,还要面临适配软件的开发时滞和成本,不确定风险大。
三是高质量原创性大模型的研发受制于数据与算法开发短板。上海大模型数据语料联盟亟待解决数据标注范式与数据共享机制问题。一方面,数据标注中存在人工经验介入的“训练式”标注问题,缺少标注工作的多场景标准和质检工具“通用平台”,难以满足企业级标注工作,影响上海语料数据联盟的实用性。另一方面,上海语料数据联盟下企业数据共享数据质量标准、数据安全性保障技术系统及规则、共享合作下的大模型框架设计等尚未明确。此外,今年7月,新的大型语言模型llama2开源,虽然会快速提升上海大模型的数量和品质,但也会让开发者失去自主研发大模型开发框架的动力,上海目前大模型数量落后于北京,由于国内大模型开发框架的缺位,二者都还没有实现国产大模型的原创性突破。
由此,建议:
一、加快制定并实施上海“大模型工程师培养计划”与“大模型人才挖掘计划”。筛选潜质型大学生到上海顶尖实验室实习,为实习人员提供快速获取最先进的纳米级测量和制造工具的机会,弥补大学教育中的学生技能缺项。制定高质量基础设施共享规则,为研究人员提供无缝融合“圈定”的独特数据资源、实验设施和先进计算能力,以加快服务各类研究突破的步伐。利用ai技术开展“上海大模型人才挖掘计划”,集合商汤、科大讯飞等企业开发用于发掘特殊ai大模型人才和技术拥有者的应用系统,精准匹配人才专业和工作岗位,为上海ai研究系统输送更多拔尖大模型人才。
二、打造上海大模型算力到算法的技术框架底座。引导大模型厂商上游投资芯片,聚焦高性能芯片的设计方法创新突破,将大模型产品的实现路径“反向追踪”到芯片产品和软件服务中。依托上海算力产业联盟,链接算力芯片适配软件和服务大模型设计开发,畅通从底层硬件设计适配到大模型开发的原创技术链条。扩大上海大模型语料数据联盟“辐射圈”,设定语料数据质量标准,搭建语料数据各技术链条的技术标准、质检标准及共享安全标准,尤其是数据标注质检工具“通用平台”,引导大模型中小企业围绕数据清洗与标注、安全与隐私服务等拓展业务技术与服务,促成“术业有专攻”的大模型语料数据发展模式。
三、加强大模型基础原创研究。现阶段大模型创新研发面临安全、可信、效率、多模态等重要技术挑战,美国openai、google等公司纷纷采用闭源策略加速竞争,抢占大模型技术领先位置。国内大模型创新产业生态发展更需要基础原创研究的支撑,实现核心技术自主可控。上海应充分发挥上海人工智能实验室、期智研究院、商汤科技、上海交通大学等科研机构密集的创新优势,深入挖掘技术内生动力,大力扶持高端科研平台,健全协同创新和开放共享机制,加快建设高水平大模型研发综合基础设施,进一步提升原始创新能力,以应对大模型国际激烈竞争,引领若干重大科技领域原创性突破。
(致公党市委、徐汇区政协等供稿)