如何缩短大模型发展差距?人工智能专家提到这个突破关键

2023-07-28 10:20:03 来源:第一财经

孙茂松表示,ChatGPT出现之前,我国人工智能发展水平和国际先进水平相差半个肩位,现在这个距离从半个肩位到了100米,这半年经过追赶后缩短了“30米”,但仍然还有差距。

以深度学习为代表的新一代人工智能和以大模型为代表的通用人工智能不断取得技术突破,将成为智能产业的根技术和智能经济的基础设施。相较国际上的大模型发展,我国大模型发展水平处于什么阶段?

在清华大学人工智能研究院常务副院长孙茂松教授看来,ChatGPT出现之前,我国人工智能发展水平和国际先进水平相差半个肩位,现在这个距离从半个肩位到了100米,这半年经过追赶后缩短了“30米”,但仍然还有差距。


(资料图)

在他看来,我国乃至全球发展大模型最终的突破关键,是基础科学的突破。

孙茂松日前在浦江基础科学发展论坛上接受第一财经采访时说,对于大模型,当前的问题在于并不清楚OpenAI的机理是如何运作的,就连推出ChatGPT的OpenAI公司首席执行官萨姆·奥特曼也表示,虽然做出了GPT但也不清楚发生的原理,“实际上就是对这个机理还不清楚。”

他认为,现有的人工智能模型已经能做到说话通顺,但这个问题的内在仍然十分复杂。如果弄清楚了大模型里的规律、ChatGPT背后的机理,就有可能克服现有人工智能大模型的局限性,建立下一代人工智能的理论和模型。

“百模大战”不是贬义

今年以来,生成式人工智能的发展成为地方政府和科技大厂瞄准的关键词。科技部人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,当前国内10亿参数规模以上的大模型已发布79个。

不过,与热度不减的市场呼声相比,我国国产大模型并未有惊艳的使用体验。

提到我国如今出现的“百模大战”情况,孙茂松强调这并不是一个贬义词,而是我国人工智能的实力象征。

早在2010年国内就已跟进大模型研究,在学术界和工业界一直都很“热”,只不过这次ChatGPT点了几把“火”。孙茂松说:“之前我们和国际先进水平相差半个肩位,ChatGPT的出现一下甩出‘100米’,经过这半年的追赶缩短了‘30米’,但还没有质的变化。目前ChatGPT用于专业领域还不行,建议‘百模’在提升基础模型能力基础上,深耕行业的垂直应用。”

业界有个说法,人工智能主要是中美之间的PK。根据前不久中国科学技术信息研究所发布的《2022全球人工智能创新指数报告》,中美两国引领、呈梯次分布的全球人工智能发展总格局保持不变。美国人工智能创新指数已连续四年位居全球第一。中国人工智能发展成效显著,人工智能创新指数近三年一直保持全球第二的水平,在人才、教育、专利产出等方面均有所进步,但基础资源建设水平仍有待提高。

相比2021年,中国有10个三级指标2022年名次有所上升,主要集中在人才、教育、专利产出、创新制度等方面。优势指标数量也不断增长,从2021年的15个增加到2022年的18个。但整体发展水平与美国还存在一定差距。此外,相较于自身快速增长的创新产出而言,其创新投入规模和质量还有很大提升空间。

基础科学是缩小差距的关键

谈及如何进一步追赶国际先进水平,孙茂松认为还是要回到基础科学上来。“如果能够研究透彻大模型的机理,就可能棋高一着。”

他认为,现有的人工智能模型已经能做到说话通顺,但这个问题的内在仍然十分复杂。

“深度神经网络背后的元素都是数学,但它又跟纯数学有不一样的地方,它的信息量非常大,以前数学从来没有想到能放这么多东西进来,现在大模型背后涉及的大数据是万亿级的。数学家以前也从来没解过这么大的一个方程组。”孙茂松说。

除了基础科学,他还提到了人才的重要性。

“人工智能最前沿之争就是人才的竞争,顶尖高手决定了人工智能的高度,广泛的应用决定了人工智能的广度。”孙茂松认为,人工智能的发展需要一流的人才,这些人才除了具备顶尖的能力,还要有远大的科学理想、敏锐的洞察力和对技术的激情。

另外,对于大模型出现一本正经讲废话的情况,业界也开始讨论语料投喂的范围。

在孙茂松看来,由于现在大模型的语料利用还处于粗放阶段,仅仅是从网络上抓取语料,并未涉及超链接、图片处理以及文本结构的识别等。因此,现阶段运用大模型写长文小说肯定是不行的,但写一些短文还不错。“它没有办法保持逻辑流畅,因为大模型就是对下一个词的预测,预测得再好,它对语料的利用还是有明显的不足。”

孙茂松认为,虽然要对语料质量保持关注,删除糟糕的语料以及计算机生成的语料,但语料的选取也有两面性。“水至清则无鱼,越纯越好的语料可能导致多样性损失,需要找到一个平衡。比如我喂的语料都是‘高大上的’,大模型就看不懂现在这些带有表情符的语料。归根结底要根据使用者所需要的模型来训练。”作者:金叶子

(实习生张玙萱对本文亦有帮助)

关键词:

相关文章

热文推荐

如何缩短大模型发展差距?人工智能专家提到这个突破关键
如何缩短大模型发展差距?人工智能专家提到这个突破关键

孙茂松表示,ChatGPT出现之前,我国人工智能发展水平......更多>

恒大汽车复牌首日大跌近70%!两年亏掉840亿 交付320辆车
恒大汽车复牌首日大跌近70%!两年亏掉840亿 交付320辆车

快科技7月28日消息,今天恒大汽车港股正式复盘,结果......更多>

住建部:进一步落实好个人住房贷款“认房不用认贷”等政策措施
住建部:进一步落实好个人住房贷款“认房不用认贷”等政策措施

据中国建设报消息,近日住房城乡建设部倪虹部长召开企......更多>

甘肃唯一!兰州大学入选“国优计划”首批试点院校
甘肃唯一!兰州大学入选“国优计划”首批试点院校

每日甘肃网7月28日讯(奔流新闻·兰州晨报记者武永明)......更多>

排行推荐

应急避护场所怎么建、怎么管?广州印发应急避护场所管理办法
应急避护场所怎么建、怎么管?广州印发应急避护场所管理办法
地震、台风、暴雨、洪涝……灾害来临时,应急庇护场所... 更多>
孩子自学半个月编程,21点写成这样,有必要学下去么?有请码农们掌眼
孩子自学半个月编程,21点写成这样,有必要学下去么?有请码农们掌眼
中学生不为啥,跟我一样,学来玩玩,不指望有啥用。没... 更多>
今年上半年国内旅游总人次同比增长超六成
今年上半年国内旅游总人次同比增长超六成
文旅消费强劲复苏(走进市场看信心)暑期旺季,行走国... 更多>
海南国际离岛免税购物节推出系列主题促销活动
海南国际离岛免税购物节推出系列主题促销活动
海南日报海口7月27日讯(记者罗霞)挑选首发首秀新品... 更多>
“杜苏芮”将在福建南部沿海登陆 浙江福建江西等地有强降雨
据中央气象台网站消息,预计“杜苏芮”将于28日上午在... 更多>
安徽A股上市公司达172家
7月27日,伴随安徽舜禹水务股份有限公司在深交所创业... 更多>
多部门多地全力应对台风“杜苏芮”
人民网北京7月27日电今年第5号台风“杜苏芮”持续逼近... 更多>
光大证券:2023下半年光刻机全球供需仍然紧张
光大证券研报表示,尽管短期半导体行业周期趋势存在不... 更多>
华泰证券:欧央行9月再次加息25个基点的可能性超50%
华泰证券研报表示,北京时间7月27日晚上,欧央行加息2... 更多>
杜苏芮或成近年登陆福建的最强台风
台风“杜苏芮”正步步逼近。昨天16时,国家海洋预报台... 更多>
华泰证券:轻工板块仓位略有回落 关注政策落地
华泰证券研报表示,公募基金二季度持仓结果出炉,23Q2... 更多>
日经225指数低开1.4% 东证指数低开1% 韩国首尔综指低开0.4%
日经225指数低开1 4%,报32444 42点;东证指数低开1... 更多>
国泰君安:建议增持隐含过度悲观预期且更受益于活跃资本市场政策红利的券商板块
国泰君安研报表示,1)当前券商板块隐含过度悲观预期。... 更多>
中信建投:白酒呈现三低特征 板块有望迎中期拐点
中信建投研报表示,珍惜白酒板块低预期下的布局机会,... 更多>

早间公告:开山股份印尼PT Sokoria

《片仔癀》

第一次分歧(7月27日)

今日关注(0728)

日经225指数开盘跌1.36%

美外卖平台DoorDash开发AI聊天机器

“一蓝一黄”预警高挂 上海启动防

中信证券:建议关注智能驾驶行业核

7月将成有记录以来最热月份!联合国

“两粕”攀升至阶段新高,近期却微