如何缩短大模型发展差距?人工智能专家提到这个突破关键
2023-07-28 10:20:03 来源:第一财经 小 中
孙茂松表示,ChatGPT出现之前,我国人工智能发展水平和国际先进水平相差半个肩位,现在这个距离从半个肩位到了100米,这半年经过追赶后缩短了“30米”,但仍然还有差距。
以深度学习为代表的新一代人工智能和以大模型为代表的通用人工智能不断取得技术突破,将成为智能产业的根技术和智能经济的基础设施。相较国际上的大模型发展,我国大模型发展水平处于什么阶段?
在清华大学人工智能研究院常务副院长孙茂松教授看来,ChatGPT出现之前,我国人工智能发展水平和国际先进水平相差半个肩位,现在这个距离从半个肩位到了100米,这半年经过追赶后缩短了“30米”,但仍然还有差距。
(资料图)
在他看来,我国乃至全球发展大模型最终的突破关键,是基础科学的突破。
孙茂松日前在浦江基础科学发展论坛上接受第一财经采访时说,对于大模型,当前的问题在于并不清楚OpenAI的机理是如何运作的,就连推出ChatGPT的OpenAI公司首席执行官萨姆·奥特曼也表示,虽然做出了GPT但也不清楚发生的原理,“实际上就是对这个机理还不清楚。”
他认为,现有的人工智能模型已经能做到说话通顺,但这个问题的内在仍然十分复杂。如果弄清楚了大模型里的规律、ChatGPT背后的机理,就有可能克服现有人工智能大模型的局限性,建立下一代人工智能的理论和模型。
“百模大战”不是贬义
今年以来,生成式人工智能的发展成为地方政府和科技大厂瞄准的关键词。科技部人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,当前国内10亿参数规模以上的大模型已发布79个。
不过,与热度不减的市场呼声相比,我国国产大模型并未有惊艳的使用体验。
提到我国如今出现的“百模大战”情况,孙茂松强调这并不是一个贬义词,而是我国人工智能的实力象征。
早在2010年国内就已跟进大模型研究,在学术界和工业界一直都很“热”,只不过这次ChatGPT点了几把“火”。孙茂松说:“之前我们和国际先进水平相差半个肩位,ChatGPT的出现一下甩出‘100米’,经过这半年的追赶缩短了‘30米’,但还没有质的变化。目前ChatGPT用于专业领域还不行,建议‘百模’在提升基础模型能力基础上,深耕行业的垂直应用。”
业界有个说法,人工智能主要是中美之间的PK。根据前不久中国科学技术信息研究所发布的《2022全球人工智能创新指数报告》,中美两国引领、呈梯次分布的全球人工智能发展总格局保持不变。美国人工智能创新指数已连续四年位居全球第一。中国人工智能发展成效显著,人工智能创新指数近三年一直保持全球第二的水平,在人才、教育、专利产出等方面均有所进步,但基础资源建设水平仍有待提高。
相比2021年,中国有10个三级指标2022年名次有所上升,主要集中在人才、教育、专利产出、创新制度等方面。优势指标数量也不断增长,从2021年的15个增加到2022年的18个。但整体发展水平与美国还存在一定差距。此外,相较于自身快速增长的创新产出而言,其创新投入规模和质量还有很大提升空间。
基础科学是缩小差距的关键
谈及如何进一步追赶国际先进水平,孙茂松认为还是要回到基础科学上来。“如果能够研究透彻大模型的机理,就可能棋高一着。”
他认为,现有的人工智能模型已经能做到说话通顺,但这个问题的内在仍然十分复杂。
“深度神经网络背后的元素都是数学,但它又跟纯数学有不一样的地方,它的信息量非常大,以前数学从来没有想到能放这么多东西进来,现在大模型背后涉及的大数据是万亿级的。数学家以前也从来没解过这么大的一个方程组。”孙茂松说。
除了基础科学,他还提到了人才的重要性。
“人工智能最前沿之争就是人才的竞争,顶尖高手决定了人工智能的高度,广泛的应用决定了人工智能的广度。”孙茂松认为,人工智能的发展需要一流的人才,这些人才除了具备顶尖的能力,还要有远大的科学理想、敏锐的洞察力和对技术的激情。
另外,对于大模型出现一本正经讲废话的情况,业界也开始讨论语料投喂的范围。
在孙茂松看来,由于现在大模型的语料利用还处于粗放阶段,仅仅是从网络上抓取语料,并未涉及超链接、图片处理以及文本结构的识别等。因此,现阶段运用大模型写长文小说肯定是不行的,但写一些短文还不错。“它没有办法保持逻辑流畅,因为大模型就是对下一个词的预测,预测得再好,它对语料的利用还是有明显的不足。”
孙茂松认为,虽然要对语料质量保持关注,删除糟糕的语料以及计算机生成的语料,但语料的选取也有两面性。“水至清则无鱼,越纯越好的语料可能导致多样性损失,需要找到一个平衡。比如我喂的语料都是‘高大上的’,大模型就看不懂现在这些带有表情符的语料。归根结底要根据使用者所需要的模型来训练。”作者:金叶子
(实习生张玙萱对本文亦有帮助)
关键词:
相关文章
- 如何缩短大模型发展差距?人工智能专家提到这个突破关键
- 恒大汽车复牌首日大跌近70%!两年亏掉840亿 交付320辆车
- 住建部:进一步落实好个人住房贷款“认房不用认贷”等政策措施
- 甘肃唯一!兰州大学入选“国优计划”首批试点院校
- 应急避护场所怎么建、怎么管?广州印发应急避护场所管理办法
- 孩子自学半个月编程,21点写成这样,有必要学下去么?有请码农们掌眼
- 今年上半年国内旅游总人次同比增长超六成
- 海南国际离岛免税购物节推出系列主题促销活动
- 致远互联再签约燕京啤酒
- 内盘商品期货开盘
- 美国东部地区热浪持续,纽约发布超高温预警
- 中国巨石:现在新增产线不会造成行业产能过剩
- 汽车产业链开盘调整
- 新型城镇概念开盘拉升 龙泉股份、美丽生态涨停
- 传媒板块开盘走低
- 家居用品板块开盘走高 森鹰窗业触及涨停
- 寒武纪折戟智能驾驶芯片:保留部分员工“善后”,新项目已暂停
- 被狠狠伤害
- 北京控股~一年难得一次的机会
- 全球招总裁!中药巨头广药集团拟大举进军牙膏市场
- 同兴环保:公司低温SCR脱硝催化剂生产线设备生产能力已达预期效果
- 市场早报:恒大汽车今起复牌!两年累亏840亿,停牌482天…
- 首届人工智能晚会临近 大模型加速AI应用落地 AI应用方向核心标的或可关注
- 国家能源局:加快建设农村分布式能源和充电基础设施
- 不只是快乐:“村超”给中国西南小城带来了什么?
- 有人说初级会计考试简单 有人说难?难度到底咋样?
- 字组字生成器(关于字组字生成器简述)
- 武汉市地震监测中心遭境外网络攻击,幕后黑手是谁?专家解析
- 美国再吃瘪!巴西大豆赢得头筹,美国正被挤出中国市场
- 书写新的青春故事(大运聚焦)