何宝宏:围绕开源大模型的挑战很多 其中重要一条是大模型开始反向影响对开源的经典定义

来源:证券日报   时间:2023-08-11 17:55:36

尊敬的邬贺铨和王国法院士,很高兴跟大家交流一下大模型最新发展。我本人读研究生的时候就是学人工智能,后来因为不太好找工作,我就转型去做互联网研究了,没有想到几十年之后,又回来去做回人工智能,但是今天的人工智能看起来是神经网络。

我们也可以看到过去几十年的时间,人工智能在多个领域取得了突破性的进展,虽然它依然会犯错,但是错误率已经低于人类的平均水平,也就是说比大多数人在这些方面的水平要高了。


(相关资料图)

从技术角度来说,人工智能已经发展了60多年了,60多年来技术路线是千奇百怪,今天似乎在大模型,预训练的大模型,意味着一个新的产业正在形成当中。

这几年从通信基础设施,搞算力的基础设施开始,接下来未来几年我们要搞智力的基础设施,所以我们说智商原来是不在线的,现在看起来智商是要在线的,把智商放到网上去了,这个方向看起来已经确立了。

第三个是TOB还是TOC,通用还是专业的问题,以前讨论很多是对标ChatGPT通用场景的大模型,更多的是要解决基础模型方面的工作,这是一个非常重要的事情。主要是大型科技公司有这种财力和数据实力去做这一方面的事情,可以认为TOC是面向公众,下面很多的方向转向垂类的,一定要聚焦特定领域,面向企业TOB,主要是围绕产品和解决方案来做。如何做垂类的模型,国内外不一样,在硅谷针对特定场景的微调做实验,因为通用大模型还没有出来,不可能围绕它做生态,很多企业是全站式的,自上而下在做垂类的模型。这个生态在国内还需要一些时间,可能要求的门槛稍微低一点,这一类可以理解成私有的,或者专用的,其实就把云计算十年前的一些做法和一些口号,还有一些套路,往人工智能和大模型一靠,就差不多了。可以很明显,基础大模型和通用大模型的优点和不足,行业垂类大模型也有各自的优势和缺点,下一步很可能是走向融合,走向混合。

我们要做垂类行业大模型,为了数据的安全,这些数据不能拿出来,很多数据是非常敏感的,肯定大模型要做私有化的部署。过几年的时间,我个人的判断,就像今天的云肯定是一个混合云和混合AI的模式。

还有讨论今年的闭源大模型和开源大模型,ChatGPT出来是必然的,这个必然是有各种各样的原因。所以接下来对这个行业来说,因为这个行业的特点是赢家通吃,剩下的企业只能抱团取暖,必须抱一个开源社区,大家一起把开源的事情做起来。我们可以认为开源大模型正在刚刚兴起,这个浪潮刚刚开始,谁能胜出还不知道。当年移动互联网里面,苹果手机出来之后,接下来是安卓生态的建设,这一幕会重演,围绕着开源社区的生态,开源大模型面临着很多的挑战,一个重要的是它反向影响对开源的定义。我们对开源的定义是在25年前出现的,当年定义做的开源规则,针对的是软件,针对的是代码,今天人工智能这个开源针对的是模型,针对的是权重,里面很多数据集,大模型的开源和软件的开源,和代码的开源确实不太一样,所以我们需要在人工智能这个时代重新定义开源,今天面对模型,加了很多的数据,至少我看有三个方面的区别,加了很多科技伦理,所以这一块有AIGC产生一些新的内容,它是一个自循环了,会出现无数的问题。

整体来看,国外做了很多的榜单,但是从学术到产业还需要做更多的工作,学术界和产业界关注不一样,产业界主要关注性能,还有可靠性,稳定性,场景适应性怎么样,维护性怎么样,或者你的工程能力怎么样,要用工程化和标准化去做这个工作,所以不能单单以学术界的榜单来判断大模型做的好还是不好。

目前面临着很多一些新的风险和挑战,有技术、心理和社会方面的风险,模型里面有大量的参数是垃圾,到ChatGPT4到了上万亿,大模型大量的参数是垃圾,问题是你不知道谁是垃圾,你知道公司有人在摸鱼,可是你不知道谁在摸鱼,肯定很多参数在摸鱼,你需要做优化,完全是可以做优化。几年前我们讨论的深度学习的时候,做出的决定是一个黑箱,不能做出解决。深度学习到今天,大模型更不可解释的,因为出现了涌现的现象,突然开窍了,突然开悟了,为什么会开悟了,没法解释。但是用于现实和社会,它必须是可解释的,只有可解释以后,才能跟我们的法律、道德伦理和社会的游戏规则匹配起来,还有算力资源的部署有关系,还有人工智能出现了谜之自信的问题,AI的幻觉,对某些知识非常自信,跟人一样有时候也是谜之自信。

在文字方面,人也犯错,所以不要那么苛求,继续努力。在图片方面也相对比较成熟了,美术方面很不错,还有人声合成,对生成音乐和声音相对比较成熟了,模仿一个人的声音时间并不长,现在很多UP主就是用数字化+人工智能训练出来,还有一些视频的,还有编程已经达到了初级程序员的水平,编程就是文字对文字的翻译。还有在科学领域,科学院用的仪器和仪表,也需要人工智能来辅助,还有生物学和材料学等广泛的使用。

还有编程,今天的编程是在训练程序,不是在编写程序。算法要完整,数据只要有结构,算法,框架+数据,对算法细节的重要性没有那么重要了,不仅数据要有结构,还要整个输出。所以从编程序变成了训练程序。

前几年的移动优先和云优先,我们要优先考虑人工智能对我们的影响。我就讲这些。谢谢!

(文章来源:证券日报)

关键词:

文章推荐

  • 何宝宏:围绕开源大模型的挑战很多 其中重要一条是大模型开始反向影响对开源的经典定义

    尊敬的邬贺铨和王国法院士,很高兴跟大家交流一下大模型最新发展。我本

    证券日报 2023-08-11
  • 内乱将起,张良一计平息将军们埋怨

    汉高祖刘邦开创西汉王国,于公元前202年称帝。谋士张良屡次向刘邦献策

    星岛环球网 2023-08-11
  • 跟着总书记用好调查研究这个“传家宝”

    来源:人民网02:24“要大兴调查研究之风,深入了解群众需求,切实解决

    海外网 2023-08-11
  • 济南 | 月牙泉“上线”!济南72名泉全部喷涌,进入最佳观赏期

    近日,济南市著名景点——月牙泉复涌,引起广大市民和游客热议。由于近

    文旅中国 2023-08-11
  • 紫光集团确认正在商谈法国芯片商Linxens出售事宜

    《科创板日报》8月11日讯(记者陈美)今日,有消息称,紫光集团正考虑

    财联社 2023-08-11
  • X 关闭

  • 众测
  • more+

    京张高铁每日开行17对冬奥列车

      京张高铁每日开行17对冬奥列车  预计冬奥服务保障期运送运动员、技术官员、持票观众等20万人次  2月6日,2022北京新闻中心举行“北

    北京冬奥会开幕式上 小学生朱德恩深情演绎《我和我的祖国》

      北京冬奥会开幕式上 小学生朱德恩深情演绎《我和我的祖国》  9岁小号手苦练悬臂吹响颂歌  2月4日晚,在北京冬奥会开幕式上,9岁的

    2022北京冬奥会开幕式这19首乐曲串烧不简单

      多名指挥家列曲目单 再由作曲家重新编曲 本报专访冬奥开幕式音乐总监赵麟  开幕式这19首乐曲串烧不简单  “二十四节气”倒计时、

    “一墩难求” 冰墩墩引爆购买潮

    设计师:没想到冰墩墩成爆款一墩难求冰墩墩引爆购买潮 北京冬奥组委:会源源不断供货北京冬奥会吉祥物冰墩墩近日引爆购买潮,导致一墩难求