驴吊刘佳·MOSS系统负责人邱锡鹏表示,最新的MOSS已经能够在中文能力上超过ChatGPT,可以通过使用工具来为用户提供帮助,并在预防“有害道德”方面做了很多优化。
·邱锡鹏认为,通用大模型除了算力需求大以外,目前依然在可信性、安全性、逻辑性等方面存在许多挑战,里面有非常多的科学问题并没有被解决,这些都需要高校研究团队进行重大科研攻关。
复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏7月7日在2023世界人工智能大会发表演讲。
7月7日,在2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”论坛上,复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏表示,国内首个对话式大型语言模型MOSS在今年2月发布后,还在连续不停地迭代,“最新的MOSS已经能够在中文能力上超过ChatGPT。”
邱锡鹏在演讲中表示,目前MOSS可以通过使用工具来为用户提供帮助。例如MOSS本身不会绘画,但它可以调用文字生成图片的插件来达到效果。而对于算数运算,MOSS也可以调用计算器和解方程器来完成复杂的数学解题。如果向MOSS询问原有知识库里没有的实时信息,MOSS可以调用搜索引擎,根据反馈的结果进一步回答,例如每天抓取新闻,为用户汇总新闻链接与内容。
邱锡鹏透露,MOSS发布后,团队把一部分精力放在如何打通使用工具的能力,并在4月推出了开源插件版的模型MOSS-Plugin。“作为模型和外界交互的一种非常重要的方式,插件能力在未来是非常重要的。”他说。
值得一提的是,MOSS在预防“有害道德”方面也做了很多优化。“对于违背道德的问题,MOSS会避免回答,我们通过优化让MOSS具有非常强的道德感。”邱锡鹏同时表示,MOSS还可以进行角色扮演,实现个性化上的优化。
此外,邱锡鹏表示,现在所谓的大型语言模型成本高,主要是集中在第一阶段,即预训练(Pretraining)。“我们的大模型不是大公司才能玩得起,以后高校、普通爱好者和学生都可以玩大模型。” 邱锡鹏指出,后面阶段的成本相对来说并不是特别高,例如预训练后的监督微调、迭代优化、推理部署、模型评测等阶段。但这些阶段才是真正的挑战,“前面的预训练阶段并不适合所有人来研究,但是后面有非常多的科学问题需要我们进一步研究。”
大模型仅仅只是工程问题,高校和学术团体做大模型没有意义?邱锡鹏并不这么认为。公司投入金钱与工程师来推进工程的确重要,但大模型如果仅仅靠公司是没办法真正做好的。“大模型里有非常多的科学问题需要广大研究者参与。如果离开了学术团队,大模型可能会缺少非常多的理论和技术支撑。”
邱锡鹏进一步指出,“通用大模型除了算力需求大以外,目前依然在可信性、安全性、逻辑性等方面存在许多挑战,这里面有非常多的科学问题并没有被解决,比如智能如何涌现、复杂推理如何实现、高效架构、学习策略,以及如何做更好的知识融合,这些都需要高校研究团队进行重大科研攻关。”
复旦团队将围绕MOSS持续开展大模型其他方面的研究,包括能力强化、知识对齐、模态融合和开源开放,进一步迈向通用人工智能。
邱锡鹏在论坛中还介绍了正在建设中的开源语言模型平台OpenLMLab,该平台的下层将对接国产通用框架和预训练模型库,而上层会面向大模型生态方面的应用。
据介绍,OpenLMLab集对话模型、模型微调、模型对比和模型评测等领域于一体。MOSS是该开源平台的对话模型,而COLLiE是模型微调的工具库,将来会进行强化学习迭代。此外,该平台支持AI生成文本检测软件Sniffer和快速对比多个对话大模型效果的工具ChatZoo。
邱锡鹏在演讲结尾还介绍了一款名为Gaokao的工具,基于高考题目进行模型评测。“我们认为,现在有许多大模型的榜单都不太全面或权威,然而人类的考试是非常全面和权威的,例如高考。基于它,我们可以评测各种大模型的能力。高考的题目还有另一个好处,由于每年高考题目都会更新,基本上大模型不太会存在刷题的嫌疑,因此每年都可以有新题目来比较不同的大模型。”
|