当地时间11 月30 日,OpenAI 发布了全新的聊天机器人模型 ChatGPT,引发热议。OpenAI 使用 RLHF 技术对 ChatGPT 进行了训练,加入了更多人工监督微调。相比 GPT-3,ChatGPT 的主要提升点在于记忆能力,可实现连续对话,极大地提升了对话交互模式下的用户体验。ChatGPT 的多元全面的能力使其作为一个通用AI 助手参与交互,其在辅助编程领域表现卓越。目前ChatGPT 免费开放,海量用户反馈加速模型迭代。
OpenAI 发布对话式交互模型 ChatGPT,引发热议当地时间11 月30 日,OpenAI 发布了全新的聊天机器人模型 ChatGPT。
ChatGPT 是 OpenAI 训练的对话式大规模语言模型,是 InstructGPT 的兄弟模型,二者同属 GPT-3.5 系列的主力模型。ChatGPT 目前处于测试阶段,拥有OpenAI 账户的用户可以免费使用。模型采用对话格式,可以跟进回答问题、承认错误、挑战不正确的前提并拒绝不正当的请求,且支持中文。模型一经推出,就引起较高关注度和讨论度。作为 OpenAI 投资人,马斯克在社交媒体上展示了自己询问 ChatGPT 怎么设计 Twitter 得到的回复,拓展此事件影响力。
采用加入更多人工监督微调的新训练方式ChatGPT 新加入的训练方式被称为“从人类反馈中强化学习”(ReinforcementLearning from Human Feedback,RLHF)。这一训练方法增加了人类对模型输出结果的演示,并且对结果进行了排序。具体操作上,人工智能训练者扮演对话的双方,即用户和人工智能助手,提供对话样本。在人类扮演聊天机器人的时候,会让模型生成一些建议辅助训练师撰写回复,训练师会对回复选项打分排名,将更好的结果输回到模型中,通过以上奖励策略对模型进行微调并持续迭代。
在此基础上完成训练,ChatGPT 可以比 GPT-3 更好的理解和完成人类指令,展现卓越的模仿人类语言,提供连贯的、有风格与逻辑的、符合对话主题的文段信息的能力。
支持连续对话,可分辨错误前提并拒绝不道德请求相比 GPT-3,ChatGPT 的主要提升点在于记忆能力。ChatGPT 可以储存对话信息,延续上下文,从而实现连续对话,这在对话场景中至关重要,极大地提升了对话交互模式下的用户体验。
此外,ChatGPT 相比前辈模型具有以下特征:1)可以承认错误,若用户指出其错误,模型会听取意见并优化答案;2)ChatGPT 可以质疑不正确的前提,减少虚假描述,如被询问 “哥伦布2015 年来到美国的情景” 的问题时,机器人会说明哥伦布不属于这一时代并调整输出结果;3)因 ChatGPT 采用了注重道德水平的训练方式,ChatGPT 在减少有害和不真实的回复上改善显著,如拒绝回答寻求霸凌他人方案的问题,指出其不正义性。
建议关注我们认为ChatGPT 模型的出现对于文字模态的AIGC 应用具有重要意义。从下游相关受益应用来看,包括但不限于代码机器人、小说衍生器、对话类搜索引擎、语伴、语音工作助手、对话虚拟人等。从上游增加需求来看,包括算力、数据标注、自然语言处理(NLP)等。具体到投资标的,推荐关注中文在线(AI 文字辅助创作功能+小说平台)、腾讯控股(写稿机器人+大文娱平台)、百度集团(文心大模型+搜索引擎)、阅文集团(携手微软打造AI 赋能网络文学“ IP 唤醒计划”+小说平台)、蓝色光标(虚拟人)、海天瑞声(数据标注)、拓尔思(NLP)等。
风险提示技术发展进程不及预期;版权、伦理和监管风险。