首页 - 股票 - 证券要闻 - 正文

字节跳动设立大模型安全与对齐部门 聚焦Agent安全与前沿风险

(原标题:字节跳动设立大模型安全与对齐部门 聚焦Agent安全与前沿风险)

记者获悉,字节跳动Seed近日发出内部邮件,宣布将成立“Seed Model-Alignment&Preparedness”部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。

据悉,该部门设立旨在加大安全与对齐方向投入。对齐的核心,是让模型行为与人类意图、安全约束保持一致,提升Agent Model(智能体模型)安全能力,以及防范前沿能力风险。

对此,北京市社会科学院副研究员王鹏对证券时报记者表示,这一部门调整,本质上是国内头部大模型厂商在AI治理落地层面的关键动作。将安全对齐从附属职能升级为独立核心部门,直指智能体模型落地的核心风险点,契合国内发展与规范并重的AI治理导向。

“这次架构调整并非常规的团队合并,而是字节在前沿模型竞争进入深水区后的必然选择。专门聚焦对齐与前沿风险防控,相当于为后续智能体相关技术落地提前筑牢安全底座。从行业发展阶段看,头部厂商率先将安全对齐职能独立出来,说明AI行业已经彻底跨过单纯比拼模型性能的阶段,合规与安全能力正在成为技术落地的核心入场券。”他表示。

据公司方面介绍,此前国内大模型研究团队的安全与对齐工作大多纳入公司整体安全合规体系,字节跳动Seed是国内首家单独成立安全与对齐部门的前沿AI实验室。

Seed团队内部判断,伴随模型能力提升、应用场景日趋复杂,安全与对齐已不只是风险防范,更是决定模型能否规模化应用的核心能力。

据了解,Seed安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入,并加强与外部研究机构、第三方评测机构的公开合作,最终使前沿模型在安全与授权约束内有效完成任务;伴随模型能力和自主性增强,持续降低滥用及行为偏离风险,建立应对未知风险的全面安全体系。

APP下载
广告
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-年