中国科学院院士何积丰:应对大模型的安全问题,需设好“紧箍咒”
(相关资料图)
极目新闻记者 周丹
模型的通用能力让其能够应用到人类生产生活的各个场景中,可谓“无孔不入”。AI的发展因此带来了新的安全隐私问题,如何解决这一隐患,9月7日开幕的2023外滩大会上,中国科学院院士何积丰开出了他的“药方”:利用对齐技术为大模型戴上紧箍咒。
何积丰院士认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程中,也可能发生在使用过程中,而大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。
大会现场
“为了应对这些问题,我们需要大模型对齐技术。”何积丰说,“对齐(alignment)”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就可以保证技术不会任意使用能力胡作非为。”
不过,对齐技术同样面临挑战。首先,对齐的基础,人类的价值观是多元且动态变化的,需要保证大模型为人服务、与人为善;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正,设好大模型的“紧箍咒”也是挑战。
因此,对齐技术已成为了一项令人眼花缭乱的跨学科研究,不仅考验技术,也审视文化。
何积丰院士介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,一种方式是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式,事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着,不仅智能系统需要向人类价值观对齐,人类的训练方法也要向价值观对齐。”
关键词:
相关阅读
-
中国科学院院士何积丰:应对大模型的安...
中国科学院院士何积丰:应对大模型的安全问题,需设好“紧箍咒”---... -
极目锐评|中铁五局深夜回应“高速大桥偷...
极目锐评|中铁五局深夜回应“高速大桥偷工减料”,自己查自己如何让... -
连药带铝箔壳一股脑吞下肚,爹爹胸口胃...
连药带铝箔壳一股脑吞下肚,爹爹胸口胃部疼痛被紧急送医,医生内镜下不 -
亲情会见照亮戒毒人员回家路
亲情会见照亮戒毒人员回家路---“谢谢,谢谢你们!感谢民警提供我和小 -
每场2000个,光谷公安发放张学友演唱会...
每场2000个,光谷公安发放张学友演唱会停车码---湖北日报讯9月8日至9月 -
生态黑番鸭,敲开致富门
生态黑番鸭,敲开致富门---极目新闻记者王佳文通讯员葛进东9月4日,在
- 中国科学院院士何积丰:应对大模型的安全问2023-09-07
- 极目锐评|中铁五局深夜回应“高速大桥偷工2023-09-07
- 连药带铝箔壳一股脑吞下肚,爹爹胸口胃部疼2023-09-07
- 亲情会见照亮戒毒人员回家路2023-09-07
- 每场2000个,光谷公安发放张学友演唱会停车2023-09-07
- 生态黑番鸭,敲开致富门2023-09-07
- 安徽反腐动态:汪中新、王波、李玉林被查!2023-09-07
- 审核前公示!涉及安徽这3个县(区)2023-09-07
- 安徽一地最新人事!任命多名干部2023-09-07
- 不作为?慢作为?阜阳出手了!2023-09-07
- 方案印发!安徽加强财会监督2023-09-07
- 安徽省民政厅:争取将老年助浴服务纳入暖民2023-09-07
- @安徽人 是否应接种流感疫苗?中疾控建议→2023-09-07
- 峡江县:秀美田园 生机盎然(图)空中看江2023-09-07
- 坐拥152公里长江黄金岸线 九江如何向江图2023-09-07
- 上浮20%!赣州三孩家庭住房公积金政策有调2023-09-07
- [衡阳]耒阳:200余校同上“安全第一课”2023-09-07
- 赣州与深圳住房公积金异地缴存互认互贷2023-09-07
- 事关江西“1269”行动计划,重点任务和责任2023-09-07
- 江西推进跨部门综合监管“进一次门、查多项2023-09-07
- 名单发布!江西省公安厅公告:529人入闱体2023-09-07
- [衡阳]栏垅乡中心小学退休教师提前过教师节2023-09-07
- [常德]安乡:3名小学生分获机器人大赛一、2023-09-07
- [郴州]宜章举行七年级均衡分班班主任抽签仪2023-09-07
- “长白山人参”品牌荣获 中华品牌商标博览2023-09-07
- 湖南涉外经济学院组织开展安防系列技能培训2023-09-07
- 长春市绿园区妇联开展巾帼电商培训2023-09-07
- 吉林市高中生喜获全国青少年无人机大赛大奖2023-09-07
- 全国第三批城市一刻钟便民生活圈试点名单公2023-09-07
- 夏智伦赴安全、交通、中医药、城建等4所高2023-09-07