点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:“人机对齐”:人类文明又到“生死时刻”?
首页> 文化频道> 观察 > 正文

“人机对齐”:人类文明又到“生死时刻”?

来源:文汇报2024-02-18 09:04

  ■唐山

  多伦多大学经济学家甘斯希望女儿能照顾小弟弟上厕所,他想出一个“好办法”:每帮小弟弟上一次厕所,女儿可得一块糖果。女儿很快找到窍门:不断给小弟弟喂水,让他多上厕所,以得到更多糖果……

  甘斯遭遇了典型的“对齐问题”:行动与目标不统一,“需要A却奖励了B”。

  在人类史上,“对齐问题”一次次带来困扰,随着人工智能(以下简写为AI)出现,“人机对齐”成了难题——AI可打败世界上最好的棋手,我们却不知它是如何做到的。随着人类越来越依赖AI,风险真地可控吗?我们会不会落入科幻短片《战争的最后一天》里的悲惨境地(人类灭绝,AI仍在自动作战)?

  《人机对齐》是一本不太好读的书,全书分三篇,即“预警”“自主”与“示范”,彼此关联不大,甚至同篇各章间的逻辑关系亦不明显。或因本书旨趣不在于说明“AI已发展到什么地步”,而在于由此引发的思考。

  从这个意义看,《人机对齐》不只是科普书,更是通识书,人人都有阅读它的必要,它应成为现代常识的组成部分——不了解这些常识,你会被现代社会“开除”。

“人机对齐”:人类文明又到“生死时刻”?

  

《人机对齐∶如何让人工智能学习人类价值观》 [美]布莱恩·克里斯汀 著唐璐译湖南科学技术出版社出版

  不是技术问题,而是社会问题

  玩家知道,所有电子游戏都有“暗关”。比如玩《魂斗罗》,可反复打较低级的关,刷分换武器,则过难关会更容易;再如老版《FIFA》,下底传中必进,借此大招,操纵中国队也能拿世界杯……许多“暗关”来自设计失误,不论程序员们怎样小心,也无法完全避免类似失误。

  随着AI发展,失误变得越来越不可容忍。

  2015年,来自海地的网络开发者阿尔西内利用谷歌照片软件,在网上分享了自己和亲友的照片,让阿尔西内震惊的是,他们的照片竟被归类为“大猩猩”。谷歌的技术团队迅速响应,可几个小时后,问题依旧,谷歌只好关闭了“大猩猩”这个标签。直到三年后,用谷歌搜大猩猩,仍看不到任何一张照片。

  软件是怎么“学会”种族主义的?实际上,技术错误从来不只是技术本身的问题。19世纪照相最多的美国人不是林肯、格兰特,而是弗雷德里克·道格拉斯,一位废奴主义者,他发现,照片上的黑人特别难看,因胶片均依白人模特校准,形成化学配方,拍出的黑人则千人一面。

  解决该问题似乎不难,多找黑人模特即可。同理,增加黑人照片,谷歌软件的识别率会更准确。

  然而,结果适得其反:IBM用AI开发了招聘软件,输入100份简历,选出5份最好的——几乎都是男性。程序员关闭了性别选项,却无法改变结果。因为AI会通过关联信息,自动将女性排除。比如,它会把“上一年没有工作”的简历标注为不合格,于是所有刚生育的女性均遭拒。类似的标签无所不在,改不胜改。程序员们最后发现,他们面对的不是技术问题,而是社会问题——人类社会处处都有性别标签,通过这些标签,女性总会被辨认出来,被视为缺乏竞争力者。单靠技术,已无法解决。

  无法突破的“不可能性原理”

  上世纪80年代,美国司法开始用AI判断囚犯可否假释,2000年时,已有26个州如此进行。研究者发现了其中漏洞:黑人初犯者被评为高风险,但他们不再犯罪的可能性是白人的两倍,白人初犯者反而被评为低风险。

  这一发现引发舆情激荡,人们纷纷要求去掉该系统的种族标签,结果却发现,落入IBM招聘系统一样的困境——假释系统会通过其他标签,重新进行种族筛选,但如把相关标签全撤掉,AI又会失去判断能力。

  研究者们发现,一切判断都存在着“不可能性原理”,这在数学上得到了证明:没有标签,就不可能做判断;有标签,又必然有偏见,“原则上,任何风险评分天生都会被批评为有偏见”。

  AI开发无法绕过两大难题:

  首先,道德无法客观化。道德选择没有固定标准,会随情境的改变而变,人类常常无法回答“什么是真正重要的”,AI更做不到。

  其次,精准预测无法减少风险。人类喜欢更精准的预测,从而掉进“预测陷阱”,事实上,造成结果的原因是多元的,预测再精准,也无法影响结果。美国芝加哥市曾列“危险拥枪者”名单,据说他们比其他人死于凶杀案的比例高232倍,即使如此,他们被枪杀的概率也仅有0.7%,如何从1000人中找到这7个人呢?折腾1000人,真能挽救这7个人?在《反对预测》中,作者哈科特写道:男司机易出事故,可是严查男司机,会鼓励女司机变得更鲁莽,车祸率并未下降。

  不给答案,因为根本给不出答案

  AI模仿了人脑的工作方式,通过大量案例训练,总结出“经验”,获得判断力。可这些“经验”正确吗?比如一款AI诊病软件,研究者惊讶地发现,它得出的“经验”是:肺病患者如有哮喘病,属低风险。胸痛有好处。

  心脏病有好处。

  超过100岁有好处。

  这些逆天的“经验”,可能来自相关患者属高风险,会被特殊照顾,但AI不知全过程,只知他们经特殊照顾后,痊愈率较高,便认定“有好处”。

  AI的大多数“错误经验”之所以不可知,是因为它模仿了人类的神经系统,作为人类,我们自己也不知自己有多少“错误经验”,以及它们形成的原理。通过可视化技术,研究者们发现,AI的底层充满荒谬。

  比如判断“什么是哑铃”,AI会把手臂、肉色的、超现实的图案都算成哑铃,试错后,这些“经验”被否定,但并没消失,而是滞留在底层。人类会情绪失控,我们能模糊地感到,这与底层“经验”相关,那么“把哑铃误认作手臂”会不会带来长期影响?

  AI正深入生活的方方面面,自动驾驶、医疗、城市管理、战争……谁能保证AI的底层经验不犯错?人类从没真正掌控好自我,引发一次次灾难,我们真能掌控好AI吗?

  本书第二篇、第三篇将焦点转向AI发展史,描述了研究者们的突破历程,包括从单任务转向多任务,用单一AI在不同游戏中取胜;从外部激励转向AI自我激励;通过模仿、逆强化学习等,使AI更强大……

  然而,更强大的AI不等于“人机对齐”,AI实际上在“强制执行自己有局限的理解”,它的目的未必是人类的目的。

  当然,在牛津大学教授博斯特罗姆等激进进化主义者看来,这些都不是问题。他计算出,未来星际文明非常强大,今天耽误的每一秒,都相当于失去将来的100万亿人的生命,每向未来世界前进1%,都等于技术加速1000万年。因此即使AI有风险,也应全力推动。

  研究者施莱格里斯则说:“如果有一个神奇的按钮,可以把人类变成一样的为幸福而优化的笨蛋,他们会按下它……几年前,我也鼓吹这样做。”但现在,他的看法改变了:“我认为不应该按那个按钮。”

  对此,《人机对齐》没给出答案,因为根本给不出答案。

  我们乃至历史,也许都是“AI”

  虽然本书用大量篇幅在讲述AI发展的细节,但我更喜欢的,还是书中的“跑题”部分——为强化AI,研究者深入研究了人类自身智能的产生过程,得出的见解振聋发聩:我们每个人可能都是世界训练出来的“AI”。

  人类拥有智能,源头是趋利避害的本能,在多巴胺的简单奖励下,塑造出复杂行为——并不是做对了,多巴胺才奖励快感,而是做新奇的事时,多巴胺才会给奖励。

  所以,人类喜欢刺激、冒险和挑战。不断尝试,就有了更多试错机会,通过试错,人类智能得以成长。人类生活的世界就是“有效的课程”,它像一个大型游戏。这就可以理解,为什么电子游戏让人难以自拔,因为它比现实世界的奖励更直接。

  在现实世界中,人在进化,决定成败的核心因素,是“奖励的稀疏性”。比如为了让人类学会飞,让人从悬崖往下跳,不会飞便摔死——这并非聪明的办法。在会飞与不会飞之间,有无数环节,如在每个环节都设置奖励,人类最终就能学会飞;如奖励太稀疏,从不会飞直接跨越到飞,必然失败。正如眼睛,是经四五十次进化才完成的。在书中,一位学者开玩笑说,要么让自己的孩子学会中文,要么就不给饭吃,孩子的母亲明智地拒绝了这个建议。

  作者本想说明研究者通过改变稀疏性,提高AI能力,却给读者一个全新的看世界的视角:人类文明的本质就是一个奖励结构的故事。沿着这一思路,我们会推演出一个完全不同于以往“思想——行动——改变”的历史解释的结论,推动进步的力量是多元的,不论个体,还是群体,都沿着稀疏性向密集的方向发展,决定历史的关键因是稀疏性,而非想法、技术、制度或人物。

  由此带来新的认知危机:如果人是受造物,那么自由是什么?

  在书中,著名思想史学者斯金纳指出,在稀疏性面前,人与老鼠相同。当记者问他:“自由意志还有位置吗?”斯金纳回答:“它还有虚构的位置。”哪怕只为与这句话相遇,《人机对齐》就值得一读。

[ 责编:邱晓琴 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • “南茶北种”富农家

  • 探访武王墩墓

独家策划

推荐阅读
4月2日,随着57652次检测车从南充北站5道缓缓驶出,标志着新建汉中至巴中至南充铁路南充至巴中段(以下称"巴南高铁")启动联调联试,进入工程验收关键阶段,为全线早日开通奠定了坚实基础
2024-04-03 15:11
为切实织密森林“防火网”各地组织人员巡查防火。
2024-04-03 15:11
2024年3月31日,“知音湖北 遇见浪漫孝感”春赏花活动在湖北省孝感市金卉庄园景区启动。金卉庄园花团锦簇,五彩斑斓花卉竞相绽放。人们穿梭在花海之间,享受明媚春光。
2024-04-02 15:40
2024年3月23日,由中国服装设计师协会主办的2024秋冬中国国际时装周在北京开幕。
2024-03-26 21:07
3月17日,原创独立设计师品牌SHANG1 BY SHANGYI 2024秋冬系列时装发布会在北京举行。
2024-03-18 16:39
2024年2月28日,新疆维吾尔自治区巴音郭楞蒙古自治州博湖县境内的博斯腾湖出现推冰景观。
2024-02-29 18:59
云南省曲靖市罗平县马街镇钻天坡,盛开的油菜花梯田在初升太阳映照下,勾勒出一幅田园春景图
2024-02-23 10:59
美丽的三亚湾
2024-01-20 17:42
2024年1月12日,江西省吉安市吉州区庐陵文化生态园层林尽染,色彩斑斓,市民徜徉其间,尽享生态之乐。
2024-01-13 19:43
2023年12月26日,在云南省红河哈尼族彝族自治州元阳县新街镇黄草岭村附近,游客在冬樱花与梯田边游览。
2023-12-26 15:39
2023年12月12日,新疆哈密市巴里坤县第十九届冰雪文化旅游节采冰仪式在高家湖二渠水库进行。仪式主要展示了"头冰"的开采上岸过程。开幕式上还举行迎风旗、祈福词、喝出征酒等仪式。
2023-12-13 16:08
2023年12月13日,河北省正定古城迎来降雪,古城内外银装素裹,犹如一幅淡雅的水墨画,美如画卷。
2023-12-13 15:59
2023年11月28日,贵州省六盘水市明湖国家湿地公园层林尽染,景色迷人。
2023-11-29 15:42
2023年11月28日,江西吉安长塘镇中心小学,老师指导学生剪纸。
2023-11-29 15:42
三角梅原产于巴西,现主要分布在中国、秘鲁、阿根廷、日本、赞比亚等国家和地区。其中,以海南三角梅最为出名。
2023-11-29 11:13
2023年11月23日清晨,朝霞初现,三峡库区湖北省宜昌市秭归县沿江公路G348国道的绝壁岩体上,工人们正在铺设防护网,以防止岩崩和落石。
2023-11-24 15:15
2023年11月23日,黑龙江哈尔滨,哈尔滨站工作人员正在清理站台积雪。
2023-11-23 16:02
2023年11月21日,甘肃敦煌,首趟"敦煌号"铁海联运国际货运班列装载1000吨石棉驶出,经天津港通过铁海联运发往泰国曼谷。
2023-11-21 16:55
2023年11月21日,江苏省如皋市龙游河生态公园,色彩斑斓的树木与一河碧水相应成趣。
2023-11-21 16:55
江西省赣州市定南县历市镇,一座座风力发电机矗立在延绵群山上,与蓝天白云、绿树青山相辉映,极目远望、蔚为壮观。
2023-11-16 15:56
加载更多