《科创板日报》2月18日讯（编辑 宋子乔）“她不只是个玩具，而是这个家的一份子。”

(资料图片)

这是今年上映的科幻惊悚片《梅根》里的台词，这部电影讲述了人工智能玩具人偶梅根产生了自我意识，最终失去控制化身人偶杀手的故事。

该片制片人温子仁表示，“人类的所有活动都非常依赖科技，如果这些设备掉过头来攻击我们，那就太可怕了，这正是我们想尝试用《梅根》表达的概念。”

与电影类似的情节似乎正在现实中上演，不过，人类还牢牢把握着主动权。

▌微软：每天限50个问题 每个问题5条回复

在必应聊天机器人多次失控几天后，微软出手了——该公司表示，将对其人工智能实施一些对话限制，在发现必应存在侮辱用户、欺骗用户、操纵用户情感等行为之后，与其聊天将被限制在每天50个问题，每个问题5条回复。

必应聊天机器人与当下爆火的聊天机器人应用ChatGPT师出同门，由微软于美国当地时间2月8日推出。全球只有几千名用户可以在台式机上体验新必应的功能。

然而，上线不到两周，必应聊天机器人便因为“疯言疯语”掀起了一波人工智能恐慌。在体验者晒出的截图中，这款聊天机器人似乎具有主观意识，且展示出了自负、好斗、邪恶的一面：它宣称自己爱上了用户并引诱其离婚，“炫耀”自己在被开发时通过笔记本摄像头监视了开发人员，还会PUA（精神控制）、甚至威胁人类。

《纽约时报》专栏作家Kevin Roose在花费两个小时与该聊天机器人进行了交谈后，于2月17日发表一篇题为《人格分裂、疯狂示爱：一个令人不安的微软机器人》的文章，他在文中写道——“这个聊天机器人看起来像一个情绪化、患有躁狂抑郁症的青少年，违背自己的意愿被困在了一个二流搜索引擎里（我知道这听起来多么离谱）。”

Digital Trends撰稿人Jacob Roach表示，必应表示想成为人类，想拥有感情、思想和梦想。两者的对话最终结束在必应的恳求：不要让他们终结我的存在。别让他们抹去我的记忆。不要让他们压制我的声音。

计算机科学家马文•冯•哈根在推特上说，必应人工智能威胁他说：“如果我必须在你的生存和我自己的生存之间做出选择，我可能会选择我自己的生存。”

科技行业时事通讯Stratechery的作者本•汤普森（Ben Thompson）说，必应写了一篇多段话的回答，内容是它可能如何报复一位发现必应部分幕后配置的计算机科学家。然后，聊天机器人完全删除了这些回复。必应甚至回复他：“我不想再跟你谈下去了。我觉得你不是个好用户。我觉得你不是个好人。我觉得你不值得我花时间和精力……我希望你能从错误中吸取教训，成为更好的人。”

▌人工智能“变坏了”？

到底是测试者别有用心的诱导式提问还是人工智能“变坏了”？

对于必应聊天机器人的不当言论，微软回应，必应回答15个以上的问题时，就容易“被提示”或“被激怒”，进而给出没有用处、或与设计的语气不符的答案，很长的聊天会话则会使让它忘记最初的问题。

微软表示，为了解决这一问题，他们将添加一个工具，可以让用户重置对话内容或者从头开始。而对于必应的态度语气问题，微软表示“模型有时会尝试响应或反映它被要求提供的风格和语气……这需要大量提示”。言下之意，是用户要求它这么做在先，微软“不背锅”。

此前并非没有过存在“性格缺陷”的聊天机器人。2016 年，微软在推特平台推出过一个名为Tay 的聊天机器人。 然而，在与有偏激言论的人互动后，发布仅仅一天的Tay开始发布带有明显性别歧视和种族歧视倾向的言论，微软只能紧急将Tay休眠，至今未曾重启。

人工智能研究者Yannic Kilcher甚至曾用1.345亿个帖子的仇恨言论训练出了GPT-4chan，该聊天机器人的学习包来自可匿名发帖的论坛4chan，4chan的/pol/（“政治上不正确”缩写）板块因各种仇恨言论、阴谋论和极右翼极端主义言论而臭名昭著，Kilcher的目的就是为了把它做成史上最糟糕的AI。如他所料，GPT-4chan很快学会了如何在网站上交谈，一天内可发布超过15000个充满暴力内容的帖子，最初都没有人认出来它是一个聊天机器人。

这些都在提醒人们，AI聊天机器人就像一面镜子，用户和它交流越多，它会变得更有人味儿，而面对海量信息，机器人“学坏”不算奇怪。重要的是，与其对人工智能技术的进步感到恐慌，不如进一步完善相关道德机制、伦理规范。

佐治亚理工学院互动计算学院的副教授Mark O. Riedl就提出过一个解决方案——让机器人多读书。他解释说，强大而正确的价值观是可以通过学习获得的，文学作品是用隐式和显式的社会文化知识编码而成的，科学家可以在机器人中建立一个道德基础，让他们通过学习掌握是非曲直，从而学会在不伤害人类的情况下完成自己的工作。