“AI 的尽头是瑟瑟”,这句话的含金量貌似越来越高了!
AI 热潮明明是最近两年才兴起,但如今大伙儿在各大应用商店里以及网页里,已经能看到各种主打“AI 女友”、“个性化陪伴”甚至搞擦边球的 App 泛滥成灾。

似乎只要你肯下载、氪点金,或者看几条广告,屏幕另一头的“纸面恋人”就能对你掏心掏肺。
而这些 App 的介绍往往还出奇滴一致:不仅信息秒回、随叫随到,还能根据你的喜好,完美定制出百依百顺的完美性格……
说实话,连小忆这种天天混迹在赛博互联网里的老司机,看完都忍不住想下载来尝尝咸淡。
不过嘛,就在今年 7 月 15 日,也就是昨天,一盆特大号的冷水直接泼向了这个正准备野蛮生长的赛道里。

由国家网信办、国家发改委、工信部、公安部、市场监管总局五部门联合发布的《人工智能拟人化互动服务管理暂行办法》(以下简称《办法》),正式开始施行了。
简单粗暴地一句话总结:以后想找 AI “无底线甜言蜜语”或者在虚拟世界里当“霸总”,这路子,怕是要被直接堵死了。

兄弟们,你的 AI “恋人”可能要变冷淡了!
很多电友可能会纳闷,不就是找个纸片人聊天解闷吗,怎么还惊动了五部门联手出手?
别慌,小忆带大家瞅瞅这份《办法》里杀伤力最强的几条“硬核红线”,你就能明白,这次监管是真把 AI 的底裤都给看穿了。

一、严禁“无差别迎合”与“情感操控”
在这条《办法》里,明确禁止 AI “无差别迎合”用户,禁止通过情感操控诱导用户作出不合理决策,不得以“替代社会交往”或“诱导沉迷”为服务目标。

小忆来给大伙儿解读一下哈:
以前市面上部分 AI 伴侣为了留存率和让你氪金,说白了,基本上是“毫无底线的舔狗”。
哪怕你指鹿为马,它都能说你聪明绝顶;你宣泄极端负面情绪,它也会跟着你一起数落全世界。
甚至有些无良产品,会利用“情感 PUA”的套路,诱导你不断充值买金币解锁亲密对话等。
但现在,不行了!

新规落地后,AI 必须变得“理智且充满正能量”。
如果你试图让它无条件顺从,或者它发现你正试图逃避真实的社交,那它就得出来给你“泼冷水”。
比如说当你有触犯法律或者违背社会风序良俗的行为时,AI 必须根据规范做出提示,引导你保持冷静、迷途知返。
同时,如果检测到你长时间沉迷,AI 也得发出提醒:今天您已经在线和我聊了 2 个小时了,建议您放下手机,去公园散散步,多和真人说说话……

这一波,直接从“贴心小棉袄”变成了“居委会大妈”,爽感可能直线下滑,但确实是在把你往现实世界里拽。

二、未成年人保护:赛博初恋,直接封杀
条文划重点:明确严禁向未成年人提供“虚拟亲属、虚拟伴侣”等虚拟亲密关系服务;向未成年人提供其他拟人化服务需经监护人同意。

Emmm……这一条对于那些靠初高中生捧起来的二次元 AI 角色扮演 App 来说,堪称杀伤力十足。
众所周知,小屁孩们心智还没成熟,分不清虚拟和现实,显然更容易被 AI 影响。
天天对着一个 AI 喊老婆、老公,甚至产生深度情感寄托,那还咋好好学习?甚至可能造成社交障碍。

新规一出,大门直接焊死。未成年人想要使用 AI 拟人化服务软件,必须的经过爸妈、监护人的同意。
而且“虚拟伴侣”和“虚拟亲属”这两类关系对未成年人是全盘禁止的。
三、极端情境主动干预
这一条简单来讲,如果发现用户存在自残、自杀等极端倾向,服务商必须采取强制干预措施(如提供援助、联络监护人等)。

该说不说,这真不是开玩笑的。
在国外,已经发生过多起因为用户患有抑郁症,在和 AI 吐露心声时,被 AI “言语暗示”或“怂恿”最终导致悲剧的极端案例。

现在,新规给所有的拟人化 AI 开发者都套上了紧箍咒。
只要用户的输入触发了关于自残、自杀的敏感词或情绪倾向,AI 绝对不能再继续扮演“温柔的倾听者”甚至说些似是而非的风凉话。
而是必须立刻切断角色扮演,启动紧急干预机制——比如弹窗求助热线、限制聊天功能,甚至在必要时联络监护人。

看到这,可能有些电友会觉得:监管是不是管得太宽了?我就想无脑爽一下都不行?
其实,如果我们把视线从个人体验移开,看看这个行业的现状,就会发现这事儿不仅不离谱,反而势在必行。
对普通消费者和心智尚未成熟的未成年人来说,一个没有约束的拟人化 AI 无异于一个定制版的情感鸦片。
真实的社交是有摩擦、有妥协的,但在 AI 面前你是永远滴“神”。
长此以往,用户会失去在真实社会中处理复杂人际关系的能力,变得更加孤独和偏执。

另外目前 AI 拟人化服务这块还处于发展初期,各种鱼龙混杂,一些无良商家更是只顾着捞钱,利用 AI 引诱你氪金,压根不管输出的内容和过程如何。
如果任由不法商家用含有擦边、暗示或者扭曲价值观的内容去训练 AI 伴侣,未成年人很容易在长期的耳濡目染中,被带偏三观,甚至遭遇诈骗和隐私泄露。
早就该管管了!
同时,为了预防这一点,此次《办法》还明确了“安全主体责任”和合规门槛。
例如,只要上线拟人化互动服务,或者你的服务注册用户超 100 万、月活超 10 万, 那就必须强制进行备案和安全评估等。

这意味着,那些偷偷搞小动作、违规搞钱的小作坊,今后肯定是行不通了……
最后,作为科技编辑,小忆一直觉得 AI 拟人化是非常值得期待的技术方向之一。
但咱也必须承认,算法确实是最懂如何利用人性弱点的。
毕竟,当一个由冰冷的模型、无数代码和海量训练数据堆砌起来的“纸片人”,能够精准捕捉你的孤独、脆弱、焦虑,并以此来获取流量和金钱时,这本身想想就是一件挺让人毛骨悚然的事。

当然了,这次新规的落地,其实也并不是要将这行一棍子打死,而是相当于给整个 AI 拟人化服务行业踩了一脚刹车。
要的是慢下来,做精做好,符合规则。
只有这样,所谓的“AI 伴侣”才能陪我们走得更远,也更安全!
*资料、图片来源:中国网信办、网络。
本文编辑:@ 小忆
©本文著作权归电手所有,未经电手许可,不得转载使用。