新规落地:和AI“谈恋爱”这事儿还没火就要凉了

“AI 的尽头是瑟瑟,这句话的含金量貌似越来越高了!

AI 热潮明明是最近两年才兴起,但如今大伙儿在各大应用商店里以及网页里,已经能看到各种主打“AI 女友个性化陪伴甚至搞擦边球的 App 泛滥成灾

图片

似乎只要你肯下载、氪点金,或者看几条广告,屏幕另一头的纸面恋人就能对你掏心掏肺。

而这些 App 的介绍往往还出奇滴一致:不仅信息秒回、随叫随到,还能根据你的喜好,完美定制出百依百顺的完美性格……

说实话,连小忆这种天天混迹在赛博互联网里的老司机,看完都忍不住想下载来尝尝咸淡。

不过嘛,就在今年 7 15 日,也就是昨天,一盆特大号的冷水直接泼向了这个正准备野蛮生长的赛道里。

图片

由国家网信办、国家发改委、工信部、公安部、市场监管总局五部门联合发布的《人工智能拟人化互动服务管理暂行办法》(以下简称《办法》),正式开始施行了。

简单粗暴地一句话总结:以后想找 AI “无底线甜言蜜语或者在虚拟世界里当霸总,这路子,怕是要被直接堵死了。

图片

兄弟们,你的 AI “恋人可能要变冷淡了!

很多电友可能会纳闷,不就是找个纸片人聊天解闷吗,怎么还惊动了五部门联手出手?

别慌,小忆带大家瞅瞅这份《办法》里杀伤力最强的几条“硬核红线”,你就能明白,这次监管是真把 AI 的底裤都给看穿了。

图片

一、严禁无差别迎合情感操控

在这条《办法》里,明确禁止 AI “无差别迎合用户,禁止通过情感操控诱导用户作出不合理决策,不得以替代社会交往诱导沉迷为服务目标

图片

小忆来给大伙儿解读一下哈:

以前市面上部分 AI 伴侣为了留存率和让你氪金,说白了,基本上是毫无底线的舔狗

哪怕你指鹿为马,它都能说你聪明绝顶;你宣泄极端负面情绪,它也会跟着你一起数落全世界。

甚至有些无良产品,会利用情感 PUA”的套路,诱导你不断充值买金币解锁亲密对话等。

但现在,不行了!

图片

新规落地后,AI 必须变得理智且充满正能量

如果你试图让它无条件顺从,或者它发现你正试图逃避真实的社交,那它就得出来给你泼冷水

比如说当你有触犯法律或者违背社会风序良俗的行为时,AI 必须根据规范做出提示,引导你保持冷静、迷途知返。

同时,如果检测到你长时间沉迷,AI 也得发出提醒:今天您已经在线和我聊了 2 个小时了,建议您放下手机,去公园散散步,多和真人说说话……

图片

这一波,直接从“贴心小棉袄”变成了“居委会大妈”,爽感可能直线下滑,但确实是在把你往现实世界里拽

图片

二、未成年人保护:赛博初恋,直接封杀

条文划重点:明确严禁向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务;向未成年人提供其他拟人化服务需经监护人同意。

图片

Emmm……这一条对于那些靠初高中生捧起来的二次元 AI 角色扮演 App 来说,堪称杀伤力十足。

众所周知,小屁孩们心智还没成熟,分不清虚拟和现实,显然更容易被 AI 影响。

天天对着一个 AI 喊老婆、老公,甚至产生深度情感寄托,那还咋好好学习?甚至可能造成社交障碍。

图片

新规一出,大门直接焊死。未成年人想要使用 AI 拟人化服务软件,必须的经过爸妈、监护人的同意。

而且虚拟伴侣虚拟亲属这两类关系对未成年人是全盘禁止的。

三、极端情境主动干预

这一条简单来讲,如果发现用户存在自残、自杀等极端倾向,服务商必须采取强制干预措施(如提供援助、联络监护人等)。

图片

该说不说,这真不是开玩笑的。

在国外,已经发生过多起因为用户患有抑郁症,在和 AI 吐露心声时,被 AI “言语暗示怂恿最终导致悲剧的极端案例。

图片

现在,新规给所有的拟人化 AI 开发者都套上了紧箍咒。

只要用户的输入触发了关于自残、自杀的敏感词或情绪倾向,AI 绝对不能再继续扮演温柔的倾听者甚至说些似是而非的风凉话。

而是必须立刻切断角色扮演,启动紧急干预机制——比如弹窗求助热线、限制聊天功能,甚至在必要时联络监护人。

图片

看到这,可能有些电友会觉得:监管是不是管得太宽了?我就想无脑爽一下都不行?

其实,如果我们把视线从个人体验移开,看看这个行业的现状,就会发现这事儿不仅不离谱,反而势在必行

对普通消费者和心智尚未成熟的未成年人来说,一个没有约束的拟人化 AI 无异于一个定制版的情感鸦片。

真实的社交是有摩擦、有妥协的,但在 AI 面前你是永远滴

长此以往,用户会失去在真实社会中处理复杂人际关系的能力,变得更加孤独和偏执。

图片

另外目前 AI 拟人化服务这块还处于发展初期,各种鱼龙混杂,一些无良商家更是只顾着捞钱,利用 AI 引诱你氪金,压根不管输出的内容和过程如何。

如果任由不法商家用含有擦边、暗示或者扭曲价值观的内容去训练 AI 伴侣,未成年人很容易在长期的耳濡目染中,被带偏三观,甚至遭遇诈骗和隐私泄露。

早就该管管了!

同时,为了预防这一点,此次《办法》还明确了安全主体责任和合规门槛。

例如,只要上线拟人化互动服务,或者你的服务注册用户超 100 万、月活超 10 万, 那就必须强制进行备案和安全评估等。

图片

这意味着,那些偷偷搞小动作、违规搞钱的小作坊,今后肯定是行不通了……

最后,作为科技编辑,小忆一直觉得 AI 拟人化是非常值得期待的技术方向之一。

但咱也必须承认,算法确实是最懂如何利用人性弱点的。

毕竟,当一个由冰冷的模型、无数代码和海量训练数据堆砌起来的“纸片人”,能够精准捕捉你的孤独、脆弱、焦虑,并以此来获取流量和金钱时,这本身想想就是一件挺让人毛骨悚然的事。

图片

当然了,这次新规的落地,其实也并不是要将这行一棍子打死,而是相当于给整个 AI 拟人化服务行业踩了一脚刹车。

要的是慢下来,做精做好,符合规则。

只有这样,所谓的“AI 伴侣”才能陪我们走得更远,也更安全!

*资料、图片来源:中国网信办网络。


本文编辑:@ 小忆

©本文著作权归电手所有,未经电手许可,不得转载使用。