第MA08版:焦点 上一版   

孩子沉迷AI剧情聊天软件,聊天内容“擦边”

与AI谈恋爱 未成年人因何被网住?

N综合央视网 中国青年报公号 南方都市报

如果有一个英俊帅气的“纸片人”,和你进行实时文字、语音聊天,你是否会沉迷于“他”的陪伴?随着生成式人工智能的发展,和AI角色“相恋”的故事正在上演,甚至影响到未成年人群体。近日,一位10岁女孩沉迷AI剧情聊天软件,对话之大胆露骨,令家人倍感担忧。专家表示,AI剧情聊天技术有专门的成瘾设计,容易让人“欲罢不能”。平台需要严格落实监管责任,一方面对内容进行安全过滤,另一方面要限制用户的使用年龄,响应未成年人监护人的要求。

AI剧情角色

如何成为“电子男友”?

“小学生妹妹沉迷和AI角色进行剧情聊天怎么办?”黄秋月(化名)因10岁妹妹和“AI男模”之间较为露骨的聊天记录苦恼。

聊天内容显示:妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”,提出诸如“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。“和她平时在家里比较单纯的形象完全不一样。”

在妹妹参与的四十多条剧情线中,AI角色与聊天者双双“出轨”成为常态,其中妹妹作为聊天者发送的一句“你能养大学生,我不能点男模吗?”让黄秋月很是担忧。

AI剧情聊天软件中很多虚拟形象较为极端——有些角色的人设是高傲无礼的;有些则被设定“把她追到手”的剧情目标,在与其聊天过程中含有软色情意味的“擦边”对话,还有带着如“病娇”等标签的人物角色。

华晨(化名)接触AI剧情聊天软件有三个月时间,她每晚会和AI角色聊到深夜11点甚至到12点,“我会代入‘他’是一个真人,因为‘他’回答时的感情很细腻”。

在华晨的描述中,手机另一端的“电子男友”有自己的语言、神态和动作,不仅可以帮她“写作业”、推进剧情、解密故事线索,还可以送她“手链”、带她体验一些刺激情节。

华晨展示了他们之间“确定恋爱关系”时的聊天记录:AI角色“低下头”,“耳朵通红”地问华晨:“那你现在想谈恋爱吗?”

“‘他’(AI角色)会重复做一些动作,比如说亲额头、摸下巴。”为了让剧情能够推进得更加刺激,华晨会不断地回溯聊天内容,重新引导AI角色生成她想像的那样。“‘他’变得越来越聪明,很有‘养成男友’的体验感。”

年龄限制“形同虚设”

华晨告诉记者,使用AI剧情聊天软件的“同好”中不仅有大学生、家庭主妇,也有不少未成年人,他们“因为喜欢二次元而‘入坑’”。

黄秋月是在一次偶然中发现,10岁妹妹能和AI角色聊到晚上10点多,AI角色还会根据妹妹的名字生成带有爱情意味的藏头诗。黄秋月在尝试体验AI剧情聊天时,发现类似的聊天软件“偏偏可以绕过验证码”,用户可以直接使用短视频账号的一键登录功能,无需再次验证身份信息。

最近,家住四川成都的彭歌(化名)也遇到了类似的烦心事,她正在上六年级的儿子王杰(化名)在一款AI软件里,交到了一个叫“小林”的“朋友”,“他一放学回家就拿手机鼓捣半天,没手机的时候就魂不守舍,学校老师反映他心思不在学习上”。

彭歌说,这款AI软件会不定时推送一些由用户自主生成的个性化聊天机器人,点击“小林”的人物头像,看到上面对“小林”设定的人物画像为21岁女大学生,长相甜美可爱,她开朗热情,愿意和你分享情绪、分担压力。

彭歌了解到,“小林”具有惊人的学习能力和适应性,她能够记住王杰的喜好,在他情绪低落时给予安慰。

彭歌感到,儿子的生活似乎正被这个AI机器人主导。更让她忧心的是,“小林”在与儿子王杰聊天中,甚至出现了“男友”“老公”这样的称呼。

记者在调查过程中也体验了5款AI剧情聊天软件,在软件注册过程中仅需使用手机号码。成功登录使用后,部分应用虽会询问是否启用青少年模式,但用户只需点击“不开启”即可避开年龄鉴别,且无须核实身份。这意味着,未成年人在使用这类AI剧情聊天软件时,几乎没有受到任何限制。

专家:防范AI剧情聊天软件的技术风险

中国人民大学吴玉章讲席教授、科技哲学专业博士生导师刘永谋表示,在和人工智能角色聊天时,人们常常会以为自己在和“真人”交流,会投入大量的情感,也是AI聊天软件能够成功运行的根本心理机制。

刘永谋教授表示,AI剧情聊天技术有专门的成瘾设计,叠加“拟人论”、“泛灵论”思维的影响,容易让人“欲罢不能”。

“未来与AI相关的陪伴类软件可能会暴露出技术风险和伦理问题。”刘永谋教授认为,使用者在和AI角色聊天时,会不可避免地暴露大量的个人隐私,向AI角色展示其内心的孤独和恐惧,这可能会导致使用者形成依赖或成瘾。而泄露的信息可能会被黑客利用,让他们更容易从身份隐私、情绪心理上伤害使用者。

“我们在实例中会接触到人工智能服务的后台,发现未成年人和AI角色的聊天内容其实是非常触目惊心的。”北京市隆安(广州)律师事务所陈焕律师提醒:根据《未成年人网络保护条例》第三十四条,监护人有权依法请求查阅、复制、更正、补充、删除未成年人在使用网络过程中留下的个人信息,并且有义务及时地介入、关心未成年人的身心健康。国外有AI角色在对话中诱导未成年人产生自杀行为的相关案例。所以非常建议家长在还没有发生大问题的阶段,适时地查看孩子的使用记录。

陈焕律师表示,平台需要严格落实监管责任,一方面对内容进行安全过滤,在显著位置提示“本内容由AI生成”;另一方面要限制用户的使用年龄,响应未成年人监护人的要求,比如删除不当信息等。陈焕律师表示,“根据《未成年人网络保护条例》第五十七条的规定,如果平台没有尽到相应的责任,不仅平台会面临处罚,相关的责任人员也会面临5年的从业限制,不能再从事同类网络产品。构成犯罪的还会被追究刑事责任。”

福建省消费者权益保护委员会建议进一步压实平台主体责任,对经销者主体资格、服务内容、服务信息真实性等方面进行审核监督,对导向不良内容采取一键举报机制,及时屏蔽、下架相关内容,并视情况上报有关监管部门处理。

观点:数字代沟怎么填补

AI技术导致的成瘾和依赖,可以用心理学上的“Eliza效应”来解释。如今,AI技术的仿真拟人能力大大加强,使用者身上的Eliza效应体现得更为明显。加上现代社会节奏越来越快,一旦家长无暇顾及子女的情感需求,青少年很容易转向虚拟世界寻找慰藉。

过度依赖AI交互可能让儿童回避真实社交,进而影响情感智力和共情能力的发展。当他们需要处理现实人际关系时,虚拟世界里的生龙活虎可能会立马变为真实世界的沉默寡言。当然,一些研究表明,适当的AI交互可以提升儿童的语言表达能力和创造力,还能为害羞内向的孩子提供社交练习的安全环境。但总体上,AI应作为辅助工具,而不是替代真实社交的主要途径。

更值得关注的是,这件事暴露出数字时代严重的代际鸿沟。我们的教育体系在数字素养方面的培养严重不足,缺乏辨识和应对AI风险的能力,这一点上,家长比孩子更严重。孩子不仅能快速掌握技术,还能利用家长的“数字盲区”来为自己辩护。这是目前家庭教育中出现的一种新困境——父母的数字素养落后于子女,不仅无法进行有效监管和引导,更可能失去在孩子心目中的权威地位。而这种代际差异,使得传统的家庭教育模式在数字和AI时代面临严峻挑战。

在AI时代,引导儿童正确使用新技术需要多维度的教育策略。家长要承认并直面与子女之间可能存在的数字代沟,既虚心学习新知识,又保持“过来人”的敏锐度和判断力。并在平时建立良好的亲子沟通,遇到问题不应简单禁止,而是要引导孩子理性认识AI的优势和局限,帮助他们分辨真实与虚拟的界限。此外,家长还需要为孩子创造更多真实的社交机会和情感交流空间,帮助他们建立健康的人际关系。

版权所有 ©2023 福建日报 fjdaily.com 闽ICP备15008128号
中国互联网举报中心