A08

警惕AI拼接怪兽带偏孩子

N央视新闻

今年以来,AI生成的短视频在各大平台迅速走红,有一些被称为“外国山海经”的视频在未成年人中掀起热潮。对于视频中出现的怪兽的名字,有些孩子是倒背如流。记者调查发现,在部分以这些形象开发的小游戏中,还夹杂着软色情内容,危害未成年人的身心健康。法学专家认为,治理这类乱象,除了算法技术的升级,也要压实平台主体责任。平台作为内容分发的核心枢纽,应主动履行审核、过滤和处置义务,将推荐权重向健康、有益、优质的内容倾斜。

AI拼接生成动画角色

在这些视频中,孩子们反复念叨着拗口又毫无意义的音节。实际上,这些并不是胡言乱语,而是几个网络动画角色的名字。咱们再来细看这些“动画角色”:有木棍人,有仙人掌身躯、脚踩拖鞋的大象,有身体是轮胎的青蛙,有鳄鱼和军用飞机的融合体,还有香蕉上顶着猩猩脑袋、鱼身配猫头等违背常理的奇怪形象。这些形象并非出自传统动画或经典IP,而是由AI拼接生成的。

记者在多个短视频平台中查询发现,这些视频动辄收获数十万甚至上百万的点赞与转发。

那么,这些AI生成的视频究竟是从哪儿来的?为何短短几个月的时间就能风靡未成年人群体?

北京市互联网信息办公室网络数据与技术处工作人员王煜凯表示,“外国山海经”起源于2025年初在国外社交平台上的一类名为脑腐梗的视频,这类视频的本质就是利用AI技术生成一些行为荒诞,同时存在这种魔性洗脑的视频,看过后感觉大脑像退化一样,所以说它们在国外被称为脑腐梗。

画面中这些正是海外社交平台上流行的“脑腐视频”:以意大利语等外语搭配魔性音效,再通过AI图像生成工具,将动物、物品与人类特征随机拼接,创造出一系列荒诞离奇的怪异形象。

今年年初,这些视频被网友搬运到了国内的短视频平台上,并迅速引发了大量二次创作和传播。有人制作了角色图鉴,有人编造了一些新的故事背景和动画形象之间的关联,吸引了许多未成年人关注。

内容涉及暴力软色情

极易误导未成年人

记者调查发现,除了以这些AI动画形象为原型制作的玩具、手办外,还有文具、漫画书、生活用品等等。不少商品页面显示“已售10万+”,销量很大。记者走访了一些学校周边的文具店、超市、玩具店,也发现有相关玩具在售。

王煜凯称,很多小学生把“外国山海经”当成学校的一个社交货币,小朋友以记住更多的“外国山海经”里面怪物形象、名字为荣,甚至形成攀比,包括一些家长也表示,小朋友在写作业的过程中,会模仿“外国山海经”里面的怪物发出一些奇怪的声音,其实对未成年人的学习生活都会带来不良的影响。

除了耽误学习、分散注意力之外,王煜凯表示,像一些叫大逃杀、打斗,甚至是软色情的元素和题材,容易在未成年人中形成示范传播。

在这些视频中,AI生成的动画形象频频上演暴力场景:木棍人挥舞木棒砸毁汽车;体形庞大的怪兽在城市街头疯狂追杀人类;还有动画形象手持刀具,切割其他的动画形象……这些充满攻击性、破坏性的画面,不仅渲染暴力,更因角色卡通化而弱化了危害感,极易被未成年人误认为“好玩”或“酷”,从而引发模仿行为。

同样令人担忧的是,在部分以这些形象开发的小游戏中,还夹杂着软色情内容,危害未成年人的身心健康。

在这些视频的评论区,不少家长反映,孩子对所谓的“外国山海经”极为沉迷,甚至有些孩子压根不知道中国有《山海经》,反而先入为主地认为“《山海经》就是外国的”。对此,中国政法大学网络法学研究所所长李怀胜认为,现在孩子们接触网络的年龄越来越小,很多人还没来得及了解真正的传统文化,就已经被这样的不良内容带偏了方向。

技术门槛低 算法推荐“助推”不良内容

记者调查发现,不少家长其实已经意识到这类短视频的问题,也在尽力阻止孩子接触。但让他们困惑的是:这些内容为什么在网络上扩散得如此迅猛?为此,我们咨询了互联网和人工智能领域的专家,原来是技术门槛的降低和算法的推荐造成了这波风潮。

当前人工智能、大数据等新技术新应用不断涌现,给网络生态治理带来新的挑战。

人工智能、大数据等新技术的迅猛发展,内容创作门槛的降低,赋予普通人更多表达与创造的可能。然而,技术的便捷也伴随着责任与边界。

法学专家指出,根据《网络信息内容生态治理规定》的相关条款,法律鼓励网络信息内容生产者制作、复制、发布符合社会主义核心价值观、积极健康、有益于公众尤其是未成年人成长的内容。而当前利用AI生成的此类视频,内容荒诞、逻辑混乱、缺乏文化内涵,并不具备教育或审美价值。

此类视频深受未成年人喜爱,凭借高点击率、完播率,在平台算法推荐加持下实现“裂变式”传播。

人工智能研究人员指出,“外国山海经”这类视频正是利用夸张、猎奇、高冲击力的画面来抓取未成年人的注意力。孩子只要出于好奇点开看了几秒,算法就会立刻标记兴趣,源源不断地推送类似内容,形成“越看越推、越推越看”的循环。

一些家长已经注意到这类内容对孩子的不良影响,主动进行举报或屏蔽。但人工智能研究人员指出,即便如此,算法仍可能基于用户行为或相似内容特征,继续推送此类视频。

专家:禁止危害未成年人成长内容传播

那么,这些利用AI生成的动画视频为何能在短视频平台上广泛传播?我们的法律对于传播的内容是否有相关规定呢?网络平台又该如何履行监管责任呢?

中国政法大学网络法学研究所所长李怀胜表示,作品本身是否符合社会主义的核心价值观,是否有违法犯罪,是否有教唆,是否有对未成年人成长不利的地方,《互联网信息内容生态治理规定》对于什么样的信息在网络空间中可以传播也有相关的规定,也设定了明确的禁止性条款,我们有《中华人民共和国未成年人保护法》以及《未成年人网络保护条例》,对此还是有非常明确和具体的法则的。

法学专家指出,我国法律除了对网络内容本身有明确的法律规定之外,对平台的责任和义务也作出了严格要求。

李怀胜表示,对于网络平台来说,实际上承担着主体责任或者说是第一责任,平台要通过有效的事先的信息监管,对于可能危害威胁未成年人身心健康的信息要提前予以制止,严重违背社会主义核心价值观,属于违法犯罪或者说淫秽色情、暴力凶杀等相关的信息平台第一时间要采取下架制止的方法,防止信息的进一步扩散。如果涉嫌违法犯罪的话,平台要向相关的主管部门进行报告。

观点:治理乱象要压实平台主体责任

法学专家认为,治理“外国山海经”这类乱象,除了算法技术的升级,也要压实平台主体责任。平台作为内容分发的核心枢纽,应主动履行审核、过滤和处置义务,将推荐权重向健康、有益、优质的内容倾斜。

2025年4月,国家网信办印发通知,在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动。在重点整治的7类突出问题中,就包括“AI应用程序诱导未成年人沉迷、在未成年人模式下存在影响未成年人身心健康的内容等”。

近期,北京市网信办督促指导属地网站平台,通过深化算法整治、开展违规内容排查清理等举措,坚决遏制AI技术滥用引发的网络乱象,切实守护未成年人网络空间安全。

今年9月1日起,《人工智能生成合成内容标识办法》正式施行,明确所有AI生成的文字、图片、视频等内容都要“亮明身份”,标注AI生成标识。

在接受记者采访时,北京市网信办的工作人员也提到,网络平台用户如果发现了含有不良内容的短视频,可以及时举报,共同参与网络环境治理,为未成年人筑起一道防护屏障。针对“外国山海经”这类视频及其衍生的线下周边产品对未成年人造成的不良影响,北京市网信办工作人员表示,将联合教育、文化执法等多部门开展协同治理,守护未成年人的健康成长环境。