N中国基金报 新华 央视网
编前:随着AI合成技术的普及,网络世界正上演一场场真假难辨的骗局:一边是全红婵、孙颖莎等奥运冠军的声音被克隆,忙着为土鸡蛋“带货”,粉丝误以为是偶像本人纷纷下单;另一边近期A股行情火爆,徐翔、王亚伟、林园等股市“大神”的AI合成视频刷屏,以复出直播、抄作业为噱头邀投资者“入圈”,甚至有账号循环播放仿冒“徐翔”的语音引流。这些乱象不仅侵犯了名人肖像权、声音权,更让消费者和投资者陷入财产受损风险。
《人工智能生成合成内容标识办法》将于9月1日起施行,其中明确了服务提供者应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识等。专家呼吁公众提高警惕,莫让AI技术成为诈骗工具,守护好“钱袋子”。
“徐翔、王亚伟”开直播?
AI合成股神视频刷屏
近日A股市场强势,再创阶段新高,市场主要指数全线飘红。记者关注到,多个视频号发布王亚伟、徐翔、林园等老股民熟知的“股神”相关视频,其中提及“相互学习、资源共享”“8月××日直播”等内容,邀请股民“入圈”“上车”“抄作业”。
“股神”预约 教你“抄作业”
“徐翔”与“林园”握手微笑,相谈甚欢,“王亚伟”满面春风挥手致意……
近期,记者关注到,市场上出现多个视频号,打着王亚伟、徐翔、林园等老股民熟知的“股神”的旗号发布视频,并开启直播预热。
其中,曾经的“总舵主”徐翔出现频率最高。一个名为“徐总舵主”的账号,发布了“徐翔归来 总舵主入驻视频号”的视频。该视频的配文显示,“不收米 不买课 相互扶持 优胜劣汰”。同时,该账号将于8月27日以“预约了‘抄作业’”为主题直播,显然深谙用户心理,并规避了视频直播违禁词。
类似的,在一个“徐翔”与“林园”握手的视频中,同样提到“互相学习 资源共享”,并将于8月27日直播,主题为“月末‘抄作业’”。
虚假视频泛滥 新视频层出不穷
记者查询发现,目前打着“徐翔复出”“徐翔视频号首秀”“总舵主归来”等旗号的视频已经泛滥,且新视频层出不穷。视频中“徐翔”的“搭子”包括“林园”“章盟主”等。
从视频使用的素材来看,基本为徐翔入狱前为数不多的几张清晰照片的动态生成,也有语速语调充满“AI味”的“徐翔”侃侃而谈,视频换头拼接痕迹颇重。
另一个以“王亚伟”为主题的短视频,标题为“归来仍是王者 千合一哥”,配文为“首秀内容 不买克(课) 不收米(钱) 相互学习 共同进步”。同样,该账号以“干货分享”为主题,将于8月27日直播。从转发情况来看,“王亚伟”的视频相对火爆。不过,截至发稿,该条视频已被删除。
记者跟踪一个在8月20日午后直播的账号发现,相关直播中“徐翔”并未露脸或出镜,仅有一个男声发言循环播放。不过,该次直播在几分钟之后即宣告结束。直播期间,有大量网友留言互动、联系客服,不过也有网友称,“假的吧”“有托儿”。
作为“股神”中的一员,东方港湾董事长但斌,也有类似的烦恼。
8月18日,东方港湾发布关于提醒投资者防范他人利用AI仿冒但斌先生进行非法证券活动的声明。从东方港湾展示的截图与骗局描述情况来看,但斌遭遇的AI仿冒与前述“徐翔”“王亚伟”等情况类似。
“一眼假”视频 仍可能迷惑部分老股民
实际上,上述短视频内容并不高明,部分甚至属于“一眼假”。不过,某资深法务人士向记者介绍称,视频内容的相对拙劣,可有效筛选掉一部分有警惕心、不易上当者,对不法者来说可降低成本,提高骗局效率。即便看出来是假的,在近期的热烈气氛下,也可能有投资者跃跃欲试,本着“不花钱”的心态观看直播,最终一步步“上套”。
今年6月,深圳证监局发文称,不法分子利用短视频、公众号、直播、网站等宣传,引流至微信、钉钉以及其他小众APP、群聊等“私域”作案,已成为惯用手法。
据悉,相关荐股常通过直播、群聊开展,有的假借分析经济形势、复盘过往交易、学习投资理论名义,采用谐音暗语、唱歌喊票等隐晦方式进行,群里的各种托帮忙明示股票“抬轿子”,投资者跟随操作往往大幅亏损。由于直播视频不易保存,荐股方式较为隐晦,因此受害人不易收集证据,受骗后维权困难。虽然都是“老套路”,但通过AI技术将昔日“总舵主”直观地展示在面前,或许真能迷惑住一些老股民。
奥运冠军带货土鸡蛋?
AI克隆声音侵权!
“大家好,我是你们的婵宝,今天有事请大家帮忙。婵妹就想着帮助妈妈,让家里的生活过得更好一点,同时把老家的土鸡蛋分享给粉丝们尝尝……”
在互联网上,奥运冠军的“声音”突然开始推销农产品,知名演员的“声音”24小时不间断在直播间与粉丝互动……随着AI技术的普及,“克隆”特定人物声音已实现“一键式”操作。当声音能被轻易窃取和滥用,随之而来的侵权乱象频繁上演。
诱骗粉丝打赏获利 还可快速打造账号
记者在短视频平台看到,一博主账号中已发布的17件作品,内容全部是利用AI仿冒奥运冠军全红婵声音带货土鸡蛋的视频,其中一个视频点赞量高达1.1万。
评论区显示,大量粉丝误以为这就是全红婵本人,纷纷下单购买链接中的鸡蛋,该商品链接显示已售出4.7万件。今年4月,全红婵家人曾向媒体证实,全红婵并未给相关农产品代言或授权。
除全红婵外,奥运冠军孙颖莎和王楚钦也遭遇了同样的仿冒。在网名为“小兔真可爱”的账号中,两位奥运冠军的AI克隆声音同样在为土鸡蛋带货。
以假乱真的声音再加上对奥运冠军的喜爱,网络博主收获了大量粉丝的订单。
而记者发现,AI仿冒名人的乱象远不止带货,还有部分自媒体博主克隆名人的声音后进行24小时语音直播,演员靳东是被仿冒最多的对象,在这看似匪夷所思的操作背后,其实隐藏着另一个灰色产业链。
据网络安全专家潘季明介绍,通过仿冒名人进行直播,不仅可以诱骗粉丝打赏获利,还可将一个小白账号迅速打造成上万粉丝的账号,从而为后续牟利铺路。
一键盗声仅需十几秒
那么,AI克隆声音是如何实现以假乱真的?又是谁在为“盗取声音”而推波助澜?
记者调查发现,在网络平台上,以“声音克隆”为关键词进行搜索,能轻易找到大量相关教程视频和软件下载信息。部分博主不仅详细演示操作过程,还直接提供软件资源。
网络安全专家潘季明介绍,基于开源的语音大模型,只需一段清晰的语音样本,任何人的声音都可能在极短时间内被克隆,并能被操纵说出攻击者设定的任意内容。
潘季明表示,除了侵犯声音权等合法权益,AI克隆声音目前最大的隐患是被诈骗分子利用,一旦与AI换脸等技术结合,生成高度逼真的“数字人”实施诈骗,危害将非常严重。潘季明建议,目前相关的技术要从源头进行相应限制,在开源过程中需对代码的使用时长、应用场景等做具体限制。
专家:所有AI合成内容 9月1日起须打电子水印
中国人权研究会理事、云南大学人权法研究中心执行主任刘红春说,利用AI仿冒奥运冠军“带货”的行为,已侵犯了他们的肖像权与声音权。他强调,该类仿冒行为并非仅针对名人,仿冒任何自然人均属违法。不法分子选择名人下手,正是看中其社会影响力和公众信任,从而更易达成误导消费者、推销商品甚至实施诈骗的目的。
“这些行为违反了民法典中‘任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权’‘对自然人声音的保护,参照适用肖像权保护的有关规定’等条文。”刘红春说,以上述为例,商家利用AI伪造声音,编造故事,推销商品,已构成对全红婵等奥运冠军声音权的侵害,被侵权人可以要求商家停止侵权行为、赔偿损失与赔礼道歉。
“此举还侵犯了消费者知情权。”刘红春说,如果商家诱导消费者购买高价、低质或不存在的商品,且骗取财物数额较大,就触犯了刑法,涉嫌诈骗罪。
中国政法大学人权研究院教授刘小楠认为,当前互联网平台出现不少AI移花接木的视频,AI换脸、AI盗声的不当滥用,易引发侵犯肖像权、声音权,侵犯公民个人信息及诈骗等犯罪行为,是人工智能技术带来的新挑战之一。她表示,我国目前对AI合成技术已经作出一些规定,如《生成式人工智能服务管理暂行办法》就明确规定:提供和使用生成式人工智能服务,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益。
“《人工智能生成合成内容标识办法》将从今年9月1日起施行,所有AI合成的内容,必须依法打电子水印,没有标识的,大家可以举报。如果刷到疑似假货,也可录屏举报,或者@官方客服。”刘红春说。
法律专家提醒公众要保持警惕,勿轻信AI生成的音视频或直播,避免财产损失;被仿冒者可拿起法律武器,维护自身权益;网站平台要提升检测鉴伪能力,对此类乱象加大监管,对发布者内容严格审核,做好处置。