01 五类乱象:AI合成技术的黑暗面
AI合成技术在短视频领域的滥用已经呈现出多种形态。“AI克隆人”成了门生意,有人随意兜售AI合成软件,“手把手教学”,使得制作生成AI“克隆人”视频的技术成了一门生意。
只需提供一段有清晰人脸和声音的视频,就可以在短时间内生成一个和原视频相似的新视频,说话的内容可以自行编辑文本。
更有甚者,利用知名人士视频和声音AI合成新视频,发在短视频平台上用来卖货。多名运动员曾被AI仿冒卖货,例如某平台上有博主利用AI仿冒奥运冠军全红婵声音带货土鸡蛋,视频点赞量高达1.1万,相关商品显示已售出4.7万件。
淫秽内容的制作与传播是另一个严重问题。虞某通过互联网等渠道收集了百余人的人脸信息,在未取得他人同意的情况下,自行利用AI技术将其与部分淫秽视频中的人脸信息进行替换,伪造生成不雅视频、图片并通过社交群组盈利。
虚假信息的制造与传播也日益猖獗。2025年8月,汉中一人利用AI技术伪造“新华社消息”及“新华社主持人”等权威标识,捏造汛情视频并在社交平台上传播,严重扰乱社会公共秩序 被公安机关处罚。
知识产权侵权现象屡见不鲜。中国国家话剧院曾发表声明,称有公司未经同意擅自使用话剧《青蛇》作品,滥用AI换脸技术,违法进行冒演、虚假宣传,侵犯了院方的合法权益。
02 三重风险:个人、社会与市场面临的挑战
AI合成短视频的泛滥给个人、社会和市场都带来了严峻挑战。对个人而言,肖像权、名誉权和隐私权面临严重威胁。2025年8月,台球运动员王思诺遭遇AI伪造淫秽视频并传播的事件。
她红着眼眶,强忍着委屈与愤怒,对着镜头举起了警方的立案回执。这类“造黄谣”行为不仅严重损害了当事人的声誉,更导致受害人承受巨大的心理压力。
社会秩序受到虚假信息的挑战。利用AI捏造传播谣言性质恶劣,尤其是伪造权威新闻来源的内容,会引发社会恐慌,扰乱公共秩序。如前述伪造新华社讯的汛情视频,在短时间内传播范围广、播放量大,造成了恶劣的社会影响。
从市场竞争角度看,AI合成技术的不当使用破坏了公平竞争环境。未经授权使用他人肖像、影视作品、摄影作品等作为素材,既侵犯了创作者的著作权,又侵犯了出镜模特的肖像权。这种侵权行为让原创内容创作者处于不利地位,可能创作热情。
03 识别方法:如何看破AI合成视频
虽然AI技术在不断进步,但目前而言,仔细看的话还是能识别AI合成的视频。面部细节往往存在较为显著缺陷:微表情缺失(如眼角细纹、嘴角抽动难以捕捉)、光影不匹配(轮廓和阴影过渡不符合光线反射规律)以及皮肤过于光滑(缺乏毛孔、纹理和瑕疵)。
在眼神与表情方面,眼球运动机械化(转动不连贯、眨眼频率异常),面部表情僵硬(转换生硬、笑容缺乏真实感)。运动过程中也会出现明显的问题,比如脸部变形等。
观看手部动作也是一个比较快速识别的技巧,曾经很长一段时间,AI在处理人手的时候会出现非常多的问题,比如关节畸形等。
AI生成的语音通常更加流畅,语速更快,且较少出现“额”“嗯”“也就是说”等语气词或停顿。虽然声音克隆技术近年来取得了显著进步,几乎能够达到以假乱真的程度,但如果仔细辨别,仍然可以识别出AI生成的声音。
04 法律边界:AI合成技术的红线
我国目前对于AI合成技术已经作出了较为充分的规定。《互联网信息服务深度合成管理规定》《生成式人工智能服务暂行管理办法》等,明确要求深度合成服务提供者落实信息安全主体责任,使用者不得滥用深度合成服务。
2023年颁布的《互联网信息服务深度合成管理规定》针对该技术的规范管理迈出了重要一步。2025年9月1日,《人工智能生成合成内容标识办法》正式施行,要求所有AI生成的文字、图片、视频等内容都要“亮明身份”。
利用AI技术进行诈骗可能构成刑法上的虚假宣传、网络诈骗等犯罪行为。而随意售卖AI合成软件的行为,倘若存在主动为犯罪行为人提供相关软件服务等情形,则可能与犯罪行为人构成共同犯罪。
制作、传播淫秽物品则面临更严厉的刑罚。根据我国刑法第三百六十三条规定,以牟利为目的,制作、复制、出版、贩卖、传播淫秽物品的,处三年以下有期徒刑、拘役或者管制,并处罚金;情节严重的,处三年以上十年以下有期徒刑,并处罚金。
伪造军警照也是法律禁止的行为。《军服管理条例》和警察法明确规定,军服、警服作为军队装备、警用装备的制式服装,是国家形象的重要体现,非授权人员不得穿着。

05 防护策略:多方共治应对AI合成风险
面对AI合成技术带来的风险,需要多方共同努力构建防护体系。个人应注意隐私保护和风险防护,避免在陌生平台上传清晰证件照,对于要求提供照片、人脸验证的网页程序保持警惕。
限制AI工具权限,禁止非必要应用获取个人通讯录、相册、地理位置等信息。一旦发现个人隐私遭泄露、生物信息被冒用,应及时固定证据,确定传播范围,尽快联系平台要求删除、停止侵权,并通过公安机关报案或提起诉讼进行索赔。
平台作为服务提供者,需要对生成内容进行明确标识,避免公众混淆或误解。对于违法内容,平台应当及时采取停止生成、停止传输、立即消除等处置措施。
立法方面,需明确定义深度合成技术的应用范围和法律边界,细化平台、技术提供商、内容制作者及用户的法律责任1。同时,加大对利用AI技术实施犯罪行为的刑事处罚力度,并完善针对AI合成视频的证据规则,明确其法律效力。
技术措施方面,可以推广AI合成视频的检测工具和溯源技术,研发、低成本的检测服务,并向公众开放。利用水印技术对AI生成内容进行标识,便于追踪和识别