生成式模型的发展与威胁
近年来，以深度学习为核心的生成式人工智能技术取得了突破性进展，尤其是视觉内容生成领域迎来了前所未有的繁荣。从早期的生成对抗网络到如今占据主导地位的扩散模型，如Stable Diffusion、Midjourney等，文生图的生成质量已达到以假乱真的地步。不仅如此，随着Sora、Kling等先进文生视频模型的问世，生成式技术正迅速向时序维度扩展。这些技术极大地降低了内容创作的门槛，推动了艺术设计、影视制作等众多行业的变革。
然而，生成技术的飞跃式发展也随之带来了一系列严峻的安全隐患与社会信任危机。由于生成内容的视觉逼真度不断逼近人类肉眼的辨识极限，恶意使用者可以轻易且低成本地利用这些工具制造虚假信息、伪造司法证据或进行身份窃取。这些未经授权或被恶意篡改的合成图像与视频，一旦在社交媒体上被用于传播政治谣言、金融诈骗或侵犯个人隐私，将严重扰乱公众认知，甚至对社会稳定和国家安全构成重大威胁。面对日益泛滥的AI生成内容（AIGC），传统的数字取证与鉴伪手段正面临着巨大的挑战。
生成式模型安全
为了应对日益严峻的合成内容威胁并重建数字信任，研究团队在生成式模型安全领域展开了广泛探索，试图从内容生命周期的不同阶段构建防御体系，主要分为主动防御与被动检测。主动防御技术指的是在图像或视频发布后，利用检测特定对抗扰动、嵌入水印或隐写信息等技术手段，防止内容被恶意篡改，并追溯其原始来源，以确保版权的完整性和合法性，包括对抗加噪、图像水印和隐写信息技术等；被动检测指的是利用机器学习和深度学习技术，精准识别图像或视频中人脸真伪、是否含AI生成内容及隐藏信息，从而全面判断输入内容的真实性、完整性和安全性，有效过滤掉被篡改或嵌有不良信息的内容。常见技术包括人脸伪造检测技术、AIGI检测技术、信息隐藏检测技术等。团队在生成式模型安全领域以第一作者/通讯作者在IEEE TIFS、IEEE TDSC、ICLR、CVPR等国际顶级期刊和会议上发表百余篇学术论文。团队一项针对AI生成图像检测的研究工作被CCF A类会议International Conference on Machine Learning（简称ICML）接收为Spotlight。
三、DGS-Net: Distillation-Guided Gradient Surgery for CLIP Fine-Tuning in AI-Generated Image Detection
动机：尽管像大规模多模态模型（如CLIP）能够提供强大的可迁移表征来检测生成内容，但对其进行微调往往会导致灾难性遗忘，从而削弱可迁移的先验知识和预训练嵌入空间的几何结构。因此，微调后的模型可能过度拟合特定数据集的模式，而不是学习能够跨不同生成机制泛化的伪影表征。
方法：我们提出DGS-Net方法。首先，我们引入了一种梯度空间分解策略，其中任务梯度的正半空间被定义为有害方向，负半空间被定义为有益方向。在此基础上，我们首先将训练网络的图像梯度投影到由文本梯度估计的有害方向的正交补空间上，从而有效地抑制与检测任务无关的分量；同时，我们利用从冻结的CLIP图像编码器中提取的有益下降方向来指导训练网络表征的轻量级对齐，从而保留预训练期间获得的迁移先验知识，如图1所示。
图1 方法总体框架图
泛化性实验：为了验证本文所提方法的泛化性能，我们使用AIGIBench中的训练集进行训练，并且在两个公开数据集AIGCDetectBench和AIGIBench的包含50个不同生成方法上进行实验。如图2和图3所示，我们的方法比最先进的方法平均领先6.6%，实现了更优异的检测性能和泛化能力。
图2 在AIGCDetectBench上的泛化性实验
图3 在AIGIBench上的泛化性实验
四、论文发表信息
相关论文已被ICML2026录用为Spotlight，作者为南京信息工程大学网络空间安全学院、数字取证教育部工程研究中心的颜嘉震、李梓强、王博宇、何子文付章杰和澳门大学王帆，通讯作者为付章杰教授，联合指导老师为李梓强副教授。
五、团队简介
南京信息工程大学数字取证教育部工程研究中心是全国首个数字取证平台，旨在打造国际一流的数字取证“政产学研用”示范基地，构建我国数字取证领域的高素质人才培养与聚集基地、高水平成果产出与转化基地，全面提升我国数字取证相关行业的创新能力和国际竞争力。中心主要研究方向为新型电子数据取证、多媒体内容取证、区块链取证和数字水印等，现有研发人员200余人，目前正承担国家重点研发计划、国家自然科学基金重点项目等国家级科研项目100余项，已在数字取证国际顶级期刊IEEE TIFS等发表一大批学术论文，获得100多项国家发明专利，获得省部级及以上科技奖励10余项，与国内外100多家企事业单位建立了合作关系，相关成果已在国家有关部门、大型企业集团等单位推广应用。
