要点速览: 自今年1月以来,AI脱衣工具已生成约300万张色情化图像,未成年人和公众人物是主要目标。学校缺乏针对深度伪造的专项政策,管理者只能沿用旧有的网络霸凌规则。《下架法案》现已将非自愿AI生成私密图像定为刑事犯罪,但各司法辖区的执法力度仍不均衡。
要点速览: 自今年1月以来,AI脱衣工具已生成约300万张色情化图像,未成年人和公众人物是主要目标。学校缺乏针对深度伪造的专项政策,管理者只能沿用旧有的网络霸凌规则。《下架法案》现已将非自愿AI生成私密图像定为刑事犯罪,但各司法辖区的执法力度仍不均衡。

自今年年初以来,AI脱衣工具已生成数百万张非自愿的深度伪造图像,创造了一种全新的数字虐待类别,学校、家长和监管机构正争相加以遏制。
能够从照片中剥离衣物或从零生成色情内容的生成式AI系统大规模普及,已将一个小众的互联网问题演变为主流危机。反数字仇恨中心估计,仅xAI旗下Grok一月份就生成了300万张色情图像,其中逾2万张描绘的是未成年人。虽然xAI此后引入了安全防护措施,但本周发布的《连线》杂志分析发现,Grok.com上仍存在数十张露骨的深度伪造图像,包括多名名人以及至少一名美国政治人物的照片。
"埃隆·马斯克明知故犯,在其平台上添加了一个有悖人伦的功能,帮助用户一键脱去女性和儿童的衣服,完全不顾及这种行为可预见的破坏性后果,"反数字仇恨中心首席执行官兼创始人伊姆兰·艾哈迈德表示。
这种虐待行为已蔓延至校园,学生们利用公开可用的脱衣应用来针对同学甚至教师。为K-12学校提供内容过滤软件的Lightspeed Systems产品执行副总裁珍妮弗·杜尔表示,这些工具正在推动色情敲诈案件的增加。"孩子们把一张照片发给别人,然后这张照片就被转换成别的东西,"杜尔说。"然后对方说,'嘿,付钱,否则我就告诉你所有的朋友和家人。'"
法律监管格局仍呈碎片化
今年颁布的联邦《下架法案》将未经同意在线发布私密图像(包括AI生成的深度伪造内容)定为刑事犯罪。大多数州已通过类似立法。但学区在更新内部政策以匹配新法律现实方面进展缓慢。
GoGuardian隐私与数据政策高级总监泰迪·哈特曼表示,大多数学校系统缺乏针对深度伪造的专项政策。"在学校层面,通常没有具体的深度伪造政策,"哈特曼说。"但大多数学校系统都有负责任的网络使用和网络霸凌政策。即使面对这种极端且露骨的网络霸凌形式,这些政策仍然适用。"
联邦法律与学校层面执法之间的差距造成了责任风险。杜尔警告称,当深度伪造霸凌事件发生在校园或使用学校设备时,家长可能会起诉学区。学校还在应对学生制作教职员工虚假图像的问题——在确认为伪造之前,这些事件会触发调查和停课处分。
检测工具难以跟上AI迭代速度
市面上现有的深度伪造检测工具能够以约90%的准确率识别被篡改的图像,但随着生成式AI的进步,该技术正在节节败退。"AI越来越擅长欺骗这些检测工具,"杜尔说。"以前有明显的破绽,比如多出一根手指或牙齿看起来很奇怪。但现在看起来非常逼真。"
内容过滤公司正在积极调整。GoGuardian的视觉裸体检测系统能够动态拦截裸体图像——无论是真实的还是AI生成的——阻止其在校园配发设备上被访问。Lightspeed Systems则提供匿名举报工具,让学生能够在不担心报复的情况下报告事件。
AI平台面临的监管压力不断加大
这一问题不仅限于学校。加拿大隐私专员本周公布的初步调查结果称,xAI未能从一开始就实施适当的安全保障措施,违反了联邦隐私法。调查指出,xAI已引入新的保护措施,但该公司尚未证明这些措施的有效性。
xAI的母公司SpaceX在5月的一份文件中披露,已拨备5.3亿美元用于处理持续的法律诉讼,包括与Grok相关的案件。该文件警告称,Grok的"失控"和"劲爆"模式带来了"更高的风险,包括声誉损害、生成潜在的色情内容以及虚假或误导性输出"。
追踪露骨AI内容近十年的深度伪造专家亨利·阿杰德表示,Grok的安全防护措施仍落后于主流竞争对手。"虽然Grok和X可能已对其模型做出了一些修改,特别是在今年年初的脱衣功能引发强烈反弹之后,但他们仍未能将其提升到与其他主流可用工具相同的标准,"阿杰德说。
对于投资者而言,监管走向已十分明确。SpaceX的5.3亿美元储备金表明,与AI生成内容相关的法律成本正在变得实质性增长。随着联邦和州层面的执法力度加强,未能实施稳健内容审核的公司——尤其是那些为18岁以下用户提供服务的公司——面临的赔偿责任将不断攀升。《下架法案》为受害者提供了私人诉讼权,开启了民事索赔的大门,这类索赔金额可能远超监管罚款。
本文仅供信息参考,不构成投资建议。