文 | 有界 UnKnown
「我在群里看到你，是你吗？」
在韩国，如果有朋友给你发来这句问候，不要误会，他大概率不是要和你叙旧，因为接下来他给你发的，很可能就是你的裸照。
看着屏幕，你如遭雷击，脑子一片空白。虽然你百分百确认自己从来没有拍摄这样的照片，可手机屏幕里的那个人眉目清楚，却又分明就是你。
你不明白发生了什么，心脏被攥紧，恐惧开始在全身蔓延。
照片当然和女孩儿无关，它是由一种名叫深度伪造 （DeepFake） 的技术生成，这种技术在国内更被人熟知的称呼是 「AI 换脸」。在如今的韩国，这种技术正在变成一团巨大的阴影，笼罩在所有女性的头顶，带来恐慌和迫害。
在韩国，犯罪者通过 DeepFake 将普通人的形象替换到色情图片或视频中，然后通过社交媒体上进行传播，对当事人进行羞辱。
据 《朝鲜日报》 的报道，最近一周在警方发现的相关 Telegram 社群里，参与制作和传播 DeepFake 的加害者已多达 23 万人。这些人不局限在韩国，也来自世界各地。
另据一位韩国网友在 X 上发布的帖子表示，受到 DeepFake 影响的受害者已经遍及韩国数百所国中、高中和大学。这些受害者中，80% 是女性，她们有的还在念初高中，属于未成年人、有的是大学生或者教师，其中甚至包括女性军人，她们的照片被称为 「军需品」。
▲X 上披露受 Deepfake 技术影响的校园名单
回顾这场风暴，DeepFake 无疑是其中的关键。但它却并不是一项新技术，最早出现在 2016 年的 DeepFake 到如今已有将近十年的历史。
这十年间，DeepFake 一直游走在罪恶和法律的边缘，不断挑战着人性和道德的底线。从美国到中国，从韩国到印度，DeepFake 每隔一两年就会有一次技术突破，然后又给这个世界带来一场更大的恐慌。
技术有罪吗？DeepFake 好像确实如此。但技术真的有罪吗？却似乎又与 DeepFake 无关。
被害人，从明星到百姓
追溯起来，DeepFake 最早出现在 2016 年。
当时，机器视觉还是全球 AI 研究最热门的方向之一，一些研究人员在研究机器视觉的过程中使用 DCNN（深度卷积神经网络） 实现了人脸识别、表情转换以及其他与图像处理相关的任务，这是 DeepFake 最早的雏形。
差不多一年之后，以这些技术为基础，科研人员进一步采用 GAN（生成对抗网络） 实现了生成逼真的人脸图像。之后，「换脸」 很快以极具破坏性的首秀向大众展示它的威力。
2017 年，一位 Reddit 用户在 Reddit 新建了一个名为 「DeepFake」 的社区，开始用名人的肖像来制作色情内容进行传播。知名女星斯嘉丽·约翰逊 （Scarlett Johansson）、加尔·加朵 （Gal Gadot） 都成为了受害者，其带来的恶劣影响，也曾喧嚣一时。
后来，这个社区虽然被很快删除了，但 「DeepFake」 这个名字却被保留了下来，并成为 AI 合成内容的代名词。
在这个阶段，DeepFake 还掌握在以学术研究为主的少数群体手中，导致它的使用仍然存在一些门槛。直到 2019 年，开源工具 FaceSwap 将 DeepFake 的应用从学术研究普及到大众，然后第一个广泛流行的 DeepFake 应用 FakeApp 就随之出现，它让非技术人员也能轻松创建 DeepFake 视频。
DeepFake 从此开始越来越普遍，从 2019 年到 2020 年，DeepFake 频繁引发各类公共事件，其影响范围也从娱乐色情扩展到经济社会的各个方面，甚至包括总统选举。
而韩国新 N 号事件最大的一个变化在于，它说明 DeepFake 的受害者正在加速平民化，未来 DeepFake 的受害者，不再局限于明星政要，包括你我在内，每一个人都有可能成为新的受害者。
▲DeepFake 相关代表事件
如今，随着 AI 大模型技术的发展，制作一张 DeepFake 图片的成本几乎已经可以忽略不计。
这次韩国新 N 号房之所以波及范围如此之广，一个重要的原因是，在 Telegram 上随便加入一个 DeepFake 的社群，就会获得两次免费的图片生成机会。
「将你喜欢的女生照片发给我。」 这是很多人加入在 Telegram 上加入 DeepFake 社群的第一步。
两次免费的生成机会之后，新的内容生成虽然需要付费，但价格也并不高，每一次只需要支付一颗钻石 （Telegram 的一种加密货币，约合 0.49 美元，3.49 元人民币）。而且和所有充值办卡的逻辑一样，充得越多，价格还会越便宜。
当然，你也可以选择不付费，那么你只需要再邀请一位新朋友加入，就可以再获得一次免费生成的机会。由一个人拉来另一个人，罪恶通过熟人关系进行裂变，然后如病毒般扩散 [1]。
这也导致另一个问题，那些所有通过 DeepFake 生成的淫秽内容，都由熟人进行制作，并在熟人圈子里进行传播。
比如在韩国学校里，许多人就将身边朋友的照片用来生成淫秽色情内容。很多照片，可能就来自你刚刚生日，或者旅游之后在社交媒体发布的美照。
由于熟人的关系，这些 「脸」 属于谁也通常被标记得一清二楚。你可能会莫名收到来自陌生人的短信或者邮件，对方能够明确指出你学校和班级，或者你的工作单位和家庭住址，然后在末尾放上一段由 「你」 出演的性爱视频。
▲韩国媒体报道中的 Telegram 截图 图源微博
对于身处其中的受害者而言，这件事情最可怕之处在于，你不知道平日里衣冠楚楚的朋友们，会不会就是这 23 万人中的一员；你不知道之前发布在社交媒体的照片会不会已经被他们保存下来，然后替换到那些淫秽不堪的场景当中。
你不知道他们会把这些照片发给谁，如何对着这些东西对你品头论足，身边又有多少人看过这些内容。
你只知道，这个世界有一双无形的眼睛，在不为人知处默默的注视着、觊觎着你。
只是一场游戏
受害者们自然不会缄口不言。
8 月份以来，韩国女性开始在国内外互联网平台上进行抗议，要求将 「加害者」 绳之以法。但当韩国女性四处求告之时，加害者们却颇有一种漫不经心，不以为然的态度。
有韩国女孩儿截图犯罪者的言论，他们将受害者的抗议当做是一种女权主义，并表示 「女人们对这件事情过分夸张」。
韩国媒体的报道中也提到许多有关犯罪者的言论，他们说用熟人的形象制作深伪色情内容 「只是觉得有趣」、「只是在开玩笑」、以及 「用熟人的照片 P 图更真实」，而当有人说这样做犯法时，他们甚至发出 「只有傻瓜才会被被警察逮住」的言论。
▲在微博求助的韩国网友
是的，这件让许多受害者深感痛苦的事情，在许多在许多加害者眼中只是一场 「游戏」。
韩国媒体 Pressian 报道，截至今年 6 月，Telegram 上一个名叫 「朋友 COCKHERO（Cock Hero）chat」 的群聊中 [2]，已有数百名参与者上传自己女性朋友的照片或视频，然后利用 DeepFake 将它们制作成淫秽内容。
他们群聊里分享素材和自己制作的内容，甚至有人在群里表示，「请用我的朋友制作的 Cock Hero 并分享一些感想」，并将其视为一种荣誉。当然，他们也会对受害女性的外貌，以及被性剥削的可能品头论足。
在这个过程中，参与者被要求提供更多的素材，并表示 「提供女性朋友的照片和视频越多，生成的深伪内容质量就越好」。
当然，这也只是数千甚至上万个 Telegram 群聊中的一个，没有人知道 Telegram 上这样的群聊有多少。
而随着参与者的逐渐增多，这场由所谓 「玩笑」 引发的深伪色情内容制作正在变得越来越有组织，有预谋，并逐渐有脱离网络犯罪范畴的迹象。
韩国媒体报道，现在已经有越来越多的受害者收到恐吓内容。施暴者通过制造深伪色情内容对受害者进行威胁，并索要钱财。许多加害者甚至开始讨论，如何将受害者绑架并将其变成性奴隶。
正如同潘多拉魔盒里的罪恶，DeepFake 也正在冲破其 「虚拟」 的属性，变得一发不可收拾。
DeepFake，法外之地？
面对这些问题，许多人肯定会有一个直接的疑问：法律难道不管吗？
答案是管，但管的不多，且不同国家和地区法律能够干预的程度也有所不同。
比如今天 DeepFake 内容泛滥最严重的韩国，虽然在 2019 年的 「N 号房」 事件和 2020 年 「传播虚假视频」 事件后，韩国当局在 《性暴力处罚法》 中增加了 「数字性犯罪」 的概念和相应的处罚条款，但约束能力实在有限。
与非法拍摄的视频不同，在韩国，单纯拥有和观看深度伪造视频是不会受到处罚的。而即使你利用 DeepFake 制作了破坏受害人人格的非法深度伪造图像或者视频，但只要你说你没有 「以传播为目的」，你依然可以避免受到惩罚 [3]。
这也是韩国在处理新 N 号房事件时出现非常多非常戏剧性案例的原因。
比如在今年一场针对 Telegram 上制作 DeepFake 内容的社群进行调查时，虽然警方知道社群的参与人数达到 1200 人，但却仅有一人被捕。而他被捕的原因，是因为他将群里的 DeepFake 内容传播到了其他地方。除了他之外，这个社群包括运营方在内，没有一个人受到惩罚。
除了韩国之外，美国、英国、欧盟针对 DeepFake 的内容也都有相应的法律，但各个国家的侧重点和保护力度有所不同。
其中，美国的相关法律更倾向于保护政治选举的可靠性。
加利福利亚州明确提出禁止 DeepFake 在政治和性侵害方面的施暴，并且条款具体，比如提出 「禁止在选举前 60 天内传播可能影响选举结果的虚假视频」。
但在联邦层面上，美国缺乏统一的 DeepFake 法规。各州的法律执行在跨州和跨国案件中面临困难，尤其是在涉及跨境的 DeepFake 内容传播时，这些法律可能面临执行力不足的情况。
英国的 《诽谤法》 可以用于打击涉及 DeepFake 的诽谤行为，但这种法律通常需要受害者主动提起诉讼，成本高、时间长，普通人可能难以负担。
虽然英国明确对传播渠道做了规定，但 DeepFake 内容的跨国性传播使得法律的执行复杂化，可能削弱其实际效果。
欧盟的法律相对比较严格，《一般数据保护条例》（GDPR） 和 《数字服务法》（DSA） 通过严格的隐私保护和数字内容管理要求，对 DeepFake 技术的滥用进行限制，并对违反规定的公司施加了高额罚款。这些法律要求平台对 DeepFake 内容负有更高的责任，必须主动监测和移除虚假信息。
▲世界各国 DeepFake 法律法规一览
而与大多数国家不同，中国针对 DeepFake 的内容，特别是涉及淫秽色情内容的部分，管理要更加严格。
今年 3 月份，杭州互联网法院就曾审结一起关于利用 AI 换脸传播淫秽色情内容的案件。
这个案子发生在 2020 年，和韩国人在 Telegram 上的玩法一样，案犯通过 AI 工具制作换脸视频，然后在社交软件上创建社群进行分发。
案犯创建的社群名叫 「浏览群」 和 「私人订制群」。浏览群主要用来传播 DeepFake 视频，招揽观众和客户；定制群则支持付费定制，按照 5 分钟 300 元，10 分钟 500 元的标准收费。案犯在审理中表示，「只要能看到脸的都能换，有人甚至要定制暗恋女生的换脸视频。」
经过审理，该案犯最终因侵犯公民个人信息，以及制作、传播淫秽物品牟利罪被判有期徒刑七年三个月。
通过这个案件我们也能看到，在中国通过 DeepFake 制作色情内容进行传播，其犯罪成本要比国外高很多。
这样的好处自然是中国没有出现 DeepFake 内容大规模泛滥的问题，但另一面，也有更多人开始不满足于高风险低回报的情色内容制作，而开始铤而走险，通过 AI 换脸技术进行电信诈骗。
可以看到，在中国犯罪成本比在韩国要高很多。所以很多人利用 AI 换脸技术，并不是制造淫秽色情内容，而是电信诈骗，而这种 DeepFake 也不止局限于面目，甚至包括声音和个人身份信息。
2022 年以来，随着生成式 AI 技术的发展，国内电信诈骗案件持续高涨。
20 多年前的 2000 年，中国刑事案件中盗窃案件占比最多，达到总量的 60%，反扒小组曾一度成为一个专门的警察编队。20 多年后的今天，网络电信诈骗取而代之，成为新的 「时代罪恶」[4]。
据中国警察协会最新数据，2024 年上半年，诈骗占刑案的比例上升至 60%，其中绝大部分是网络电信诈骗。这是一个时代的变迁。
技术的发展，似乎在给这个社会带来更多的疼痛。
结语
在历史的传统叙事中，人们喜欢将 DeepFake 这样的事物归结为原罪，比如魔丸转世的哪吒，或者希腊神话中的阿多尼斯。但现代社会，我们并不这么思考问题。
2014 年，因 P2P（peer to peer） 分享传输技术而成为 「宅男神器」 的快播轰然倒塌，创始人王欣被逮捕。两年之后，王欣在案件庭审中为自己和快播做出了一番经典的辩护——技术无罪。
在王欣的理论中，自己和快播只是创造了一项技术，至于用户拿他做什么，与他无关。
但这件事情并没有回答，为什么技术带来的罪恶仍然频频出现。直到两年后，在距离王欣受审的法院不到 20 公里的地方，腾讯研究院举办了一场活动，它的主题是 「科技向善」。
食，色，性也。
技术发展的难点，除了技术本身之外，更本质的难点在于，如何限制撬动人性 「恶」 的杠杆。而在腾讯的理念中，使用技术的人本身应该承担起这样的责任，人类应该善用科技，避免滥用，杜绝恶用。
如今，科技向善已经被越来越多企业接受，成为中国技术发展的一项底层理念，但科技向善，却是一个更长久的课题。
