12月11日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》(简称《规定》)，强调不得利用深度融合服务从事法律、行政法规禁止的活动，要求深度融合服务商落实信息安全主体责任。《规定》将于2023年1月10日实施。
所谓“深度合成技术”，是指利用以深度学习和虚拟现实为代表的生成合成算法，制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文语转换生成、音乐生成、人脸生成、人脸替换、图像增强等技术。目前，该技术已应用于媒体、影视制作、社交娱乐、教育和电子商务等领域，如AI合成主播、虚拟偶像、历史老照片还原等。
近年来，随着技术的广泛应用，以及一二级市场对相关赛道关注度的持续升温，深度合成技术的滥用也随之产生。在业内人士看来，《规定》的落地有利于避免滥用技术进行诈骗等违法行为。
深度合成技术得到了广泛应用。
2019年11月以来，我国陆续出台了《网络音视频信息服务管理规定》 《网络信息内容生态治理规定》 《互联网信息服务算法推荐管理规定》等文件，对合成内容的生成提出了不同程度的监管要求。2022年1月28日，国家互联网信息办公室公布《互联网信息服务深度合成管理规定（征求意见稿）》向社会公开征求意见，对滥用深度合成内容的使用、标记、使用范围、处罚等作出了具体规定。
中国社会科学院哲学研究所科技哲学研究室主任段伟文表示，要对深度合成技术引发的社会、法律、伦理等问题进行系统性、前瞻性的跨学科研究，对其可能存在的高风险应用场景进行有针对性的治理和监管。
2022年2月，清华大学人工智能研究所与多家机构联合发布《深度合成十大趋势报告（2022）》(简称《报告》)。055-79000显示，在国内外主流音视频网站和社交媒体平台上，2021年新发布的深度复合视频数量比2017年增长了十几倍。此外，深度合成内容的关注度也呈指数级增长。通过互动数据统计，2021年新发布的深度合成视频的赞数已经超过3亿。
2022年，深度合成技术也很热。截至记者发稿时，Tik Tok AI绘画特效已有2568.1万人使用；在小红书，根据灰海豚的数据，“AI绘画”关键词热度值为8.1万，相关笔记互动为76.1万；近日，腾讯还推出了“QQ小世界AI画师”活动。用户可以上传照片，一键生成不同维度的专属图片，但生成的效果参差不齐。有些二次结果符合原图，有些则“荒诞不经”。
国泰君安研究报告预计，未来五年，ai绘画在图像内容生成领域的渗透率将达到10%-30%。随着AI绘画以下一代互联网为重点，市场规模将超过600亿元。
除了AI画图，最近很火的聊天机器人ChatGPT，数字人，虚拟主播，AIGC，超宇宙等等，都属于深度合成技术领域。但需要注意的是，中国科学院院士、清华大学人工智能研究院首任院长张忠在《报告》开头写道：“与其他技术不同，人工智能的安全问题主要来自算法本身的不安全，更容易被误用和滥用。以深度合成技术为例，犯罪分子可以利用它给社会带来巨大威胁。”如伪造音视频，实施诬陷、诽谤、诈骗、敲诈勒索等违法行为。
《报告》说近年来深度合成技术发展很快。在服务用户需求、提升用户体验的同时，也被一些不法之徒利用，制作、复制、发布、传播违法不良信息，诽谤、贬损他人名誉、荣誉，假冒他人身份实施诈骗等。影响通信秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会稳定。《规定》的出台既是防范和化解安全风险的需要，也是促进深度合成服务健康发展、提升监管能力水平的需要。段伟文告诉记者，在深度合成技术的应用中，AI变脸就是一个典型代表。比如在短视频中传播虚假视频，可能会导致谣言等更严重的结果，对公众造成不良影响。
避免在非法活动中滥用技术。
此次发布的《规定》要求深度融合服务商建立健全管理制度和技术保障措施，制定开放的管理规则和平台公约，认证用户真实身份信息，加强深度融合内容管理，建立健全辟谣机制和投诉、申诉、举报机制。同时，明确深度集成服务提供商应添加不影响其服务生成或编辑的信息内容使用的标识。如果提供智能对话、合成语音、人脸生成、沉浸式现实场景等服务。那些产生或显著改变信息内容功能的，你应该清楚地标明它们，以避免公众混淆或误认。
对于《规定》的出台，人工智能技术行业人士向记者表示，《规定》对AIGC领域有规范作用，但主要是为了防止技术被滥用于造假。平台加入水印技术后可能会继续运行，就像业内推行的手机号实名登记制度一样，对普通人影响不大。
智慧所分析师陈告诉记者，《规定》无疑是保证深度合成技术正确应用和推广的保障。但总的来说，利用深度合成技术进行违法犯罪活动的成本较低，执法难度较大。因此，所有参与者都需要具备相关法律和风险意识，并采取行动。这必然会对所有参与者产生不同程度的影响。影响最大的应该是相关服务的供应商。由于深度合成的内容涉及面广，供应商需要加强相关审计，这将推高供应商的运营成本。而且《规定》第17条对醒目标识的定义比较模糊，醒目标识还可能影响相关服务的体验。对于个人用户来说，还需要加强自我审查，增加了应用相关技术的隐性成本。
上海大邦律师事务所尤律师对第一财经表示，新规主要规范深度合成相关的人工智能。涉及的行业有人工智能元宇宙，出版部门有电信公安、在线信息等。监管的主要目的是防止这些新生事物对现有的社会秩序产生太大的冲击。
《规定》监管的对象之一就是深度合成人工智能的用户。游听云表示，《规定》要求这些工具不得用于非法目的，另一个对象是深度整合服务商，也就是平台的责任主体。提供服务时，要求实行用户实名登记制度，对整合内容进行监督审核，建立违法和不良信息特征数据库。同时，平台要求在训练人工智能时，若训练数据包含个人信息，应符合《规定》的相关规定；如果使用生物特征信息，应由数据提供者单独批准，还规定了算法的伦理机制，强调深度合成服务产生内容的显著性识别，要求服务提供者根据现有互联网管理规定进行记录，并接受主管部门监管。
游听云认为，对于普通人来说，这一规定
段伟文告诉记者，《个人信息保护》将推动相关企业在安全合规、伦理道德等方面加大投入，在短时间内积累相关经验。在具体落地过程中，哪些技术方面需要安全评估，谁来做等等。都需要探索。所以长期来看，《规定》对行业的影响还需要结合具体的流程来观察。
在磨合过程中，段伟文认为有三点需要明确：一是监管部门要在不同阶段对企业提出相对明确的要求；其次，企业作为技术的主体，要加强技术自律，及时发现问题，做好复检，把相关风险降到最低；作为用户或消费者，全社会应创造条件，加强人工智能和数字技术的社会法律和伦理影响的教育和传播，促进公众人工智能素养和数字素养的提高。
至于深度合成技术在行业落地过程中如何进行精准识别，段伟文表示，需要监管部门、企业和消费者共同努力，构建协同共治的机制。从《规定》到《规定（意见稿）》，过程中涉及了很多企业。未来还是需要消费者参与进来，尽量减少对企业创新效率的负面影响。
