CCF上海浦江报告厅：生成式AI安全治理——从数据到模型论坛闭幕

10月24日下午，CCF 上海浦江大讲堂“生成式AI安全治理——从数据到模型”论坛（CCF-Ch-25-154）在哈尔滨华旗酒店成功举办。本次会议聚焦生成式AI

随着人工智能技术的快速发展和数字化转型的深入，数字安全已成为国家安全、经济发展和社会稳定的核心问题。人工智能虽然带来了前所未有的机遇，但其在模型安全、算法偏差等方面的潜在风险也日益凸显。尤其是，数据作为新的生产要素，如何保证其全生命周期的安全、隐私保护和合规流通，成为行业亟待解决的问题。

本次论坛由CCF上海执委会委员、上海电力大学文秘教授主持。上海CCF主席、复旦大学教授韩伟力在论坛上致辞。

第一阶段主题报告会由哈尔滨工业大学姜伟教授主持。北京理工大学教授、博士生导师、国家级青年人才沉萌教授做了《面向数据要素可信流通的隐私计算技术》的主题报告，介绍了数据要素流通面临的主要挑战和安全需求、隐私计算在支持数据要素可信流通中的关键支撑作用以及隐私计算技术的现状和发展趋势。

CCF上海浦江报告厅：生成式AI安全治理——从数据到模型论坛闭幕

山东大学计算机科学与技术学院院长、人工智能学院院长、教授、博士生导师程秀珍教授做了报告《“数据要素”背景下区块链领域关键技术挑战与发展方向》，介绍了如何在数据元素大规模跨域流通场景下实现高性能、高并发的事务处理能力；如何设计兼顾数据隐私保护和可控共享的先进密码学和安全机制，特别是应对量子计算威胁；如何构建灵活、高效、合规的跨链互操作协议，打破“数据孤岛”。

西安交通大学软件学院院长、教授、博士生导师王伟教授做了报告《人工智能系统失控风险与应对机制》，探讨了随着人工智能系统在复杂多变场景下的大规模部署和深入应用，系统失控风险日益增加，报告了人工智能失控风险的挑战以及相应的应对方法和机制。

第二阶段由上海电力大学文秘教授主持。东南大学青年首席教授、博士生导师、国家高层次青年人才李松泽教授作《大模型安全：评估方法和验证平台》报告，介绍了课题组近期在大语言模型和大模型驱动代理的安全评估与强化方面的研究工作，包括（多模态）大模型越狱、对抗、后门攻击方法、大模型幻觉检测、大模型裁判可靠性评估、大模型成员推理与数据重构攻击方法、最后引入研究团队正在研发的大模型安全评估与加固系统平台OmniTrust，实现精细化、全面化、持续演进的大模型安全评估与安全增强。

CCF上海浦江报告厅：生成式AI安全治理——从数据到模型论坛闭幕