大模型应用的安全合规

大模型 AI

大模型应用违规风险来源

软件（被攻击，泄露训练数据；故障）
训练数据（不合法、泄露）
模型算法（不合法）
模型生成（泄露训练数据、生成非法数据）

• 个人信息泄露
  
  • 模型训练阶段数据包含了个人信息；未进行匿名化处理，可能直接被大模型学习和存储
  • 模型推理阶段：与用户实时交互过程中获取了用户输入的个人信息
    ，并在生成内容时无意中重现了个人信息，导致泄露
• 内容安全风险
  
  • 训练数据中存在偏见和不良信息
  • 训练数据质量差，数据源单一，导致生成内容片面和失真
  • 模型缺陷
  • 用户输入异常
  • 社会环境和公众因素
• 模型安全风险：外部攻击模型获取训练数据，软件风险
• 模型故障导致相关应用故障 ，鲁棒性不足
• 知识产权风险：生成式人工智能在研发、使用和推广过程中，可能涉及的著作权、商标权、专利权等侵权问题。

大模型风险治理

信息合规
分类分级
生成合规
软件安全防控
模型风险评测
知识产权保护
应用备案