⚠️ OpenAI Sora视频生成器存在性深度伪造风险

OpenAI承认，其Sora视频生成应用在利用用户肖像生成AI视频时，存在产生性深度伪造内容的“小风险”。一项安全评估发现，尽管有内置的安全防护措施，Sora仍有 1.6% 的几率生成包含“成人裸体”或“性内容”的违规视频，这意味着其成功阻止了 98.4% 的此类内容。

OpenAI表示，Sora 2配备了“强大的安全堆栈”，可在输入和输出阶段阻止违规视频生成，并利用“自动化检测系统”扫描视频帧、场景描述和音频转录。此外，用户可通过“Cameo”功能控制其肖像的使用权，并可随时撤销访问、审查、删除或举报相关视频。

目前，Sora的访问权限仅限于受邀用户，iOS版本也限制了对公众人物的视频生成功能，并禁止未经同意使用真实人物肖像。OpenAI承诺将继续完善系统，以平衡安全与创意潜力。

(PCMag.com)

via 茶馆 - Telegram Channel