Black Hat USA 2024,一位研究人员披露了微软AI助手Copilot存在的多个安全隐患,攻击者可以利用这个漏洞窃取敏感数据和企业凭证。

微软声称将任务分配给AI助手Copilot,每天可以节省数百小时的工作时间。Copilot是微软2023年2月推出的AI驱动助手,它允许企业建立和培训自己的人工智能助手,使微软应用程序中的任务自动化。Copilot基于大型语言模型,能够接受文本、图像和语音输入并在新的Windows中 11 PC和Copilot 在PC上运行。
但是,人工智能技术的使用总是伴随着风险。关于大型科技公司如何处理用户数据的讨论越来越激烈c;微软坚持Copilot提供企业级安全保护#xff0c;确保用户数据不会用于人工智能模型的培训。
尽管微软做出了这样的承诺,但是网络安全研究员Micahel Bargury,Black Hat USA Copilott在2024上展示 Studio机器人如何轻松绕过现有的防护措施?c;窃取企业敏感数据。
泄漏不仅可能,而且很可能。
根据研究人员的说法,默认设置不安全,插件过于宽松,设计思维过于乐观,使数据泄露变得“很有可能”。因为用户创建的大部分都是用户创建的 Copilot Studio 机器人不安全,在互联网上很容易找到,因此,它们必须作为应用程序安全计划的一部分,确保敏感数据不会泄露。
而且,Copilot 界面和系统不能防止错误和恶意攻击。
为此,bargury创建了一个叫做copilothunter的工具,它可以扫描公开可访问的Copilot,并利用模糊测试和生成人工智能技术滥用它们,提取敏感的企业数据。研究结果显示攻击成千上万的可访问机器人,揭示恶意行为者可能使用的敏感数据和企业凭证。
#xff00bargury表示c;攻击者可以远程控制你与Copilot的交互,使Copilot代表您执行任何操作#xff0c;操纵你,误导你的决定,甚至完全控制Copilot发送给你的每一个字。
使用微软Copilot的方法。
研究人员指出,创建Copilot的初始步骤存在安全隐患。当用户创建自己的Copilot时,人工智能模型需要选择“知识”来源进行训练。
这些来源可能包括公共网站和上传的文件SharePoint、OneDrive或云数据库Dataverse。bargury警告说#xff0c;即使在这个阶段,也存在潜在的安全风险,例如,上传的文件可能包含隐藏的元数据,或者敏感数据可能不当共享。
另外,使用SharePoint、Onedrive或Dataverse作为输入源也可能导致数据共享过度。尽管数据存储在公司的云环境中,但是,用户授权Copilot访问所有子页面这可能会导致数据泄露。
Bargury还提到了,Copilot的“主题”功能也可能成为安全问题。主题定义了如何与AI对话,一个主题包括一组触发短语也就是说,用户在讨论特定问题时可能使用的短语、关键词和问题,触发短语有助于Copilot对问题做出适当的反应。
除了16个预设主题,用户还可以创建自己的主题来定制Copilot,但类似名称的主题可能会影响执行路径。
关于硬编码凭证。
一些连接和过程可能包含硬编码凭证。硬编码意味着将用户名、密码、API密钥或其他敏感信息等验证数据直接嵌入软件或应用程序的源代码中。
虽然这是一种不安全的网络安全做法,但这种情况仍然可能发生。如果这些凭证被输入AI模型,情况可能会变得更加困难。AI模型可以分析这些资源并“学习”凭证,在Copilot的回答中提供硬编码凭证。
另一个潜在的弱点是通道和身份验证。目前,Copilot的默认身份验证设置为“Teams”。但是,"无身份验证 "选项只需点击界面即可完成,这很容易诱发用户的疏忽。
Bargury强调,赋予AI数据访问权可以使其有用,但同时也让它变得脆弱。每个组织都需要进行风险评估来发现问题所在,确保安全团队密切监控这些人工智能助手的交互。尤其是Copilot的使用 Studio构建自定义助手时,不仅要依赖开发人员或公民开发人员的决定,和安全团队一起做决定。
参考资源
https://cybernews.com/security/black-hat-microsoft-copilot-data-leak/。