最新的AI在安全领域的应用新闻

随着AI不断发展，AI应用中的新功能带来新漏洞，现有企业，研究学者已加强对“越狱”的研究。OpenAI提出了通过“指令层次结构”来修复“忽略所有先前指令“攻击的方法。这确保LLM不会为用户和开发人员的指令分配同等优先级。这已在GPT-40 Mini中得到部署。Anthropic在多重越狱方面的工作表明了“警告防御”的潜力，它在前面和后面添加警告文本，以警示模型不要被越狱。与此同时，Gray Swan AI的安全专家已试用“断路器”。它不是试图检测攻击，而是专注于重新映射有害表示，这样模型要么拒绝遵守，要么产生不连贯的输出。他们发现这比标准拒绝训练效果更好。LLM测试初创公司Haize Labs与Hugging Face合作创建了首个红队抵抗组织基准。它汇编了常用的红队数据集并根据模型评估它们的成功率。同时，Scale根据私人评估推出了自己的稳健性排行榜。除了越狱之外，还可能存在更隐蔽的攻击虽然越狱通常是安全挑战中早已公开的事实，但潜在的攻击面要广泛得多，涵盖从训练到偏好数据和微调的所有内容。例如伯克利和麻省理工学院的研究人员创建了一个看似无害的数据集，但它会训练模型响应编码请求产生有害输出。当应用于GPT-4时，该模型始终按照有害指令行事，同时避开常见的保护措施。安全研究LLM能否提高自身可靠性？

全球治理英国创建了世界上第一个人工智能安全研究所，美国迅速跟进世界首个人工智能安全研究所AISA有三个核心功能：在部署前对高级模型进行评估；建立国家能力并开展研究；协调国际合作伙伴。AISA还发布了Inspect，一个用于LLM安全评估的框架，涵盖核心知识、推理能力和自主能力等方面。英国宣布与美国等效机构签署谅解备忘录，双方同意共同开发测试，并计划在美国旧金山设立办事处。政府急于填补关键国家基础设施中的漏洞英国通过其高级研究与发明机构（ARIA），花费了5900万英镑来开发一个“守门员”——一种先进的系统，负责了解和减少在能源、医疗保健和电信等关键领域中其他人工智能代理的风险。英国政府还报道称计划设立一个“AI安全研究实验室”，旨在汇集政府关于敌对国家使用进攻性AI的知识。美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。随着攻击面扩大，开发人员加大了对“越狱”的研究

?MicrosoftSecurity Copilot4月4日刚满48岁的Microsoft正在全面拥抱AI，并将其融入自己的各大产品线以树立自己在下个时代的领先地位，这一次是网络安全产品Security Copilot。记得几个月前，一些初创公司逐渐开始使用Gen AI来解决安全攻击问题，现在我不禁为他们感到担忧，因为巨头们正在各自强势地大步迈入这个领域。现实是，Microsoft的AI Security Copilot能够通过在几分钟内提供可操作的建议，简化对攻击的紧急理解，揭示威胁，甚至预测攻击者最有可能的下一步行动——这可能是网络安全领域的一个重要进步。?https://www.microsoft.com/en-us/security/business/ai-machine-learning/microsoft-security-copilotLoopMicrosoft一直在尝试推出新的办公文档格式，2020年，他们推出了Fluid，现在又推出了Loop，一个协作工具，独立于MS Office，但又与之密切相关。然而，我想很多人都会一眼发现——它Notion的UI太相似了，几乎一模一样，同样的文本块、页面和工作区——不过试用一天后，我发现，其顺畅程度较Notion还差得远。尽管如此，这依然是一个值得关注的举动，因为某种程度上，它也在与Google Workspace竞争，虽然当前只有Web端，但很快就会有一个APP。另外值得一提的是，它内置了AI Copilot。