字数 1212，阅读大约需 7 分钟
Virtue AI 获得 3000 万美元融资，引领 AI 安全领域创新
近日，Virtue AI 宣布完成了由 Walden Catalyst Ventures 和 Lightspeed Venture Partners 领投的 3000 万美元种子轮和 A 轮融资。这一消息在人工智能安全领域引起了广泛关注。Virtue AI 的平台旨在解决当前安全领导者面临的挑战，他们需要应对各种与 AI 相关的漏洞，而现有的解决方案往往过于狭窄，仅覆盖特定的大型语言模型或提供有限的专业功能，如护栏或红队测试。
Virtue AI 的创新解决方案
Virtue AI 提供了一个单一平台，包含三种独特的产品来保护组织的 AI 工具：
- 1. 算法红队测试平台：该平台持续测试 AI 工具的潜在风险，如幻觉、隐私泄露、越狱和提示注入等，并将结果发送给公司的安全团队。这种持续的测试和监控有助于及时发现和解决潜在的安全问题。
- 2. 通用 AI 工具的护栏设置：这些护栏可防止通用 AI 工具产生违反内部政策或政府法规的输出。通过设置明确的边界和限制，Virtue AI 确保 AI 工具在使用过程中符合组织的要求和法律法规。
- 3. 针对自主代理的特定保护方案：随着自主代理的日益普及，Virtue AI 提供了专门的保护解决方案。这些代理在没有人类直接干预的情况下执行任务，因此需要额外的安全措施来防止滥用或恶意行为。
联合创始人的学术背景与创业动机
Virtue AI 的联合创始人包括 Bo Li、Dawn Song、Carlos Guestrin 和 Sanmi Koyejo，他们都是在 AI 领域拥有数十年研究经验的学者。他们创立 Virtue AI 的动机源于在现实世界 AI 部署中目睹的可预防的安全漏洞。
一个典型案例是 Air Canada 的聊天机器人错误地向客户提供了一个不存在的丧亲旅行折扣政策，导致该公司现在必须依法提供该折扣。Bo Li 表示：“这个非常广泛的风险表面引发了很多担忧。”这些现实世界的例子凸显了现有 AI 安全措施的不足，也促使了 Virtue AI 的创立。
客户基础与未来扩展计划
目前，Virtue AI 已经在金融、医疗保健和信息技术等关键行业拥有客户，包括一些前沿实验室。此外，Uber 和 Glean（也是 Lightspeed Venture Partners 的投资组合公司）也是其客户之一。这表明 Virtue AI 的解决方案在各个行业中都得到了认可和采用。
未来，Bo Li 计划将目前的 20 人团队扩大到约 50 人，重点招聘业务发展和机器学习方面的专家。在一年内，他希望 Virtue AI 能够保护“大多数 AI 产品层”，包括聊天机器人、代码库、代理和模型。Bo Li 表示：“我们可以提供安全层，而我们的客户可以专注于产品。这就是我们的愿景。”通过扩大团队和产品范围，Virtue AI 致力于成为 AI 安全领域的领导者，为组织提供全面的保护解决方案。
行业趋势与市场前景
随着 AI 技术的快速发展和广泛应用，AI 安全问题变得越来越重要。根据 Gartner 的报告，到 2025 年，全球 AI 安全市场预计将达到 130 亿美元。Virtue AI 的创新解决方案正好满足了这一市场需求，为组织提供了全面、有效的 AI 安全保护。
此外，随着自主代理和大型语言模型等新技术的出现，AI 安全领域面临着新的挑战。Virtue AI 的特定保护方案和持续测试平台能够应对这些挑战，为组织提供可靠的安全保障。
