Mistral官方网站
AI领域的新兴力量——Mistral，最近宣布了一项重要的技术突破：一款全新的内容审核API。这款API不仅能够满足不同的应用需求，还能根据具体的安全标准进行定制化调整。作为Mistral的Le Chat聊天平台背后的技术支撑，该API利用了经过精细调优的模型（Ministral 8B），能够在包括英语、法语和德语在内的多种语言环境中，将文本内容归类至九个主要类别之一，如性内容、仇恨言论、暴力威胁等。
此审核API不仅适用于原始文本，也支持对话形式的文本处理。Mistral在其官方博客中表示：“我们观察到，整个行业和研究社区对于基于AI的新审核系统表现出越来越浓厚的兴趣，这些系统有助于在各种应用场景中实现更加规模化且稳健的审核。”Mistral的内容审核分类器通过实施有效的保护措施，引入了一种实用的方法来提高模型安全性，特别是针对模型生成的危害，例如不合格的建议和个人身份信息（PII）泄露。
尽管AI驱动的审核系统理论上非常有用，但它们同样容易受到与其他AI系统类似的偏见和技术缺陷的影响。例如，一些用于检测毒性言论的模型可能错误地将非裔美国人常用的一些表达方式视为‘有毒’。此外，关于残疾人的社交媒体帖子往往会被现有的公共情感和毒性检测模型标记为更加消极或有毒。对此，Mistral承认其审核模型虽然具有高准确性，但仍处于持续改进之中。公司并未将其API性能与Jigsaw的Perspective API或OpenAI的审核API等其他流行审核API直接对比。
Mistral正与其客户合作开发和分享可扩展、轻量级且可定制的审核工具。“我们将继续与研究界合作，为更广泛的领域贡献安全性的进步。”Mistral承诺道。此外，该公司还推出了批处理API，声称通过异步处理大量请求，可以将通过其API提供的模型成本降低25%。
