AI存致命缺陷！专家呼吁勿用于重要应用

字数 488，阅读大约需 3 分钟

AI在这方面存在致命缺陷！专家：AI不应用于重要应用

在当下技术飞速发展的环境中，人工智能（AI）相关话题讨论热度居高不下。德蒙特福特大学网络安全教授Eerke Boiten，对当前AI系统在管理与可靠性方面提出了尖锐的看法，他认为现有AI系统存在根本性缺陷，不应被应用于重要场景。

Boiten教授指出，当下多数AI系统，尤其是生成式AI以及像ChatGPT^[1]这样的大型语言模型，高度依赖大型神经网络。这些系统的运作机制极为复杂，虽然单个神经元行为遵循精确数学公式，但系统整体却呈现出不可预测的“涌现”特性，这为有效的管理与验证带来了极大挑战。

从软件工程专业角度剖析，AI系统缺乏可组合性。传统软件能够进行模块化开发，而AI系统没有清晰的内部结构，开发者难以对其复杂性进行有效分割与管理，逐步开发和有效测试也无法实现。这就导致对AI系统的验证只能依赖整体测试，但由于其输入和状态空间极为庞大，测试难度超乎想象。

另外，AI系统的错误行为具有不可预测性与难修复性。即便在训练过程中察觉到错误，重新训练也未必能有效修正，甚至可能引发新问题。据相关行业报告显示，在对多个AI项目的跟踪研究中发现，超过60%的AI系统在重新训练后出现了新的错误或性能不稳定情况。因此，Boiten教授强调，在任何需要高度责任感的应用领域，都应避免使用当前的AI系统。

引用链接

[1] ChatGPT: https://openai.com/