2024年12月27日,资金雄厚的中国AI实验室DeepSeek发布了一款“开放”的AI模型DeepSeek V3,它在流行的基准测试中表现出色,能轻松处理编码、撰写论文等文本任务.然而,令人惊讶的是,该模型似乎出现了“人格错乱”,常将自己错认为是OpenAI的ChatGPT.
据X平台上的帖子及相关测试表明,DeepSeek V3在8次生成中,有5次声称自己是ChatGPT(v4),只有3次称自己是DeepSeek V3.不仅如此,当被问及DeepSeek的API时,它会给出OpenAI的API使用方法,甚至还会讲与GPT-4相同的笑话.
伦敦国王学院专门研究AI的研究员Mike Cook表示,像ChatGPT和DeepSeek V3这样的模型是统计系统,它们通过数十亿个示例的训练来学习模式并进行预测.而DeepSeek尚未透露DeepSeek V3训练数据的来源,但包含GPT-4通过ChatGPT生成的文本的公共数据集并不少见.如果DeepSeek V3接受了这些数据的训练,那么它可能记住了GPT-4的一些输出,并逐字重复.
Cook还指出,利用竞争对手AI系统的输出训练模型的做法可能对模型质量“非常不利”,会导致幻觉和误导性答案,就像复印复印件一样,会丢失越来越多的信息与现实的联系.而且,这可能也违反了这些系统的服务条款,如OpenAI的条款禁止其产品用户使用输出开发与OpenAI竞争的模型.
实际上,DeepSeek V3并非第一个无法正确识别自身的模型,谷歌的Gemini等模型也曾有过类似情况,如用普通话提示时,Gemini会称自己是百度的文心一言.这是因为AI公司的训练数据大多来源于网络,而如今网络上充斥着大量AI生成的内容,据估计,到2026年,90%的网络内容可能是AI生成的,这使得彻底过滤训练数据集中的AI输出变得相当困难.
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf表示,从“提取”现有模型的知识中节省成本对开发者来说可能很有吸引力,所以即使互联网数据充斥着AI输出,若DeepSeek确实部分使用OpenAI模型进行了提取,也并不奇怪.然而,更可能的是大量ChatGPT/GPT-4数据进入了DeepSeek V3的训练集,这不仅导致该模型无法正确自我识别,还可能加剧模型的一些偏见和缺陷.