没有语料,大模型就是智障

发布时间:2026-03-27 06:54  浏览量:1

如果现在做一个问卷调查,问大家“你觉得大模型是否具有智能?”

我相信,大多数人会是肯定的回答。

哪怕现在只是 AI 的初级阶段,大模型已经能够替代很多的人类智力劳动,确实非常神奇。

但是,我们不要忘记真实情况,

大模型不是魔法,更不是具有自主智能的“硅基智能体”,而是基于统计规律的语言模型

,它的一切行为都基于数学计算。

最好的证据就是,如果让它解决没有训练过的题目,也就是不存在统计规律的话,它根本解不出来。

这就是我今天想分享的一个实验[1]。

两位国外的研究者找了五个主流的大模型:GPT-5.2、O4-mini、Gemini 3 Pro、Qwen3-235B、Kimi K2。

他们让大模型使用五种小众的编程语言——Brainfuck、Befunge-98、Whitespace、Unlambda 和 Shakespeare——来编程解决各种问题。

这些小众语言的共同特征是,网上很少有它们的资料,因此不能用来训练大模型。大家猜猜看,结果怎么样?

实验结果用一句话总结,就是大模型的表现一塌糊涂。

这五个大模型的平均答题正确率仅为3.8%,即

100道题可以答对3.8道

。相比之下,它们处理 Python 问题的正确率可以达到90%。

更尴尬的是,仅有的那几道答对的题目,都是入门级。更难的级别(初级、中级、高级),所有五个大模型的正确率都为0。

这个实验充分说明了,

大模型的表现(智能程度)首先由训练材料决定

:训练的语料越多,表现越好,比如 Python 的语料遍地都是,大模型因此极其擅长解决 Python 问题;训练的语料越少,大模型表现就越差,简直跟智障一样,没什么用处。

那么,一个让人好奇的问题就来了:如果某种冷门语言没有语料,但有一本很详尽的《使用手册》,我们让大模型学习这本手册,它是否就能学会这种冷门语言编程呢?