没有语料,大模型就是智障
发布时间:2026-03-27 06:54 浏览量:1
如果现在做一个问卷调查,问大家“你觉得大模型是否具有智能?”
我相信,大多数人会是肯定的回答。
哪怕现在只是 AI 的初级阶段,大模型已经能够替代很多的人类智力劳动,确实非常神奇。
但是,我们不要忘记真实情况,
大模型不是魔法,更不是具有自主智能的“硅基智能体”,而是基于统计规律的语言模型
,它的一切行为都基于数学计算。
最好的证据就是,如果让它解决没有训练过的题目,也就是不存在统计规律的话,它根本解不出来。
这就是我今天想分享的一个实验[1]。
两位国外的研究者找了五个主流的大模型:GPT-5.2、O4-mini、Gemini 3 Pro、Qwen3-235B、Kimi K2。
他们让大模型使用五种小众的编程语言——Brainfuck、Befunge-98、Whitespace、Unlambda 和 Shakespeare——来编程解决各种问题。
这些小众语言的共同特征是,网上很少有它们的资料,因此不能用来训练大模型。大家猜猜看,结果怎么样?
实验结果用一句话总结,就是大模型的表现一塌糊涂。
这五个大模型的平均答题正确率仅为3.8%,即
100道题可以答对3.8道
。相比之下,它们处理 Python 问题的正确率可以达到90%。
更尴尬的是,仅有的那几道答对的题目,都是入门级。更难的级别(初级、中级、高级),所有五个大模型的正确率都为0。
这个实验充分说明了,
大模型的表现(智能程度)首先由训练材料决定
:训练的语料越多,表现越好,比如 Python 的语料遍地都是,大模型因此极其擅长解决 Python 问题;训练的语料越少,大模型表现就越差,简直跟智障一样,没什么用处。
那么,一个让人好奇的问题就来了:如果某种冷门语言没有语料,但有一本很详尽的《使用手册》,我们让大模型学习这本手册,它是否就能学会这种冷门语言编程呢?