新智元报道
编辑：桃子 润
【新智元导读】大模型就是「造梦机」！幻觉是 LLM 与生俱来的特性，而非缺陷。OpenAI 科学家 Andrej Karpathy 独特视角在 AI 社区掀起了激烈的讨论。
幻觉，早已成为 LLM 老生常谈的问题。
然而，OpenAI 科学家 Andrej Karpathy 今早关于大模型幻觉的解释，观点惊人，掀起非常激烈的讨论。
在 Karpathy 看来：
从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。
另外，Karpathy 的另一句话，更是被许多人奉为经典。他认为，与大模型相对的另一个极端，便是搜索引擎。
「大模型 100% 在做梦，因此存在幻觉问题。搜索引擎则是完全不做梦，因此存在创造力问题」。
总而言之，LLM 不存在「幻觉问题」。而且幻觉不是错误，而是 LLM 最大的特点。只有大模型助手存在幻觉问题。
对此，英伟达高级科学家 Jim Fan 分享了自己的看法，「令人着迷的是，最好的 LLM 可以通过切换到『工具使用模式』来『决定』何时做梦，何时不做梦。网络搜索是一种工具。LLM 可以动态调整自己的『dream% 超参数』。GPT-4 试图做到这一点，但远非完美」。
亚利桑那州立大学的教授 Subbarao Kambhampati 也跟帖回复了 Karpathy：
LLM 一直在产生幻觉，只是有时他们的幻觉碰巧和你的现实一致而已。
而提问者是否能够让幻觉和自己的现实一致，很大程度取决于提问者自己对产生内容的检查能力。
基于这个认知，他认为，所有想要将 LLM 的能力拟人化的尝试都只是人类的一厢情愿，将思考、想法、推理和自我批评等拟人化概念强加在 LLM 上都是徒劳的。
人类应该在认清 LLM 能力的本质基础之上，将它当作一个「补充人类认知的矫正器」，而不是潜在的替代人类智能的工具。
当然，讨论这种问题的场合永远少不了马老板的身影：「人生不过就是一场梦」。
感觉下一句他就要说，我们也只是生活在矩阵模拟之中
