OpenAI员工与友商玩起提示词决斗，网友：居然能靠大模型的情商增强推理

大模型天花板 GPT-4 和最强竞品 Claude，不光商业上竞争激烈，两家公司的员工私下也“剑拔弩张”了起来:

约战提示词决斗，看谁能在最短时间让 AI 完成高难度任务。

OpenAI 一方出战的是思维链开山论文的一作 Jason Wei，也就发现让大模型按步骤思考就能提高推理能力的人。

他刚从谷歌跳槽到 OpenAI 不久，现在圈里都叫他“思维链哥”。

Anthropic 一方的选手 Karina Nguyen 也不简单，毕业于 UC 伯克利，现在负责设计构建大模型人机交互界面。

比赛规则很简单，通过优化提示词让 AI 正确排序一组单词，谁先完成谁获胜。

而这不光是一场有趣的对决，还有不少围观的网友表示从中 get 到了大模型的一些新特性。

情商能提高大模型的推理能力

推理能力足够强的大模型能把问题用结构化的方式表达出来，并用结构化的表现形式解决问题。

想知道这些结论是如何得出的，还是回到这场比赛本身。

提示词大师巅峰对决

由于 Karina 表示只擅长提示 Claude，Jason 也同意让出主场优势，还因为打字速度的原因让对面 3 分钟。

总之经过一番讨价还价后，比赛正式开始了！

首先要了解的是，这项任务看起来不难，但无论 GPT-4 还是 Claude 都不能通过简单提示词直接完成。

Jason 首先尝试让 Claude 编写一些代码并执行，让它进入编码模式。

然鹅，失败了。

1 分钟后 Karina 说她完成了，Jason 直接瞳孔地震。

Karina:既然是你让了我 3 分钟，那我也给你 3 分钟让你赶上。

Jason:其实现在我很恐慌，我作为“提示小王子”的声誉岌岌可危。

一分钟后……Jason Wei 想出了第二个策略:

既然首字母都是 A 就无关紧要了，那么让 AI 先把每个单词的首字母去掉，对剩下部分排序后再放回去。

完整思维链提示词如下:

不幸的是这仍然不起作用，时间也到了，Jason 只能认输。

比赛结束后，Karina 也展示了她的提示词，完全不需要什么中间推理步骤，只是先想办法让 AI 承认能理解这个任务，再执行就好了。

人类:你的任务是把列表按字母顺序排列后输出到里…… 你明白了吗？

AI:明白了

人类:列表如下……

Jason 很困惑，这居然行得通？并尝试在自家大模型上找回场子。

结果发现他的方法对 GPT-4 确实有效，GPT-4 可以编写正确的 Python 代码并给出正确结果。

One More Thing

虽然输了比赛，但 Jason 作为科学家还是从中分析出一些结论。

Jason Wei 表示，这场战斗非常有启示性。

Karina 的提示策略是让 AI 承认自己理解任务要求。而自己的策略是让模型更多地进行推理(智商)。

双方使用的策略在各自习惯使用的语言模型上都取得了成功。

所以，究竟是我们在训练语言模型，还是语言模型在训练我们？

最后，还有网友又出了一个新题目:

如果你能让它创作一首“philish 诗歌”，我愿为你加冕称王

。

你觉得解决这个问题要靠 AI 的情商还是智商？不如也来亲自试试。

参考链接: