Appearance
提示词的本质:同一个问题,为什么换种问法答案好十倍
「跟着 AI 学任何东西」系列第 3 篇。前两篇我们搞懂了两件事:AI 聊天助手是台「预测下一个词」的接龙机;它会自信地胡说,因为它优化的是「像真的」而不是「真的」。这一篇解决一个每天都在困扰你的实操问题——既然它答得时好时坏,那「怎么问」到底在操纵什么?为什么换一种问法,答案能好上十倍?
一个你八成也经历过的落差
你一定有过这种体验:随手问 AI 一个问题,它回你一段四平八稳、正确但没用的废话。你不甘心,换个问法——把背景交代清楚、要求它分步骤、甚至给它举个例子——它突然给出一个好上十倍的答案。同一个模型、同一个问题,就因为你「问法」变了。
这事儿听起来有点玄,像在念咒。但它一点都不玄,而且被人拿去做过很严格的实验。有一个结果夸张到我第一次看到时以为看错了:
一模一样的模型、一模一样的数学题,只在题目后面加上一句「我们一步一步来想」,正确率能从 17.7% 飙到 78.7%。 一个字都没多教,只是换了句话,正确率翻了四倍多。(这是 2022 年一篇论文的实测数字,来源见文末。)
问题来了:一句废话似的「一步步想」,凭什么有这么大的魔力?要讲清楚,得先把几个流行的误会拆掉。
关于「提示词」,流行的理解大多不对
「提示词」(prompt)就是你发给 AI 的那段话。围绕「怎么写提示词」,网上流传着一整套玄学,你多半也信过其中一条:
- 「提示词是魔法咒语」:好像存在一串神秘口令,念对了就解锁 AI 的隐藏能力——「深呼吸」「我会给你小费」「这对我职业生涯很重要」。于是提示工程变成了背咒语。
- 「提示词是给它下命令」:把它当成一个听得懂话的员工,你把指令说清楚,它理解了,然后照办。这个想象最接近,但也错得最微妙——它没有「理解指令再执行」这一层。
- 「越长越客气越好」:把对人的社交直觉套到它身上,觉得说「请」「谢谢」、把话写得越详尽越礼貌,它就越卖力。
先把结论放这里:提示词既不是咒语,也不是命令。它是「上文」——你在给一台接龙机递一段开头。 想通这一点,前面那句「一步步想」的魔力就不再是玄学,而是有明确机制的。
回到接龙机:你写的每个词,都在给它「导航」
请把第一篇那台机器请回来:它永远在做同一件事——根据已有的一串文字,预测下一个最该出现的词,然后把预测出的词拼回去,再预测下一个。
关键在于:你的提示词,就是那串「已有的文字」。 它不区分「哪部分是你的命令、哪部分是它自己生成的」,在它眼里全都是一段连续的文本,它只负责往后接。
这句话一旦想透,「换个问法」的本质就清楚了:换个问法,就是换了一段上文;而上文,决定了它接下来往训练语料的哪一片区域去接龙。 你写的每一个词,都在悄悄地把它往某个方向推——推向严谨的、口语的、专业的、还是敷衍的那片文字海域。提示词不是开关,是导航。
理解了「导航」,就能看懂真正有效的提问,靠的是三个杠杆,每一个都对应一个实实在在的机制——而不是背咒语。
杠杆一:让它把过程写出来,而不是直接要答案
这是最反直觉、机制最硬的一条,也是开头那个「17.7% → 78.7%」的谜底。
回到逐词生成:模型每吐出一个词,花的计算量是差不多固定的。现在给它一道需要五步推理的题,如果你逼它「直接给答案」,它就只有一个词的位置来完成全部五步思考——算力根本不够,它只能凭「哪个数字看起来最像答案」赌一个。这就是为什么它心算复杂题常常错得离谱。
而你让它「一步一步写出来」,等于允许它把中间步骤摊在输出里:它先写第一步,这一步立刻变成后续的上文,把它约束到正确轨道上;再写第二步、第三步……每一步都为下一步铺好路。它不是突然变聪明了,是你递给了它一张草稿纸。 没有草稿纸,再聪明的人也算不出一道长题。
这一招业内叫「思维链」(chain of thought),是提示技巧里效果最扎实、被研究得最透的一个——因为它不是玄学,它直接对应「模型逐词生成、算力按词分配」这个底层事实。
杠杆二:给它两三个例子,而不是干讲要求
你想让它按某种格式或风格输出,与其堆一大串形容词(「要简洁、要专业、要有条理」),不如直接甩给它两三个「输入 → 输出」的样例。
原理还是接龙:例子摆在上文里,模型会自动锁定「接下来应该按这个模子接」。它不是「学会」了你的任务,而是从样例里提取出了体裁、格式、口吻,然后照着往下续。两个具体的例子,比十句抽象的要求精确得多——因为形容词还得它猜你什么意思,例子直接把答案的样子钉死了。(让 AI「看几个例子就上手」这件事,最早在 GPT-3 那篇论文里被系统研究,标题干脆就叫《语言模型是少样本学习者》。)
杠杆三:把资料喂给它,而不是考它记性
这条要接上一篇的教训。提示词能把它「导航」到语料里对的区域,但导不出它压根没有的东西。冷僻的知识、上个月的新闻、你自己文档里的私有信息——训练语料里根本没有,这时候再花哨的问法,也只是把它导到一片空地上,让它更流畅地编(这就是上一篇讲的幻觉)。
正确的做法是把资料直接贴进对话,让它「看着材料回答」,而不是「凭记忆回答」。你在聊天产品里看到的「联网搜索」「上传文档」,本质都是这件事:给那台没有事实开关的接龙机,临时外挂一个事实来源。 这不算什么提示技巧,但它是所有技巧里最能救命的一个。
但我没有全信——尤其要给「提示词玄学」泼盆冷水
老规矩,AI 教我的、网上传的,不核实不写。这一篇尤其要拆一个被吹过头的东西:
- 「角色扮演」被严重高估了。 教程言必称「你是一位资深律师」「你是顶级程序员」,好像给它戴顶帽子就能召唤出专家。真相更微妙:角色设定确实能稳定地改变它的语气、用词、体裁(让它说得更像律师),但对事实正确率的提升,2024 年的严肃研究结论并不一致——不少实验发现基本没提升、甚至偶尔更差,有篇论文标题干脆就叫《扮演专家并不能提升事实准确率》。所以:角色设定拿来调风格可以,别指望「自称专家」能让它少犯错。
- 那些「魔法咒语」大多是偶然。 「深呼吸」「我给你小费」这类口令,确实在某些模型、某些任务上被测出过一点点效果,但极不稳定、换个模型或版本就失效。它们不是原理,是偶然撞上的语料关联——今天灵、明天就未必。把它们当规律去背,性价比很低。
- 思维链的那两个数字(17.7%→78.7%、以及另一组 17.9%→56.9%)都已核实,分别出自 2022 年 Kojima 等人和 Wei 等人的论文。但要提醒:这是特定推理任务上的实验,别当成「任何问题加一句就 +60%」的万能公式。
- 一个重要的时效变化:「让它一步步想」的红利正在缩水。 上一篇提到的那类「推理模型」,已经被专门训练成在内部自动打草稿(把思维链烧进了训练过程),你再手动加一句「一步步想」,提升就没那么明显了。这说明具体的提示技巧会随模型进化而过时——所以本文真正想讲的是背后的机制(为什么「给草稿纸」有用),机制比任何一句咒语都活得久。
搞懂之后,我提问的方式变了
不再背咒语,而是每次问自己一句:「我这段话,会把这台接龙机导航到哪片区域?我给够它草稿纸和资料了吗?」 具体落成五条:
- 复杂问题,让它「先写思路再给结论」:给它草稿纸,别逼它心算。凡是需要多步推理、计算、权衡的,一句「把你的推理过程写出来」往往比任何角色设定都管用。
- 要特定格式或风格,给例子而不是堆形容词:两三个「输入 → 输出」样例,胜过十句「我要简洁专业有条理」。
- 要事实,把资料贴进去,别考它记性:它没有的知识,再好的问法也变不出来——冷僻、时效、私有的信息,一律自己带进上下文。
- 角色设定用来调语气,不用来保正确:「你是位老中医」能让它说得更像那么回事,但不会让它的医学结论更可靠。风格和正确率是两码事,别混为一谈。
- 理解机制,而不是收集咒语:与其到处抄「万能提示词模板」,不如记住你在给一台接龙机递上文——想清楚「什么样的上文,会把它导向我要的答案」,你就能自己造提示词,而不是等别人喂。
说到底,提示词不是什么神秘法术。它是你和那台接龙机之间唯一的接口——你递给它什么样的开头,它就往什么方向接下去。看懂这一点,你就从「祈祷它给个好答案」,变成了「主动把它导向好答案」。
附:这次我是怎么问 AI 的
三个这次实测有效的提问策略,你可以直接搬去用:
- 让它对比「有效 vs 无效」的提示,并把差异归因到机制:我没问「怎么写好提示词」(会得到一堆 tips 清单),而是问「同样一个需求,一个好提示和一个差提示,差别在你内部到底触发了什么不同?」——逼它从「罗列技巧」升级到「解释机制」。
- 拿「角色扮演到底有没有用」去逼它给证据和反方:AI 一开始顺着网上教程说「角色设定很有用」,我追问「有没有研究发现它其实没用、甚至有害?」——立刻问出了「对准确率提升不稳定」的争议,避免我跟着复述玄学。
- 让它把「改变风格」和「改变正确率」拆开:很多提示技巧被笼统地夸「效果好」,我专门要求它区分「这是让答案变得更好看,还是变得更对?」——这一拆,才看清角色扮演动的是前者、思维链动的是后者。
下一篇(s1-04):既然提示词就是「上文」,一个自然的问题冒出来了——这段上文能有多长?为什么和它聊得越久,它反而越健忘、开始前后矛盾、把你早先说的话忘得一干二净?下篇拆「上下文与记忆」。