AI 答得漂亮,地基卻是錯的——我幫它的思考補了一個「第零步」

AI 工作流 · Ch.3 思考習慣篇 · EP28

AI 答得漂亮,地基卻是錯的——我幫它的思考補了一個「第零步」


前陣子開車去一個沒去過的地方,導航很有自信地說「前方路口右轉」。我右轉,結果卡進一條施工封起來的死巷。導航沒當機,也沒算錯,它只是手上那張圖是舊的——那條路早就改了。它不是不會算,是在一張過期的地圖上,算得理直氣壯。

那陣子我的 AI,幹的是一模一樣的事。

一個下午,三次

起因是件小事。我請它幫我回一則客訴——有人嫌我做的東西不值這個價,我想要一段不卑不亢、收得住場面的公開回覆。

它幾乎是秒回,寫得真的好:語氣、分寸、給對方的台階,都抓得準。我看了兩遍才發現哪裡怪。它整段是用「一間有客服團隊的公司」的口吻寫的——「我們將請專人為您處理」「敝公司客服流程」。

問題是,我這裡沒有「我們」。沒有客服團隊,沒有專人,就是我一個人。它沒問過我,直接假設我是一間比實際大上好幾號的公司,然後在這個假設上,把整段話蓋得漂漂亮亮。

我跟它說,這是一人經營,語氣別端著。它馬上改,然後一個踉蹌跌到另一邊去,寫得像隔壁大嬸在跟你話家常,親切到不像在處理客訴。它從一個錯的極端,彈到另一個錯的極端,因為它根本不知道中間那個剛剛好的位置在哪。

同一個下午,類似的事又來一次。它幫我擬處理負評的辦法,順手加了一條「這類評論可以申請平台移除」。聽起來很合理,是它從某套通行做法搬來的,但那套做法的前提在我這邊根本不成立。我又改了一次。

一個下午,三次。每一次它都講得頭頭是道,每一次地基都是歪的。而每一次,看出不對的都是我。

改到第三次我停手了。不是因為被惹毛,是因為我突然意識到一件更要命的事:如果這天我比較忙、沒空盯,這些漂亮的錯誤就會原封不動,變成我發出去的東西。整套流程裡,唯一的品管是我本人在旁邊隨時接球。那不叫系統,那叫運氣好。

病根:我教它怎麼想,沒教它先看清楚現實

靜下來想,這得怪我自己。

我給 AI 設過一套思考的規矩(之前在〈結構化思考框架〉寫過)。它教的全是「怎麼想」:怎麼拆問題、怎麼選角度、怎麼一層層往下推。我一直很得意它讓答案變聰明了。

但這幾次逼我看見一個一直沒注意的破綻。這套規矩從頭到尾在管「想得好不好」,沒有一步在管「拿來想的料對不對」。

它默默當真了一件我從沒講明的事——「事實已經擺在桌上了」。這個預設其實有來歷:教人怎麼思考的東西,大半是課堂裡長出來的,而課堂上,題目和資料都是老師發給你的,你只要負責想。

可是我過的日子不是考卷。事實沒人幫我擺上桌,它散在我存的筆記裡、檔案裡、網路上,還有我自己腦子裡。料是錯的,再會想也只是把錯的東西想得更像樣。輸入沒設防,我卻一直在優化輸出。

補上一個「第零步」:先搞清楚自己站在哪

想通之後,補法反而簡單。我沒去動它「怎麼想」,而是在它開始想之前,先擋一道。原本的流程是三步,我在最前面塞了一個第零步,只做一件事:先搞清楚自己站在哪。

說穿了就幾個動作。先把這個答案要靠的關鍵事實挑出來,只挑那種「一旦錯、整個結論就垮」的,不是每個假設都查,那會沒完沒了。挑出來之後,老實標一下:這條我查證過,那條其實是我猜的。猜的、又很關鍵的,就去翻——先翻手邊最近的(我存的記憶最快),再翻檔案,真需要才上網。對最要命的那條假設,還要刻意去找一個能打臉它的證據,而不是找支持它的。光這一下,那天第一場誤會就不會發生:它會自己撞到我早就存好、跟它腦補正好相反的那條記錄。要是翻到最後還是不知道、這條又很重要,那就別猜,問我。

最後一招我覺得最關鍵。它每次動手前,得先用一句話,把這張地圖攤給我看:這次的答案踩在哪些事實上、哪些查過、哪些在賭。大概長這樣:

這次的回覆,我假設你是一人經營(記憶裡查到的)、這是價格類客訴(從內容判斷的);語氣我先抓不軟不硬,這條是我猜的,你可以改。

就這麼一句,它腦子裡那張圖就攤在我眼前。哪裡歪,我在它出手之前就看得到,不用等它做完,我再回頭擦。

其實是同一條老規矩,我用得太小

寫到這我才發現,這個道理我老早就有,只是用得太窄。

我系統裡有一條老規矩:要做任何收不回的動作——覆蓋檔案、刪東西、發布——之前,先去看「實際的東西」長怎樣,別信手上那張進度表(〈最會自我維護的系統〉的底層就是這個)。這條救過我好幾次。但我一直只把它用在「動手」上。這次的連環錯才讓我看懂:它該用在「動腦」上才對。下結論前先驗一下地基、別信腦袋裡的預設值——這跟覆蓋檔案前先看一眼實際檔案,根本是同一件事。我只是從沒想過要把它從手延伸到腦。

系統會不會進化,常常不是你發明了什麼新東西,而是你忽然看懂:自己早就信的某條原則,能用的地方比你以為的大得多。(這跟〈矛盾不是錯誤,是進化的考古層〉是同一種體會。)

你不用整套系統,也能抄走一句

下次要 AI 幫你做任何要下判斷的事——寫策略、做選擇、給建議——在它開口前,先丟這句給它:

先別急著給答案。先跟我說:這個答案會靠哪幾個關鍵事實?哪些你確定、哪些你在猜?猜的能不能查?查不到的就問我。

這句話做的,就是逼它把地圖攤開。你會常常嚇一跳:它最關鍵的那個前提,其實是它自己腦補的,而它本來打算當成事實,直接用下去。

AI 不是不會想。它太會想了,想到你會忘記去檢查:它到底站在哪裡想。一件事做得成不成,從來不只看你想得多漂亮,更看你有沒有先確認——腳下踩的是真的地,還是一張過期的地圖。

上一篇:〈AI 幫我破掉的四個決策盲點〉——那篇是它戳破我的盲點,這篇是我補它的盲點。兩邊都得會互相校正,這套搭檔才靠得住。