一句話版本，以及它為什麼常被講錯
2026 年 7 月 29 日，OpenAI 發表了一篇很短的技術文章，標題直白得像是內部 Slack 訊息：兩個設定讓我們的 ARC-AGI-3 分數變成三倍。內容確實就是這樣——模型沒換、沒有重新訓練、沒有為這個測驗做任何特製，他們只是改了包在模型外面那層執行環境的兩個設定值。
如果你讀過本系列上一篇談 harness engineering 的文章，這件事等於是那個主張的實驗證據：當 agent 表現不好，第一個該懷疑的往往不是模型，而是它工作的地方。
OpenAI 在 ARC-AGI-3 的公開測試集上，用官方提供的 harness 跑出 13.3%；改了兩個設定之後跑出 38.3%，同時輸出 token 少了大約六倍。兩個設定分別是：跨回合保留模型自己的推理（把上一個回應的識別碼傳回去，而不是每次都送一份乾淨的新請求），以及把上下文管理從滾動截斷改成壓縮（原本超過 175,000 個字元就把最舊的部分切掉）。診斷是：私有推理每次行動後都被丟棄，模型等於每走一步都要重新把這個遊戲搞懂一次。
這則消息在傳播過程中產生了四個引用陷阱：把起點換成 7.8%（那是官方排行榜的半私有集成績，跟 13.3% 不是同一個東西，串成 7.8% → 38.3% 是假的）；說它贏過 Claude Opus 5（OpenAI 原文從頭到尾沒提過 Opus 5，這說法出自一名員工的社群貼文）；暗示它接近或超越人類（38.3% 仍低於 OpenAI 自估的人類基準約 48%）；以及當成已驗證的事實（廠商自行回報，無第三方複驗）。
benchmark 主辦方 ARC Prize 的 François Chollet 在前一天已經回應：為 benchmark 量身打造的 harness 不行，但所有 API 使用者都能用的通用設定可以，前提是設定與成本如實揭露；他同時承認這裡有「潛在的公平性問題」。若下文與此摘要衝突，以此摘要為準。
那兩個設定到底改了什麼
先講清楚舞台。ARC-AGI-3 不是選擇題也不是程式題，而是一組互動式的遊戲環境：模型看到畫面，送出一個行動，環境回一個新畫面，如此往復。規則不會事先告訴它，得自己在過程中摸出來。評分指標叫做 RHAE（相對人類行動效率），量的是模型達成目標所花的行動數相對於人類的比例——所以這裡衡量的從來就不只是「會不會」，還包括「要走幾步才會」。
在這個舞台上，OpenAI 改的兩件事是：
設定一：不要把模型自己的推理丟掉
原本每一次行動之後，模型那段私有的推理內容就被丟棄了。下一步它拿到的是畫面與歷史動作，但拿不到自己上一步為什麼那樣做的思路。修法是把上一個回應的識別碼傳回去，讓推理在回合之間延續下去，而不是每次都開一個乾淨的新請求。
他們對這個現象的描述是：模型等於每走一步都要重新把這個遊戲搞懂一次。
來源：OpenAI〈How two settings tripled our ARC-AGI-3 scores〉，2026-07-29。原文為英文，此處為本文翻譯。
這解釋了那個乍看矛盾的副作用：分數上升的同時，輸出 token 反而少了大約六倍。一般情況下分數提高伴隨的是算力增加，這裡是反過來的——因為原本被浪費掉的正是重複勞動。模型不必再把已經想過一遍的東西重想並重新輸出。
設定二：上下文滿了要壓縮，不要硬切
原本的上下文管理是滾動截斷：內容超過 175,000 個字元，就把最舊的部分直接切掉。改成 compaction 之後，超量的部分先被摘要壓縮再繼續帶著走。
差別在於硬切是無差別的——它砍掉的是「最舊的」，不是「最沒用的」。而在一個要靠長時間摸索才能歸納出規則的遊戲裡，最舊的往往正是最關鍵的：那些早期的失敗嘗試，才是「這條路不通」這個知識的來源。
「把上一個回應的識別碼傳回去」是 OpenAI Responses API 的具體機制，其他平台的名稱與做法都不一樣。要移植的不是那個參數，是那兩個概念：跨回合保留模型自己的推理，以及用壓縮而非硬切來處理上下文上限。你的 agent 有沒有在每一回合把推理丟掉、上下文滿的時候是切還是壓，這兩題不需要換模型也不需要加預算就能檢查。
四個引用陷阱
這件事本身不複雜。複雜的是它從 OpenAI 的網頁走到你的動態消息這一路上發生了什麼。以下四個陷阱彼此獨立，各自來自不同的環節，而且都足以讓你把話講錯。
你會看到有人寫「從 7.8% 提升到 38.3%」，聽起來成長將近五倍，更聳動。但這兩個數字量的不是同一件事：7.8% 是官方排行榜上的成績，跑的是半私有測試集；13.3% 是公開測試集、用官方 harness 跑出來的基準線，也就是 38.3% 真正的對照組。
把 7.8% 接到 38.3% 前面，等於拿甲考場的分數當乙考場的起點。這不是四捨五入的誤差，是一個被憑空製造出來的成長幅度。
「OpenAI 靠改設定超車 Claude Opus 5」這個框架流傳很廣，但它不在那篇技術文章裡。原文沒有做任何跨廠商比較，連 Opus 5 這四個字都沒出現。這個對比出自一名 OpenAI 員工的社群貼文，然後被媒體標題放大。
Opus 5 在 ARC-AGI-3 的成績（常被引用為約 30.2%）本身也查不到一手來源：官方排行榜頁面是前端動態產生的，抓取工具只拿得到模型名單拿不到分數，ARC Prize 的三個公開 repository 裡也沒有成績資料檔。本文把這個比較標記為二手，不建議引用。
三倍聽起來像是跨過了什麼門檻，但沒有。OpenAI 自己從遊戲紀錄估算的人類基準大約是 48%，38.3% 還在它下面。
這個數字很容易在轉述中掉隊，因為它是原文自己主動附上的限制，而限制通常是傳播過程中第一個被丟掉的東西。它同時也是判斷這件事重要性的關鍵：提高的是效率，不是能力上限。
整組數字由 OpenAI 自行量測、自行發表。使用公開測試集讓它原則上可被重跑，但截至查證日期，沒有第三方發表過獨立複驗的結果。
這不代表數字有問題，只代表它的證據等級是「廠商自陳」而非「已驗證」。要注意的是這次的自陳有一個不尋常的特徵：它同時回報了成本下降。如果只想讓數字好看，堆算力是更省事的做法，而堆算力會讓 token 上升不是下降。
主辦方怎麼說：可以，但規則留了一道縫
這裡有一個容易被忽略的時序：ARC Prize 的 François Chollet 在 2026 年 7 月 28 日就回應了，比 OpenAI 那篇文章早一天。也就是說，這不是事後被質疑之後的辯護，而是雙方幾乎同時把話講開。
他劃的界線是這樣的：
不被接受的：為這個 benchmark 量身打造的 harness，或內含 benchmark 格式知識的 harness。
可以接受的：非為 ARC-AGI-3 開發、所有 API 使用者都能使用的通用設定——「只要設定與成本如實揭露就沒關係」。
他同時承認，這裡存在一個潛在的公平性問題。
來源：x.com/fchollet/status/2082732210436575669，2026-07-28。原文為英文，此處為本文翻譯與摘要。
值得停一下的是最後那句。主辦方大可只說「符合規則」就結束，但他多說了一句承認規則本身有縫。那道縫是這樣的：如果「所有 API 使用者都能用的通用設定」算公平，那麼一家廠商只要在自家 API 上提供更好的通用設定，就能在不改模型的情況下把分數往上推——而那個設定是不是通用的，判斷權在提供 API 的那家公司手上。
規則沒有被違反，但規則預設「模型是被測物、外殼是中立容器」的那個假設，被這件事戳破了。
更有意思的爭點：中立的預設值並不中立
爭議裡最值得看的一段，反而不在「OpenAI 是不是取巧」這個方向上，而在相反的方向。
根據 The Decoder 轉述 ARC Prize 的回應，癥結之一是 ARC Prize 當時可能使用了較舊的、OpenAI 風格的 completions API，而該介面缺少 Claude API 早已提供的某些功能。本文未能取得該回應的一手原文，因此這段標記為二手，僅作為理解爭議形狀之用，不作為事實引用。
如果這個說法成立，那麼故事的走向就和大部分標題寫的相反：那個看起來中立的官方預設 harness，在效果上並不中立，而且這一次吃虧的是 OpenAI。它是照著某一家的舊介面形狀做的，於是另一家早就有的能力在這個容器裡用不上。
這才是這件事真正有普遍意義的地方。我們習慣把 benchmark 想成一把尺，把 harness 想成拿尺的手——手應該是透明的。但實際上：
- 官方 harness 必須用某一家的介面形狀來寫，而各家介面提供的能力並不對等；
- 沒有被那個形狀支援的能力，等於在這場測驗裡不存在，不管模型實際上會不會；
- 於是所謂的「公平的統一環境」，實際上是某一家的環境被當成了通用環境。
這對雙方都成立，只是這次剛好輪到 OpenAI 站在吃虧那一側。把它讀成「某家取巧」會錯過重點；正確的讀法是跨廠商 benchmark 的可比性，取決於那個共用容器對誰更貼身——而這件事幾乎不可能真正中立。
那這件事對你的意義是什麼
兩條，一條關於怎麼讀分數，一條關於怎麼做事。
讀分數：問這是誰的外殼跑出來的
同一個模型在兩種外殼下差了將近三倍。這代表 benchmark 分數量的從來就是模型與外殼的組合，不是模型本身。所以看到跨廠商排名時，值得多問一句：這些分數是在誰的執行環境下產生的？那個環境對每一家一樣貼身嗎？揭露了設定與成本嗎？
| 你看到的說法 | 實際上是 | 證據等級 |
|---|---|---|
| 分數三倍 | 公開測試集 13.3% → 38.3%，同一模型 | 廠商自陳 |
| 7.8% → 38.3% | 錯誤串接：7.8% 是半私有集的排行榜成績 | 不成立 |
| 贏過 Opus 5 | 原文未提及；出自員工社群貼文 | 二手 |
| 接近人類水準 | 38.3% 低於人類基準約 48% | 與原文相反 |
| 省了六倍 token | 輸出 token 約為原本的六分之一 | 廠商自陳 |
| 主辦方認可 | Chollet 認定未違規，但自承規則有公平性問題 | 一手 |
「證據等級」指的是本文能追到的最強來源類型，不是對數字真偽的判斷。廠商自陳不等於錯，只是不等於已驗證。
做事：這兩個設定值得回去檢查
如果你自己在寫 agent 或在調一套 agent 工作流，這個案例給的不是一個可以照抄的參數，而是兩個可以照問的問題：
第一，你的系統有沒有在每一回合把模型的推理丟掉？很多自己組的迴圈是無狀態的——每一輪重新組一份乾淨的請求送出去，因為那樣最好寫、最好除錯。代價就是這篇文章講的那個代價。
第二，上下文滿了的時候，你是切還是壓？硬切最好實作，而它砍掉的是最舊的而不是最沒用的。
這兩題都不需要換模型、不需要加預算，而且從這個案例看，答對了可能同時讓品質變好、成本變低。這在 AI 這個題目上很罕見——大部分時候你只能在兩者之間選一個。
常見問題
數字本身出自 OpenAI 自己在 2026 年 7 月 29 日發表的技術文章：在 ARC-AGI-3 的公開測試集上，用官方提供的 harness 跑出 13.3%，改了兩個執行環境設定之後跑出 38.3%，同時輸出 token 少了大約六倍，模型沒有更換也沒有重新訓練。但有三個限制必須一起講：這是廠商自行回報、沒有第三方獨立複驗；測試用的是公開資料集，不是官方排行榜採用的半私有資料集；38.3% 仍低於 OpenAI 自己從遊戲紀錄估算的人類基準（約 48%）。正確的說法是「在公開測試集上、由廠商自行回報、同一模型的分數提高了約三倍」，不是「模型變強三倍」。查證日期 2026-08-21｜來源：openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores
第一個是保留推理：讓模型在下一次行動時仍拿得到自己上一次的推理內容，做法是把上一個回應的識別碼傳回去，而不是每次都送一份乾淨的新請求。第二個是把上下文管理從滾動截斷改成壓縮：原本內容超過 175,000 個字元就把最舊的部分直接切掉，改成先摘要壓縮再繼續。兩者都不是為這個 benchmark 特製的功能，而是所有 API 使用者都能開啟的一般設定，這也是 OpenAI 主張未違規的理由。但「傳回上一個回應識別碼」是 OpenAI Responses API 的具體機制，換到別家平台名稱與做法都不同；要移植的是概念上等價的兩件事——跨回合保留模型自己的推理，以及用壓縮而非硬切處理上下文上限。查證日期 2026-08-21｜來源：openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores
因為 ARC-AGI-3 是互動式的遊戲環境，模型必須靠一連串行動摸索規則。當每次行動之後私有推理都被丟棄，模型下一步拿到的只有畫面與歷史動作，卻拿不到自己上一步「為什麼那樣做」的思路，等於每走一步都要重新把這個遊戲搞懂一次。省下來的 token 也是同一個原因：它不必再把已經想過的東西重想一遍並重新輸出。這也解釋了為什麼分數上升的同時輸出 token 反而下降——一般情況下分數提高通常伴隨算力增加，這裡是反過來的，說明原本被浪費掉的是重複勞動。查證日期 2026-08-21｜來源：openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores
OpenAI 那篇文章從頭到尾沒有提到 Opus 5，也沒有做任何跨廠商比較。網路上流傳的「贏過 Opus 5」出自一名 OpenAI 員工在 X 上的貼文以及跟進的媒體標題，不是原始技術文章的內容。Opus 5 在 ARC-AGI-3 的成績（常被引用為約 30.2%）目前只查得到二手來源：官方排行榜頁面是前端動態產生的，抓取工具只拿得到模型名單而拿不到分數，ARC Prize 的三個公開 repository 裡也沒有成績資料檔。因此本文把這個比較標記為二手、未經一手驗證，不建議直接引用。查證日期 2026-08-21｜來源：OpenAI 原文全文檢視、arcprize.org 排行榜頁面實測、The Decoder 轉述
ARC Prize 的 François Chollet 在 2026 年 7 月 28 日於 X 上回應了這件事，時間比 OpenAI 發文早一天。他劃的界線是：為這個 benchmark 量身打造、或內含 benchmark 格式知識的 harness 不被接受；但如果是非為 ARC-AGI-3 開發、所有 API 使用者都能使用的通用設定，那就是公平的，前提是設定內容與成本要如實揭露。他同時承認這裡存在「潛在的公平性問題」。換句話說，主辦方認定 OpenAI 這次沒有犯規，但也承認規則本身留了一道縫。查證日期 2026-08-21｜來源：x.com/fchollet/status/2082732210436575669
有兩個可操作的結論。第一，看 benchmark 分數時要問「這是誰的外殼跑出來的」——同一個模型在不同執行環境下差三倍，代表分數量的是模型與外殼的組合，不是模型本身，所以跨廠商排名如果沒有揭露執行設定，可比性有限。第二，如果你自己在寫 agent，這兩個設定的方向值得檢查：你的系統有沒有在每一回合把模型的推理丟掉？上下文滿的時候是硬切還是壓縮？這兩件事不需要換模型也不需要加預算，而且從這個案例看，可能同時提高品質並降低成本。查證日期 2026-08-21｜來源：openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores
結論
把這件事講到最小：有人把同一個模型從一個外殼搬到另一個外殼，分數變成三倍，成本降到六分之一。沒有新模型、沒有重訓、沒有為考試作弊。
這對「模型能力」這個概念是個提醒。我們習慣把模型講得像一個有固定實力的選手，而 benchmark 是量身高的尺。但這個案例顯示，那把尺量到的是選手加上他當下被放進去的那個房間——房間裡有沒有留下他上一步的筆記、房間滿了是把舊筆記撕掉還是收進摘要，這些決定了尺上出現什麼數字。
所以，如果你正在為某個 agent 的表現不佳而考慮換一個更貴的模型，這篇文章給的建議是先做另一件事：去看看你的系統在每一回合之間，把什麼東西丟掉了。
本文所引數字均出自 OpenAI 自行發表的技術文章，屬廠商自陳，截至查證日期無第三方獨立複驗。文中標示為二手的內容（Opus 5 成績、ARC Prize 關於較舊 API 的回應）未取得一手來源，不作為事實引用。原文為英文，文中引文為本文翻譯。
主要來源：OpenAI〈How two settings tripled our ARC-AGI-3 scores〉（2026-07-29）全文、François Chollet 於 X 的回應（2026-07-28）、arcprize.org 排行榜頁面實測、The Decoder 轉述（標記為二手）。