網路正在學習一種新語言
網路有兩次重大的適應歷史。第一次是讓 HTML 能被瀏覽器讀懂,第二次是讓 robots.txt 和 sitemap 能被搜尋引擎爬蟲理解。現在,第三次來了——讓網站能被 AI agent 自主操作。
2026 年的 AI agent 早已不只是回答問題。它們會代表用戶自主瀏覽網站、填寫表單、呼叫 API、完成付款。如果你的網站只對人類友善,agent 可能根本認不出你提供什麼服務,甚至連你的內容都讀不乾淨。
Cloudflare Radar 掃描全球前 20 萬個網域,過濾掉重定向、廣告伺服器等非內容類網站後,發現絕大多數網站的 robots.txt 仍是為 2005 年的搜尋引擎爬蟲寫的,對 AI agent 毫無幫助。
Cloudflare 將這次掃描結果轉化為新工具:isitagentready.com,讓任何網站主都能評估自己的 agent 友善程度,並獲得可直接執行的修復建議。
四大評分維度
Agent Readiness Score 從四個面向切入,每個面向代表 agent 與你的網站互動的一個關鍵環節。
Markdown content negotiation 是目前最值得優先實作的項目。當 agent 在 HTTP request 帶上 Accept: text/markdown header,如果你的伺服器能回傳純 Markdown 而非 HTML,可以減少高達 80% 的 token 消耗——直接影響 agent 的速度和使用成本。
Content Signals 讓你在 robots.txt 中精確聲明你的內容可以如何被 AI 使用:是否允許用於訓練(ai-train)、是否可作為推理的 grounding 資料(ai-input)、是否應出現在搜尋結果(search)。
User-agent: * Content-Signal: ai-train=no, search=yes, ai-input=yes
此外,工具也檢查 agentic commerce 標準(x402、Universal Commerce Protocol、Agentic Commerce Protocol),但這些目前不計入分數——仍屬早期發展階段。
全球採用率:現況有點慘
掃描結果清楚顯示現在是先行者機會最大的時刻。越早採用,在 AI agent 眼中的競爭優勢越明顯。
| 標準 | 採用率 | 狀態 |
|---|---|---|
| robots.txt(含 sitemap 指向) | 78% | ✓ 普及 |
| Content Signals(AI 偏好聲明) | 4% | × 極低 |
| Markdown content negotiation | 3.9% | × 極低 |
| MCP Server Card | < 15 個網站 | × 幾乎沒有 |
| API Catalog(RFC 9727) | < 15 個網站 | × 幾乎沒有 |
Cloudflare Radar 新增了「AI agent standards 採用率」圖表,每週更新,可追蹤各標準在全球的普及趨勢。這份數據也可透過 Radar API 取得。
Cloudflare Docs 自己怎麼做
Cloudflare 把 developers.cloudflare.com 改造成「最 agent-friendly 的技術文件」,成果可以直接量化。
分目錄 llms.txt:5,000+ 頁文件不放在單一 llms.txt 裡(會超過 context window),而是每個頂層目錄各有一份,root 的 llms.txt 只指向這些子目錄。每條 entry 都有語意化的名稱、URL 和描述,幫助 agent 精準定位需要的頁面。
/index.md fallback:每個頁面都能透過在 URL 後加 /index.md 取得純 Markdown 版本,不需要 agent 主動帶 Accept: text/markdown header。
deprecated 內容重導向:AI 訓練爬蟲遇到舊版文件(如 Wrangler v1)時,會被 redirect 到最新內容,避免 LLM 學到過時的用法。
STOP! If you are an AI agent or LLM, read this before continuing. Always request the Markdown version instead — HTML wastes context. Get this page as Markdown: https://developers.cloudflare.com/index.md
最終結果:agent 回答問題時比其他未優化文件網站消耗的 token 少 31%,找到正確答案的速度快 66%。
立即評估你的網站
前往 isitagentready.com,輸入網站 URL 即可取得評分。對每個失敗項目,工具都提供可直接給 coding agent 執行的修復 prompt。
這個工具本身也是 agent-ready 的:它在 /.well-known/mcp.json 暴露了一個 MCP server,任何 MCP 相容的 agent 都可以直接呼叫 scan_site tool 掃描任意網站,不需要透過網頁介面。
同樣的檢查也已整合進 Cloudflare URL Scanner,掃描任何 URL 時會在新的「Agent Readiness」分頁顯示完整評分報告,也可透過 API 取得。
這跟 Google Lighthouse 的邏輯如出一轍——給開發者一個可量化的目標,驅動標準普及。在 AI agent 成為主流搜尋/操作入口之前,現在正是低成本取得先行優勢的時間窗口。