Google 將支援 robots.txt 統一 AI 訓練控制（AIPREF）：一個政策標記管理晒所有 AI 公司訓練權限 — 香港網站技術指南

2026 年 10 月 30 日，Google 喺 Search Central Blog 宣布計劃支援「統一 AI 訓練控制」：網站主人將來可以喺 robots.txt 入面用一個共用嘅政策標記（policy token），一次過向所有參與嘅 AI 服務供應商表達「你嘅內容可唔可以攞去訓練 AI 模型」嘅偏好，唔使再為每間公司逐個寫指令。同日，Microsoft（Bing）同 OpenAI 亦宣布跟進同一機制。呢個係 AI 訓練控制由「各自為政」走向「行業統一標準」嘅關鍵一步，香港網站管理員同內容型企業絕對要留意。

一、背景：點解而家先有呢個標準？

自 2023 年 AI 內容生成狂潮開始，網站主人一直要逐個 AI 公司管理訓練權限：Google 有 Google-Extended、OpenAI 有 GPTBot、Anthropic 有 ClaudeBot、Microsoft 有 NoArchive／NoCache 標籤，仲有 PerplexityBot、CCBot 等等。內容愈受歡迎，要管嘅爬蟲就愈多，出錯嘅機會亦愈大——好多香港網站根本唔知自己有冇意外「開放」咗內容俾某間公司訓練。

今次嘅機制源於 IETF AIPREF 工作組嘅互聯網草案《Machine-Readable Training Preference Signal》（由 Anthropic 嘅 Kevin Kelley 撰寫，2026 年 10 月 30 日發布）。草案定義咗 AI 訓練嘅意思：「用一個資產去修改生成式 AI 模型嘅 learned parameters（學習參數）」，並設計咗一個唔影響現有 robots.txt 語法嘅表達方式。Google 表明機制符合歐盟 AI 法案下嘅 GPAI Code of Practice——歐盟同樣承認 robots.txt 係網站發布者表達機器可讀偏好嘅主要方法。

二、新控制點樣運作？

• 一個標記，多間公司共用：喺 robots.txt 嘅 User-Agent 行加入 __usage_ai-training 呢個政策標記（正式名稱以 IETF 定稿為準），即可向所有參與嘅 AI 供應商表達訓練偏好，再唔使為每間公司維護唔同指令
• Google 嘅解讀方式：如果網站用呢個標記選擇退出訓練，而 robots.txt 又冇明確指定 Google-Extended，Google 計劃將佢解讀為等同禁止 Google-Extended；如果你有明確寫 Google-Extended: Allow，就會維持「允許」
• 原有控制繼續有效：Google-Extended、GPTBot、ClaudeBot 等公司專用控制會同新信號並行運作，網站可以「大方向用統一標記、個別公司再微調」
• 冇寫＝冇偏好：新草案強調，robots.txt 冇 __usage_ai-training group 就係冇表達任何偏好（預設允許）；通配符 group（User-Agent: *）亦唔會被當成 match 呢個政策標記
• 唔係新指令、唔會搞爛現有語法：機制沿用 RFC 9309（robots.txt 標準）嘅路徑規則同優先次序，唔會引入新 directive；現有爬蟲解析器唔識嘅 group 會自動忽略

要留意嘅係：呢個信號係「表達內容使用偏好」，而唔係直接用嚟限製爬取行為——AI 公司可以參考呢個偏好嚟決定係咪爬取，具體執行方式由各供應商自己實現。

三、Microsoft（Bing）同 OpenAI 嘅安排

Microsoft 喺同日嘅 Bing Blog宣布採用同一 AI 訓練偏好，仲將控制延伸到頁面層級（meta tag 同 HTTP response header），並加咗一個獨立嘅「AI Grounding」偏好，新增 DisallowExtended 選項——只准 Microsoft 自家體驗（AI Mode、Copilot、Microsoft 365 等）引用，但唔准第三方服務（例如 Web IQ 同 Foundry API grounding）引用。新機制會取代 NoArchive 同 NoCache，由 2027 年 2 月 1 日開始爬取時生效；如果你哋而家用緊舊標籤，要喺 2026 年 12 月 15 日起經 Bing Webmaster Tools 登記臨時過渡偏好，並喺 2027 年 3 月 1 日前發布新偏好。

OpenAI 亦承諾會尊重呢個共同 robots.txt 信號，計劃喺未來幾個月內實行，同時保留現有嘅爬蟲控制（如 GPTBot、OAI-SearchBot 等）。Google 就話目標係喺 2027 年同其他 AI 供應商一齊正式支援。

四、對香港網站有咩啟示？

4.1 而家唔使衝動改 robots.txt

草案仲係 individual submission（2027 年 5 月 3 日到期），正式語法未有定案，Google 亦話 2027 年先支援。所以香港網站唔應該而家就喺 robots.txt 加入未定稿嘅標記——寫錯咗冇人識讀，反而製造混亂。正確做法係「審視現狀、諗定立場」，等標準定稿先一次過實行。

4.2 內容型企業要諗清楚「訓練 vs 引用」

對靠內容搵食嘅香港網站（媒體、教學、比較型內容、B2B 知識型內容）嚟講，呢個決定影響深遠：完全禁止訓練係最乾淨，但 AI 引用（grounding）帶嚟嘅曝光同點擊亦係真實價值——Google 正在測試 AI 內容貢獻報酬，網站主人可以透過統一信號「全禁」，都可以保留公司專用控制「放 Google、禁其他」，兩者並行。Google 表明：明確允許 Google-Extended 嘅網站，先有資格喺 Gemini Apps 嘅 grounding 回應入面出現並收到點擊。

4.3 中文內容嘅隱藏考慮

香港網站好多內容係繁體中文，對 AI 公司嚟講係相對缺乏嘅訓練數據。定稿後嘅統一機制，令「繼續容許訓練」嘅網站可能成為 AI 公司更有價值嘅數據來源——呢樣對有意同 AI 生態合作嘅企業係機會，但對想保護原創內容嘅企業，就更加要果斷規劃權限策略。

五、香港網站而家可以點準備？

1. 審計你哋嘅 robots.txt：列出而家所有 user-agent 同規則，尤其有冇意外封鎖咗 Googlebot 主機器（會影響普通搜尋排名）
2. 檢查 AI 爬蟲現狀：睇睇 Search Console 或其他 server log 入面有冇 Google-Extended、GPTBot、ClaudeBot 等爬蟲訪問紀錄，估量你嘅內容實際被邊啲 AI 公司使用
3. 定出訓練立場：全禁／全放／只放部分供應商——按內容類型（原創數據 vs 新聞轉載）、品牌策略同商業模式決定
4. 過渡期用現有控制：標準未定稿前，繼續用公司專用 token（Google-Extended、GPTBot、ClaudeBot 等）執行你嘅立場；我哋之前嘅 AI 爬蟲與 robots.txt 指南有完整寫法參考
5. 留意 Bing 過渡時間表：用緊 NoArchive／NoCache 嘅網站，記住 2026 年 12 月 15 日 Bing Webmaster Tools 開放登記，2027 年 3 月 1 日前要完成新偏好發布
6. 追蹤 IETF AIPREF 進度：草案、工作組討論同 Google 嘅更新公告，定稿後第一時間評估升級

六、實戰檢查清單

總結

統一 AI 訓練控制係 robots.txt 面世以嚟少數「行業級」嘅標準化時刻：由「每間 AI 公司一套規則」變成「一個標記、全行業共用」。對香港網站管理員嚟講，呢個唔單止係技術更新，更加係一個契機——趁標準醞釀期間，將自己嘅 AI 內容策略、訓練立場同品牌曝光目標一次過諗清楚，等 2027 年機制正式落地時，你哋已經準備好，而唔係臨急抱佛腳。

Source：Google Search Central Blog — Supporting a shared AI training control for websites、OpenAI — Helping websites express AI training preferences、Microsoft Bing Blog — Your content, your choice、Search Engine Roundtable — Google Adopts New AI Training Control