網頁設計：robots.txt 語法簡單到記事本就能改，但改對語法不代表觀念正確。
一個真實案例：封鎖舊網址反而讓 301 導向失效，兩百多個網址卡在 Google 索引裡半年沒消失。

「robots.txt 不就是個純文字檔？我自己也會改啊。」

會改，跟改對，中間差的不是語法。

前陣子一位客戶這樣問我。
他說得沒錯，那真的只是一個文字檔，記事本就能開，語法五分鐘學得完。
但我們最近在處理的一個網站，就是因為語法改對了、觀念改錯了，讓兩百多個網址在 Google 索引裡卡了大半年。

先講最多人搞錯的一件事

robots.txt 管的是「能不能爬」，不是「能不能收錄」。
這兩件事完全不一樣，而混淆它們的代價很高。

網站幾年前改過網址結構。
舊網址全部設了 301 導向新網址，這一步做得完全正確。
同時，為了「不要讓 Google 再看到那些舊網址」，他們在 robots.txt 裡把整段舊路徑封鎖起來。
聽起來很合理，對吧？

結果是：
Google 被擋在門外，讀不到那個 301，不知道網址搬家了，舊網址就一直留在索引裡出不來。
等於把門鎖上，然後在門後面貼了張「我搬家了」的紙條。

要讓一個網址真正「離開」索引，只有三條路：
讓 Google 爬到 301、爬到 404，或爬到 noindex。
三條路都有同一個前提：它得先爬得到。
封鎖，從來就不等於移除。

這個網站很積極做 AI 搜尋優化，在 robots.txt 裡幫每一個 AI 爬蟲都寫了一組歡迎光臨：

User-agent: GPTBot
Allow: /

出發點完全正確。
但依照 robots.txt 的規範，爬蟲一旦比對到專屬於自己的群組，就會完全忽略通用規則。
於是原本擋住後台目錄、快取目錄、日誌目錄的那些保護，對這些 bot 全部失效了。

而那份名單裡還包含 Bingbot：那是真正的搜尋引擎爬蟲，也是 Microsoft Copilot 的資料來源。
想開一扇門，結果把整面牆拆了。

誤會	以為的效果	實際發生的事
封鎖舊網址路徑	Google 不會再看到舊網址	Google 連 301 導向都讀不到，網址卡在索引裡出不來
幫特定爬蟲寫專屬 Allow 規則	只是多開一道歡迎光臨	該爬蟲完全忽略通用規則，後台、快取、日誌目錄的保護一併失效

他說「我自己也會改」。
我的回答是：會改，跟改對不一樣，改下去之後，Google 那邊會發生什麼事。

而 robots.txt 最難的地方在於就算改錯了也不會報錯。
網站照常運作，畫面一切正常，後台沒有任何警告。
問題會安靜地累積好幾個月，最後變成一句「流量怎麼一直在掉」，而你翻遍所有報表都找不到原因。

工具很簡單。
但越簡單的工具，越常是在沒人注意的地方出事的那一個。

robots.txt、Sitemap、AI 爬蟲設定，想找人幫忙確認一次？

益盛科技提供網站技術健檢與 AI SEO 規劃服務，協助企業確認爬蟲設定跟索引狀態是否正確。