robots.txt 是放在網站根目錄的指示檔，用來告訴搜尋引擎哪些路徑不應優先檢索。它不是保護私隱資料的安全工具，因為任何人都能查看檔案內容。
哪些內容通常不需檢索
後台、測試頁面、內部搜尋結果和重複參數頁面通常不應浪費檢索資源。公開文章、重要圖片和 CSS、JavaScript 等呈現頁面所需資源則不能被意外封鎖。
修改後如何檢查
使用搜尋主控台或可靠測試工具檢查指定網址是否能被讀取。特別留意站點搬遷後遺留的禁止規則；一行錯誤設定，可能令整個正式網站暫停被收錄。
總結
robots.txt 應保持簡單、可理解且有記錄。涉及隱私的內容應使用登入權限或 noindex，而非依賴 robots.txt。
實務檢查清單
每次搬遷、改版或啟用 SEO 外掛後，查看正式網域根目錄的規則。確認沒有封鎖整站、重要圖片或必要資源；修改前保存舊版本，並把變動原因寫入維護紀錄。
完成設定後仍要在下一次主機、外掛或內容變更後重測相關功能，並保存日期、結果和負責人。發現異常時先停止進一步變更，保留截圖與紀錄，再按最近一次已驗證的設定逐項比對。
