Robots.txt 是一個存放在網站根目錄的純文字檔案，它充當了網站與搜尋引擎爬蟲之間的「溝通橋樑」。透過這個檔案，網站管理員可以下達指令，明確告訴爬蟲哪些資料夾或頁面「不准進入」或「不准抓取」。這雖然不是一種強制的安全手段（壞爬蟲可能會無視它），但主流搜尋引擎如 Google、Bing 都會嚴格遵守。
正確配置 Robots.txt 對於維護網站隱私與優化 SEO 效能至關重要。例如，你可以防止搜尋引擎抓取敏感的私人資料庫、測試環境網址或是重複的搜尋過濾結果。需要注意的是，若誤封鎖了重要的 CSS 或 JS 檔案，可能會導致搜尋引擎無法正確渲染網頁，進而影響對內容品質的判斷。因此，在修改此檔案後，務必使用工具進行驗證。
« Back to Glossary Index