robots.txt是存于網站根目錄的文本文件，核心作用是通過特定語法告知搜索引擎爬蟲可訪問或需忽略的頁面/目錄，幫助優化爬行效率、節省爬行預算。它并非安全工具，無法阻止惡意訪問，配置時需注意語法規范與爬蟲兼容性，避免泄露敏感信息。

一、robots.txt的核心定義：爬蟲的“入門導航規則”

robots.txt是網站根目錄下的純文本文件，專門用于與搜索引擎爬蟲（如Googlebot、百度蜘蛛）溝通。它通過明確的規則，告知爬蟲網站中哪些頁面、目錄允許爬行，哪些需要回避，是指導爬蟲高效工作的核心配置文件，也是技術SEO的基礎環節。

二、robots.txt的4大核心基本語法

robots.txt通過簡單固定的語法定義規則，核心指令包括：

1. User-agent：指定適用爬蟲

用于明確規則針對的搜索引擎爬蟲，是每條規則的開頭。使用“*”表示規則適用于所有爬蟲；也可指定具體爬蟲名稱（如Googlebot、Bingbot），僅對該爬蟲生效。

2. Disallow：禁止訪問指令

定義爬蟲不允許訪問的頁面或目錄，路徑需從網站根目錄開始寫。例如“Disallow: /admin/”表示禁止爬蟲訪問/admin目錄及其下所有內容；“Disallow: /”則表示禁止爬蟲訪問網站所有頁面（極少使用）。

3. Allow：允許訪問指令

用于覆蓋父目錄的Disallow規則，明確指定爬蟲可訪問的頁面或目錄。例如父目錄“/data/”被Disallow，但“/data/public/”需允許訪問，可通過“Allow: /data/public/”實現。

4. Sitemap：指定網站地圖位置

用于告知爬蟲網站地圖（Sitemap）的URL地址，幫助爬蟲快速找到網站地圖，提升索引效率。語法格式為“Sitemap: 網站地圖完整URL”，可在文件末尾添加。

三、robots.txt的3個實用配置示例

結合常見場景，以下示例可直接參考配置：

1. 禁止所有爬蟲訪問特定目錄

需阻止所有爬蟲訪問后臺管理目錄（/admin/）和私人數據目錄（/private/），配置如下：

User-agent: *Disallow: /admin/Disallow: /private/

2. 允許特定爬蟲訪問指定目錄

禁止所有爬蟲訪問/images/目錄，但允許Googlebot訪問，配置如下：

User-agent: *Disallow: /images/User-agent: GooglebotAllow: /images/

3. 指定網站地圖位置

在規則末尾添加網站地圖地址，幫助爬蟲快速識別，配置如下：

User-agent: *Disallow: /admin/Sitemap: https://example.com/sitemap.xml

四、使用robots.txt的6大核心注意事項

配置robots.txt需規避常見誤區，否則可能影響爬蟲爬行與索引：

1. 并非安全防護工具

robots.txt僅為“君子協定”，僅對遵守規則的搜索引擎爬蟲有效，無法阻止惡意爬蟲、黑客或有意圖的用戶訪問被Disallow的內容，不能用于隱藏敏感信息（如用戶數據、隱私內容）。

2. 路徑大小寫敏感

大多數服務器（如Linux服務器）對URL路徑的大小寫敏感，例如“Disallow: /Admin/”與“Disallow: /admin/”是兩條不同規則，需確保路徑與網站實際目錄大小寫完全一致。

3. 規則匹配URL開頭

Disallow規則采用“前綴匹配”，只要URL以規則中的路徑開頭即生效。例如“Disallow: /page”會禁止訪問“/page1”“/page/abc”等所有以“/page”開頭的URL，需精準設置路徑。

4. 子目錄默認繼承父目錄規則

若Disallow某個父目錄，其下所有子目錄會默認被禁止訪問。例如“Disallow: /data/”會同時禁止“/data/abc/”“/data/def/”等所有子目錄，無需單獨配置。

5. 不同爬蟲可能有差異

部分小眾搜索引擎的爬蟲可能對規則解釋存在差異，核心規則（如User-agent、Disallow）需遵循通用標準，避免使用特殊語法，確保主流爬蟲都能正確識別。

6. 需測試規則有效性

配置完成后，建議使用Google Search Console的“robots.txt測試工具”或百度搜索資源平臺的相關工具，驗證規則是否生效，檢查是否存在誤禁止核心頁面的情況。

五、robots.txt的核心SEO價值

正確配置robots.txt的核心價值的是“優化爬行效率、節省爬行預算”：通過禁止爬蟲訪問無價值頁面（如后臺頁面、重復內容頁、測試頁），讓爬蟲將有限的爬行資源集中在核心頁面（如產品頁、文章頁），提升核心內容的索引速度與覆蓋率，為SEO排名打下基礎。