停用搜尋引擎抓取

您可以使用兩種方法來管理搜尋引擎在您的網站上瀏覽哪些頁面：建立 robots.txt 檔案或向特定頁面插入 noindex 標記。這樣，您可以阻止搜尋引擎探索和索引特定頁面、目錄、整個網站或 webflow.io 子網域。這有助於隱藏頁面（例如網站的 404 頁面），使其不被編入索引並顯示在搜尋結果中。

至關重要的： 即使沒有經過探索，您網站的內容仍可能會被索引。當搜尋引擎知道您的內容時，就會發生這種情況，因為該內容之前已發布，或者存在來自其他線上來源的該內容的連結。為了確保一個 以前編入索引 頁面未建立索引，請避免將其新增至 robots.txt 檔案。相反，請利用網站地圖索引切換從 Google 的索引中刪除該內容。

在本教程中： 

1. 如何停用 Webflow 子網域的索引
2. 如何啟用或停用網站頁面的索引
3. 隱私保護建議
4. 常見問題和解決問題的技巧

如何停用 Webflow 子網域的索引

若要防止 Google 和其他搜尋引擎對您網站的 webflow.io 子網域建立索引，請在您的網站中停用索引 站點設定.

1. 使用權 站點設定 > SEO 選項卡 > 索引 部分
2. 切換 停用 Webflow 子網域索引 到 ”是的」 
3. 點選 儲存變更 並發布您的網站

此操作將僅在子網域上發布特定的 robots.txt，指示搜尋引擎忽略該網域。

筆記： 為了防止搜尋引擎對 Webflow 子網域建立索引，您將需要網站計畫或付費工作區。取得有關站點和工作區計劃的更多資訊。

如何啟用或停用網站頁面的索引

有兩種方法可以停用網站頁面的索引：

• 透過利用 網站地圖索引 切換 頁面設定
• 透過產生robots.txt文件

請注意，如果您透過 robots.txt 檔案停用網站頁面的索引，該頁面仍將包含在您網站的自動產生的網站地圖中（如果啟用了網站地圖）。此外，如果您先前透過自訂程式碼為網站頁面新增了 noindex 標記，則該頁面仍將是網站自動產生的網站地圖的一部分（除非您開啟網站地圖索引開關）。

如何使用網站地圖索引切換來停用網站頁面的索引

使用網站地圖索引切換停用靜態網站頁面的索引可防止該頁面被搜尋引擎索引並從網站的網站地圖中排除。只有當您網站的自動產生網站地圖已啟用時，您才可以使用切換開關來停用索引。

筆記： 網站地圖索引切換附加到您的網站頁面，防止搜尋引擎對其進行探索和索引。

若要阻止搜尋引擎對特定網站頁面建立索引：

1. 造訪您希望封鎖 Google 建立索引的頁面
2. 去 頁面設定 > SEO設定
3. 關掉 網站地圖索引‍
4. 發布 你的網頁

如何使用網站地圖索引切換啟用網站頁面索引

若要允許搜尋引擎對特定網站頁面建立索引：

1. 導航至您希望允許 Google 建立索引的頁面
2. 訪問 頁面設定 > SEO設定
3. 使能夠 網站地圖索引‍
4. 發布 你的網頁

如何建立 robots.txt 文件 

robots.txt 通常用於指定網站上不被搜尋引擎探索的 URL。您也可以在 robots.txt 檔案中列出網站的網站地圖，以告知搜尋引擎抓取工具應探索哪些內容。

與網站地圖類似，robots.txt 檔案位於您網域的主目錄中。一旦你在你的 站點設定，Webflow將為您的網站產生/robots.txt檔案。

產生 robots.txt 檔案：

1. 導航 站點設定 > SEO 選項卡 > 索引 部分
2. 包含所需的 robots.txt 規則
3. 點選 儲存變更 並發布您的網站

重要的： 即使沒有經過探索，您網站的內容仍可能會被索引。當搜尋引擎知道您的內容時，就會發生這種情況，因為該內容之前已發布，或者存在來自其他線上來源的該內容的連結。為了確保一個 以前編入索引 頁面未建立索引，請避免將其新增至 robots.txt 檔案。相反，請利用網站地圖索引切換從 Google 的索引中刪除該內容。

Robots.txt規則

您可以將這些規則中的任何一個合併到您的 robots.txt 檔案中。

• 用戶代理： * 表示本部分適用於所有機器人。
• 不允許：  通知機器人不要瀏覽網站、頁面或目錄。

隱藏您的整個網站

用戶代理： *

不允許： /

隱藏單一頁面

用戶代理： *

禁止：/頁面名稱

隱藏整個頁面目錄

用戶代理： *

禁止：/資料夾名稱/

包含網站地圖

網站地圖：https://your-site.com/sitemap.xml

筆記： Webflow 會自動在 robots.txt 檔案中新增指向網站地圖的連結。

寶貴的資源

發現更多有用的 robots.txt 規則.

筆記： 任何人都可以存取您網站的 robots.txt 文件，從而可能識別和存取您的私人內容。

隱私保護的最佳方法 

如果您希望防止網站上的特定頁面或 URL 被發現，請避免使用 robots.txt 來防止 URL 被探索。相反，請選擇以下選項之一： 

• 啟用網站地圖索引切換以防止搜尋引擎對您的內容建立索引並將其從搜尋引擎索引中排除。 
• 將包含敏感內容的頁面儲存為草稿並避免發布它們。使用密碼保護需要發布的頁面。 

常見問題和解決問題的技巧

robots.txt 檔案可以用來防止對我的 Webflow 網站上的資產建立索引嗎？ 

使用 robots.txt 檔案來阻止對 Webflow 網站上的資產建立索引是不可行的，因為 robots.txt 檔案必須與其套用的內容位於同一網域中（在本例中為託管資產的位置）。 Webflow 服務我們的資產 全球CDN 而不是來自 robots.txt 檔案所在的自訂網域。 

我從我的網站設定中刪除了 robots.txt 文件，但它在我發布的網站上仍然可見。我該如何解決這個問題？ 

robots.txt 一旦創建，就無法完全消除。但是，您可以將其替換為新規則以啟用網站爬行，例如： 

用戶代理： * 

不允許：

確保儲存變更並重新發布您的網站。如果問題仍然存在，並且舊的 robots.txt 規則在您發布的網站上仍然可見，請 聯繫客戶支援.