停用搜索引擎抓取

您可以使用两种方法来管理搜索引擎在您网站上探索的页面：创建 robots.txt 文件或向特定页面插入 noindex 标签。这样，您可以阻止搜索引擎探索和索引特定页面、目录、您的整个网站或您的 webflow.io 子域。这对于隐藏页面（例如您网站的 404 页面）以防止其被索引并显示在搜索结果中非常有用。

至关重要的： 即使没有被浏览，您的网站内容仍可能被编入索引。当搜索引擎知道您的内容时，就会发生这种情况，因为该内容之前已发布，或者有来自其他在线来源的指向该内容的链接。为了确保 以前被索引 如果页面未被编入索引，则应避免将其添加到 robots.txt 文件中。相反，应使用 Sitemap 索引切换按钮将该内容从 Google 的索引中删除。

在本教程中： 

1. 如何停用 Webflow 子域名的索引
2. 如何激活或停用网站页面索引
3. 隐私保护建议
4. 常见问题和解决问题的技巧

如何停用 Webflow 子域名的索引

为了防止 Google 和其他搜索引擎索引您网站的 webflow.io 子域，请禁用索引 站点设置.

1. 使用权 站点设置 > SEO 标签 > 索引 部分
2. 切换 禁用 Webflow 子域索引 到 ”是的” 
3. 点击 保存更改 并发布您的网站

此操作将仅在子域上发布特定的 robots.txt，指示搜索引擎忽略该域。

笔记： 为了防止搜索引擎索引 Webflow 子域，您需要站点计划或付费工作区。获取有关站点和工作区计划的更多信息。

如何激活或停用网站页面索引

有两种方法可以停用网站页面的索引：

• 通过利用 网站地图索引 切换 页面设置
• 通过生成 robots.txt 文件

请注意，如果您通过 robots.txt 文件停用站点页面的索引，该页面仍将包含在您网站自动生成的站点地图中（如果站点地图已启用）。此外，如果您之前已通过自定义代码向站点页面添加了 noindex 标记，该页面仍将是您网站自动生成的站点地图的一部分（除非您打开站点地图索引切换开关）。

如何使用站点地图索引切换按钮停用网站页面索引

使用站点地图索引切换按钮禁用静态站点页面的索引可防止该页面被搜索引擎索引并从您网站的站点地图中排除。只有当您网站的自动生成站点地图已启用时，您才可以使用切换按钮禁用索引。

笔记： 站点地图索引切换附加到您的网站页面，防止其被搜索引擎探索和索引。

要阻止搜索引擎索引特定网站页面：

1. 访问您希望阻止 Google 索引的页面
2. 去 页面设置 > SEO 设置
3. 关掉 网站地图索引‍
4. 发布 你的网页

如何使用站点地图索引切换按钮启用站点页面索引

要允许搜索引擎索引特定网站页面：

1. 导航至您希望允许 Google 索引的页面
2. 访问 页面设置 > SEO 设置
3. 使能够 网站地图索引‍
4. 发布 你的网页

如何创建 robots.txt 文件 

robots.txt 通常用于指定网站上不允许搜索引擎探索的 URL。您还可以在 robots.txt 文件中列出网站的站点地图，以告知搜索引擎爬虫应该探索哪些内容。

与站点地图类似，robots.txt 文件位于您域名的主目录中。在您的网站中设置后， 站点设置，Webflow 将为您的网站生成 /robots.txt 文件。

要生成 robots.txt 文件：

1. 导航 站点设置 > SEO 标签 > 索引 部分
2. 包含所需的 robots.txt 规则
3. 点击 保存更改 并发布您的网站

重要的： 即使没有被浏览，您的网站内容仍可能被编入索引。当搜索引擎知道您的内容时，就会发生这种情况，因为该内容之前已发布，或者有来自其他在线来源的指向该内容的链接。为了确保 以前被索引 如果页面未被编入索引，则应避免将其添加到 robots.txt 文件中。相反，应使用 Sitemap 索引切换按钮将该内容从 Google 的索引中删除。

Robots.txt 规则

您可以将其中任何规则纳入您的 robots.txt 文件中。

• 用户代理： * 表示本节适用于所有机器人。
• 不允许：  通知机器人不要探索该网站、页面或目录。

隐藏整个网站

用户代理： *

不允许： /

隐藏个别页面

用户代理： *

禁止：/page-name

隐藏整个页面目录

用户代理： *

禁止：/文件夹名称/

包含站点地图

站点地图：https://your-site.com/sitemap.xml

笔记： Webflow 会自动在您的 robots.txt 文件中添加指向您的站点地图的链接。

宝贵资源

发现更多有用的 robots.txt 规则.

笔记： 任何人都可以访问您网站的 robots.txt 文件，从而可能识别和访问您的私人内容。

保护隐私的最佳方法 

如果您希望阻止发现您网站上的特定页面或 URL，请避免使用 robots.txt 来阻止 URL 被探索。相反，请选择以下选项之一： 

• 启用站点地图索引切换功能，以防止搜索引擎索引您的内容并将其排除在搜索引擎索引之外。 
• 将包含敏感内容的页面保存为草稿并避免发布。使用密码保护需要发布的页面。 

常见问题和解决问题的技巧

是否可以使用 robots.txt 文件来阻止对我的 Webflow 网站上的资产进行索引？ 

使用 robots.txt 文件来阻止索引您 Webflow 网站上的资产是不可行的，因为 robots.txt 文件必须与其适用的内容位于同一域中（在本例中，即托管资产的位置）。Webflow 提供来自我们 全球CDN 而不是来自 robots.txt 文件所在的自定义域。 

我从网站设置中删除了 robots.txt 文件，但它仍然显示在我发布的网站上。我该如何解决这个问题？ 

robots.txt 一旦创建，就无法完全消除。但是，你可以用新规则替换它以启用网站抓取，例如： 

用户代理： * 

不允许：

确保保存更改并重新发布您的网站。如果问题仍然存在，并且旧的 robots.txt 规则仍然可见于您发布的网站上，请 联系客户支持.