検索エンジンのクロールを無効にする

検索エンジンがウェブサイト上で探索するページを管理するには、robots.txt ファイルを作成するか、特定のページに noindex タグを挿入するという 2 つの方法があります。この方法では、検索エンジンが特定のページ、ディレクトリ、サイト全体、または webflow.io サブドメインを探索してインデックス化するのを阻止できます。これは、ウェブサイトの 404 ページなどのページがインデックス化されて検索結果に表示されないようにするのに役立ちます。

重要な： サイトのコンテンツは、検索されなくてもインデックスに登録されることがあります。これは、以前に公開されたコンテンツや、他のオンラインソースからそのコンテンツへのリンクがあるために、検索エンジンがコンテンツを認識している場合に発生します。 以前はインデックスされていた ページがインデックスに登録されない場合は、robots.txt ファイルに追加しないでください。代わりに、サイトマップのインデックス登録トグルを使用して、そのコンテンツを Google のインデックスから削除します。

このチュートリアルの内容: 

1. Webflowサブドメインのインデックスを無効にする方法
2. サイトページのインデックスを有効または無効にする方法
3. プライバシー保護に関する推奨事項
4. よくある質問と問題解決のヒント

Webflowサブドメインのインデックスを無効にする方法

Googleや他の検索エンジンがあなたのウェブサイトのwebflow.ioサブドメインをインデックスするのを防ぐには、 サイト設定.

1. アクセス サイト設定 > SEO タブ > インデックス作成 セクション
2. トグル Webflowサブドメインのインデックスを無効にする に "はい” 
3. クリック 変更内容を保存 ウェブサイトを公開する

このアクションにより、サブドメインにのみ特定の robots.txt が公開され、検索エンジンにこのドメインを無視するように指示されます。

注記： Webflow サブドメインの検索エンジンによるインデックス作成を防ぐには、サイト プランまたは有料のワークスペースが必要です。サイト プランとワークスペース プランの詳細については、こちらをご覧ください。

サイトページのインデックスを有効または無効にする方法

サイトページのインデックス作成を無効にする方法は 2 つあります。

• を活用することで サイトマップのインデックス作成 切り替える ページ設定
• robots.txtファイルを生成することで

robots.txt ファイルを使用してサイト ページのインデックス作成を無効にした場合でも、そのページは引き続き Web サイトの自動生成されたサイトマップに含まれます (サイトマップが有効になっている場合)。さらに、以前にカスタム コードを使用してサイト ページに noindex タグを追加した場合、そのページは引き続き Web サイトの自動生成されたサイトマップの一部になります (サイトマップのインデックス作成の切り替えをオンにしない限り)。

サイトマップのインデックス作成トグルを使用してサイトページのインデックス作成を無効にする方法

サイトマップのインデックス作成トグルを使用して静的サイト ページのインデックス作成を無効にすると、そのページが検索エンジンによってインデックス作成されなくなり、Web サイトのサイトマップから除外されるのを防ぐことができます。Web サイトの自動生成サイトマップが有効になっている場合にのみ、トグルを使用してインデックス作成を無効にすることができます。

注記： サイトマップのインデックス作成の切り替えはサイト ページに .url を追加し、検索エンジンによる検索やインデックス作成を防止します。

検索エンジンによる特定のサイトページのインデックス作成を停止するには:

1. Googleのインデックス作成を阻止したいページにアクセスします
2. へ移動 ページ設定 > SEO設定
3. スイッチを切る サイトマップのインデックス作成‍
4. 公開 あなたのウェブサイト

サイトマップのインデックス作成トグルを使用してサイトページのインデックス作成を有効にする方法

検索エンジンが特定のサイトページをインデックスできるようにするには:

1. Googleにインデックスを許可したいページに移動します
2. 訪問 ページ設定 > SEO設定
3. 有効にする サイトマップのインデックス作成‍
4. 公開 あなたのウェブサイト

robots.txt ファイルを作成する方法 

robots.txt は、検索エンジンで探索されない Web サイトの URL を指定するためによく使用されます。また、robots.txt ファイルに Web サイトのサイトマップをリストして、検索エンジンのクローラーに探索すべきコンテンツを通知することもできます。

サイトマップと同様に、robots.txtファイルはドメインのメインディレクトリにあります。 サイト設定、Webflow は Web サイト用の /robots.txt ファイルを生成します。

robots.txt ファイルを生成するには:

1. 案内する サイト設定 > SEO タブ > インデックス作成 セクション
2. 必要なrobots.txtルールを含める
3. クリック 変更内容を保存 ウェブサイトを公開する

重要： サイトのコンテンツは、検索されなくてもインデックスに登録されることがあります。これは、以前に公開されたコンテンツや、他のオンラインソースからそのコンテンツへのリンクがあるために、検索エンジンがコンテンツを認識している場合に発生します。 以前はインデックスされていた ページがインデックスに登録されない場合は、robots.txt ファイルに追加しないでください。代わりに、サイトマップのインデックス登録トグルを使用して、そのコンテンツを Google のインデックスから削除します。

Robots.txtのルール

これらのルールはいずれも robots.txt ファイルに組み込むことができます。

• ユーザーエージェント： * このセクションがすべてのロボットに適用されることを示します。
• 許可しない:  ロボットに、Web サイト、ページ、またはディレクトリを探索しないように指示します。

ウェブサイト全体を隠すには

ユーザーエージェント： *

許可しない: /

個々のページを非表示にするには

ユーザーエージェント： *

許可しない: /ページ名

ページのディレクトリ全体を非表示にする

ユーザーエージェント： *

許可しない: /フォルダ名/

サイトマップを含めるには

サイトマップ: https://your-site.com/sitemap.xml

注記： Webflow は、robots.txt ファイルにサイトマップへのリンクを自動的に追加します。

貴重なリソース

役立つrobots.txtルールをもっと知る.

注記： 誰でもあなたのウェブサイトの robots.txt ファイルにアクセスでき、あなたのプライベートなコンテンツを特定してアクセスされる可能性があります。

プライバシー保護のための最良の方法 

ウェブサイト上の特定のページまたは URL が検出されないようにしたい場合は、robots.txt を使用して URL の探索を阻止しないでください。代わりに、次のいずれかのオプションを選択してください。 

• サイトマップのインデックス作成トグルを有効にすると、検索エンジンがコンテンツをインデックス作成するのを防ぎ、検索エンジンのインデックスから除外します。 
• 機密コンテンツを含むページを下書きとして保存し、公開しないようにします。公開が必要なページはパスワードで保護します。 

よくある質問と問題解決のヒント

robots.txt ファイルを使用して、Webflow サイトのアセットのインデックス作成を防ぐことはできますか? 

robots.txtファイルを使用してWebflowサイトのアセットのインデックス作成を防ぐことは現実的ではありません。robots.txtファイルは、それが適用されるコンテンツと同じドメイン（この場合はアセットがホストされている場所）にある必要があるためです。Webflowは、 グローバル CDN robots.txt ファイルが配置されているカスタム ドメインからではなく、 

サイト設定から robots.txt ファイルを削除しましたが、公開したサイトでは引き続き表示されます。どうすれば解決できますか? 

robots.txt は一度作成すると、完全に削除することはできません。ただし、新しいルールに置き換えてサイトのクロールを有効にすることはできます。例: 

ユーザーエージェント： * 

許可しない:

変更を保存してサイトを再公開してください。問題が解決せず、公開したサイトに古いrobots.txtルールがまだ表示されている場合は、 カスタマーサポートに連絡する.