Robots.txt ジェネレーター

Robots.txtの機能

Robots.txt ファイルは、ページの取得を開始する前に、サイトのどの部分を訪問するか、スキップするか、特別なルールで処理するかをクローラーに指示します。

このジェネレータがどのように役立つか

このツールを使用すると、手動でファイルを作成しなくても、デフォルトのクロール ポリシーを選択したり、明示的に許可および不許可のパスを追加したり、オプションのクロール遅延を設定したり、サイトマップまたはホスト ディレクティブを追加したりできます。

一般的な使用例

• 管理領域、検索ページ、フィルター、または内部ツールへの広範なクローラー アクセスをブロックします。
• デフォルトでプライベートのサイト セクションで、いくつかのパブリック パスのみを公開できるようにします。
• メインのサイトマップの場所を公開すると、検索エンジンが新しい URL をより早く検出できるようになります。
• ステージング、移行、起動チェックリスト用の robots.txt 開始テンプレートを作成します。

ベストプラクティスと制限事項

Robots.txt はクロール指示であり、アクセス制御システムではないため、機密コンテンツは認証やその他のサーバー側の制限によって保護する必要があります。

クローラーによってサポートされるディレクティブは異なります。例えば、hostディレクティブは普遍的ではなく、crawl-delayは一部のボットによって無視される可能性があります。そのため、最終的なルールは、必ず対象となるクローラーに対して検証してください。