Robots.txtは、ウェブサイトがウェブクロールボットに指示を提供できるテキストファイルです。
Google のような検索エンジンに、サイトをインデックスする際にウェブサイトのどの部分にアクセスでき、どの部分にアクセスできないかを伝えます。
これにより、robots.txt は SEO の強力なツールとなり、特定のページが Google 検索結果に表示されないようにするためにも使用できます。
robots.txtはどのように機能しますか？
robots.txtは、検索エンジンのボットにウェブサイトのどのページをクロールおよびインデックスするかを指示するために作成できるテキストファイルです。通常、ウェブサイトのルートディレクトリに保存されます。
Googleのような検索エンジンは、ウェブクローラー（ウェブボットとも呼ばれる）を使用してウェブサイトをアーカイブおよび分類します。ほとんどのボットは、ウェブサイトの他のファイルを読み取る前に、サーバーでrobots.txtファイルを検索するように設定されています。ボットがこれを行うのは、ウェブサイトの所有者がサイトのクロールとインデックス作成に関する特別な指示を持っているかどうかを確認するためです。
robots.txt ファイルには、特定のファイルまたはディレクトリを無視するようにボットに要求する一連の指示が含まれています。これはプライバシーのためであったり、ウェブサイトの所有者がそれらのファイルやディレクトリの内容が検索エンジンでのウェブサイトの分類に関連がないと考えているためであったりします。
robots.txtファイルの例を次に示します。
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
この例では、「User-Agent」の後のアスタリスク「*」は、すべての検索エンジンに対する指示であることを指定しています。
次に、WordPressのアップロードフォルダ内のファイルを検索エンジンにクロールおよびインデックスさせます。その後、プラグインとWordPress管理フォルダのクロールおよびインデックスを禁止します。
URL を disallow しない場合、検索エンジンのボットはそれをインデックスできると想定することに注意してください。
最後に、当社の XML サイトマップの URL を提供しました。
WordPress で Robots.txt ファイルを作成する方法
robots.txtファイルを作成する最も簡単な方法は、All in One SEOを使用することです。これは市場で最高のWordPress SEOプラグインであり、使いやすいrobots.txtファイルジェネレーターが付属しています。
使用できる別のツールは、強力なコードスニペットプラグインであるWPCodeです。これにより、カスタムコードを簡単かつ安全にウェブサイトに追加できます。Proバージョンには、robots.txtファイルをすばやく編集できる便利な機能が含まれています。
ただし、コードに慣れている場合は、robots.txtファイルを自分で作成することもできます。robots.txtファイルを編集するには、 FTPクライアントを使用する 必要があります。または、WordPressホスティングで提供されているファイルマネージャーを使用することもできます。
robots.txt ファイルの作成に関する詳細については、WordPress robots.txt を SEO に最適化する方法に関するガイドを参照してください。
検索エンジンによるサイトのクロールを停止するためにrobots.txtを使用する方法
検索エンジンは、ほとんどのウェブサイトにとって最大のトラフィックソースです。しかし、検索エンジンにサイトのインデックス作成を抑制させたい理由はいくつかあります。
例えば、ウェブサイトをまだ構築中であれば、検索結果に表示させたくないでしょう。これは プライベートブログやビジネスイントラネットにも当てはまります。
robots.txt ファイルの disallow ルールを使用して、ウェブサイト全体または特定のページを検索エンジンにインデックスされないように依頼できます。詳細な手順は、WordPress サイトのクロールを検索エンジンに停止する方法に関するガイドに記載されています。
All in One SEOのようなツールを使用して、これらのルールをrobots.txtファイルに自動的に追加できます。
すべてのボットがrobots.txtファイルを尊重するわけではないことに注意することが重要です。悪意のあるボットの中には、robots.txtファイルを読んで、最初にどのファイルやディレクトリをターゲットにすべきかを見つけるものもあります。
また、robots.txtファイルが特定のページを無視するようにボットに指示した場合でも、それらのページがクロールされた他のページにリンクされている場合、検索結果に表示される可能性があります。
この記事がWordPressのrobots.txtについて理解を深めるのに役立ったことを願っています。関連する便利なWordPressのヒント、トリック、アイデアに関する記事については、以下の追加資料リストも参照してください。
この記事が気に入ったら、WordPressのビデオチュートリアルについては、YouTubeチャンネルを購読してください。 TwitterやFacebookでもフォローできます。
