Help > Forum > 検索エンジン > robots.txt ファイルで一部のページがブロックされるのはなぜですか?

robots.txt ファイルで一部のページがブロックされるのはなぜですか?

我々が指定したrobots.txtファイルは、検索エンジンで可能な限り最高のランキングを確保するために最適化されています。 これは、検索エンジンに悪影響を与える特定のページをインデックスしないように、検索エンジンに指示します。 例えば、コンテンツがごく少ないページ(「新規トピックの作成」ページなど)、同じコンテンツを指す少し異なるURL(検索エンジンでは重複コンテンツとしてカウントされます)、トランザクションメンバーのみのページ(トピックのフォローやプロフィールの編集など)などです。 これにより、検索エンジンは主にフォーラムの関連性の高い内容が豊富なページを見ることができるため、検索結果でフォーラムを上位にランク付けできます。

robots.txt ファイルに記載されているその他のページは、ログインしているメンバーのみがアクセスできるプライベートページです。 とにかく検索エンジンがこれらのページにアクセスすることはできません。 robots.txtレベルでそれらを制限することにより、それはあなたのフォーラムは非常に高品質のコンテンツを持っていないことを考えて、何度も何度もログインページを見て続けないので、検索エンジンであなたのランキングを高めます。 また、検索エンジンのクローラによって生成された不要なページビューを削減します。これは、コストがかかり、検索エンジンのポジショニングや広告の配信が向上しません(ログインページは検索エンジンのクローラによって無視されるため)。

Google Adsense のようなコンテククシャル広告ネットワークでは、コンテンツがほとんどないページや重複しているページをコンテクスト広告ターゲティングに使用しないことを好みます。 当社の robots.txt ファイルにより、関連性の高いページのみがコンテキスト広告に使用されるため、広告主はフォーラムでの広告を好み、長期的な収益を高めることができます。

あなたのフォーラムのためのrobots.txtファイルを見ることができます こちらをご覧ください.


If you still need help, please contact us.