Google ウェブマスター ツールのMyrobots.txtには次の値が表示されます。
User-agent: *
Allow: /
それはどういう意味ですか? 十分な知識がないので、助けを求めています。すべてのロボットが Web サイトをクロールできるようにしたいのですが、これは正しい設定ですか?
ベストアンサー1
このファイルはすべてのクローラーのアクセスを許可します
User-agent: *
Allow: /
これにより、基本的にすべてのユーザー エージェント (*) がサイトのすべての部分 (/) にアクセスできるようになります。