Robots.txt |HTML 用語 | タグ 属性 読み方 一覧 | 基本用語集
用語 Robots.txt とは
HTML | タグ | CSS | 用語集
| HTML 用語 | CSS 用語 | JavaScript 用語 ( Glossary ) 説明 |
|---|---|
Robots.txt とは、 | Robots . txtは、一般的に Webサイトのルートに配置されるファイルです。このファイルは、クローラー& からの Webサイトアクセスを許可するか、又は 、禁止するかを決定します。例えば、 他のサーチエンジンに特定のファイルがインデックスされないように、サイト管理者はクローラーが特定のフォルダ（とそこに含まれるすべてのファイル）にアクセスしたり、特定ファイルをクロールするのを禁止できます。 |
