Robots.txt生成器 - 8TOOL实用工具箱

🤖 Robots.txt 生成器

💡 提示：robots.txt 是搜索引擎爬虫访问网站时首先查看的文件，用于告诉爬虫哪些页面可以访问，哪些不能访问。

基本设置

网站地址

Sitemap地址（可选）

爬虫设置

User-agent（爬虫名称）

访问权限

禁止访问指定目录只允许访问指定目录允许全部禁止全部

目录列表

Robots.txt 内容

↑