robots.txt 生成器
按需添加抓取规则与站点地图声明，实时生成可直接放到网站根目录的 robots.txt。
⚙️ 规则配置
留空表示不禁止任何路径。写 / 表示禁止抓取整站，通常不建议。
📤 生成结果
—
📌 常见误区
| 误区 | 正确做法 |
|---|---|
| 以为 robots.txt 能阻止页面被收录 | 它只阻止抓取，不阻止收录。要阻止收录应使用 noindex 元标签，且该页面必须允许被抓取才能读到 noindex |
| 用 robots.txt 保护敏感目录 | robots.txt 是公开文件，写明 /admin/ 等于告诉别人这里有后台。敏感目录应靠鉴权与网络隔离保护 |
| Disallow 写成完整 URL | 路径必须是站内绝对路径，从 / 开始，不支持通配域名 |
| 多个 User-agent 组混写规则 | 每组 User-agent 后紧跟自己的规则，组与组之间用空行分隔，避免规则被错误继承 |