SEO（辅助）辅助领域
别名：Robots 协议、爬虫规则文件
定义
robots.txt 采用 User-agent 与 Disallow/Allow 语法；它控制抓取而非 guaranteed 不索引（noindex 在 meta 层）。
为什么重要
误 Disallow 全站是 GEO 事故头号原因；生成式引擎依赖的爬虫同样遵守 robots 协议。
常见误区
用 robots 屏蔽 CSS/JS 以为「保密」；反而让渲染与理解失败，损害移动端体验评分。
实践建议
变更前用站长工具 robots 测试；为 AI 友好路径单独 Allow，并公开 llms.txt 指引。
与 GEO 检测的关系
易云 GEOTool 启动检测时会首先验证 robots 是否阻断关键 GEO 路径与 sitemap 声明。