robots.txt 全解析:从语法到 SEO 抓取优化实战
📍 WDQWDWQD987AAAAA:216.73.217.115
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5fede06a9918.html
📄
robots.txt 是网站与搜索引擎爬虫之间最基础的“沟通协议”。正确配置 robots.txt,既能引导爬虫高效抓取重要页面,也能避免敏感目录被索引,是 SEO 技术优化中不可忽视的一环。
robots.txt 是什么
robots.txt 是存放在网站根目录下的纯文本文件,例如 https://example.com/robots.txt。爬虫在抓取站点前会先读取该文件,根据其中的规则决定哪些路径可以抓取、哪些应当避开。它属于“建议性”协议,主流搜索引擎会遵守,但恶意爬虫可能无视。
常用语法与示例
- User-agent:指定规则适用的爬虫,如 Googlebot、Bingbot,使用 * 表示所有爬虫。
- Disallow:禁止抓取的路径,如 /admin/。
- Allow:在整体禁止下开放特定路径,优先级通常高于 Disallow。
- Sitemap:声明站点地图地址,便于爬虫发现页面。
示例:
User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml
SEO 实战注意事项
- 不要用 robots.txt 屏蔽需要被索引的页面,否则页面无法被抓取,也就难以获得排名。
- 屏蔽 CSS、JS 等资源可能影响爬虫渲染,进而影响页面评估。
- 需要移除已收录页面时,优先使用 noindex,而不是仅靠 robots.txt。
- 上线前用搜索引擎的 robots.txt 测试工具验证规则,避免误屏蔽整站。
总之,robots.txt 是抓取管理的起点。结合 sitemap、noindex 与日志分析,才能让爬虫预算用在真正有价值的页面上,实现更稳健的 SEO 效果。