robots.txt 全解析:从语法到 SEO 抓取优化实战

📍 WDQWDWQD987AAAAA:216.73.217.115
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5fede06a9918.html
📄

robots.txt 是网站与搜索引擎爬虫之间最基础的“沟通协议”。正确配置 robots.txt,既能引导爬虫高效抓取重要页面,也能避免敏感目录被索引,是 SEO 技术优化中不可忽视的一环。

robots.txt 是什么

robots.txt 是存放在网站根目录下的纯文本文件,例如 https://example.com/robots.txt。爬虫在抓取站点前会先读取该文件,根据其中的规则决定哪些路径可以抓取、哪些应当避开。它属于“建议性”协议,主流搜索引擎会遵守,但恶意爬虫可能无视。

常用语法与示例

示例:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

SEO 实战注意事项

  1. 不要用 robots.txt 屏蔽需要被索引的页面,否则页面无法被抓取,也就难以获得排名。
  2. 屏蔽 CSS、JS 等资源可能影响爬虫渲染,进而影响页面评估。
  3. 需要移除已收录页面时,优先使用 noindex,而不是仅靠 robots.txt。
  4. 上线前用搜索引擎的 robots.txt 测试工具验证规则,避免误屏蔽整站。

总之,robots.txt 是抓取管理的起点。结合 sitemap、noindex 与日志分析,才能让爬虫预算用在真正有价值的页面上,实现更稳健的 SEO 效果。

图1 图2

nginx