robots.txt 是网站与搜索引擎爬虫沟通的第一道门槛,合理配置 robots.txt 规则,既能保护敏感目录,又能引导爬虫高效抓取。本文系统梳理常见语法与实战要点,帮助站长规避误封风险,提升 SEO 效果。
robots.txt 采用纯文本格式,核心指令包括 User-agent、Disallow、Allow 和 Sitemap。其中 User-agent 指定规则适用的爬虫,Disallow 禁止抓取指定路径,Allow 则用于在 Disallow 范围内开放特定目录。
许多站点因规则书写不当导致重要页面被误封。例如使用 Disallow: / 会屏蔽整站,造成流量断崖式下跌;路径末尾缺少斜杠可能匹配到非预期目录。此外,robots.txt 规则区分大小写,路径应使用绝对路径,且文件必须放置在网站根目录。
Google 等主流搜索引擎支持 * 和 $ 通配符,但不同爬虫支持程度存在差异。当 Allow 与 Disallow 规则冲突时,通常以路径更具体、长度更长的规则优先。建议配置后使用搜索引擎官方工具验证生效情况。
掌握 robots.txt 规则不仅是技术细节,更是 SEO 策略的重要组成部分。合理配置可减少无效抓取,让搜索引擎更聚焦于核心内容,为网站长期流量增长奠定基础。