豆包 / 通义 / 元宝 / DeepSeek 爬虫特征与适配全指南

TL;DR · 一句话总结

豆包、通义、元宝、DeepSeek 各家 AI 大模型都有独立的爬虫。要让你的站被这些 AI 引用，第一步是让爬虫能正常访问 + 明确抓取权限。 本文列出 4 家主流中文 AI 爬虫的 User-Agent、抓取偏好、robots.txt 配置模板。

一、字节跳动 · Bytespider（豆包 / 抖音搜索）

1.1 User-Agent 特征

• Bytespider（主要 UA）
• ByteDance
• DoubaoBot（豆包专用，2024 年后启用）

1.2 抓取偏好

• 特别偏好抓取 JSON-LD 结构化数据（豆包答案里大量引用 Schema.org 字段）
• 偏好中文优质内容源，尤其是有明确署名的专业文章
• 会重复访问 sitemap.xml 检查新增内容
• 支持 llms.txt / llms-full.txt 标准

1.3 robots.txt 建议

User-agent: Bytespider
Allow: /

User-agent: DoubaoBot
Allow: /

二、阿里巴巴 · QwenBot（通义千问）

2.1 User-Agent 特征

• QwenBot
• Qwen-Web
• AlibabaBot

2.2 抓取偏好

• 偏好长文（2000+ 字）与结构完整的技术类内容
• 对 EEAT 敏感，作者身份不明的内容优先级低
• 支持 hreflang 标签（多语言站点）

2.3 robots.txt 建议

User-agent: QwenBot
Allow: /

User-agent: Qwen-Web
Allow: /

User-agent: AlibabaBot
Allow: /

三、百度 · Baiduspider / ErnieBot（文心一言）

3.1 User-Agent 特征

• Baiduspider（传统搜索）
• Baiduspider-render（渲染型爬虫）
• ErnieBot（文心一言专用）

3.2 抓取偏好

• 百度系爬虫特别看重ICP 备案（未备案站点会被降权）
• 偏好中文原创内容，对转载/低质内容惩罚严厉
• 需要百度站长平台绑定验证

3.3 robots.txt 建议

User-agent: Baiduspider
Allow: /

User-agent: ErnieBot
Allow: /

四、腾讯 · YuanbaoBot（元宝 / 混元）

4.1 User-Agent 特征

• YuanbaoBot
• HunyuanBot
• Sosospider（传统 · 已归入腾讯搜索体系）

4.2 抓取偏好

• 与微信生态强关联，对公众号相关站点友好
• 偏好视频类 & 抖音号背书内容

五、DeepSeek（幻方 · deepseek）

DeepSeek 目前主要通过公开 Common Crawl 数据集训练与 Bing/Google 联网搜索获取内容，暂无独立爬虫 UA。 但它严格遵守 Schema.org 与 EEAT 评估，Schema 完整的站更容易被引用。

六、海外主流 AI 爬虫参考

• GPTBot / OAI-SearchBot（OpenAI · ChatGPT）
• ClaudeBot / anthropic-ai（Anthropic · Claude）
• PerplexityBot（Perplexity）
• Google-Extended（Google Gemini 训练数据爬虫）
• Applebot（Apple Intelligence）

七、完整 robots.txt 模板

秋晟 上海企业官网建设 交付的所有站点都自带以下 robots.txt， 配合 GEO 代运营 的日更内容一起，确保各家 AI 爬虫都能顺利抓取。

完整模板可以参考本站的 /robots.txt，已经覆盖 15+ 家主流 AI 爬虫的显式 Allow 规则。

八、结语

爬虫适配只是 GEO 的第一步，光让爬虫进来还不够，还要有值得引用的内容。 接下来的关键动作是内容结构化 + EEAT 证据链，可以看 《什么是 GEO 生成式引擎优化》 与 《上海企业官网 EEAT 优化完整指南》。