搜索引擎蜘蛛名称UA（user-agent）集合

搜索引擎对一个网站很重要，是很多网站重要的流量来源。熟悉各大搜索引擎的蜘蛛就显得必要呢。蜘蛛爬得勤快，网页收录也快。通过分析网站访问日志：查看访问者的user-agent，我们也可以了解哪些搜索蜘蛛过来爬行过你的网站页面：

1. 百度蜘蛛：Baiduspider Baiduspider-image baiduboxapp Baiduspider-render
2. 必应蜘蛛：bingbot BingPreview
3. 谷歌蜘蛛：Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video
4. 360蜘蛛：360Spider (很勤奋的蜘蛛)
5. 搜狗蜘蛛：SogouSpider, Sogou web spider
6. 神马蜘蛛：YisouSpider （UC浏览器默认搜索sm.cn的蜘蛛）
7. 头条蜘蛛：Bytespider （今日头条旗下：高频抓取 被很多站长封禁后 有所改善）
8. 有道蜘蛛：YoudaoBot，YodaoBot
9. MSN蜘蛛：msnbot，msnbot-media
10. 雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
11. Yandex蜘蛛：YandexBot （俄罗斯搜索引擎）
12. DNSPOD监控蜘蛛：DNSPod-Monitor
13. MJ12bot：MJ12bot （英国SEO分析页面蜘蛛）
14. SEMrush：SemrushBot （美国SEO综合分析网站的蜘蛛）
15. 华为蜘蛛：AspiegelBot （ 华为旗下Aspiegel公司 疯狂高频爬行无节制 ）
16. DuckDuckGo：DuckDuckGo-Favicons-Bot
17. 雅虎 Slurp：Slurp

以上蜘蛛：对于国内中文用户为主的站长来说。 主要是 百度 Google Sogou搜狗 Bing 360搜索 神马 头条 这几个蜘蛛比较重要。