设为首页收藏本站公告反馈
切换到宽版

 找回密码
 立即注册
本站不定时开启注册，请珍惜可以注册账号的时间段，及时注册账号
搜索
热搜: 黑五 宝塔 评测
返回列表 发新帖

[建站技术] 使用robots文件屏蔽垃圾蜘蛛AhrefsBot/SemrushBot/MJ12bot

[复制链接]
发表于 2021-12-1 09:08:41 | 显示全部楼层 |阅读模式
  1. User-agent: SemrushBot
  2. Disallow: /
  3. User-agent: SemrushBot-SA
  4. Disallow: /
  5. User-agent: DataForSeoBot
  6. Disallow: /
  7. User-agent: AhrefsBot
  8. Disallow: /
  9. User-agent: DotBot
  10. Disallow: /
  11. User-agent: SemrushBot
  12. Disallow: /
  13. User-agent: Uptimebot
  14. Disallow: /
  15. User-agent: MJ12bot
  16. Disallow: /
  17. User-agent: MegaIndex.ru
  18. Disallow: /
  19. User-agent: ZoominfoBot
  20. Disallow: /
  21. User-agent: Mail.Ru
  22. Disallow: /
  23. User-agent: SeznamBot
  24. Disallow: /
  25. User-agent: BLEXBot
  26. Disallow: /
  27. User-agent: ExtLinksBot
  28. Disallow: /
  29. User-agent: aiHitBot
  30. Disallow: /
  31. User-agent: Researchscan
  32. Disallow: /
  33. User-agent: DnyzBot
  34. Disallow: /
  35. User-agent: spbot
  36. Disallow: /
  37. User-agent: CCBot
  38. Disallow: /
  39. User-agent: CensysInspect
  40. Disallow: /
  41. User-agent: MauiBot
  42. Disallow: /
复制代码


robots, AhrefsBot, SemrushBot, MJ12bot, 蜘蛛
无欲无求 轻松自由
回复

举报

返回列表 发新帖

Archiver|公告反馈|手机版|小黑屋|玉桂狗

GMT+8, 2024-11-26 13:48 , Processed in 0.011937 second(s), 3 queries , Redis On.

discuz免责声明：

玉桂狗所发布的一切内容仅限用于学习和研究目的，本站不存储任何内容，版权争议与本站无关。

快速回复 返回顶部 返回列表