360的robots协议支持

79网 2021-06-1512:50:24
评论
6,419

传说360的前身是一个很霸道的搜索引擎,好像是数字域名,无视robots协议公约,直接抓爬;也听说当时收到了一定惩罚,当然,79网站长也不是很清楚是怎么回事,也是以前听人说的,站长本人也忘记什么时候的事了;不过现在的360搜索做的还是很规范的,在360原文中说:为了实现对网站更好的收录,360搜索引擎公布360搜索对Robots协议的支持和扩展说明,以便站长们了解,实现对网站内容更高效、智能的收录。下面让我们来看看官方内容吧。

360搜索支持Robots协议的主要命令,以下为具体说明:

1. user-agent

360搜索各产品的爬虫user-agent为:

- 网页搜索 360Spider

- 图片搜索 360Spider-Image

- 视频搜索 360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。

对Robots协议的善意使用

Robots协议是一个搜索引擎和网站之间的善意协议,我们鼓励站长们也以善意的方式使用这一协议,尽量提供准确的信息,除非有充足理由,不使用Robots协议屏蔽某些特定搜索引擎爬虫。

360搜索愿和站长们一起,共建一个更健康、公平、透明的搜索引擎生态系统。

79网
  • 本文由 发表于 2021-06-1512:50:24
  • 转载请务必保留本文链接:https://www.79.cn/seo/20210615190.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: