0210

微软必应:希望发布者能主动要求搜索引擎来抓取网址,而不是由我们的爬虫来做。

目前,搜索引擎通常通过抓取页面来查找新的内容和更新既有内容。当搜索引擎的爬虫机器人登录一个网页时,它会抓取这个页面上的链接,然后跟踪它们、再抓取随后页面上的链接,最后形成一个庞大的网站索引。现在,必应希望改变这一点。他们表示,希望内容的发布者将其发布的新内容或者更新的内容提交到必应的URL提交工具中,此工具可以主动要求必应抓取网址,而不是依靠必应的爬虫机器人从其他的网页发现网址。

2019-02-10
0
80
虎嗅用户社区交流公约