问题补充：为什么网站里有些链接明明设置了nofollow，但是百度还是会去抓取和收录呢?
回答：要理解这个问题，我们首先要知道nofollow的意义，我们可以这么来简单的理解，对链接设置nofollow的意思就是告诉搜索引擎不推荐这个链接，更加直白的说就是不传递权重。但是这不等于说禁止百度搜索来抓取和收录页面，所以如果想要百度不抓取收录某个页面的话，最有效的办法就是在robots文件设置。
回到问题本身，为什么百度会抓取设置了nofollow的链接?原因是nofollow标签只是不传递权重，百度搜索还是会去抓取并且收录的。所以如果我们不想某个页面不被百度收录，最好是去设置robots文件。