今天，让我们来谈谈优化:机器人的功能和nofollow的区别。首先，让我们谈谈第一个问题:机器人的功能是什么。机器人机器人机器人通常被站长用来限制搜索引擎访问页面，所以机器人是网站和搜索引擎爬虫之间的协议。网站管理员通常通过txt文本告诉搜索引擎爬虫允许的权限。通常，没有目录访问权限的文件爬网程序只能在根域名目录下爬网。如果网站和搜索引擎之间没有协议，不可预测的大量信息将会泄露到互联网，这不是双方都愿意看到的。机器人的作用是什么:1。如果网站被修改并且整个文件夹都不见了，那么整个文件夹应该被阻止。我们可以用机器人封锁整个文件夹。例如，网站中的ab文件夹由于修订而被删除。此时，可以这样设置:用户代理: *不允许:/ab/2。可以使用各种通配符来相应地分配网站。例如，我不希望网站捕捉我所有的照片，所以我现在可以用$来设置它。一般来说，我们常用的图片格式是BMP。jpg-w600、GIF、JPEG和其他格式。此时的设置是:用户代理: *不允许:/。BMP $ Disallow :/。JPG-W600 $不允许:/。GIF-W600 $不允许:/。JPEG-W600 $3。如果你只想要一个搜索引擎来获取你的信息，你可以使用机器人来设置它。例如，我只是希望我的网站被百度收录，而不是被其他搜索引擎收录。机器人可以用来设置。用户代理: Baiduspider Allow:用户代理: *不允许:/4。您也可以使用*屏蔽相关的网址。有些网站不允许搜索引擎捕获动态地址，您可以使用*通配符来设置匹配。通常，动态网址具有“？”此时，我们可以使用此功能屏蔽匹配:用户代理: *不允许:/*？*5。阻止所有搜索引擎获取信息。如果你的网站只是你的私人网站，你不想让太多的人知道，你可以用机器人屏蔽所有搜索引擎，比如你的个人博客。你可以屏蔽所有的搜索引擎。机器人和nofollow有什么区别？robots是根目录下的txt文本文件，它使用代码语句告诉蜘蛛什么可以捕获，什么不能捕获。从一开始，机器人就告诉蜘蛛:“我有你看不见的东西，请自动绕过它。”nofollow属性链接的意思是告诉蜘蛛你可以查看这个链接，但它与我的网站无关。不要给这个链接加权。这是一个更直观的陈述。更直截了当地说，机器人在一开始告诉蜘蛛我们不应该抓取什么链接，但是对于nofollow标签，他不能节省我们的蜘蛛资源。如果没有跟踪标签被添加到链接，蜘蛛仍然会抓取链接，但不会转移权重，也就是说，我们的网站不会转移权重到链接。