中小网站屏蔽垃圾信息和国外搜索引擎蜘蛛(屏蔽部分网站)

如下，这些搜索引擎蜘蛛的基本功能是什么？在网站和目录中创建一个robots.txt文件，只需将以下内容放入其中。

用户代理:Googlebot
不允许:/
用户代理:SemrushBot
不允许:/
用户代理:点机器人
不允许:/
用户代理:MegaIndex.ru
不允许:/
用户代理:MauiBot
不允许:/
用户代理:AhrefsBot
不允许:/
用户代理:MJ12bot
不允许:/
用户代理:BLEXBot
不允许:/
用户代理:跟踪机器人
不允许:/
用户代理:DataForSeoBot
不允许:/