如果要针对

[account_disabled]

禁止允许特定路径除了禁止特定路径外语法还允许允许特定路径。请注意允许机器人访问是默认状态因此如果文件中没有规则则允许所有路径。指令的主要用途是覆盖更通用的指令。优先规则指出基于路径输入长度的最特定规则将胜过较不特定的较短规则。带有通配符的规则的优先顺序未定义我们将通过允许的规则修改下面秘密文件夹的排除来证明这一点。由于此规则较长因此将优先。禁止秘密对特定用户代理的限制我们与之合作的所有指令均已平等地应用于所有机器人。这是由开始我们的命令的指定的。通过替换我们可以设计仅适用于特定命名机器人的规则。在下面的示例中将替换为创建仅适用于机器人的规则。


禁止秘密添加多个块可能有多个针对不同机器人集的命令块。下面的示例 意大利电话号码 将允许访问秘密目录中的所有文件并将阻止整个站点中的所有其他机器人。请注意由于有一组明确针对的指令因此将完全忽略针对所有机器人的指令。这意味着您无法从常见排除的基础上建立排除项。命名机器人则每个块都必须指定其所有规则。添加针对所有机器人的第二条指令该指令将阻止整个站点。这将创建一个文件该文件从所有机器人中阻止整个站点除了可以爬网秘密文件夹中的任何页面。



禁止秘密使用更多特定的用户代理在某些情况下您希望控制特定爬网程序例如爬网程序的行为与主要不同。为了在中启用此功能这些爬网程序将选择收听适用于它们的最特定的字符串。因此例如如果有一个针对的指令块和一个针对的指令块则图像爬网程序将遵循后一组指令。如果没有针对或任何其他专业的特定说明集他们将遵守常规指令。请注意爬虫只会遵守一组指令而没有在组之间累积应用指令的概念。给定以下机器人。将遵守指令换句话说不会爬网该秘密文件夹。