猿对象
技术博客

robots用正则表达式可以禁用抓取吗

天天领购物红包,每天10点和15点更新购物红包!公众号搜索:小猿优品 查看二维码

robots.txt 只支持两个特殊字符:

  • 0-n个字符(n表示任意个)

$ 表示链接结束位置,如 Disallow: .jpg$ 表示以.jpg结束的链接屏蔽抓取

并不支持正则表达式。

文章类别:网站运营

如有转载,请注明本文链接: https://www.apedear.com/5775.html

赞(1) 打赏
推荐转载但是加个友情链接噢o(* ̄︶ ̄*)o:猿对象_网站运营SEO » robots用正则表达式可以禁用抓取吗
分享到: 更多 (0)
标签:
点击领取👉淘宝拼多多京东优惠卷
点击领取👉淘宝拼多多京东优惠卷

评论 抢沙发

智奇网络个人工作室,放心,省心!

淘宝店铺智奇网络

觉得文章有用就打赏一下小编O(∩_∩)O~

支付宝扫一扫打赏

微信扫一扫打赏