tmm 发表于 2012-4-26 02:43:39

求助一个robots.txt内容的写法

# Disallow: /a_*.html
# Disallow: /b_*.html


我的意思是禁止搜索引擎抓取以a_开头的网页以及及b下划线开头的网页。
上面这种写法好像不对。应该怎么写啊、。

zbo999 发表于 2012-4-26 02:43:39

帮帮忙啊。。。

wg72 发表于 2012-4-26 02:43:39

去掉#，通配模式*只对google有效,写法之一

User-agent: *
Disallow: /a_
Disallow: /b_复制代码
页: [1]
查看完整版本: 求助一个robots.txt内容的写法