求助一个robots.txt内容的写法

tmm · 发表于 2012-4-26 02:43:39

# Disallow: /a_*.html
# Disallow: /b_*.html

我的意思是禁止搜索引擎抓取以a_开头的网页以及及b下划线开头的网页。
上面这种写法好像不对。应该怎么写啊、。

zbo999 · 发表于 2012-4-26 02:43:39

帮帮忙啊。。。

wg72 · 发表于 2012-4-26 02:43:39

去掉#，通配模式*只对google有效,写法之一

User-agent: *
Disallow: /a_
Disallow: /b_复制代码

		自动登录	找回密码
密码			立即注册