阿里巴巴和淘宝网的robots.txt展示
Posted in 搜索引擎营销, 网络营销 on Sep 10th, 2008 No Comments »
因与百度未来利益纷争，淘宝决定禁止百度搜索引擎爬行其网页。
笔者检查了淘宝网的robots.txt文档，发现确实如此。
++++++++ 淘宝网robots.txt文档 ++++++++
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
++++++++ http://www.taobao.com/robots.txt ++++++++
进而转向阿里巴巴网站，查看其robots.txt文档，却是另一番景象。
++++++++ 阿里巴巴robots.txt文档 ++++++++
# file: robots.txt,v 1.0 2002/09/23 created by Tsing Kong
# www.alibaba.com
# 按照robots.txt的标准写法，规定一些不允许爬虫爬的页面或目录。
# robots.txt 的写法参照
# Format is:
# User-agent:
# Disallow: |
# —————————————————————————–
User-agent: *
Disallow: /bin/
Disallow: /trade/user/
Disallow: /trade/express
Disallow: /trade/feedback/
Disallow: /trade/pm/apply/
Disallow: /trade/globalbuyer/feedback/
Disallow: /apps/
Disallow: /buy/
Disallow: /memberhome/
Disallow: /minisite/
Disallow: /trade/createimage
++++++++ http://www.alibaba.com/robots.txt […]