知识吧

如何写robots.txt
robots.txt基本介绍
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt写作语法
首先，我们来看一个robots.txt范例：http://www.robotstxt.cn
访问以上具体地址，我们可以看到robots.txt的具体内容如下： 阅读全文…

1、网页使用框架:框架内的内容通常不在搜索引擎抓取的范围之内。
2、图片太多，文本太少。
3、提交页面转向另一网站:搜索引擎可能完全跳过这个页面。
4、提交太过频繁:一个月内提交2次以上，很多搜索引擎就受不了，认为你在提交垃圾。
5、网站关键词密度太大:不幸的是搜索引擎并没解释多高的密度是极限，一般认为100个字的描述中含有3-4个关键词为最佳。
6、文本颜色跟背景色彩一样:搜索引擎认为你在堆砌关键词欺骗它。
7、动态网页:网站的内容管理系统方便了网页更新，却给大部分搜索引擎带来麻烦，很多搜索引擎不收取动态页面，或只收取第一层页面，不会向下深入收取。这时要考虑使用WEB服务器的重写(rewrite)技术，把动态页面的url映射成和静态页面url相似的格式，搜索引擎误以为是静态页面，就会收取了。 阅读全文…

         1. 使用了错误的目标关键词

　　这是一个很多人都容易犯的错误，人们往往想当然的选择自己喜欢的关键字，但用户在搜索时，根本不会使用它们。比如说，你选择“苹果原酒”作为网站的关键字，但即使将这个关键字优化到排名第一也没有意义，因为没有人搜索它们。所以，选择正确的关键字非常重要。

　　你可以使用一些关键字建议工具，来帮你找到合适的关键字。 阅读全文…