不想让百度收录我的网站怎么办？

可以通过设置根目录下的robots.txt文件来限制百度的收入。Robots.txt必须放在站点的根目录下，文件名必须全部小写。robots.txt文件的格式

用户代理:定义搜索引擎的类型。

不允许:定义禁止被搜索引擎包括的地址。

允许:定义允许被搜索引擎包含的地址。

我们常用的搜索引擎类型有:

谷歌:谷歌机器人

百度:baiduspider

雅虎:咕嘟

Alexa spider: ia_archiver

Msn: msnbot

Altavista蜘蛛:滑板车

Lycos spider: lycos_spider_(霸王龙)

所有网络蜘蛛:快速网络爬虫

inktomi Spider:slurprobots . txt文件的编写方法

用户代理:*这里*代表各种搜索引擎，*是通配符。

Disallow: /admin/这里的定义是禁止对admin目录下的目录进行爬网。

Disallow: /require/这里的定义是禁止对require目录下的目录进行爬网。

disallow:/ABC ABC这里的定义是禁止对ABC的整个目录进行爬网。

不允许:/cgi-bin/*。禁止访问/cgi-bin/目录中所有以“.”开头的文件。htm & quot带后缀的URL(包括子目录)。

不允许:/*？*禁止访问网站中的所有动态页面。

不允许:/jpg$禁止抓取所有图片。网页上的jpg格式。

不允许:/ab/ADC . html禁止对AB文件夹下adc.htmlIt的所有文件进行爬网。

用户代理:*这里*代表各种搜索引擎，*是通配符。

Allow: /cgi-bin/这里的定义是允许抓取cgi-bin目录下的目录。

Allow: /tmp在这里定义为允许爬网tmp的整个目录。

允许:。htm$仅允许访问“”。htm & quot带后缀的URL。

允许:。gif$允许你抓取网页和gif图片。robots.txt文件用法示例