<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>搜猫SEO博客 &#187; 搜索蜘蛛</title>
	<atom:link href="http://www.seomao.com/tag/spider/feed/" rel="self" type="application/rss+xml" />
	<link>http://www.seomao.com</link>
	<description>外贸SEO - 英文SEO - 搜索引擎优化博客</description>
	<lastBuildDate>Sat, 03 Sep 2011 18:20:18 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.2.1</generator>
		<item>
		<title>关于Robots.txt的SEO资料</title>
		<link>http://www.seomao.com/on-site-seo/robots-txt/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=robots-txt</link>
		<comments>http://www.seomao.com/on-site-seo/robots-txt/#comments</comments>
		<pubDate>Sun, 12 Apr 2009 12:15:04 +0000</pubDate>
		<dc:creator>SEOmao</dc:creator>
				<category><![CDATA[站内SEO]]></category>
		<category><![CDATA[Robots.txt]]></category>
		<category><![CDATA[搜索蜘蛛]]></category>

		<guid isPermaLink="false">http://www.seomao.com/?p=153</guid>
		<description><![CDATA[关于Robots.txt的几点常用SEO资料： 1. 搜索蜘蛛都是贪婪的。原则上讲，除非搜索蜘蛛被事先告知，不然它们认为它们可以爬取和收录任意它们可以访问的页面。 2. Robots.txt文件就是是用来告诉搜索蜘蛛对于一个网站的页面，哪些可以收录，哪些不可以。 3. 每个搜索蜘蛛都有自己的名字，而星号(*)代表所有的搜索蜘蛛。如果你对某一个搜索蜘蛛，比如说GoogleBot采取了与其他搜索蜘蛛不同的指令的时候，这个指令优先于星号（*）指令。 User-agent:* Disallow: /admin/ Disallow: /pr/ User-agent: googlebot Disallow: /admin/ 如上所示，一段指令禁止所有的蜘蛛收录pr文件夹，第二段指令没有禁止GoogleBot收录pr文件夹，那么当GoogleBot来访的时候，它会忽略你的第一段指令。 4. Robots.txt不能完全的避免你的页面显示在Google搜索结果页面中，因为这些页面可能存在其他外部反链接。最好的避免某些页面显示在Google搜索结果页面的方法是在每页代码中使用 robots nonindex meta tag。如： &#60;meta name=”robots” content=”noindex”&#62; &#60;meta name=”robots” content=”noindex,nofollow”&#62; 5. 如果你没有Robots.txt文件，那么当搜索蜘蛛抓取Robots.txt文件的时候，你的服务器会自动反馈404错误。所以，如果你不想使用Robots.txt来引导搜索蜘蛛，你也最好上传一个空白文件作为你的Robots.txt。 6. 此外，你还可以在Robots.txt中指定你的Sitemap地址。 7. 就算使用了Robots.txt不让Googlebot收录这些页面，它们任然为消耗Page Rank。避免这些没有被收录的页面消耗Page Rank，最好的办法是使用 rel=nofollow。 常用Robts.txt 格式： 允许所有的搜索蜘蛛收录所有页面： User-agent:* Disallow: 禁止所有的搜索蜘蛛收录任何页面： User-agent:* Disallow:/ 禁止所有的搜索蜘蛛收录一个文件夹，但是允许收录该文件夹里面的一个文件： User-agent:* Disallow:/folder1/ Allow:/folder1/file1.html 如果你想用Robots.txt文件禁止GoogleBot收录你网站上任何一个以.php结尾的页面，那么你可以用如下格式：(后面跟着$符号) User-agent: Googlebot Disallow: /*.php$ [...]]]></description>
		<wfw:commentRss>http://www.seomao.com/on-site-seo/robots-txt/feed/</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
		<item>
		<title>搜索引擎友好网站的搜索蜘蛛SEO指南</title>
		<link>http://www.seomao.com/seo-basics/spider-guide/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=spider-guide</link>
		<comments>http://www.seomao.com/seo-basics/spider-guide/#comments</comments>
		<pubDate>Mon, 02 Mar 2009 14:27:11 +0000</pubDate>
		<dc:creator>admin</dc:creator>
				<category><![CDATA[SEO入门资料]]></category>
		<category><![CDATA[搜索引擎友好]]></category>
		<category><![CDATA[搜索蜘蛛]]></category>

		<guid isPermaLink="false">http://www.seomao.com/?p=43</guid>
		<description><![CDATA[搜索引擎友好的网站首先需要让搜索蜘蛛喜欢。搜猫SEOmao搜索蜘蛛指南将告诉你如何让你的内容更好的被搜索蜘蛛找到，收录并且排名。

搜索蜘蛛（spiders）或者机器人（bots），是搜索引擎的自动侦察兵。无论如何演变，这些搜索蜘蛛的基本目的都是跟踪链接，找到网页并将该网页内容收录。

为了方便搜索蜘蛛的爬行，你应该做到以下几点：]]></description>
		<wfw:commentRss>http://www.seomao.com/seo-basics/spider-guide/feed/</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>

