怎么使用robots.txt文件呢?

<p><font color="#1a1ae6" size="4">下面是我网站的robots.txt分析,robots.txt怎么使用呢,是建一个这样的文件命,里面是空文件,传到服务器上就可以吗?请问老师这个怎么设置呢?</font></p><p>robots.txt 网址 <a href="http://www.boguweb.com/robots.txt">http://www.boguweb.com/robots.txt</a>&nbsp; <br/>最新下载 2007年8月25日 下午06时25分37秒&nbsp; <br/>状态 404 （未找到）&nbsp;&nbsp; [?]&nbsp; </p><p><br/>测试此 robots.txt 文件并试用更改</p><p>&nbsp;内容 <a href="http://www.boguweb.com/robots.txt">http://www.boguweb.com/robots.txt</a>
                <br/>缓存的 robots.txt 文件默认文本显示如下。如果我们下载后您对此文件做了更改，那么我们显示的文本可能与最新版本有所不同。我们大约每天检查一次是否有新的 robots.txt 文件。 </p><p>保留此文本不变，看看缓存的 robots.txt 文件是否阻止对特定网址的访问。修改此文本，看看对 robots.txt 文件所做的更改会如何改变对特定网址的访问。有关 robots.txt 语法的更多信息，请参阅 robotstxt.org。 </p><p>请注意，您修改此文本时，并未更改网站上的 robots.txt 文件。请在这里测试完 robots.txt 更改后，再对网站上的文件进行相应更改。 </p><p>&nbsp;</p><p><br/>针对此 robots.txt 文件测试网址。<br/>我们已经为您添加了第一个。请列出您要检查的所有网址（每行一个）。 </p><p><a href="http://www.boguweb.com/">http://www.boguweb.com/</a>
        </p><p></p><p>选择 user-agent&nbsp;&nbsp; [?] <br/>Google 使用多个 user-agent。您可在此 robots.txt 文件中限制对特定 user-agent 的访问。我们会自动检查 Googlebot，因为我们要针对常规网络抓取来使用。您可选择其他 user-agent 进行测试。有关在 robots.txt 文件中对 user-agent 限制访问的更多信息，请参阅我们的 删除页。 </p>

<p>如果你的网站需要全部被搜索引擎收录。你就不用搞这个文件了。搜索引擎默认是全部抓取</p>

对