简单利用python的request库把开源中国工具箱的网址爬下来（新手友好）

代码已开源可以到github上直接下载：

https://github.com/ICEJM1020/StationMaster

开源中国工具网 http://tool.oschina.net 是一个对程序员十分友好的网站，里面有很多可供使用的在线工具。request库是python中非常简单的一个网页处理库，相比于Scrapy这样的大型爬虫库，request库更容易上手，再配合BeautifulSoup和re库的正则表达式，非常容易上手，这篇文章就以站长之家为样本，爬取下主页工具的链接网址。

 一、网页分析

工具网网页非常简单，用来爬虫入门那是相当方便。当然，选择这个网站最主要的原因还是因为他真的很好用，在爬取内容的同时学一些技术也是很好的。站长值加的首页上非常简单，里面就包含了我们想要的所有东西，我们的的目标就是做成一个网站工具的目录，将工具与网站一一对应，然后用.txt文件存储起来方便使用

首先还是看分析网页，对于爬虫来说，页面简单其实并不是一件好事儿，因为爬虫主要靠的就是目标信息被拥有特征class或者id或者name的标签给包裹起来，依据这种特征找目标。

可以看看我们想要的标题和链接：

真的是非常简单，可能有很多人就会说，直接获取整个页面的<a&g