爬虫案例：中国高校排名

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理

作者：大聪明亿泰

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

案例来源：北京理工大学网络课程《python网络爬虫与信息获取》
在实际上手操作中，发现视频中演示的代码无法完整运行，经个人探索后，记录如下
首先附上课程演示中提供的代码：

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""; 

def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string])

def printUnivList(ulist,num):
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
        
    
def main():
    uinfo=[];
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)


main()

首先案例中的网址已经有些变更，打开后实际跳转至https://www.shanghairanking.cn/rankings/bcur/2020
另外如果完全复制上述代码运行，会发现变量命名错误，其uinfo和ulist应该统一成一个变量

修改上述问题后，执行代码会发现提取关键信息的语句也失效了，抓取不到信息


重新分析网页源码，可以看到所有学校信息放在tbody下

抽取其中的一个信息看一下：


我们需要的信息现在在第1、2、5的位置，其中清华大学在子节点a中，直接tr('td')[1].string无法获取，要改成tr('td')[1].a.string

排名和总分直接string也是获取不到的，这里我想到的办法是用手动转化成字符串

综上，获取信息的关键代码我修改成了：

ulist.append([str(tr('td')[0].contents[0]).strip(), tds[1].a.string, str(tr('td')[4].contents[0]).strip()])

完整代码如下

"""实例1，中国大学排名"""
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivLIst(ulist, html):
    soup = bs4.BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        #检测tag类型，过滤非tag类型标签
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([str(tr('td')[0].contents[0]).strip(), tds[1].a.string, str(tr('td')[4].contents[0]).strip()])
    return ulist

def printUnivList(ulist, num):
    #tplt = "{0:^10}\t{1:{3}^6}\t{2:^10}"
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
#     print(tplt.format("排名","学校名称","总分",chr=(12288)))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
#         print(tplt.format(u[0],u[1],u[2],chr=(12288)))
    
def main():
    ulist = []
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    html = getHTMLText(url)
    ulist = fillUnivLIst(ulist, html)
    printUnivList(ulist, 20)
    
    
main()

运行结果如下：

最后，至于排版的优化问题，视频中提供的方案我试了下报错了，问题暂时没有解决，暂且搁置往后有空再说吧