python日记——python计算生态概览(你需要掌握的库)
python的第三方库有十几万之多,涉及的方向之广,以下按照不同的方向介绍了一些当前的主流库。
一、从数据处理到人工智能
python库之数据分析
1、Numpy:表达N维数组的最基础库,python接口使用,底层通过c语言实现,计算速度优异,它是python数据分析及科学计算的基础库,支撑pandas库,同时还提供直接的矩阵运算、广播函数、线性代数等功能;
2、Pandas:python数据分析高层次应用库,基于Numpy开发;
3、Scipy:数学、科学和工程计算功能库,基于Numpy开发。
python库之数据可视化
1、Matplotlib:高质量的二维数据可视化功能库,通过matplotlib.pyplot子库调用各可视化效果,基于Numpy开发;
2、Seaborn:统计类数据可视化功能库,提供了一批高层次的统计类数据可视化展示效果,主要展示数据间分布、分类和线性关系等内容,基于matplotlib开发,支持numpy和pandas;
3、Mayavi:三维科学数据可视化功能库,支持numpy、TVTK等第三方库。
python库之文本处理
1、PyPDF2:用来处理pdf文件的工具集;
2、NLTK:自然语言文本处理第三方库;
3、Python-docx:创建或更新Microsoft Word文件的第三方库。
python库之机器学习
1、Scikit-learn:机器学习方法工具集,提供一批统一化的机器学习方法功能接口,是机器学习最基本且最优秀的python第三方库;
2、Tensorflow:AlphaGo背后的机器学习计算框架,支撑谷歌人工智能的所有应用;
3、MXNet:基于神经网络的深度学习计算框架,可用于自动驾驶、机器翻译、语音识别等众多领域。
二、从web解析到网络空间
python库之网络爬虫
1、Requests:最友好的网络爬虫功能库,网页级;
2、Scrapy:优秀的网路爬虫框架;
3、pyspider:强大的Web页面爬取系统。