软件研发

学好Python大数据与科学计算的库,业界你就横着走!

2021-04-22 14:05:58 | 来源:中培企业IT培训网

大家都在媒体平台听说过Python,那么Python库都有哪些呢?Python常用库包括图像处理,文件处理,大数据与科学计算,游戏与多媒体,人工智能与机器学习,数据库等等。要知道Python的大多数机器学习库都依赖于这两个模块,Scipy和Numpy经常是合并使用的。pycuda/opencl,GPU高性能并发计算。python实现的是分析平台,数据统计,类似于R语言。以Matplotlib和NumPy为基础,它主要用于数据分析以及数据可视化,其数据结构DataFrame和R语言中的data.frame类似,特别是对具有自己的时序数据分析机制的DataFrame来说,特别常好。

学好Python大数据与科学计算的库,业界你就横着走!

商业智能(BI),Pandas的网络接口。Blaze,NumPy和Pandas的大数据接口。SciPy是一个开源的Python算法库和数学工具箱,它包含了优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解以及其它科学与工程中常用的计算模块。
它的功能类似于MATLAB,Scilab和GNUOctave软件。Python的大多数机器学习库都依赖于这两个模块,Numpy和Scipy经常合并使用。ScientificPython是一组Python程序模块,用于科学计算,包括几何(矢量、张量、变换、矢量和张量场),四元数,自动求导,(线性)插值,多项式,基础统计学,非线性最小二乘拟合,单位计算,Fortran兼容文本格式,通过VRML的3D显示,以及两个Tk小工具,分别用于绘制线图和3D网格模型。
另外还有与netCDF、MPI和BSPlib库的接口。科学计算库NumPy提供了矩阵、线性代数、傅立叶变换等,以及最常用的N维数组对象。
NumPy提供了两个基本对象:
N-dimensionalarrayobject)和ufunc(universalfunctionobject)。
ndarray是一个用于存储单一数据类型的多维数组,ufunc是一个函数,它可以处理该数组。
计算包最优化,可进行线性规划,二次规划,半正定规划等的计算。
科学计算速度优化编译器。Pymvpa2,一个Python工具包,为大数据集提供统计学分析,提供一个灵活的可扩展框架。
其主要功能有分类、回归、特征选择、导入输出、可视化等,还提供了复杂网络优化软件包。Zipline,交易算法的函数库
PyDy,Python动态建模函数库。
SymPy,符号数学的Python库。statsmodels,Python的统计建模和计量经济学。
astropy,天文学界的Python库。
orange,橙色,数据挖掘,数据可视化,通过可视化编程或Python脚本学习机分析。
RDKit,化学信息学和机器学习的软件。
OpenBabel,巴贝尔,开放的化学工具箱。
cclib,化学软件包的计算函数库。
Biopython,免费的生物计算工具包。
bccb,生物分析相关的代码集。bcbio-nextgen,提供完全自动化、高通量、测序分析的工具包。
visvis,可视化计算模块库,可进行一维到四维数据的可视化。
MapReduce是Google提出的一个软件[架构],用于大规模数据集(大于1TB)的并行运算。
概念“Map(映射)”和“Reduce(归纳)”,及他们的主要思想,都是从函数式编程语言借来的MapReduce函数库。Framworks
andlibrariesforMapReduce.,PySpark,[Spark]的Python
API。dpark,Spark的Python克隆,Python中的MapReduce框架。luigi,为批量工作,建立复杂的管道。mrjob,运行在[Hadoop],或亚马逊网络服务的,MapReduce工作。
以上我们介绍了Python大数据与科学计算的库相关知识,如果您想了解更多相关信息,请您继续关注中培伟业。
标签: Python 大数据 NumPy