Python数据分析概述

数据分析的含义与目标

统计分析方法

提取有用信息

研究、概括、总结

Python与数据分析

Python: Guido Van Rossum Christmas Holiday, 1989

特点：简介 开发效率搞 运算速度慢（相对于C++和Java） 胶水特性（集成C语言）

数据分析：numpy、scipy、matplotlib、pandas、scikit-learn、keras

Python数据分析大家族

numpy（Numeric Python）: 数据结构基础。是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix））。据说NumPy将Python相当于变成一种免费的更强大的MatLab系统。

scipy: 强大的科学计算方法（矩阵分析、信号和图像分析、数理分析……）

matplotlib: 丰富的可视化套件

pandas: 基础数据分析套件。该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。

scikit-learn: 强大的数据分析建模库

keras: （深度）人工神经网络

Python环境搭建

平台：Windows、Linux、MacOS

科学计算工具：Anaconda

Python数据分析基础技术

I. numpy

关键词： 开源 数据计算扩展

功能： ndarray 多维操作 线性代数

ndarray

#encoding=utf-8import numpy as npdef main():    lst=[[1,2,3],[2,4,6]]    print(type(lst))    np_lst=np.array(lst)    print(type(lst))    np_lst=np.array(lst,dtype=np.float)    # bool    # int,int8,int16,int32,int64,int128    # uint8,uint16,uint32,uint64,uint128,    # float16/32/64,complex64/128    print(np_lst.shape)         # 行列数    print(np_lst.ndim)          # 维数    print(np_lst.dtype)         # 数据类型    print(np_lst.itemsize)      # 每个数据的数据存储大小    print(np_lst.size)          # 元素个数

some kinds of array

#encoding=utf-8import numpy as npdef main():    print(np.zeros([2, 4]))    print(np.ones([3, 5]))    print("Rand:")    print(np.random.rand())                 # 0-1内均匀分布随机数    print(np.random.rand(2, 4))    print("RandInt:")    print(np.random.randint(1, 10, 3))      # 3个1-10内随机分布整数    print("Randn:")    print(np.random.randn(2, 4))            # 标准正态随机数    print("Choice:")    print(np.random.choice([10, 20, 30]))   # 指定范围内的随机数    print("Distribute:")    print(np.random.beta(1, 10, 100))       # 比如Beta分布，Dirichlet分布etc

opeartion

#encoding=utf-8import numpy as npdef main():    print(np.arange(1, 11).reshape([2, 5]))    lst = np.arange(1, 11).reshape([2, 5])    print("Exp:")    print(np.exp(lst))    print("Exp2:")    print(np.exp2(lst))    print("Sqrt:")    print(np.sqrt(lst))    print("Sin:")    print(np.sin(lst))    print("Log:")    print(np.log(lst))    lst = np.array([[[1, 2, 3, 4],                     [4, 5, 6, 7]],                    [[7, 8, 9, 10],                     [10, 11, 12, 13]],                    [[14, 15, 16, 17],                     [18, 19, 20, 21]]                    ])    print(lst)    print("Sum:")    print(lst.sum())            # 所有元素求和    print(lst.sum(axis=0))      # 最外层求和    print(lst.sum(axis=1))      # 第二层求和    print(lst.sum(axis=-1))     # 最里层求和    print("Max:")    print(lst.max())    print("Min:")    print(lst.min())    lst1 = np.array([10, 20, 30, 40])    lst2 = np.array([4, 3, 2, 1])    print("Add:")    print(lst1 + lst2)    print("Sub:")    print(lst1 - lst2)    print("Mul:")    print(lst1 * lst2)    print("Div:")    print(lst1 / lst2)    print("Square:")    print(lst1 ** lst2)    print("Dot:")    print(np.dot(lst1.reshape([2, 2]), lst2.reshape([2, 2])))    print("Cancatenate")    print(np.concatenate((lst1, lst2), axis=0))    print(np.vstack((lst1, lst2)))                  # 按照行拼接    print(np.hstack((lst1, lst2)))                  # 按照列拼接    print(np.split(lst1, 2))                        # 向量拆分    print(np.copy(lst1))                            # 向量拷贝

liner algebra

#encoding=utf-8import numpy as npfrom numpy.linalg import *def main():    ## Liner    print(np.eye(3))    lst = np.array([[1, 2],                    [3, 4]])    print("Inv:")    print(inv(lst))    print("T:")    print(lst.transpose())    print("Det:")    print(det(lst))    print("Eig:")    print(eig(lst))    y = np.array([[5], [7]])    print("Solve")    print(solve(lst, y))

others

#encoding=utf-8import numpy as npdef main():    ## Other    print("FFT:")    print(np.fft.fft(np.array([1, 1, 1, 1, 1, 1, 1, 1, 1])))    print("Coef:")    print(np.corrcoef([1, 0, 1], [0, 2, 1]))    print("Poly:")    print(np.poly1d([2, 1, 3]))             #一元多次方程

II. matplotlib

关键词： 绘图库

Line

#encoding=utf-8import numpy as npimport matplotlib.pyplot as pltdef Main():    ## line    x = np.linspace(-np.pi, np.pi, 256, endpoint=True)    c, s = np.cos(x), np.sin(x)    plt.plot(x, c)    plt.figure(1)    plt.plot(x, c, color="blue", linewidth=1.5, linestyle="-", label="COS", alpha=0.6)    plt.plot(x, s, "r*", label="SIN", alpha=0.6)    plt.title("Cos & Sin", size=16)    ax = plt.gca()                # 轴编辑器    ax.spines["right"].set_color("none")    ax.spines["top"].set_color("none")    ax.spines["left"].set_position(("data", 0))    ax.spines["bottom"].set_position(("data", 0))    ax.xaxis.set_ticks_position("bottom")    ax.yaxis.set_ticks_position("left")    plt.xticks([-np.pi, -np.pi/2, 0, np.pi/2, np.pi], [r'$-\pi$', r'$-\pi/2$', r'$0$', r'$\pi/2$', r'$\pi$'])                   # 正则表达    plt.yticks(np.linspace(-1, 1, 5, endpoint=True))    for label in ax.get_xticklabels()+ax.get_yticklabels():        label.set_fontsize(16)        label.set_bbox(dict(facecolor="white", edgecolor="none", alpha=0.2))    plt.legend(loc="upper left")    plt.grid()    # plt.axis([-2, 1, -0.5, 1])    # fill:填充    plt.fill_between(x, np.abs(x) < 0.5, c, c > 0.5, color="green", alpha=0.25)    t = 1    plt.plot([t, t], [0, np.cos(t)], "y", linewidth=3, linestyle="--")    plt.annotate("cos(1)", xy=(t, np.cos(1)), xycoords="data", xytext=(+10, +30),textcoords="offset points", arrowprops=dict(arrowstyle="->", connectionstyle="arc3,rad=.2"))

plt.fill_between(x, np.abs(x) < 0.5, c, c > 0.5, color="green", alpha=0.25)

第一个参数x表示x轴，第二个参数 np.abs(x)表示x的绝对值，np.abs(x) < 0.5是一个判定变量，c表示y轴，c > 0.5是一个判定条件。

当np.abs(x) < 0.5为真（1），从y轴的1（满足c>0.5）开始往两边填充（当然X轴上是-0.5到0.5之间的区域），此时填充的也就是图上方的两小块。当np.abs(x) >= 0.5为假（0），从y轴的0开始向上填充，当然只填充c>0.5的区域，也就是图中那两个大的对称区域。

Many types of figures

#encoding=utf-8import numpy as npimport matplotlib.pyplot as pltdef Main():    fig = plt.figure()    ## scatter    ax = fig.add_subplot(3, 3, 1)    n = 128    X = np.random.normal(0, 1, n)    Y = np.random.normal(0, 1, n)    T = np.arctan2(Y, X)    # plt.axes([0.025, 0.025, 0.95, 0.95])    plt.scatter(X, Y, s=75, c=T, alpha=.5)    plt.xlim(-1.5, 1.5), plt.xticks([])    plt.ylim(-1.5, 1.5), plt.yticks([])    plt.axis()    plt.title("scatter")    plt.xlabel("x")    plt.ylabel("y")    ## bar    fig.add_subplot(332)    n = 10    X = np.arange(n)    Y1 = (1 - X / float(n)) * np.random.uniform(0.5, 1, n)    Y2 = (1 - X / float(n)) * np.random.uniform(0.5, 1, n)    plt.bar(X, +Y1, facecolor='#9999ff', edgecolor='white')    plt.bar(X, -Y2, facecolor='#ff9999', edgecolor='white')    for x, y in zip(X,Y1):        plt.text(x + 0.4, y + 0.05, '%.2f' % y, ha='center', va='bottom')    for x, y in zip(X,Y2):        plt.text(x + 0.4, - y - 0.05, '%.2f' % y, ha='center', va='top')    ## Pie    fig.add_subplot(333)    n = 20    Z = np.ones(n)    Z[-1] *= 2    # explode扇形离中心距离    plt.pie(Z, explode=Z*.05, colors=['%f' % (i / float(n)) for i in range(n)],            labels=['%.2f' % (i / float(n)) for i in range(n)])    plt.gca().set_aspect('equal')       # 圆形    plt.xticks([]), plt.yticks([])    ## polar    fig.add_subplot(334, polar=True)    n = 20    theta = np.arange(0, 2 * np.pi, 2 * np.pi / n)    radii = 10 * np.random.rand(n)    plt.polar(theta, radii)    # plt.plot(theta, radii)    ## heatmap    fig.add_subplot(335)    from matplotlib import cm    data = np.random.rand(5, 10)    cmap = cm.Blues    map = plt.imshow(data, interpolation='nearest', cmap=cmap, aspect='auto', vmin=0, vmax=1)    ## 3D    from mpl_toolkits.mplot3d import Axes3D    ax = fig.add_subplot(336, projection="3d")    ax.scatter(1, 1, 3, s=100)    ## hot map    fig.add_subplot(313)    def f(x, y):        return (1 - x / 2 + x ** 5 + y ** 3) * np.exp(- x ** 2 - y ** 2)    n = 256    x = np.linspace(-3, 3, n * 2)    y = np.linspace(-3, 3, n)    X, Y = np.meshgrid(x, y)    plt.contourf(X, Y, f(X, Y), 8, alpha=.75, cmap=plt.cm.hot)    plt.savefig("./data/fig.png")    plt.show()