@tankle
2015-06-24T03:03:49.000000Z
字数 11237
阅读 7067
python
NumPy数组是一个多维数组对象,称为ndarray。其由两部分组成:
实际的数据
描述这些数据的元数据
大部分操作仅针对于元数据,而不改变底层实际的数据。
关于NumPy数组有几点必需了解的:
NumPy数组的下标从0开始。
同一个NumPy数组中所有元素的类型必须是相同的。
在详细介绍NumPy数组之前。先详细介绍下NumPy数组的基本属性。NumPy数组的维数称为秩(rank),一维数组的秩为1,二维数组的秩为2,以此类推。在NumPy中,每一个线性的数组称为是一个轴(axes),秩其实是描述轴的数量。比如说,二维数组相当于是两个一维数组,其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是NumPy中的轴(axes),第一个轴相当于是底层数组,第二个轴是底层数组里的数组。而轴的数量——秩,就是数组的维数。
比如
NumPy的数组中比较重要ndarray对象属性有:
ndarray.ndim:数组的维数(即数组轴的个数),等于秩。最常见的为二维数组(矩阵)。
ndarray.shape:数组的维度。为一个表示数组在每个维度上大小的整数元组。例如二维数组中,表示数组的“行数”和“列数”。ndarray.shape返回一个元组,这个元组的长度就是维度的数目,即ndim属性。
ndarray.size:数组元素的总个数,等于shape属性中元组元素的乘积。
ndarray.dtype:表示数组中元素类型的对象,可使用标准的Python类型创建或指定dtype。另外也可使用前一篇文章中介绍的NumPy提供的数据类型。
ndarray.itemsize:数组中每个元素的字节大小。例如,一个元素类型为float64的数组itemsiz属性值为8(float64占用64个bits,每个字节长度为8,所以64/8,占用8个字节),又如,一个元素类型为complex32的数组item属性为4(32/8)。
ndarray.data:包含实际数组元素的缓冲区,由于一般通过数组的索引获取元素,所以通常不需要使用这个属性。
ndarray.T: 数组的转置,和ndarray.transpose()功能相同
ndarray.flat: 像一维数组一样来访问任意维的数组
ndarray.nbytes: 数组所占内存大小,等于size*itemsize
先来介绍创建数组。创建数组的方法有很多。如可以使用array函数从常规的Python列表和元组创造数组。所创建的数组类型由原序列中的元素类型推导而来。
>>> from numpy import *
>>> a = array( [2,3,4] )
>>> a
array([2, 3, 4])
>>> a.dtype
dtype('int32')
>>> b = array([1.2, 3.5, 5.1])
>>> b.dtype
dtype('float64')
使用array函数创建时,参数必须是由方括号括起来的列表,而不能使用多个数值作为参数调用array。
>>> a = array(1,2,3,4) # 错误
>>> a = array([1,2,3,4]) # 正确
可使用双重序列来表示二维的数组,三重序列表示三维数组,以此类推。
>>> b = array( [ (1.5,2,3), (4,5,6) ] )
>>> b
array([[ 1.5, 2. , 3. ],
[ 4. , 5. , 6. ]])
可以在创建时显式指定数组中元素的类型
>>> c = array( [ [1,2], [3,4] ], dtype=complex)
>>> c
array([[ 1.+0.j, 2.+0.j],
[ 3.+0.j, 4.+0.j]])
通常,刚开始时数组的元素未知,而数组的大小已知。因此,NumPy提供了一些使用占位符创建数组的函数。这些函数有助于满足除了数组扩展的需要,同时降低了高昂的运算开销。
用函数zeros可创建一个全是0的数组,用函数ones可创建一个全为1的数组,函数empty创建一个内容随机并且依赖与内存状态的数组。默认创建的数组类型(dtype)都是float64。
可以使用d.dtype.itemsize来查看数组中元素占用的字节数目。
>>> d = zeros((3,4))
>>> d.dtype
dtype('float64')
>>> d
array([[ 0., 0., 0., 0.],
[ 0., 0., 0., 0.],
[ 0., 0., 0., 0.]])
>>> d.dtype.itemsize
8
也可以自己制定数组中元素的类型
>>> ones( (2,3,4), dtype=int16 ) #手动指定数组中元素类型
array([[[1, 1, 1, 1],
[1, 1, 1, 1],
[1, 1, 1, 1]],
[[1, 1, 1, 1],
[1, 1, 1, 1],
[1, 1, 1, 1]]], dtype=int16)
>>> empty((2,3))
array([[ 2.65565858e-316, 0.00000000e+000, 0.00000000e+000],
[ 0.00000000e+000, 0.00000000e+000, 0.00000000e+000]])
NumPy提供一个类似arange的函数返回一个数列形式的数组:
>>> arange(10, 30, 5)
array([10, 15, 20, 25])
以10开始,差值为5的等差数列。该函数不仅接受整数,还接受浮点参数:
>>> arange(0,2,0.5)
array([ 0. , 0.5, 1. , 1.5])
当arange使用浮点数参数时,由于浮点数精度有限,通常无法预测获得的元素个数。因此,最好使用函数linspace去接收我们想要的元素个数来代替用range来指定步长。linespace用法如下,将在通用函数一节中详细介绍。
>>> numpy.linspace(-1, 0, 5)
array([-1. , -0.75, -0.5 , -0.25, 0. ])
数组中的元素是通过下标来访问的,可以通过方括号括起一个下标来访问数组中单一一个元素,也可以以切片的形式访问数组中多个元素。关于切片访问,将在切片一节介绍。
对于科学计算来说,Python中自带的整型、浮点型和复数类型远远不够,因此NumPy中添加了许多数据类型。如下:
NumPy中的基本数据类型
名称 描述
bool 用一个Bit存储的布尔类型(True或False)
inti 由所在平台决定其大小的整数(一般为int32或int64)
int8 一个字节大小,-128 至 127
int16 整数,-32768 至 32767
int32 整数,-2 ** 31 至 2 ** 32 -1
int64 整数,-2 ** 63 至 2 ** 63 - 1
uint8 无符号整数,0 至 255
uint16 无符号整数,0 至 65535
uint32 无符号整数,0 至 2 ** 32 - 1
uint64 无符号整数,0 至 2 ** 64 - 1
float16 半精度浮点数:16位,正负号1位,指数5位,精度10位
float32 单精度浮点数:32位,正负号1位,指数8位,精度23位
float64或float 双精度浮点数:64位,正负号1位,指数11位,精度52位
complex64 复数,分别用两个32位浮点数表示实部和虚部
complex128或complex 复数,分别用两个64位浮点数表示实部和虚部
NumPy类型转换方式如下:
>>> float64(42)
42.0
>>> int8(42.0)
42
>>> bool(42)
True
>>> bool(42.0)
True
>>> float(True)
1.0
许多函数的参数中可以指定参数的类型,当然,这个类型参数是可选的。如下:
>>> arange(7, dtype=uint16)
array([0, 1, 2, 3, 4, 5, 6], dtype=uint16)
当输出一个数组时,NumPy以特定的布局用类似嵌套列表的形式显示:
第一行从左到右输出
每行依次自上而下输出
每个切片通过一个空行与下一个隔开
一维数组被打印成行,二维数组成矩阵,三维数组成矩阵列表。
>>> a = arange(6) # 1d array
>>> print a
[0 1 2 3 4 5]
>>> b = arange(12).reshape(4,3) # 2d array
>>> print b
[[ 0 1 2]
[ 3 4 5]
[ 6 7 8]
[ 9 10 11]]
>>> c = arange(24).reshape(2,3,4) # 3d array
>>> print c
[[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
[[12 13 14 15]
[16 17 18 19]
[20 21 22 23]]]
reshape将在下一篇文章中介绍
如果一个数组太长,则NumPy自动省略中间部分而只打印两端的数据:
>>> print arange(10000)
[ 0 1 2 ..., 9997 9998 9999]
>>> print arange(10000).reshape(100,100)
[[ 0 1 2 ..., 97 98 99]
[ 100 101 102 ..., 197 198 199]
[ 200 201 202 ..., 297 298 299]
...,
[9700 9701 9702 ..., 9797 9798 9799]
[9800 9801 9802 ..., 9897 9898 9899]
[9900 9901 9902 ..., 9997 9998 9999]]
可通过设置printoptions参数来禁用NumPy的这种行为并强制打印整个数组。
set_printoptions(threshold='nan')
这样,输出时数组的所有元素都会显示出来。
数组的算术运算是按元素逐个运算。数组运算后将创建包含运算结果的新数组。
>>> a= np.array([20,30,40,50])
>>> b= np.arange( 4)
>>> b
array([0, 1, 2, 3])
>>> c= a-b
>>> c
array([20, 29, 38, 47])
>>> b**2
array([0, 1, 4, 9])
>>> 10*np.sin(a)
array([ 9.12945251,-9.88031624, 7.4511316, -2.62374854])
>>> a<35
array([True, True, False, False], dtype=bool)
与其他矩阵语言不同,NumPy中的乘法运算符*按元素逐个计算,矩阵乘法可以使用dot函数或创建矩阵对象实现(后续章节会介绍)
>>> A= np.array([[1,1],
...[0,1]])
>>> B= np.array([[2,0],
...[3,4]])
>>> A*B # 逐个元素相乘
array([[2, 0],
[0, 4]])
>>> np.dot(A,B) # 矩阵相乘
array([[5, 4],
[3, 4]])
有些操作符如+=和*=用来更改已存在数组而不创建一个新的数组。
>>> a= np.ones((2,3), dtype=int)
>>> b= np.random.random((2,3))
>>> a*= 3
>>> a
array([[3, 3, 3],
[3, 3, 3]])
>>> b+= a
>>> b
array([[ 3.69092703, 3.8324276, 3.0114541],
[ 3.18679111, 3.3039349, 3.37600289]])
>>> a+= b # b转换为整数类型
>>> a
array([[6, 6, 6],
[6, 6, 6]])
当数组中存储的是不同类型的元素时,数组将使用占用更多位(bit)的数据类型作为其本身的数据类型,也就是偏向更精确的数据类型(这种行为叫做upcast)。
>>> a= np.ones(3, dtype=np.int32)
>>> b= np.linspace(0,np.pi,3)
>>> b.dtype.name
'float64'
>>> c= a+b
>>> c
array([ 1., 2.57079633, 4.14159265])
>>> c.dtype.name
'float64'
>>> d= exp(c*1j)
>>> d
array([ 0.54030231+0.84147098j,-0.84147098+0.54030231j,
-0.54030231-0.84147098j])
>>> d.dtype.name
'complex128'
许多非数组运算,如计算数组所有元素之和,都作为ndarray类的方法来实现,使用时需要用ndarray类的实例来调用这些方法。
>>> a= np.random.random((2,3))
>>> a
array([[ 0.65806048, 0.58216761, 0.59986935],
[ 0.6004008, 0.41965453, 0.71487337]])
>>> a.sum()
3.5750261436902333
>>> a.min()
0.41965453489104032
>>> a.max()
0.71487337095581649
这些运算将数组看作是一维线性列表。但可通过指定axis参数(即数组的行)对指定的轴做相应的运算:
>>> b= np.arange(12).reshape(3,4)
>>> b
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]])
>>> b.sum(axis=0) # 计算每一列的和,注意理解轴的含义,参考数组的第一篇文章
array([12, 15, 18, 21])
>>> b.min(axis=1) # 获取每一行的最小值
array([0, 4, 8])
>>> b.cumsum(axis=1) # 计算每一行的累积和
array([[ 0, 1, 3, 6],
[ 4, 9, 15, 22],
[ 8, 17, 27, 38]])
和列表和其它Python序列一样,一维数组可以进行索引、切片和迭代操作。
>>> a= np.arange(10)**3 #记住,操作符是对数组中逐元素处理的!
>>> a
array([0, 1, 8, 27, 64, 125, 216, 343, 512, 729])
>>> a[2]
8
>>> a[2:5]
array([ 8, 27, 64])
>>> a[:6:2]= -1000 # 等同于a[0:6:2]= -1000,从开始到第6个位置,每隔一个元素将其赋值为-1000
>>> a
array([-1000, 1,-1000, 27,-1000, 125, 216, 343, 512, 729])
>>> a[: :-1] # 反转a
array([ 729, 512, 343, 216, 125,-1000, 27,-1000, 1,-1000])
>>>for i in a:
... print i**(1/3.),
...
nan 1.0 nan 3.0 nan 5.0 6.0 7.0 8.0 9.0
多维数组可以每个轴有一个索引。这些索引由一个逗号分割的元组给出。
>>>def f(x,y):
... return 10*x+y
...
>>> b= np.fromfunction(f,(5,4),dtype=int) #fromfunction是一个函数,下篇文章介绍。
>>> b
array([[ 0, 1, 2, 3],
[10, 11, 12, 13],
[20, 21, 22, 23],
[30, 31, 32, 33],
[40, 41, 42, 43]])
>>> b[2,3]
23
>>> b[0:5, 1] # 每行的第二个元素
array([ 1, 11, 21, 31, 41])
>>> b[: ,1] # 与前面的效果相同
array([ 1, 11, 21, 31, 41])
>>> b[1:3,: ] # 第二行和第三行的所有元素
array([[10, 11, 12, 13],
[20, 21, 22, 23]])
当少于提供的索引数目少于轴数时,已给出的数值按秩的顺序复制,确失的索引则默认为是整个切片:
>>> b[-1] # 最后一行,等同于b[-1,:],-1是第一个轴,而缺失的认为是:,相当于整个切片。
array([40, 41, 42, 43])
b[i]中括号中的表达式被当作i和一系列:,来代表剩下的轴。NumPy也允许你使用“点”像b[i,...]。
点(…)代表许多产生一个完整的索引元组必要的分号。如果x是秩为5的数组(即它有5个轴),那么:
x[1,2,…] 等同于 x[1,2,:,:,:],
x[…,3] 等同于 x[:,:,:,:,3]
x[4,…,5,:] 等同 x[4,:,:,5,:]
>>> c= array( [ [[ 0, 1, 2], #三维数组(两个2维数组叠加而成)
...[ 10, 12, 13]],
...
...[[100,101,102],
...[110,112,113]]] )
>>> c.shape
(2, 2, 3)
>>> c[1,...] #等同于c[1,:,:]或c[1]
array([[100, 101, 102],
[110, 112, 113]])
>>> c[...,2] #等同于c[:,:,2]
array([[ 2, 13],
[102, 113]])
多维数组的遍历是以是第一个轴为基础的:
>>>for row in b:
... print row
...
[0 1 2 3]
[10 11 12 13]
[20 21 22 23]
[30 31 32 33]
[40 41 42 43]
如果想对数组中每个元素都进行处理,可以使用flat属性,该属性是一个数组元素迭代器:
>>>for element in b.flat:
... print element,
...
0 1 2 3 10 11 12 13 20 21 22 23 30 31 32 33 40 41 42 43
更多关于[]、…、newaxis、ndenumerate、indices、index exp的内容请参考NumPy示例
更改数组的形状
数组的形状取决于其每个轴上的元素个数:
>>> a= np.floor(10*np.random.random((3,4)))
>>> a
array([[ 7., 5., 9., 3.],
[ 7., 2., 7., 8.],
[ 6., 8., 3., 2.]])
>>> a.shape
(3, 4)
可以用多种方式修改数组的形状:
>>> a.ravel() # 平坦化数组
array([ 7., 5., 9., 3., 7., 2., 7., 8., 6., 8., 3., 2.])
>>> a.shape= (6, 2)
>>> a.transpose()
array([[ 7., 9., 7., 7., 6., 3.],
[ 5., 3., 2., 8., 8., 2.]])
由ravel()展平的数组元素的顺序通常是“C风格”的,就是以行为基准,最右边的索引变化得最快,所以元素a[0,0]之后是a[0,1]。如果数组改变成其它形状(reshape),数组仍然是“C风格”的。NumPy通常创建一个以这个顺序保存数据的数组,所以ravel()通常不需要创建起调用数组的副本。但如果数组是通过切片其它数组或有不同寻常的选项时,就可能需要创建其副本。还可以同过一些可选参数函数让reshape()和ravel()构建FORTRAN风格的数组,即最左边的索引变化最快。
reshape函数改变调用数组的形状并返回该数组,而resize函数改变调用数组自身。
>>> a
array([[ 7., 5.],
[ 9., 3.],
[ 7., 2.],
[ 7., 8.],
[ 6., 8.],
[ 3., 2.]])
>>> a.resize((2,6))
>>> a
array([[ 7., 5., 9., 3., 7., 2.],
[ 7., 8., 6., 8., 3., 2.]])
如果在reshape操作中指定一个维度为-1,那么其准确维度将根据实际情况计算得到
通过NumPy也可以定义像C语言那样的结构类型。在NumPy中定义结构的方法如下:
定义结构类型名称;定义字段名称,标明字段数据类型。
student= dtype({'names':['name', 'age', 'weight'], 'formats':['S32', 'i','f']}, align = True)
这里student是自定义结构类型的名称,使用dtype函数创建,在第一个参数中,'names'和'formats'不能改变,names中列出的是结构中字段名称,formats中列出的是对应字段的数据类型。S32表示32字节长度的字符串,i表示32位的整数,f表示32位长度的浮点数。最后一个参数为True时,表示要求进行内存对齐。
字段中使用NumPy的字符编码来表示数据类型。更详细的数据类型见下表。
数据类型 | 字符编码 |
整数 | i |
无符号整数 | u |
单精度浮点数 | f |
双精度浮点数 | d |
布尔值 | b |
复数 | D |
字符串 | S |
Unicode | U |
Void | V |
在定义好结构类型之后,就可以定义以该类型为元素的数组了:
a= array([(“Zhang”, 32, 65.5), (“Wang”, 24, 55.2)], dtype =student)
除了在每个元素中依次列出对应字段的数据外,还需要在array函数中最后一个参数指定其所对应的数据类型。
注:例子来源于张若愚的Python科学计算艺术的29页。更多关于dtype的内容请参考《NumPy for Beginner》一书的第二章。
这里介绍以不同的方式组合函数。首先创建两个数组:
>>> a = arange(9).reshape(3,3)
>>> a
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
>>> b = 2 * a
>>> b
array([[ 0, 2, 4],
[ 6, 8, 10],
[12, 14, 16]])
>>> hstack((a, b))
array([[ 0, 1, 2, 0, 2, 4],
[ 3, 4, 5, 6, 8, 10],
[ 6, 7, 8, 12, 14, 16]])
也可通过concatenate函数并指定相应的轴来获得这一效果:
>>> concatenate((a, b), axis=1)
array([[ 0, 1, 2, 0, 2, 4],
[ 3, 4, 5, 6, 8, 10],
[ 6, 7, 8, 12, 14, 16]])
>>> vstack((a, b))
array([[ 0, 1, 2],
[ 3, 4, 5],
[ 6, 7, 8],
[ 0, 2, 4],
[ 6, 8, 10],
[12, 14, 16]])
同样,可通过concatenate函数,并指定相应的轴来获得这一效果。
>>> concatenate((a, b), axis=0)
array([[ 0, 1, 2],
[ 3, 4, 5],
[ 6, 7, 8],
[ 0, 2, 4],
[ 6, 8, 10],
[12, 14, 16]])
另外,还有深度方面的组合函数dstack。顾名思义,就是在数组的第三个轴(即深度)上组合。如下:
>>> dstack((a, b))
array([[[ 0, 0],
[ 1, 2],
[ 2, 4]],
[[ 3, 6],
[ 4, 8],
[ 5, 10]],
[[ 6, 12],
[ 7, 14],
[ 8, 16]]])
仔细观察,发现对应的元素都组合成一个新的列表,该列表作为新的数组的元素。
行组合可将多个一维数组作为新数组的每一行进行组合:
>>> one = arange(2)
>>> one
array([0, 1])
>>> two = one + 2
>>> two
array([2, 3])
>>> row_stack((one, two))
array([[0, 1],
[2, 3]])
对于2维数组,其作用就像垂直组合一样。
列组合的效果应该很清楚了。如下:
>>> column_stack((oned, twiceoned))
array([[0, 2],
[1, 3]])
对于2维数组,其作用就像水平组合一样。
在NumPy中,分割数组的函数有hsplit、vsplit、dsplit和split。可将数组分割成相同大小的子数组,或指定原数组分割的位置。
>>> a = arange(9).reshape(3,3)
>>> a
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
>>> hsplit(a, 3)
[array([[0],
[3],
[6]]),
array([[1],
[4],
[7]]),
array([[2],
[5],
[8]])]
也调用split函数并指定轴为1来获得这样的效果:
split(a, 3, axis=1)
垂直分割是沿着垂直的轴切分数组:
>>> vsplit(a, 3)
>>> [array([[0, 1, 2]]), array([[3, 4, 5]]), array([[6, 7, 8]])]
同样,也可通过solit函数并指定轴为1来获得这样的效果:
>>> split(a, 3, axis=0)
dsplit函数使用的是面向深度的分割方式:
>>> c = arange(27).reshape(3, 3, 3)
>>> c
array([[[ 0, 1, 2],
[ 3, 4, 5],
[ 6, 7, 8]],
[[ 9, 10, 11],
[12, 13, 14],
[15, 16, 17]],
[[18, 19, 20],
[21, 22, 23],
[24, 25, 26]]])
>>> dsplit(c, 3)
[array([[[ 0],
[ 3],
[ 6]],
[[ 9],
[12],
[15]],
[[18],
[21],
[24]]]),
array([[[ 1],
[ 4],
[ 7]],
[[10],
[13],
[16]],
[[19],
[22],
[25]]]),
array([[[ 2],
[ 5],
[ 8]],
[[11],
[14],
[17]],
[[20],
[23],
[26]]])]
当运算和处理数组时,它们的数据有时被拷贝到新的数组有时不是。这通常是新手的困惑之源。这有三种情况:
简单的赋值,而不复制数组对象或它们的数据。
>>> a = arange(12)
>>> b = a #不创建新对象
>>> b is a # a和b是同一个数组对象的两个名字
True
>>> b.shape = 3,4 #也改变了a的形状
>>> a.shape
(3, 4)
Python 传递不定对象作为参考4,所以函数调用不拷贝数组。
>>> def f(x):
... print id(x)
...
>>> id(a) #id是一个对象的唯一标识
148293216
>>> f(a)
148293216
不同的数组对象分享同一个数据。视图方法创造一个新的数组对象指向同一数据。
>>> c = a.view()
>>> c is a
False
>>> c.base is a #c是a持有数据的镜像
True
>>> c.flags.owndata
False
>>>
>>> c.shape = 2,6 # a的形状没变
>>> a.shape
(3, 4)
>>> c[0,4] = 1234 #a的数据改变了
>>> a
array([[ 0, 1, 2, 3],
[1234, 5, 6, 7],
[ 8, 9, 10, 11]])
切片数组返回它的一个视图:
>>> s = a[ : , 1:3] # 获得每一行1,2处的元素
>>> s[:] = 10 # s[:] 是s的镜像。注意区别s=10 and s[:]=10
>>> a
array([[ 0, 10, 10, 3],
[1234, 10, 10, 7],
[ 8, 10, 10, 11]])
这个复制方法完全复制数组和它的数据。
>>> d = a.copy() #创建了一个含有新数据的新数组对象
>>> d is a
False
>>> d.base is a #d和a现在没有任何关系
False
>>> d[0,0] = 9999
>>> a
array([[ 0, 10, 10, 3],
[1234, 10, 10, 7],
[ 8, 10, 10, 11]])
numpy.nditer可以像c/c++一样来迭代数组,具体可以参考1
>>> a = np.arange(6).reshape(2,3)
>>> for x in np.nditer(a):
... print x,
...
0 1 2 3 4 5