前言

深度学习的表现之所以能够超过传统的机器学习算法离不开神经网络，然而神经网络最基本的数据结构就是向量和矩阵，神经网络的输入是向量，然后通过每个矩阵对向量进行线性变换，再经过激活函数的非线性变换，通过层层计算最终使得损失函数的最小化，完成模型的训练。所以要想学好深度学习，对这些基础的数据结构还是要非常了解的。

标量

标量(scalar)：一个标量就是一个单独的数(整数或实数)，不同于线性代数中研究的其他大部分对象(通常是多个数的数组)。标量通常用斜体的小写字母来表示，例如：

标量就相当于Python中定义的

x = 1

向量

向量(vector)：一个向量表示一组有序排列的数，通过次序中的索引我们能够找到每个单独的数，向量通常用粗体的小写字母表示，例如：

向量中的每个元素就是一个标量，向量中的第i个元素用

表示，向量相当于Python中的一维数组

import numpy as np
#行向量
a = np.array([1,2,3,4])

矩阵

矩阵(matrix)：矩阵是一个二维数组，其中的每一个元素由两个索引来决定A(i,j)，矩阵通常用加粗斜体的大写字母表示，例如：

我们可以将矩阵看做是一个二维的数据表，矩阵的每一行表示一个对象，每一列表示一个特征。在Python中的定义为

import numpy as np
#矩阵
a = np.array([[1,2,3],[4,5,6],[7,8,9]])

张量

张量(tensor)：超过二维的数组，一般来说，一个数组中的元素分布在若干维坐标的规则网格中，被称为张量。如果一个张量是三维数组，那么我们就需要三个索引来决定元素的位置A(i,j,k)，张量通常用加粗的大写字母表示，例如：

import numpy as np
#张量
a = np.array([[[1,2],[3,4]],[[5,6],[7,8]]])

标量向量矩阵张量之间的联系

通过上面的介绍可以总结一下，标量是0维空间中的一个点，向量是一维空间中的一条线，矩阵是二维空间的一个面，三维张量是三维空间中的一个体。也就是说，向量是由标量组成的，矩阵是向量组成的，张量是矩阵组成的。

用一个比较通俗的例子可以概括为：假设你手中拿着一根棍子，标量就是我们只知道棍子的长度，但是不知道棍子指向的方向。向量就是我们除了知道棍子的长度之外还知道棍子指向的是左边还是右边，矩阵就是除了知道向量知道的信息外还知道棍子是朝上还是朝下，张量就是除了知道矩阵知道的信息外还知道棍子是朝前还是朝后。

线性代数常用的运算

一、向量的运算

1.点积

点积(dot product)又被称为数量积(scalar product)或者内积(inner product)：是指接受在实数R上的两个向量并返回一个实数值标量的二元运算。

代数意义

import numpy as np
a = np.array([1,2,3])
b = np.array([3,2,1])
#向量的点积运算
print(np.dot(a,b))#10

几何意义

这个运算可以简单地理解为：在点积运算中，第一个向量投影到第二个向量上（这里，向量的顺序是不重要的，点积运算是可交换的），然后通过除以它们的标量长度来“标准化”。这样，这个分数一定是小于等于1的，可以简单地转化成一个角度值。利用向量积的几何意义，我们可以用来计算两个向量之间的夹角。

2.外积

import numpy as np

a = np.array([0,2])
b = np.array([3,3])
#向量的外积
c = np.cross(b,a)
print(c)

通过外积我们可以用来快速求解平行四边形或三角形的面积，需要注意的是在计算向量积时候，向量之间的顺序，顺序相反会得到相反的结果(正数和负数)，判断方向时采用右手定则。

3.向量的范数

二、矩阵的运算

1 .转置

转置(transpose)：是矩阵的重要操作之一。矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为主对角线(main diagonal)。如下图所示

其实就是将原矩阵的行变成了转置矩阵的列或将原矩阵的列变成转置矩阵的行。

2.矩阵的范数

3.常见的矩阵

• 方阵：也就方形矩阵，矩阵的列数与行数相等
• 对称矩阵：对称矩阵是一个方阵，矩阵的元素关于对角线对称，它的转置和自身相等，即

• Jacobian矩阵：Jacobian矩阵是函数的一阶偏导数以一定方式排列成的矩阵
• 单位矩阵：主对角线上的元素都为1，其余元素全为0的n阶矩阵称为n阶单位矩阵

• 正交矩阵

4.矩阵的乘法

矩阵乘法：是最常见的矩阵乘积，两个矩阵相乘，必须要满足前一个矩阵的列数等于后一个矩阵的行数，一个m×p的矩阵乘以一个p×n会得到一个m×n的矩阵。运算规则如下

numpy的实现如下，和向量积一样

import numpy as np

a = np.array([[1,2,3],
              [-1,3,-2]])
b = np.array([[1,2],
              [3,4],
              [1,3]])
#矩阵相乘
print(np.dot(a,b))#或者使用np.matmul(a,b)
"""
[[10 19]
 [ 6  4]]
"""

5.矩阵哈达马积

哈达马积（Hadamard product）：也叫矩阵的元素相乘，矩阵对应元素相乘，两个矩阵在进行元素相乘的时候必须要有相同的行数和列数，计算公式如下

在Python中计算两个矩阵元素相乘的乘积直接相乘即可，如果两个相乘的矩阵行数和列数不相等会报错，相乘的时候其中一个可以是标量或向量，会自动使用广播，标量乘以矩阵中的所有元素，相当于对矩阵的元素做一个缩放

import numpy as np

a = np.array([[1,2],[3,4]])
b = np.array([[2,2],[1,3]])
#矩阵的元素相乘
c = a * b
print(c)
"""
[[ 2  4]
 [ 3 12]]
"""
#矩阵的广播
d = a * 2
print(d)
"""
[[2 4]
 [6 8]]
"""
d = a * np.array([1,2])
print(d)
"""
[[1 4]
 [3 8]]
"""

6.克罗内克积

克罗内克积（Kronecker Product）：克罗内克积是两个任意大小的矩阵间的运算，符号记作? 。克罗内克积也被称为直积或张量积。计算过程如下例所示：