深度学习术语表

I_n： n行n列的矩阵

 

I： 维度由上下文来定义的矩阵

 

diag(a)： 对角方阵，其中对角元素由a给定。

 

a-i： 除了第i 个元素，a的所有元素。

 

A_i,j： A的i 行 j 列的所有元素，为矩阵。

 

A_i,j,k： 3维张量的3个对应元素

 

A_:,:,i： 3维张量的2维切片

 

A^T： 矩阵的转置

 

A^+： 矩阵的伪逆

 

A⊙B： A and B 各元素的乘积

 

Det(A)： A 的行列式

 

a/b： a 和 b 相互独立的随机变量

 

a/b|c： 给定c 后， a 和 b 相互独立变量。

 

a~P： 具有概率分布 P 的随机变量a

 

Var(f(x))： x 概率分布下的各个元素平方差

 

Cov(f(x),g(x))： f and g 函数各个元素分布下的协方差

 

H(x)： 熵的函数x

 

D_kL(P||Q)： D为离散度divergence, KL为人名，意思是P 和 Q 分类的离散程度。

 

N（x, u, sigma符号）： 这个是高斯分布公式。u为均值，sigma为协方差，x为各个元素分布概率。图形看起来像钟型。

 

f: A->B： 定义域为A，值域为B 的函数f。

 

f o g： f and g 组合

 

f(x, theta角度符号）： 由角度参数，关于 x 的函数。

 

Log(x)： x 的自然对数2.71828

 

Logistic sigmoid： 看起来像 S 的图形，公式：1/1+exp(-x). 假设x为 -4,-3,-2,-1,0,1,2,3,4 ,那么图像看起来像S,如果参数正负太大，或太小，图形就会不准确，看起来像平滑直线。

 

Δ小写符号(x)： Softplus公式：log(1+exp(x)),画图看起来像直线慢慢上升。

 

L^p： 向量的范数，就是向量长度。

 

L^2,||w||^2_2： 向量范数平方

 

1_condition： 条件1为真，0为假。

 

P_data： 数据生成分布

 

P_train： 由训练集合定义的经验分布

 

大写粗线X： 训练样本的集合

 

Phi φ： φ（x)非线性符号

 

Beta B： 参数

 

Lambda： 向量特征值，正则化参数 λ。

 

J()： 代价函数

 

Alpha()： 正则化惩罚函数