I. 范数(Norm)

定义:

向量空间\(V\)上的范数(norm)是如下函数:

\[\begin{align} \|·\|:V→R, \notag \\ x→\|x\| \notag \end{align} \]

该函数会赋予每个向量\(x\)自身的长度\(\|x\|∈R\),并且对于\(\lambda∈R,\,\,x,y∈V\)满足如下性质:

  • Absolutely homogeneous:\(\|\lambda x\|=|\lambda|\|x\|\)
  • Triangle inequality:\(\|x+y\|≤\|x\|+\|y\|\)
    Positive definite:\(\|x\|≥0\)\(\|x\|=0\Leftrightarrow x=0\)

\(L^p\) norm 公式如右: \(\|x\|_p=(\sum_i|x_i|^p)^{\frac{1}{p}}\) for \(p∈R,p≥1\).

1) \(L^1\) Norm

这个也叫Manhattan norm

二范式在零点附近增长很慢,而且有的机器学习应用需要在零点和非零点之间进行区分,此时二范式显得力不从心,所以我们可以选择一范式,即\(L^1\) norm,其表达式为:\(\|x\|_1=\sum_i|x_i|\).

2) \(L^2\) Norm

这个也叫Euclidean norm

最常用的是二范式,即\(L^2\) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导,二范式求导之后只与输入数据本身有关,所以比较实用。

3) \(L^0\) Norm

0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的,因为它不满足第三个条件,but whatever~

4) \(L^∞\) Norm

无穷大范式,也叫max norm,它表示矢量中所有元素绝对值的最大值,即

\[||x||_∞=max |x_i| \]

5) F norm

F norm全称是Frobenius Norm,其表达式如下:

\[||A||_F=\sqrt{\sum_{i,j}A_{i,j}^2} \]

II. 内积(Inner Products)

内积的一个主要目的是用来判断两个向量是否互相正交。另外内积并没有明确的定义,他只是一个广泛的定义,也就是说我们可以根据需要定义内积,例如我们可以把内积定义成点积的形式等等。

1. 点积(Dot Product)

一种常见的内积形式是向量空间\(R^n\)内的点积(Dot Product/ Scalar Product),计算公式如下:

\[x^Ty=\sum_{i=1}^nx_iy_i \]

2. General Inner Products

在对内积给出一般性的定义之前需要做一些铺垫:

  • 双向映射(Bilinear Mapping)

维基百科上的定义:A bilinear map is a function combining elements of two vector spaces to yield an element of a third vector space, and is linear in each of its arguments.

看定义其实不太好懂什么是bilinear mapping,stackexchange上有人给出了简单定义,即可以简单理解为满足如下性质的映射即为双向映射:

\(B(x+y,z) = B(x,z) + B(y,z)\)(additive in the first "coordinate"),
\(B(x,y+z) = B(x,y) + B(x,z)\) (additive in the second "coordinate"),
\(B(cx,y) = cB(x,y) = B(x,cy)\)preserves scaling in each "coordinate").

再简单快捷理解的方式就是将\(B\)理解成实数的乘法,即:
\(B(a,b)=a·b\)
\(B(x+y,z) = (x+y)\cdot z = x\cdot z + y\cdot z = B(x,z) + B(y,z)\)
\(B(x,y+z) = x\cdot (y+z) = x\cdot y + x\cdot z = B(x,y) + B(x,z)\)
\(B(cx,z) = (cx)\cdot z = c\cdot(xz) = x\cdot(cz) = B(x,cz)\)

这样有没有好理解很多?

  • 又一个定义

假设\(V\)为向量空间,\(\Omega:V×V→R\)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么

  • \(\Omega(x,y)=\Omega(y,x)\),则称\(\Omega\)是对称的。
    \(\forall x∈V \backslash \{0\}:\Omega(x,x)>0,\,\,\,\Omega(0,0)=0\),则称\(\Omega\)正定(positive definite)
  • 内积的定义

假设\(V\)为向量空间,\(\Omega:V×V→R\)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么

  • 一个正定(positive definite)且对称的bilinear mapping\(\Omega:V×V→R\)被称为在向量空间\(V\)上的内积(inner product),一般记为\(<x,y>\),而不是\(\Omega(x,y)\)
  • \((V,<·,·>)\)称为内积空间(inner product space)

3. 对称正定矩阵(Symmetric,Positive Definite Matrices)

定义:

满足如下条件的对称矩阵\(A∈R^{n×n}\)称为对称正定矩阵正定矩阵

\[\forall{x∈V\backslash\{0\}}:x^TAx>0 \]

若上式中的>换成≥,则该矩阵为对称半正定矩阵。

例子:

正定矩阵\(A\)有如下性质:

  • \(A\)kernel (null space)只包含\(0\),因为当\(x≠0\)时,\(x^TAx>0\)
  • \(A\)的对角元素\(a_{ii}\)都是正的,因为\(a_{ii}=e_i^TAe_i>0\),其中\(e_i\)表示第\(i\)个标准基。

III. 内积的应用

我们可以通过定义内积从而定义长度(length),距离(distance),角度(angle),正交(orthogonal)等。

  • 长度&距离

其实长度和距离可以是等价的,定义如下:

假设有内积空间\((V,<·,·>)\),那么如下表达式表示\(x,y∈V\)之间的距离

\[d(x,y)=\|x-y\|=\sqrt{<x-y,x-y>} \]

如果我们使用点积作为内积,那么上面定义的距离则为欧几里得距离(Euclidean distance),其中映射

\[\begin{align} d:V×V→R \notag \\ (x,y)→d(x,y) \notag \end{align} $$称为**metric** - **角度&正交** 令$w∈[0,π]$表示两向量之间的角度,则有 \]

\begin{align}
cos,\mathcal{w}&=\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag \
(dot,,product)&=\frac{xTy}{\sqrt{xTx,y^Ty}} \notag \
\Rightarrow w &= arccos\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag
\end{align}

\[由上面的定义可知当$<x,y>=0$时,二者正交。 # **IV. 函数的内积(Inner Product of Functions)** 前面介绍的内积都是基于有限的向量,如果扩展到有无限元素的函数,此时的内积如何定义呢? > 假设有两个函数$u(x),v(x)$,二者的内积为:$<u,v>=\int_a^b{u(x)v(x)dx}, \,\, a,b<∞$ 当如上积分为0时,表示两个函数正交。 <b style="color:tomato;"></b> <footer style="color:white;;background-color:rgb(24,24,24);padding:10px;border-radius:10px;"><br> <h3 style="text-align:center;color:tomato;font-size:16px;" id="autoid-2-0-0"><br> <b>MARSGGBO</b><b style="color:white;"><span style="font-size:25px;"></span>原创</b><br> <br><br> <br><br> <b style="color:white;"><br> 2018-12-17<p></p> </b><p><b style="color:white;"></b><br> </p></h3><br> </footer>\]