多項式カーネルが半正定値であることの証明
\(\mathbb R \times \mathbb R\) 上の関数を
\begin{align*} k(x, y)= 1 + x y + x^2 y^2 + \dots + x^d y^d \end{align*}
により定めます。多項式によって定まるカーネルの一種です。この関数が二つの変数に関して対称であることは明らかでしょう。
半正定値性の定義
対称な実数値関数は、任意の\(\lambda : \mathbb R \rightarrow \mathbb R\) で
\begin{align*} \# \{x \in \mathbb R \mid \lambda (x) \neq 0 \} < + \infty \end{align*}
であるものに対して、
\begin{align*} \sum_{(x, y) \in \mathbb R \times \mathbb R} \lambda(x) \lambda (y) k (x, y) \geq 0 \end{align*}
であるときに、半正定値であるといいます。\(\lambda\) は条件から\(0\)でないところが有限個しかないことから総和は有限和となります。
半正定値性の証明
実際、任意に\(\lambda : \mathbb R \rightarrow \mathbb R \) で
\begin{align*} \# \{x \in \mathbb R \mid \lambda (x) \neq 0 \} < + \infty \end{align*}
であるものをとります。
\begin{align*}\sum_{(x, y) \in \mathbb R \times \mathbb R } \lambda(x) \lambda (y) k(x,y) &= \sum_{(x, y) \in \mathbb R \times \mathbb R } \lambda(x) \lambda (y) \left( 1 + x y + x^2 y^2 + \dots + x^d y^d \right)
\\&= \left( \sum_{x \in \mathbb R} \lambda(x)(1 + x + x^2 + \dots x^d)\right)^2
\\& \geq 0 \end{align*}
一次独立性
\(y_1, \dots , y_{d +1} \in \mathbb R\) を異なる\(d + 1 \)個の点とすると、
\begin{align*} k(\cdot\, , y_1), k(\cdot \, , y_2), \dots, k(\cdot \, , y_{d + 1}) \end{align*}
は一次独立です。なぜなら、
\begin{align*} \partial_x^m k(x, y) = m! y^m + \dots + d (d -1) \cdots (d – m) x^{d-m}y^d \end{align*}
であることから、
\begin{align*} \partial_x^m k(0, y) = m! y^m \end{align*}
であるので、\(0\)におけるロンスキー行列は
\begin{align*} W(0) = \begin{pmatrix}
1 & 1 & \dots & 1 \\
y_1 & y_2 & \cdots &y_{d+1} \\
2y_1^2 & 2y_2^2 & \cdots &2y_{d+1}^2 \\
\vdots & \vdots & \cdots & \vdots \\
d!y_1^d & d! y_2^d & \cdots & d! y_{d+1}^d \\\end{pmatrix} \end{align*}
となります。\(y_1, \dots , y_{d +1} \in \mathbb R\) が全て異なることから、この行列の列ベクトルは一次独立です。従って、ロンスキー行列は\(0\) において正則です。このことは即ち、\(k(\cdot\, , y_1), k(\cdot \, , y_2), \dots, k(\cdot \, , y_{d + 1})\) が一次独立であることを意味しています。
コメント