MISE 的估计

上一节我们讨论了单点\(x_0​\)处的误差\(\mathrm{MSE}(x_0)​\)，一个自然的想法就是考察整体的误差，即

\[\begin{align}\mathrm{MISE}&=\int(\mathbb{E}_p[\widehat{p}_{n}(x)]-p(x))^2\,\mathrm{d}x+\int\mathbb{E}_p[(\widehat{p}_{n}(x)-\mathbb{E}_p[\widehat{p}_{n}(x)])^2]\,\mathrm{d} x\\&\overset{\Delta}{=}\int b^2(x)\,\mathrm{d}x+\int \sigma^2(x)\,\mathrm{d}x\end{align}\]

方差项的积分

沿用上一文的结论，我们已经有

\[\sigma^2(x)=\frac{1}{nh^2}\mathbb{E}_p[\eta_1^2(x)]\leq\frac{1}{nh^2}\mathbb{E}_p[K^2\left(\frac{X_1-x}{h}\right)]\]

因此

\[\begin{align}\int\sigma^2(x)\,\mathrm{d}x&\leq\frac{1}{nh^2}\int\int K^2\left(\frac{z-x}{h}\right)p(z)\,\mathrm{d}z\,\mathrm{d}x\\&=\frac{1}{nh}\int\int K^2(u)p(x+uh)\,\mathrm{d}u\,\mathrm{d}x \\&=\frac{1}{nh}\int K^2(u)\,\mathrm{d}u\end{align}\]

偏差项的积分

首先我们需要知道泰勒展开的积分余项形式

\[f(x)=f(x_0)+f^\prime(x_0)(x-x_0)+\cdots+\frac{f^{(l-1)}(x_0)(x-x_0)^{l-1}}{(l-1)!}+\int_{x_0}^x \frac{f^{(l)}(t)(x-t)^{(l-1)}}{(l-1)!}\,\mathrm{d}t\]

于是

\[\begin{align}b(x)=\mathbb{E}_p[\widehat{p}_n(x)]-p(x)&=\frac{1}{h}\int K(\frac{z-x}{h})p(z)\,\mathrm{d}x-p(x)\\&=\int K(u)p(x+uh)\,\mathrm{d}u-p(x)\\&=\int K(u) [p(x+uh)-p(x)] \,\mathrm{d}u\\&=\int K(u)\int_x^{x+uh}p^{(l)}(t)\frac{(x+uh-t)^{l-1}}{(l-1)!}\,\mathrm{d}t\,\mathrm{d}u\\&=\int K(u)\int_0^{1}p^{(l)}(x+uh\tau)\frac{(uh)^l(1-\tau)^{l-1}}{(l-1)!}\,\mathrm{d}\tau\,\mathrm{d}u\\&=\int K(u)\frac{(uh)^l}{(l-1)!}\int [p^{(l)}(x+uh\tau)-p^{(l)}(x)] (1-\tau)^{l-1}\,\mathrm{d}\tau \,\mathrm{d}u\\&\overset{\Delta}{=}\int \widetilde{K}(u) \cdot m(u,x)\,\mathrm{d}u \end{align}\]

其中$(u)=K(u), m(u,x)=(1-)^{l-1},$

现在我们使用 Minkowski inequality 来控制积分的上届，使用的形式为

\[\int(\int g(u,x)\,\mathrm{d}u)^2\,\mathrm{d}x\leq[\int(\int g^2(u,x)\,\mathrm{d}x)^{1/2}\,\mathrm{d}u]^2\]

不熟悉的读者可能觉得这一形式有些怪异，其实其本质就是三角不等式，也就是说和的范数小于范数的和，即\[\lvert\lvert f+g\rvert\rvert_2\leq \lvert\lvert f\rvert\rvert_2+\lvert\lvert g\rvert\rvert_2\]。其中\(\lvert\lvert f\rvert\rvert_2=(\int \lvert f\rvert^2\,\mathrm{d}\mu)^{1/2}\)。因此不等式右边是范数\((\int g^2(u,x)\,\mathrm{d}x)^{1/2}\)的和(积分)的平方，而左边是和(积分)\(\int g(u,x)\,\mathrm{d}u\)的范数的平方。

先使用一次Minkowski inequality

\[\begin{align}\int b^2(x)\,\mathrm{d}x&=\int(\int \widetilde{K}(u) m(u,x)\,\mathrm{d}u)^2\,\mathrm{d}x\\&\leq [\int(\int \widetilde{K}^2(u) m^2(u,x) \,\mathrm{d}x)^{1/2}\,\mathrm{d}u]^2\\&= [\int \widetilde{K}(u)(\int m^2(u,x) \,\mathrm{d}x)^{1/2}\,\mathrm{d}u]^2\end{align}\]

现在考察\((\int m^2(u,x) \,\mathrm{d}x)^{1/2}\)的值。再次使用Minkowski inequality

\[\begin{align}(\int m^2(u,x)\,\mathrm{d}x)^{1/2}&\leq\int \,\mathrm{d}\tau[\int (p^{(l)}(x+uh\tau)-p^{(l)}(x))^2(1-\tau)^{2l-2}\,\mathrm{d}x]^{1/2}\\&=\int (1-\tau)^{l-1}\,\mathrm{d}\tau[\int (p^{(l)}(x+uh\tau)-p^{(l)}(x))^2\,\mathrm{d}x]^{1/2}\end{align}\]

可以看到，我们需要\(p\)满足一定的性质才能控制这一上届。我们先定义 Nikol'ski class \(\mathcal{H}(\beta,L), \beta>0,L>0\) 为所有满足下列性质的函数\(f:\mathbb{R}\rightarrow\mathbb{R}\)的集合

  • \(f^{(l)}\)存在，其中\(l=\lfloor\beta\rfloor\)
  • \([\int (f^{(l)}(x+t)-f^{(l)}(x))^2\,\mathrm{d}x]^{1/2}\leq L\lvert t\rvert^{\beta-l},\ \forall t\in\mathbb{R}\)

还有一个定义 Sobolev class\(\mathcal{S}(\beta,L), \beta\in\mathbb{N}^+ \mathrm{}, L>0\)为所有满足下列性质的函数\(f:\mathbb{R}\rightarrow\mathbb{R}\)的集合

  • $-$1次可微
  • \(f^{(\beta-1)}\)绝对连续
  • \(\int (f^{(\beta)}(x))^2\,\mathrm{d}x\leq L^2\)

可以证明\(\mathcal{S}(\beta,L)\subset\mathcal{H}(\beta,L)\)

在这里，我们先使用\(\mathcal{H}(\beta,L)\)，并加上概率密度的约束，即\(p\in\mathcal{P_H}=\{p\in\mathcal{H}(\beta,L)\mid p\ge 0,\ \int p(x)\,\mathrm{d}x=1\}\)

此时，我们可以控制得

\[\int (p^{(l)}(x+uh\tau)-p^{(l)}(x))^2\,\mathrm{d}x]^{1/2}\leq L(uh\tau)^{\beta-l}\]

整理过后可以得到\(\int b^2(x)\,\mathrm{d}x\leq C h^{2\beta}\)

如同上文一样，我们得到了\(\mathrm{MISE}\)的收敛速度为\(O(n^{-\frac{2\beta}{2\beta+1}})\)

若\(\beta\)为整数，读者也可以使用\(\mathcal{S}(\beta,L)\)获得一个证明，也就是假设\(\int(p^{(\beta)}(x))^2\,\mathrm{d}x<\infty\)即可。此时整个积分同样被控制住。

\[\begin{align} { \int ( } { p ^ { ( \ell ) } ( x + t ) - p ^ { ( \ell ) } ( x ) ) ^ { 2 } \mathrm{d} x } \ & { = \int \left( t \int _ { 0 } ^ { 1 } p ^ { ( \ell + 1 ) } ( x + \theta t ) \,\mathrm{d} \theta \right) ^ { 2 } \,\mathrm{d} x } \\ { } & { \leq t ^ { 2 } \left( \int _ { 0 } ^ { 1 } \left[ \int \left( p ^ { ( \ell + 1 ) } ( x + \theta t ) \right) ^ { 2 } \,\mathrm{d} x \right] ^ { 1 / 2 } \mathrm{d} \theta \right) ^ { 2 } } \\ { } & { = t ^ { 2 } \int \left( p ^ { ( \beta ) } ( x ) \right) ^ { 2 } \,\mathrm{d} x } \end{align}\]