如果移动端无法正确渲染某些公式,建议转PC站点,也是做了自适应处理的。点击这里跳转

MISE 的估计

上一节我们讨论了单点$x_0​$处的误差$\mathrm{MSE}(x_0)​$,一个自然的想法就是考察整体的误差,即

$$\begin{align}\mathrm{MISE}&=\int(\mathbb{E}_p[\widehat{p}_{n}(x)]-p(x))^2\,\mathrm{d}x+\int\mathbb{E}_p[(\widehat{p}_{n}(x)-\mathbb{E}_p[\widehat{p}_{n}(x)])^2]\,\mathrm{d} x\\&\overset{\Delta}{=}\int b^2(x)\,\mathrm{d}x+\int \sigma^2(x)\,\mathrm{d}x\end{align}$$

方差项的积分

沿用上一文的结论,我们已经有

$$\sigma^2(x)=\frac{1}{nh^2}\mathbb{E}_p[\eta_1^2(x)]\leq\frac{1}{nh^2}\mathbb{E}_p[K^2\left(\frac{X_1-x}{h}\right)]$$

因此

$$\begin{align}\int\sigma^2(x)\,\mathrm{d}x&\leq\frac{1}{nh^2}\int\int K^2\left(\frac{z-x}{h}\right)p(z)\,\mathrm{d}z\,\mathrm{d}x\\&=\frac{1}{nh}\int\int K^2(u)p(x+uh)\,\mathrm{d}u\,\mathrm{d}x \\&=\frac{1}{nh}\int K^2(u)\,\mathrm{d}u\end{align}$$

偏差项的积分

首先我们需要知道泰勒展开的积分余项形式

$$f(x)=f(x_0)+f^\prime(x_0)(x-x_0)+\cdots+\frac{f^{(l-1)}(x_0)(x-x_0)^{l-1}}{(l-1)!}+\int_{x_0}^x \frac{f^{(l)}(t)(x-t)^{(l-1)}}{(l-1)!}\,\mathrm{d}t$$

于是

$$\begin{align}b(x)=\mathbb{E}_p[\widehat{p}_n(x)]-p(x)&=\frac{1}{h}\int K(\frac{z-x}{h})p(z)\,\mathrm{d}x-p(x)\\&=\int K(u)p(x+uh)\,\mathrm{d}u-p(x)\\&=\int K(u) [p(x+uh)-p(x)] \,\mathrm{d}u\\&=\int K(u)\int_x^{x+uh}p^{(l)}(t)\frac{(x+uh-t)^{l-1}}{(l-1)!}\,\mathrm{d}t\,\mathrm{d}u\\&=\int K(u)\int_0^{1}p^{(l)}(x+uh\tau)\frac{(uh)^l(1-\tau)^{l-1}}{(l-1)!}\,\mathrm{d}\tau\,\mathrm{d}u\\&=\int K(u)\frac{(uh)^l}{(l-1)!}\int [p^{(l)}(x+uh\tau)-p^{(l)}(x)] (1-\tau)^{l-1}\,\mathrm{d}\tau \,\mathrm{d}u\\&\overset{\Delta}{=}\int \widetilde{K}(u) \cdot m(u,x)\,\mathrm{d}u \end{align}$$

其中$\widetilde{K}(u)=K(u)\frac{(uh)^l}{(l-1)!},\ m(u,x)=\int [p^{(l)}(x+uh\tau)-p^{(l)}(x)] (1-\tau)^{l-1}\,\mathrm{d}\tau $

现在我们使用 Minkowski inequality 来控制积分的上届,使用的形式为

$$\int(\int g(u,x)\,\mathrm{d}u)^2\,\mathrm{d}x\leq[\int(\int g^2(u,x)\,\mathrm{d}x)^{1/2}\,\mathrm{d}u]^2$$

不熟悉的读者可能觉得这一形式有些怪异,其实其本质就是三角不等式,也就是说和的范数小于范数的和,即$$\lvert\lvert f+g\rvert\rvert_2\leq \lvert\lvert f\rvert\rvert_2+\lvert\lvert g\rvert\rvert_2$$。其中$\lvert\lvert f\rvert\rvert_2=(\int \lvert f\rvert^2\,\mathrm{d}\mu)^{1/2}$。因此不等式右边是范数$(\int g^2(u,x)\,\mathrm{d}x)^{1/2}$的和(积分)的平方,而左边是和(积分)$\int g(u,x)\,\mathrm{d}u$的范数的平方。

先使用一次Minkowski inequality

$$\begin{align}\int b^2(x)\,\mathrm{d}x&=\int(\int \widetilde{K}(u) m(u,x)\,\mathrm{d}u)^2\,\mathrm{d}x\\&\leq [\int(\int \widetilde{K}^2(u) m^2(u,x) \,\mathrm{d}x)^{1/2}\,\mathrm{d}u]^2\\&= [\int \widetilde{K}(u)(\int m^2(u,x) \,\mathrm{d}x)^{1/2}\,\mathrm{d}u]^2\end{align}$$

现在考察$(\int m^2(u,x) \,\mathrm{d}x)^{1/2}$的值。再次使用Minkowski inequality

$$\begin{align}(\int m^2(u,x)\,\mathrm{d}x)^{1/2}&\leq\int \,\mathrm{d}\tau[\int (p^{(l)}(x+uh\tau)-p^{(l)}(x))^2(1-\tau)^{2l-2}\,\mathrm{d}x]^{1/2}\\&=\int (1-\tau)^{l-1}\,\mathrm{d}\tau[\int (p^{(l)}(x+uh\tau)-p^{(l)}(x))^2\,\mathrm{d}x]^{1/2}\end{align}$$

可以看到,我们需要$p$满足一定的性质才能控制这一上届。我们先定义 Nikol’ski class $\mathcal{H}(\beta,L), \beta>0,L>0$ 为所有满足下列性质的函数$f:\mathbb{R}\rightarrow\mathbb{R}$的集合

  • $f^{(l)}$存在,其中$l=\lfloor\beta\rfloor$
  • $[\int (f^{(l)}(x+t)-f^{(l)}(x))^2\,\mathrm{d}x]^{1/2}\leq L\lvert t\rvert^{\beta-l},\ \forall t\in\mathbb{R}$

还有一个定义 Sobolev class$\mathcal{S}(\beta,L), \beta\in\mathbb{N}^+ \mathrm{}, L>0$为所有满足下列性质的函数$f:\mathbb{R}\rightarrow\mathbb{R}$的集合

  • $\beta-$1次可微
  • $f^{(\beta-1)}$绝对连续
  • $\int (f^{(\beta)}(x))^2\,\mathrm{d}x\leq L^2$

可以证明$\mathcal{S}(\beta,L)\subset\mathcal{H}(\beta,L)$

在这里,我们先使用$\mathcal{H}(\beta,L)$,并加上概率密度的约束,即$p\in\mathcal{P_H}=\{p\in\mathcal{H}(\beta,L)\mid p\ge 0,\ \int p(x)\,\mathrm{d}x=1\}$

此时,我们可以控制得

$$\int (p^{(l)}(x+uh\tau)-p^{(l)}(x))^2\,\mathrm{d}x]^{1/2}\leq L(uh\tau)^{\beta-l}$$

整理过后可以得到$\int b^2(x)\,\mathrm{d}x\leq C h^{2\beta}$

如同上文一样,我们得到了$\mathrm{MISE}$的收敛速度为$O(n^{-\frac{2\beta}{2\beta+1}})$

若$\beta$为整数,读者也可以使用$\mathcal{S}(\beta,L)$获得一个证明,也就是假设$\int(p^{(\beta)}(x))^2\,\mathrm{d}x<\infty$即可。此时整个积分同样被控制住。

$$\begin{align} { \int ( } { p ^ { ( \ell ) } ( x + t ) - p ^ { ( \ell ) } ( x ) ) ^ { 2 } \mathrm{d} x } \ & { = \int \left( t \int _ { 0 } ^ { 1 } p ^ { ( \ell + 1 ) } ( x + \theta t ) \,\mathrm{d} \theta \right) ^ { 2 } \,\mathrm{d} x } \\ { } & { \leq t ^ { 2 } \left( \int _ { 0 } ^ { 1 } \left[ \int \left( p ^ { ( \ell + 1 ) } ( x + \theta t ) \right) ^ { 2 } \,\mathrm{d} x \right] ^ { 1 / 2 } \mathrm{d} \theta \right) ^ { 2 } } \\ { } & { = t ^ { 2 } \int \left( p ^ { ( \beta ) } ( x ) \right) ^ { 2 } \,\mathrm{d} x } \end{align}$$