前言

我希望完成我在M-2的工作，于是我写了这一篇文章。但同时这篇文章也证明了我在那篇文章里的猜想的缺陷，而我懒于补充这种缺陷，于是我只打算用一种直观的方法展示Stirling公式，De Moivre-Laplace 定理以及中心极限定理。

正文

Stirling公式的证明

需要证明：

lim⁡n→∞n!(ne)n2πn=1.\lim_{ n \to \infty }\frac{n!}{\left( \frac{n}{e} \right)^n\sqrt{ 2\pi n }} =1.

下面分两步完成。

一个有用的恒等式

Wallis有一个著名的关于π\pi的恒等式：

π2=∏n=1+∞2n2n−1⋅2n2n+1\begin{aligned} \frac{\pi}{2}=\prod_{n=1}^{+\infty}{\frac{2n}{2n-1}}\cdot{\frac{2n}{2n+1}} \end{aligned}

这个公式可以直接将π\pi和阶乘之间进行转换，对稍后Stirling公式的证明会起到很大作用。先引入一个积分来辅助证明：

In=∫0π/2sin⁡nx dx.I_{n}=\int_{0}^{\pi/2}\sin ^{n}x\ dx.

这是Wallis在证明此恒等式时引入的积分，在国内被张宇老师用”点火公式“名称推广，下面用分部积分给出一种计算方式。

In=∫0π/2sin⁡nx dx=−∫0π/2sin⁡n−1x dcos⁡x=0−(−∫0π/2cos⁡x dsin⁡n−1x)=(n−1)∫0π/2cos⁡2xsin⁡n−2x dx=(n−1)(In−2−In).\begin{aligned} I_{n}&=\int_{0}^{\pi/2}\sin ^{n}x\ dx \newline &=-\int_{0}^{\pi/2}\sin ^{n-1}x\ d\cos x \newline &=0-(-\int_{0}^{\pi/2}\cos x\ d\sin ^{n-1}x) \newline &=(n-1)\int_{0}^{\pi/2}\cos^{2} x \sin^{n-2}x \ dx \newline &=(n-1)(I_{n-2}-I_{n}). \end{aligned}

故而我们得到一个关于InI_{n}的递推式，而容易计算：

I0=π2,I1=1I_{0}=\frac{\pi}{2},I_{1}=1

故容易计算通项。下面请读者自行证明下面的结果：

I2m=(2m−1)!!(2m)!!⋅π2I2m+1=(2m)!!(2m+1)!!\begin{aligned} &I_{2m} = \frac{(2m-1)!!}{(2m)!!} \cdot \frac{\pi}{2} \newline &I_{2m+1} = \frac{(2m)!!}{(2m+1)!!} \end{aligned}

回到该恒等式。容易注意到ImI_{m}分别随着mm的单调递增而单调递减。又注意到：

∏n=1m2n2n−1⋅2n2n+1=(2m!!)2(2m−1)!!⋅(2m+1)!!=I2m+1I2m∗π2∈(I2m+2I2m⋅π2,π2)=(2m+12m+2⋅π2,π2)\begin{aligned} \prod_{n=1}^{m}{\frac{2n}{2n-1}}\cdot{\frac{2n}{2n+1}}&=\frac{(2m!!)^2}{(2m-1)!!\cdot(2m+1)!!}=\frac{I_{2m+1}}{I_{2m}}*\frac{\pi}{2}\newline &\in\left( \frac{I_{2m+2}}{I_{2m}}\cdot \frac{\pi}{2}, \frac{\pi}{2} \right)\newline &=\left( \frac{2m+1}{2m+2}\cdot \frac{\pi}{2}, \frac{\pi}{2} \right) \end{aligned}

故原恒等式在两边取极限时得证。

利用此恒等式的证明

注意到：

(2n−1)!!=(2n−1)!2n−1(n−1)!.(2n)!!=2nn!.\begin{aligned} &(2n-1)!!=\frac{(2n-1)!}{2^{n-1}(n-1)!}.\newline &(2n)!!=2^{n}n!. \end{aligned}

故

π2=lim⁡m→∞(2m!!)2(2m−1)!!⋅(2m+1)!!=lim⁡m→∞24m(m!)4(2m)!(2m+1)!\begin{aligned} \frac{\pi}{2}=\lim_{ m \to \infty } \frac{(2m!!)^2}{(2m-1)!!\cdot(2m+1)!!}=\lim_{ m \to \infty } \frac{2^{4m}(m!)^4}{(2m)!(2m+1)!} \end{aligned}

根据我们在M-2中得到的成果n!≈C⋅(ne)nnn!\approx C\cdot \left( \frac{n}{e} \right)^n \sqrt{ n }（其中C为正常数）：

π2=lim⁡m→∞24m(me)4m⋅m2⋅C4(2m+1)(2me)4m⋅2m⋅C2=lim⁡m→∞C24C=2π.\begin{aligned} \frac{\pi}{2}&=\lim_{ m \to \infty } \frac{2^{4m}\left( \frac{m}{e} \right)^{4m}\cdot m^{2}\cdot C^{4}}{(2m+1)\left( \frac{2m}{e} \right)^{4m}\cdot 2m\cdot C^{2}} \newline &=\lim_{ m \to \infty } \frac{C^2}{4}\newline C&=\sqrt{ 2\pi } .\end{aligned}

这就完成了证明。

中心极限定理的二项分布

定理描述：设 X∼B(n,p)X \sim B(n,p)，则当n→∞n \to \infty 时

P(a≤X−npnp(1−p)≤b)→∫ab12πe−t2/2dtP\left(a \le \frac{X - np}{\sqrt{np(1-p)}} \le b\right) \to \int_a^b \frac{1}{\sqrt{2\pi}} e^{-t^2/2} dt

这又称为De Moivre-Laplace 定理。我们直接计算：

P(X=k)=pk(1−p)n−kn!k!(n−k)!≈pk(1−p)n−knnkk(n−k)n−kn2πk(n−k)\begin{aligned} P(X=k)&=p^{k}(1-p)^{n-k} \frac{n!}{k!(n-k)!} \newline &\approx p^{k}(1-p)^{n-k} \frac{n^n}{k^k (n-k)^{n-k}} \sqrt{\frac{n}{2\pi k (n-k)}} \end{aligned}

设k=np+xnp(1−p)k=np + x \sqrt{np(1-p)}，两边同时取对数：

ln⁡ P(X=k)≈kln⁡p+(n−k)ln⁡(1−p)+(n+12)ln⁡n−(k+12)ln⁡k−(n−k+12)ln⁡(n−k)−12ln⁡2π≈−x22−12ln⁡(2πnp(1−p))\begin{aligned} \ln \ P(X=k)&\approx k \ln p+(n-k)\ln (1-p) \newline &+ \left( n+\frac{1}{2} \right)\ln n-\left( k+\frac{1}{2} \right)\ln k-\left( n-k+\frac{1}{2} \right)\ln(n-k)-\frac{1}{2}\ln 2\pi \newline &\approx -\frac{x^2}{2} - \frac{1}{2} \ln(2\pi np(1-p)) \end{aligned}

从而：

P(X=k)≈12πe−x2/2P(X = k) \approx \frac{1}{\sqrt{2\pi}} e^{-x^2/2}

故当n→∞n \to \infty 时

P(a≤X−npnp(1−p)≤b)→∫abϕ(x)dxP\left(a \le \frac{X - np}{\sqrt{np(1-p)}} \le b\right) \to \int_a^b \phi(x) dx

即证。

推广

注意到伯努利分布是一个十分基本的构型：我们可以试着用伯努利分布去逼近任何一个可能的分布。这样，当我们计算中心极限时，事实上得到了若干个趋于无限的二项分布之和。分别使用上述定理就可以完成证明，最后只需说明原始的伯努利逼近是合理的即可。

一个疑问点是，将任何一个分布拆分成不相关的伯努利分布是非常困难的，有的时候是不可能的过程，比如一个两边小中间大的分布。但我们要做的是：我们不将分布X拆分成不相关的分布，而是相关的。 拆分成相关分布的难度非常之低，而其有效性在X之间的独立性中得到保证：最终中心极限得到的仍然是若干个二项分布之和，只是相关而已。

我无法证明我对其逼近的合理性(也懒于证明)，所以我将这个证明认为是不完善的。但无论如何，这是一个比较直观的思考办法，而且很大程度上有效。下面给出个人证明。为了方便讨论，下面直接假设XX在[0,1][0,1]分布，请读者自行说明这可以推广到无界的情况。

中心极限定理的可能证明

设 X1,X2,…,XnX_1, X_2, \dots, X_n 是一列独立同分布的随机变量，满足E[Xi]=μ, Var⁡(Xi)=σ2<∞\mathbb{E}[X_i] = \mu, \ \operatorname{Var}(X_i) = \sigma^2 < \infty，要证明

Sn−nμσn→dN(0,1), Sn=∑i=1nXi\frac{S_n - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1), \ S_n = \sum_{i=1}^n X_i

我们定义

Ij=[j−1m,jm), j=1,2,…,mBij=1Xi∈IjXi(m)=∑j=1mxjBij , xj=j−0.5m\begin{aligned} &I_j = \left[\frac{j-1}{m}, \frac{j}{m}\right), \ j = 1, 2, \ldots, m \newline &B_{ij} = \mathbf{1}_{X_{i} \in I_j}\newline &X_{i}^{(m)} = \sum_{j=1}^m x_j B_{ij} \ , \ x_j = \frac{j - 0.5}{m} \end{aligned}

那么当m→∞m \to \infty时 X(m)X^{(m)}是对XX的一个逼近。此时，每个 Bij∼Bernoulli(pj)B_{ij} \sim Bernoulli(p_j)关于i独立，关于j相关，其中pj=P(X∈Ij)p_j = \mathbb{P}(X \in I_j)。

则

∑i=1nXi→∑i=1n∑j=1mxjBij=∑j=1mxj∑i=1nBij=∑j=1mxjB(n,pj)\begin{aligned} \sum_{i=1}^{n}X_{i} &\to \sum_{i=1}^{n}\sum_{j=1}^m x_j B_{ij} \newline &= \sum_{j=1}^{m}x_{j}\sum_{i=1}^{n}B_{ij} \newline &= \sum_{j=1}^{m}x_{j}B(n,p_{j}) \newline \end{aligned}

为若干相关二项分布之和。我们直接对其使用 De Moivre-Laplace 定理，即可完成证明。

总结

在上文我像开头说的那样，完成了我在M-2那里没有完成的事情，给我的那一篇文章画上了句号。如果有感兴趣且水平高超的，可以帮我验证这个方法的有效性或者无效性。