概率论基本知识
1 条件概率
1.1 离散情况
\[ P(B|A)=\dfrac{P(AB)}{P(A)} \]
^ff235e
\[ P(B|A)P(A)=P(A|B)P(B)=P(AB) \]
1.2 连续情况
\[ f_{Y|X}(y|x)=\dfrac{f(x,y)}{f_X(x)} \]
2 条件期望和重期望
条件期望
\[ E(X|Y=y)=\int xp_{X|Y}(x|y)\mathrm dx \]
重期望公式
\[ E(X)=E(E(X|Y))=\sum E(X|Y)P(Y) \]
3 全概率公式
\[ P(A)=\sum_{i=1}^nP(A|B_i)P(B_i) \]
^6c9cba
4 贝叶斯公式
在只有两个事件时
\[ P(B|A)=\dfrac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\bar B)P(\bar B)} \]
在多个事件时
\[ P(B_i|A)=\dfrac{P(A|B_i)P(B_i)}{\sum_{i=1}^nP(A|B_i)P(B_i)} \]
^322785
论证. 对条件概率公式的分母使用一次全概率公式即可。
5 切比雪夫不等式
\[ P(|X-\mu|\geq k)\leq \dfrac{\sigma^2}{k^2} \]
6 数字特征
6.1 均值、方差、协方差
均值
\[ \mu=EX=\int xf(x)\mathrm dx \] 方差 \[ \sigma^2=Var(X)=\int (x-\mu)^2f(x)\mathrm dx \]
复合随机变量的均值和方差
\[ E(g(X))=\int g(x)f(x)\mathrm dx \]
\[ Var(g(X))=\int (g(x)-E(g(x)))^2f(x)\mathrm dx \]
协方差
\[ Cov(X,Y)=E[(X-\mu_X)(Y-\mu_Y)] \]
方差可以类似二项式展开，平方项用方差代替，乘积项用协方差代替。
\[ Var(aX+bY)=a^2Var(x)+2abCov(X,Y)+b^2Var(Y) \]
6.2 矩
6.2.1 原点矩
\[ v_k=\int x^kf(x)\mathrm dx \]
零阶原点矩恒为 1
6.2.2 中心矩
\[ \mu_k=\int (x-\mu)^kf(x)\mathrm dx \]
零阶中心矩恒为 1
一阶中心矩恒为 0
由二项式定理，有
\[ \mu_k=\sum_{i=0}^k \begin{pmatrix} k\\ i \end{pmatrix} v_i(-\mu)^{k-i} \]
6.3 变异系数
\[ C_v(X)=\dfrac{\sqrt{Var(X)}}{E(X)}=\dfrac{\sigma}{\mu} \]
6.4 峰度系数
\[ kurtosis=\dfrac{\mu_4}{\sigma^4}-3=E(\dfrac{X-\mu}{\sigma})^4-E(N)^4 \]
其中，\(N\sim N(0,1)\)
6.5 偏度系数
\[ skewness=\dfrac{\mu_3}{\sigma^3}=E(\dfrac{X-\mu}{\sigma})^3 \]
7 常见分布
7.1 离散分布
| 名称 | 记号 | 分布 | 均值 | 方差 | 特征函数 |
|---|---|---|---|---|---|
| 伯努利分布 | \(B(1,p)\) | \(p^k(1-p)^{1-k}\) | \(p\) | \(p(1-p)\) | \(p\mathrm e^{jt}+1-p\) |
| 二项分布 | \(B(n,p)\) | \(\begin{pmatrix}n\\k\end{pmatrix}p^k(1-p)^{n-k}\) | \(np\) | \(np(1-p)\) | \((p\mathrm e^{jt}+1-p)^n\) |
| 几何分布 | \(Ge(p)\) | \(p(1-p)^{k-1}\) | \(\dfrac{1}{p}\) | \(\dfrac{1-p}{p^2}\) | \(\dfrac{p\mathrm e^{jt}}{1-(1-p)\mathrm e^{jt}}\) |
| 帕斯卡分布 | \(NB(r,p)\) | \(\begin{pmatrix}k-1\\ r-1\end{pmatrix}p^r(1-p)^{k-r}\) | \(\dfrac{r}{p}\) 1 | \(\dfrac{r(1-p)}{p^2}\) | \((\dfrac{p\mathrm e^{jt}}{1-(1-p)\mathrm e^{jt}})^r\) |
| 超几何分布 | \(H(N,n,M)\) | \(\dfrac{\begin{pmatrix}M\\ k\end{pmatrix}\begin{pmatrix}N-M\\ n-k\end{pmatrix}}{\begin{pmatrix}N\\ n\end{pmatrix}}\) | \(\dfrac{nM}{N}\) | ||
| 泊松分布 | \(pois(\lambda)\) | \(\mathrm e^{-\lambda}\dfrac{\lambda^k}{k!}\) | \(\lambda\) | \(\lambda\) | \(\mathrm e^{\lambda(jt-1)}\) |
7.2 连续分布
| 名称 | 记号 | 概率密度函数 | 均值 | 方差 | 特征函数 |
|---|---|---|---|---|---|
| 均匀分布 | \(U(a,b)\) | \(\dfrac{1}{b-a},x\in[a,b]\) | \(\dfrac{a+b}{2}\) | \(\dfrac{(b-a)^2}{12}\) | \(\dfrac{\mathrm e^{jtb}-\mathrm e^{jta}}{jt(b-a)}\) |
| 指数分布 | \(Exp(\lambda)\) | \(\lambda\mathrm e^{-\lambda t},x>0\) | \(\dfrac{1}{\lambda}\) | \(\dfrac{1}{\lambda^2}\) | \(\dfrac{\lambda}{\lambda-jt}\) |
| 正态分布 | \(N(\mu,\sigma^2)\) | \(\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{(x-\mu)^2}{2\sigma^2})\) | \(\mu\) | \(\sigma\) | \(\exp(jt\mu-\dfrac{1}{2}\sigma^2t^2)\) |
| 卡方分布 | \(\chi^2(n)\) | \(n\) | \(2n\) | ||
| t 分布 | \(t(n)\) | ||||
| F 分布 | \(F(m,n)\) |
8 多元正态分布
多元正态分布接受两个参数：均值向量 \(\boldsymbol\mu\) 和协方差矩阵 \(\boldsymbol\Sigma\)，它的密度函数为
\[ f(\boldsymbol x;\boldsymbol\mu,\boldsymbol\Sigma)=\dfrac{1}{\sqrt{\det(2\pi\Sigma)}}\exp(-\dfrac{1}{2}(\boldsymbol x-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol x-\boldsymbol\mu)) \]
其中
- \(\boldsymbol x\)是变量向量，维数是 \(d\)
- \(\boldsymbol\mu\)是均值向量，维数是 \(d\)
- \(\boldsymbol\Sigma\)是正定对称矩阵，维数是 \(d\times d\)
- 注意，系数上的行列式，在计算时矩阵前方的系数实际上还要再做\(d\)次幂运算。
- 由于协方差矩阵是正定的，因此它一定是非奇异的。
特别地，随机变量 \((X,Y)\) 服从二元正态分布，记作 \((X,Y)\sim N(\mu_1,\mu_2;\sigma^2_1,\sigma^2_2;\theta)\)，\(\theta\)表示两个变量之间的相关系数。
8.1 从线性变换的角度看多元正态分布
零均值多元正态分布 \(N(\boldsymbol0,\boldsymbol\Sigma)\)可以看做标准多元正态分布 \(N(\boldsymbol 0,\boldsymbol E)\) 做线性变换得到的，其中\(\boldsymbol E\)是单位矩阵。
设随机变量向量 \(\boldsymbol X\sim N(\boldsymbol0,\boldsymbol E)\).
对 \(\boldsymbol X\) 做倍乘变换再做正交变换 \(Y=\boldsymbol{BAX}\)，\(\boldsymbol A\)是对角矩阵，且 \(\boldsymbol A^2=\boldsymbol\Lambda\)，\(\boldsymbol B\)是正交矩阵，有 \(\boldsymbol X=(\boldsymbol{BA})^{-1}\boldsymbol Y\)，且\(\boldsymbol B^T=\boldsymbol B^{-1}\).
容易知道任意线性变换都可由\(\boldsymbol{BA}\)表出。
经过倍增变换，协方差矩阵变为 \(\boldsymbol\Lambda\). 正交变换不改变协方差行列式的值。
代入概率密度公式，有
\[ \begin{aligned} f(\boldsymbol y) &=\dfrac{1}{\sqrt{2^d\pi^d\det(\boldsymbol\Lambda)}}\exp(-\dfrac{1}{2}((\boldsymbol{BA})^{-1}\boldsymbol y)^T(\boldsymbol{BA})^{-1}\boldsymbol y))\\ &=\dfrac{1}{\sqrt{2^d\pi^d\det(\boldsymbol\Lambda)}}\exp(-\dfrac{1}{2}\boldsymbol y^T(\boldsymbol B\boldsymbol{\Lambda}^{-1}\boldsymbol B^{-1})\boldsymbol y) \end{aligned} \]
根据线性代数知识 \(\det(\boldsymbol B\boldsymbol{A}^{-2}\boldsymbol B^{-1})=\det(\boldsymbol\Lambda)^{-1}\)
根据对称矩阵的性质，只要协方差矩阵与\(\boldsymbol\Lambda\)拥有相同的特征值（它的特征值即对角元），即可化为该形式。
因此可以得到结论，协方差矩阵的特征值决定随机变量的尺度，而均值向量决定随机变量的位置。
8.2 本节参考
9 边际分布和多维随机变量的独立性
多维随机变量的分布函数，当其中的一个或几个变量趋于无穷后，可以得到剩余变量的联合边际分布函数。
以二维随机变量\((X,Y)\)为例，其联合分布函数为\(F(x,y)\)，则\(X\)的边际分布为
\[ F_X(x)=\lim_{y\to+\infty}F(x,y) \]
在离散场合，可以类似得到。
边际密度函数，只需要把上述的分布函数换成概率密度函数并相应积分，还是以二维随机变量为例
\[ p_X(x)=\int_{-\infty}^{+\infty} p(x,y)\mathrm dy \]
在涉及多维随机变量的积分时，要注意积分区域的确定。
9.1 多维随机变量的独立性
多维随机变量\(X_1,X_2,\cdots,X_n\)的联合分布函数为\(F(x_1,x_2,\cdots,x_n)\)，边际分布为\(F_i(x_i)\)，如果有
\[ F(x_1,x_2,\cdots,x_n)=\prod_{i=1}^n F_i(x_i) \]
则称\(X_1,X_2,\cdots,X_n\)相互独立。
连续时，可以转化为密度函数
\[ p(x_1,x_2,\cdots,x_n)=\prod_{i=1}^n p_i(x_i) \]
由此可以知道独立的随机变量积的期望等于期望的积，即
\[ E(XY)=E(X)E(Y) \]
在更多维度的条件下也可以给出类似的结论。
并且由上面的性质可以得到独立的随机变量一定不相关（协方差为 0），注意，反之不一定成立，独立是比不相关更强的条件。
10 卷积
卷积是计算两随机变量分布和的方法。
10.1 离散情况
\[ P(X+Y=k)=\sum_{i=-\infty}^{+\infty}P(X=i,Y=k-i) \]
10.2 连续情况
\[ P(X+Y\lt t)=\int_{-\infty}^{+\infty}f(s,t-s)\mathrm ds \]
当 \(X,Y\) 独立时，有
\[ P(X+Y\lt t)=\int_{-\infty}^{+\infty}f(s)g(t-s)\mathrm ds \]
卷积运算是一个算子，通过两个函数生成第三个函数，记作
\[ (f\circ g)(x)=\int_{-\infty}^{+\infty}f(s)g(x-s)\mathrm ds \]
11 随机变量序列的两种收敛
假设随机变量序列\(\{X_n\}\)的分布函数序列为\(\{F_n(x)\}\)，\(X\)为任意给定的随机变量。
11.1 依概率收敛
\[ \forall\epsilon\gt0,\lim_{n\to\infty}P(|X_n-X|\geq\epsilon)=0 \]
记作\(X_n\stackrel{P}{\longrightarrow}X\)
11.2 按分布收敛
\[ \lim_{n\to\infty}F_n(x)=F(x) \]
记作\(X_n\stackrel{L}{\longrightarrow}X\)
11.3 性质
依概率收敛强于按分布收敛。并且依概率收敛可以推出按分布收敛。
在\(X\)服从退化分布时，二者是等价的，即
\[ X_n\stackrel{P}{\longrightarrow}c\iff X_n\stackrel{L}{\longrightarrow}c \]
12 特征函数
\[ \varphi(t)=E(\mathrm e^{itX})=\int \mathrm e^{itx}\mathrm dF(x) \]
称为随机变量的特征函数。
常见分布的特征函数列在了上面的表格里。特征函数有如下性质：
- \(|\varphi(t)|\leq\varphi(0)=1\)
- \(\varphi(-t)=\overline{\varphi(t)}\)
- 若\(Y=aX+b\)，则 \[ \varphi_Y(t)=\mathrm e^{ibt}\varphi_X(at) \]
- 若随机变量\(X,Y\)独立，则 \[ \varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t) \]
- \(\varphi^{(0)}(t)=i^kE(X^k)\)，可以通过这个性质求随机变量的各阶原点矩（如果存在），进而求出中心矩。
- 特征函数和分布函数相互唯一确定。
13 大数定律
大数定律告诉我们频率依概率收敛到概率，即频率的回归性。同时也提供了经验分布函数和矩估计的理论依据。
脚注
https://zhuanlan.zhihu.com/p/36270529↩︎