概率论与数理统计笔记

随机变量及其分布

离散型随机变量

柏松分布

设随机变量 $X$ 的取值为 $0,1,2,\cdots,n,\cdots$ 对应的分布律是：

$P(X=k)=\frac{\lambda ^k}{k!}e^{-\lambda},\lambda >0,k=0,1,2,\cdots.n,\cdots$

则称随机变量 $X$ 服从参数为 $\lambda$ 的柏松分布，记为 $X\sim P(\lambda)$

泊松分布还有一个非常有用的性质，即它可以作为二项分布的一种近似，在二项分布计算中，当 ｎ 较大时计算结果非常不理想，如果 $p$ 比较小，而 $np=\lambda$ 适中时，我们常用柏松分布的概率值近似取代二项分布的概率值，因为柏松分布要好算很多

柏松定理：当 $n\rightarrow + \infty$，有 $np\to \lambda(>0)$ ，则

$\lim_{x \to \infty} \binom{n}{k} p^k(1-p)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda}$

超几何分布

设有 $N$ 件产品，其中 $M$ 件是不合格品，若从中不放回地抽取 $n(n\le N)$ 件，设其中含有的不合格品的件数为 $X$，则 $X$ 的分布律为：

$P(X=k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}},k=\max(0,n+M-N),\cdots,\min(n,M)$

则称 $X$ 服从参数为 $N,M$ 和 $n$ 的超几何分布，记为 $X\sim H(N,M,n)$

若将不放回改为有放回，那就变成 $n$ 重伯努利试验了，就是二项分布，当 $n$ 非常大时，有放回和不放回的分布相差很小，所以可以证明：当 $p=\frac{M}{N}$

$\lim_{N\to \infty}\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}=\binom{n}{k}p^k(1-p)^{n-k}$

几何分布

在伯努利试验中，记每次试验中 $A$ 事件发生的概率 $P(A)=p(0<p<1)$，设随机变量 $X$ 表示 $A$ 事件首次出现时已经试验的次数，则 $X$ 的取值为 $1,2,\cdots$ ，对应的分布律为：

$P(X=k)=p(1-p)^{k-1},0<p<1,k=1,2,\cdots$

则称随机变量 $X$ 服从参数为 $p$ 的几何分布，记为 $X\sim Ge(p)$

负二项分布

在伯努利试验中，记每次试验中 $A$ 事件的概率 $P(A)=p(0<p<1)$，设随机变量 $X$ 表示 $A$ 事件第 $r$ 次出现时已经试验的次数，则 $X$ 的取值为 $r,r+1,\cdots,r+n,\cdots$，对应的分布律为：

$P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},0<p<1,k=r,r+1,\cdots,r+n,\cdots$

则称随机变量 $X$ 服从参数 $r,p$ 的负二项分布，记为 $X\sim NB(r,p)$，当 $r=1$ 时，就是几何分布

这个式子可以理解为，前 $r-1$ 次，出现了 $k-1$ 次事件 $A$，最后一次是事件 $A$，乘上概率

连续性随机变量

均匀分布

设 $X$ 为随机变量，对任意两个实数 $a,b(a<b)$，概率密度函数为：

$f(x)=\begin{cases} \frac{1}{b-a},\ a<x<b \\ 0,\ others \end{cases}$

指数分布

设 $X$ 为随机变量，概率密度函数为：

$f(x)=\begin{cases} \lambda e^{-\lambda x}， x\ge 0,\\ 0,\ x<0, \end{cases} \ \lambda >0$

则称随机变量 $X$ 服从参数为 $\lambda$ 的指数分布，记为 $X\sim E(\lambda)$

相对应的分布函数为：

$F(x)=\begin{cases} 0, x<0\\ 1-e^{-\lambda x}，x\ge 0 \end{cases}$

指数分布同几何分布相似, 也具有无记忆性

正态分布

设 $X$ 为随机变量，概率密度函数为：

$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}，-\infty<0<+\infty$

则称随机变量 $X$ 服从参数为 $\mu$ 和 $\sigma^2$ 的正态分布，记为 $X\sim N(\mu, \sigma^2)$

相应的分布函数为

$F(x)=\int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2} {2\sigma^2}} d t$

• 正态分布是一个倒钟形曲线，左右两边关于 $x=\mu$ 对称
• 当 $x=\mu$ 时，$f(x)$ 取得最大值 $\frac{1}{\sqrt{2\pi}\sigma}$ 这个值随着 $\sigma$ 增大而减小
• 固定 $\sigma$，改变 $\mu$ 曲线沿着 $x$ 平移，但不改变形状，所以 $\mu$ 又被称为位置参数
• 固定 $\mu$，改变 $\sigma$ 的值，曲线的位置不变，随着 $\sigma$ 越小，曲线越陡峭，参数 $\sigma$ 又被称为尺度参数

特别的，当 $\mu =0,\sigma=1$ 时，对应的正态分布被称为标准正态分布，记为 $X\sim N(0,1)$ 概率密度函数和分布函数为：

$f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$

$F(x)=\int_{-\infty}^{x} f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} dt$

一般来说，对于标准正态分布可以通过查表得到值。

当 $x\ge0$ 时，标准正态分布函数 $\Phi(x)$，利用正态分布的概率密度函数 $\varphi(x)$ 是偶函数的性质得：$\Phi(x)=1-\Phi(-x)$

对于任意的两个实数 $a,b(a<b)$ 可得

$P(a<X\le b)=\Phi(b)-\Phi(a)$

若随机变量 $X\sim N(\mu,\sigma^2)$，则 $\frac{X-\mu}{\sigma}\sim N(0,1)$，所以，对任意两个实数 $a,b(a<b)$，有：

$P(a<X\le b)=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})$

随机变量的分布

离散型随机变量的分布

设离散型随机变量 $X$ 的分布律为

则 $Y=g(x)$ 的分布律为

其中，$g(x_i)$ 相同的那些值的概率应该合并相加

连续性随机变量的分布

设连续性随机变量 $X$ 的概率密度函数为 $f(x)$，如何求解 $Y=g(X)$ 的分布

一种方法是分布函数法

e.g. 设连续性随机变量 $X$ 服从区间 $(1,3)$ 之间的均匀分布，求随机变量 $Y=X^2$ 的分布

先求出 $Y$ 的分布函数 $F_Y(y)$，然后求导得到 $Y$ 的概率密度函数

$f(x)=\begin{cases} \frac{1}{2},& 1<x<3 \\ 0,& others \end{cases}$

$Y$ 的分布函数为：$F_Y(y)=P(Y\le y)=P(X^2\le y)$

• 当 $y<1$ 时，$P(X^2\le y)=0$
• 当 $1\le y <9$ 时，$P(X^2\le y)=P(\sqrt{y}\le X\le \sqrt{y})=\int_{1}^{\sqrt{y}}\frac{1}{2}dx$
• 当 $y\ge 9$ 时，$P(X^2\le y)=1$

综上得

$F_Y(y)=\begin{cases} 0, & y<1 \\ \frac{\sqrt{y}-1}{2}, & 1 \le y \le 9\\ 1, & y \ge 9 \end{cases}$

对 $F_Y(y)$ 求导，可得 $Y$ 的密度函数为

$f_Y(y)=F'_Y(y)=\begin{cases} \frac{1}{4\sqrt{y}}, & 1<y<9\\ 0, & \text{others} \end{cases}$

另外一种方法是 公式法：

设连续型随机变量 $X$ 的密度函数为 $f_X(x)$，$Y=g(x)$ 是连续型随机变量，若 $y=g(x)$ 为严格单调函数，$x=g^{-1}(y)$ 为相应的反函数，且为可导函数，则 $Y=g(x)$ 的密度函数为

$f_Y(y)=f_X(g^{-1}(y))\cdot|g^{-1}(y)'|$

多维随机变量及其分布

多维随机变量及其联合分布

定义 设有随机试验 $E$，其样本空间为 $\Omega$，若 $\Omega$ 中的每一个样本点 $\omega$ 都有一对实数 $(X(\omega),Y(\omega))$ 与其对应，则称 $(X,Y)$ 为二位随机变量

联合分布函数

可以理解为前缀和

定义 设 $(X,Y)$ 为二维随机变量，对任意的 $(x,y)\in R^2$，称

$F(x,y)=P(X\le x, Y\le y)$

为随机变量 $(X,Y)$ 的联合分布函数

二维连续性随机变量以其联合密度函数

定义 设二位变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，如果存在一个二元非负实值函数 $f(x,y)$，使得对于任意 $(x,y)\in R^2$ 有

$F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^y f(u,v)\mathrm{d}u\mathrm{d}v$

成立，则称 $(X,Y)$ 为二维连续性随机变量，$f(x,y)$ 为二维连续性随机变量 $(X,Y)$ 的联合密度函数

几何意义就是左前侧阴影部分的体积

常用的多维随机变量

二维均匀分布

定义 设二维随机变量 $(X,Y)$ 的联合密度函数为

$f(x,y)=\begin{cases} \frac{1}{S_G}, & (x,y)\in G \\ 0, & \text{others} \end{cases}$

其中 $G$ 是 $xoy$ 平面上的某个区域，$S_G$ 为 $G$ 的面积，则称 $(X,Y)$ 服从区域 $G$ 上的二维均匀分布

二维正态分布

定义 如果 $(X,Y)$ 的联合密度函数为

$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\cdot\exp\{{-\frac{1}{2(1-p^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(x-\mu2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]}\}$

则称 $(X,Y)$ 服从二维正态分布，记为 $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2.\rho)$

边缘分布

如果知道二维随机变量 $(X,Y)$ 的联合分布，那么其中一个变量的分布肯定也能知道

边缘分布函数

定义 设二维随机变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，称 $F_X(x)=P(X\le x)=P(X\le x,Y\le +\infty)=F(x,\infty)$ 为随机变量 $X$ 的边缘分布函数，随机变量 $Y$ 的边缘分布函数同理