概率论与数理统计笔记

随机变量

离散型随机变量

先来看一个启发性的例子，我们把一个均匀的硬币投掷了三次，设投出正面为 $H$，反面为 $T$，能很轻松得得到结果空间：

$\Omega = \{TTT,TTH,THT,HTT,THH,HTH,HHT,HHH\}$

$\Omega$ 中的每个元素的概率都是 $\frac{1}{8}$，于是我们得到了结果空间和概率函数

如果现在我们提出一个问题：对于一个抛掷序列，我们能否得到一个抛掷序列，求出它正面出现的次数

这可以用一个函数来表示，我们定义一个从 $\Omega$ 到实数集 $\R$ 的函数 $X$，其中 $X(w)$ 等于 $w\in \Omega$ 中正面出现的次数，例如：$X(HHT)=2$，$X(TTT)=0$

同理，我们也可以定义反面出现的次数 $Y(w)$ ，一个比较显然的结论就是 $X(w)+Y(w)=3$ 因为我们一共抛掷了 $3$ 次

我们可以同时定义三个简单函数来构造 $X$，定义 $X_i$，表示如果第 $i$ 次掷出的正面，那么 $X_i(w)=1$，否则为 $0$，例如 $X_1(HHT)=1,X_2(HHT)=1,X_3(HHT)=0$，于是可以得出等式

$X(w)=X_1(w)+X_2(w)+X_3(w)$

这个例子体现了我们可以用较简单的函数来构造复杂的函数，接下来给出随机变量的定义

定义

离散型随机变量 $X$ 是定义在一个离散的结果空间 $\Omega$ 上的实质函数，具体地说，我们为每个元素 $w\in \Omega$ 指定了一个实数 $X(w)$

（这里的离散型也叫概率密度函数，在中国也叫分布律）

我们通过一个函数 $X$ 把结果空间上的值映射到了实数域上，一个很自然的问题就是求 $P(X=x)$，随机变量的值恰好是 $x$ 的概率是多少

在上面的例子中，由于都是等概率的，所以我们只需要数出 $X=x$ 出现了几次，除以 $8$ 就是概率，可以得到

$\begin{aligned} P(X=0)=\frac{1}{8}\\ P(X=1)=\frac{3}{8}\\ P(X=2)=\frac{3}{8}\\ P(X=3)=\frac{1}{8} \end{aligned}$

除了这四个值，其他地方的概率都是 $0$，于是我们引出了 概率密度函数（probability density function, PDF）的定义

定义

设 $X$ 是一个随机变量，它定义在离散结果空间 $\Omega$ 上，那么 $X$ 的概率密度函数就是 $X$ 取某个特定值的概率：

$f_X(x)=P(\omega\in \Omega:\ X(\omega)=x)$

另外一个重要的概念是 累积分布函数（cumulative distribution function, CDF），虽然这个在概念对连续型随机变量更有用, 但它在离散型随机变量方面仍有些用途

定义

设 $X$ 是一个随机变量，它定义在离散结果空间 $\Omega$ 上，那么 $X$ 的累积分布函数就是 $X$ 不超过特定值的概率：

$F_X(x)=P(\omega\in \Omega:\ X(\omega)\le x)$

连续型随机变量

和离散型随机变量相似，我们尝试在结果空间里面定义一个随机变量，但实际上这比结果空间 是有限的或可数的情况要更困难一些

一个概率空间由三部分组成：结果空间 $\Omega$ ，概率函数 $P$，以及 $P$ 有定义的子集构成的 $\sigma$ 代数，（$P$ 在其他子集上无定义）

定义

设 $X$ 是一个随机变量，如果存在一个实值函数 $f_X$ 满足：

• $f_X$ 是一个连续分段函数
• $f_X(x)\ge 0$
• $\int_{-\infty}^{+\infty}f_X(t)\text{d}t=1$

那么 $X$ 是一个连续性随机变量，$f_X$ 是 $X$ 的概率密度函数

$X$ 的累计分布函数 $F_X(x)$ 就是 $X$ 不大于 $x$ 的概率：

$F_x=P(X\le x)=\int_{-\infty}^x f_X(t)\text{d}t$

下面来看一个例子，尝试验证它是否满足连续性随机变量的三个条件：分段连续、非负性，积分为 $1$

$f_{X}(x)=\left\{\begin{array}{ll} 2+3 x-5 x^{2} & \text { 若 } 0 \leqslant x \leqslant 1 \\ 0 & \text { 其他; } \end{array}\right.$

分段连续：这个函数显然是分段连续的

非负性：

$f_X(x)=2+3x-5x^2=(1-x)(2+5x)$

由于 $0\le x \le 1$ ，$(1-x)\ge 0,(2+5x)\ge 0\Rightarrow (1-x)(2+5x)\ge 0$

积分：

$\begin{aligned} \int_{-\infty}^{\infty} f_{X}(x) \mathrm{d} x & = \int_{0}^{1}\left(2+3 x-5 x^{2}\right) \\ & = \left.2 x\right|_{0} ^{1}+\left.\frac{3 x^{2}}{2}\right|_{0} ^{1}-\left.\frac{5 x^{3}}{3}\right|_{0} ^{1} \\ & = 2+\frac{3}{2}-\frac{5}{3} \\ &= \frac{11}{6} \end{aligned}$

可以看出积分不为 $1$，所以 $f_X(x)$ 不是一个概率密度函数

很容易想到用一个常数对他进行缩放，使它积分值为 $1$

$g_X(x)=\frac{6}{11}f_X(x)$

那么 $g_X(x)$ 的就是一个概率密度函数

常见分布

柏松分布

定义

设随机变量 $X$ 的取值为 $0,1,2,\cdots,n,\cdots$ 对应的分布律是：

$P(X=k)=\frac{\lambda ^k}{k!}e^{-\lambda},\lambda >0,k=0,1,2,\cdots.n,\cdots$

则称随机变量 $X$ 服从参数为 $\lambda$ 的柏松分布，记为 $X\sim P(\lambda)$

泊松分布还有一个非常有用的性质，即它可以作为二项分布的一种近似，在二项分布计算中，当 ｎ 较大时计算结果非常不理想，如果 $p$ 比较小，而 $np=\lambda$ 适中时，我们常用柏松分布的概率值近似取代二项分布的概率值，因为柏松分布要好算很多

柏松定理

当 $n\rightarrow + \infty$，有 $np\to \lambda(>0)$ ，则

$\lim_{x \to \infty} \binom{n}{k} p^k(1-p)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda}$

超几何分布

定义

设有 $N$ 件产品，其中 $M$ 件是不合格品，若从中不放回地抽取 $n(n\le N)$ 件，设其中含有的不合格品的件数为 $X$，则 $X$ 的分布律为：

$P(X=k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}},k=\max(0,n+M-N),\cdots,\min(n,M)$

则称 $X$ 服从参数为 $N,M$ 和 $n$ 的超几何分布，记为 $X\sim H(N,M,n)$

若将不放回改为有放回，那就变成 $n$ 重伯努利试验了，就是二项分布，当 $n$ 非常大时，有放回和不放回的分布相差很小，所以可以证明：当 $p=\frac{M}{N}$

$\lim_{N\to \infty}\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}=\binom{n}{k}p^k(1-p)^{n-k}$

几何分布

在伯努利试验中，记每次试验中 $A$ 事件发生的概率 $P(A)=p(0<p<1)$

定义

设随机变量 $X$ 表示 $A$ 事件首次出现时已经试验的次数，则 $X$ 的取值为 $1,2,\cdots$ ，对应的分布律为：

$P(X=k)=p(1-p)^{k-1},0<p<1,k=1,2,\cdots$

则称随机变量 $X$ 服从参数为 $p$ 的几何分布，记为 $X\sim Ge(p)$

负二项分布

定义

在伯努利试验中，记每次试验中 $A$ 事件的概率 $P(A)=p(0<p<1)$，设随机变量 $X$ 表示 $A$ 事件第 $r$ 次出现时已经试验的次数，则 $X$ 的取值为 $r,r+1,\cdots,r+n,\cdots$，对应的分布律为：

$P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},0<p<1,k=r,r+1,\cdots,r+n,\cdots$

则称随机变量 $X$ 服从参数 $r,p$ 的负二项分布，记为 $X\sim NB(r,p)$，当 $r=1$ 时，就是几何分布

这个式子可以理解为，前 $r-1$ 次，出现了 $k-1$ 次事件 $A$，最后一次是事件 $A$，乘上概率

均匀分布

定义

设 $X$ 为随机变量，对任意两个实数 $a,b(a<b)$，概率密度函数为：

$f(x)=\begin{cases} \frac{1}{b-a},\ a<x<b \\ 0,\ others \end{cases}$

指数分布

定义

设 $X$ 为随机变量，概率密度函数为：

$f(x)=\begin{cases} \lambda e^{-\lambda x}， x\ge 0,\\ 0,\ x<0, \end{cases} \ \lambda >0$

则称随机变量 $X$ 服从参数为 $\lambda$ 的指数分布，记为 $X\sim E(\lambda)$

相对应的分布函数为：

$F(x)=\begin{cases} 0, x<0\\ 1-e^{-\lambda x}，x\ge 0 \end{cases}$

指数分布同几何分布相似, 也具有无记忆性

正态分布

定义

设 $X$ 为随机变量，概率密度函数为：

$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}，-\infty<0<+\infty$

则称随机变量 $X$ 服从参数为 $\mu$ 和 $\sigma^2$ 的正态分布，记为 $X\sim N(\mu, \sigma^2)$

相应的分布函数为

$F(x)=\int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2} {2\sigma^2}} d t$

• 正态分布是一个倒钟形曲线，左右两边关于 $x=\mu$ 对称
• 当 $x=\mu$ 时，$f(x)$ 取得最大值 $\frac{1}{\sqrt{2\pi}\sigma}$ 这个值随着 $\sigma$ 增大而减小
• 固定 $\sigma$，改变 $\mu$ 曲线沿着 $x$ 平移，但不改变形状，所以 $\mu$ 又被称为位置参数
• 固定 $\mu$，改变 $\sigma$ 的值，曲线的位置不变，随着 $\sigma$ 越小，曲线越陡峭，参数 $\sigma$ 又被称为尺度参数

特别的，当 $\mu =0,\sigma=1$ 时，对应的正态分布被称为标准正态分布，记为 $X\sim N(0,1)$ 概率密度函数和分布函数为：

$f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$

$F(x)=\int_{-\infty}^{x} f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} dt$

一般来说，对于标准正态分布可以通过查表得到值。

当 $x\ge0$ 时，标准正态分布函数 $\Phi(x)$，利用正态分布的概率密度函数 $\varphi(x)$ 是偶函数的性质得：$\Phi(x)=1-\Phi(-x)$

对于任意的两个实数 $a,b(a<b)$ 可得

$P(a<X\le b)=\Phi(b)-\Phi(a)$

若随机变量 $X\sim N(\mu,\sigma^2)$，则 $\frac{X-\mu}{\sigma}\sim N(0,1)$，所以，对任意两个实数 $a,b(a<b)$，有：

$P(a<X\le b)=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})$

卷积和变量替换

如果我们想要把随机变量之间进行运算，例如我们想把 $X$ 和 $Y$ 的概率密度函数过渡到 $X+Y$ 的密度并不容易

如果我们有两个随机变量 $X$ 和另外一个随机变量 $Y$，我们想知道 $Z=X+Y$ 的概率密度是多少，给出 $X$ 和 $Y$ 的概率密度函数

$\begin{aligned} f_{X}(x) & = \left\{\begin{array}{ll} 1 & \text { 若 }-1 / 2 \leqslant x \leqslant 1 / 2 \\ 0 & \text { 其他 } \end{array}\right. \\ f_{Y}(y) & = \left\{\begin{array}{ll} 1 & \text { 若 }-1 / 2 \leqslant y \leqslant 1 / 2 \\ 0 & \text { 其他. } \end{array}\right. \end{aligned}$

如果我们有 $Y=-X$，那么 $Z=X+Y$ 就始终为 $0$，如果 $Y=X$ 那么 $Z=X+Y=2X$

$f_{2 X}(z)=\left\{\begin{array}{ll} 1 / 2 & \text { 若 }-1 \leqslant z \leqslant 1 \\ 0 & \text { 其他. } \end{array}\right.$

于是可以得出一个启示：只知道 $f_X$ 和 $f_Y$ 是不足以确定 $f_{X+Y}$ 的，但如果 $X$ 和 $Y$ 是独立的，那么就可以得出来

定义

设 $X$ 和 $Y$ 是定义在 $\R$ 上的两个 相互独立 的连续性随机变量，它们的概率密度函数分别是 $f_X$ 和 $f_Y$，$X$ 和 $Y$ 的卷积记作 $f_{X}*f_Y$，表达式为

$\left(f_{X} * f_{Y}\right)(z)=\int_{-\infty}^{\infty} f_{X}(t) f_{Y}(z-t) \mathrm{d} t$

如果 $X$ 和 $Y$ 都是离散型随机变量，那么

$\left(f_{X} * f_{Y}\right)(z)=\sum f_{X}\left(x_{n}\right) f_{Y}\left(z-x_{n}\right)$

通过卷积，就可以求得 $Z=X+Y$ 的 PDF

定理

设 $X$ 和 $Y$ 是定义在 $\R$ 上的两个相互独立的随机变量，它们的概率密度函数分别是 $f_X$ 和 $f_Y$ 如果 $Z=X+Y$，那么

$f_Z(z)=(f_X * f_Y)(z)$

另外卷积是可以交换的，也就是说：$f_X * f_Y=f_Y * f_X$

证明 这里给出连续性的证明

我们的思路是通过求累积分布函数来求出概率密度函数，有

$F_Z(z)=P(Z\le z)$

不妨设 $X$ 的值是 $t$，我们要求 $Z=X+Y\le z\Rightarrow Y\le z-t$ 也就是 $F_Y(z-t)=P(Y\le z-t)$

让 $t$ 取遍 $X$ 的所有可能值，有

$F_{Z}(z)=\int_{t=-\infty}^{\infty} f_{X}(t) F_{Y}(z-t) \mathrm{d} t$

然后对累积分布函数求导得到概率密度函数

$\begin{aligned} f_{Z}(z) & = \frac{\mathrm{d}}{\mathrm{~d} z} \int_{t = -\infty}^{\infty} f_{X}(t) F_{Y}(z-t) \mathrm{d} t \\& = \int_{t = -\infty}^{\infty} \frac{\mathrm{d}}{\mathrm{~d} z}\left[f_{X}(t) F_{Y}(z-t)\right] \mathrm{d} t \\ & = \int_{t = -\infty}^{\infty} f_{X}(t) \frac{\mathrm{d}}{\mathrm{~d} z} F_{Y}(z-t) \mathrm{d} t \\ & = \int_{t = -\infty}^{\infty} f_{X}(t) f_{Y}(z-t) \mathrm{d} t \\ & = \left(f_{X} * f_{Y}\right)(z) \end{aligned}$

观察一些卷积的例子

例题

抛掷两颗均匀的骰子，假设两颗骰子掷出的结果是相对独立的，让 $X$ 表示第一颗骰子掷出的数字，$Y$ 表示第二颗骰子掷出的数字，有：

$f_{X}(k)=f_{Y}(k)=\left\{\begin{array}{ll} 1 / 6 & \text { 若 } k \in\{1,2,3,4,5,6\} \\ 0 & \text { 其他. } \end{array}\right.$

求 $X+Y$ 的概率密度函数

根据卷积的定义可知，$Z=X+Y$，那么

$f_Z(z)=(f_X*f_Y)(z)=\sum f_X(k)f_Y(z-k)$

考虑范围

$k \in\{1, \cdots, 6\} \quad \text { 且 } z-k \in\{1, \cdots, 6\} \text {. }$

我们可以把 $z$ 在这里看出常数，所以 $k$ 的有效取之范围是

$\{z-6, z-5, z-4, z-3, z-2, z-1\} \cap\{1,2,3,4,5,6\}$

例如，当 $z=8$，那么 $k$ 当值可能的取值是 $2,3,4,5,6$

$f_{Z}(8)=\sum_{k=2}^{6} f_{X}(k) f_{Y}(8-k)=\sum_{k=2}^{6} \frac{1}{6} \cdot \frac{1}{6}=\frac{5}{36} .$

所以得到答案

$f_{Z}(k) = \left\{\begin{array}{ll} \sum_{k = 1}^{z-1} \frac{1}{36} = \frac{z-1}{36} & \text { 若 } z \in\{2, \cdots, 7\} \\ \sum_{k = z-6}^{6} \frac{1}{36} = \frac{13-z}{36} & \text { 若 } z \in\{7, \cdots, 12\} \\ 0 & \text { 其他. } \end{array}\right.$

现在考虑多变量的卷积，能不能求出 $f_{X_1+\cdots+X_n}$？

定理

设 $X_1,X_2,\cdots,X_n$ 是相互独立的随机变量，他们的概率密度函数分别是 $f_{X_1},\cdots,f_{X_n}$，那么有

$f_{X_{1}+\cdots+X_{n}}(z)=\left(f_{X_{1}} * f_{X_{2}} * \cdots * f_{X_{n}}\right)(z)$

其中

$\left(f_{1} * f_{2} * \cdots * f_{n}\right)(z)=\left(f_{1} *\left(f_{2} * \cdots *\left(f_{n-2} *\left(f_{n-1} * f_{n}\right)\right) \cdots\right)\right)(z)$

我们已经证明了卷积是可交换的，也就是说 $f*g=g*f$，另外卷积是满足结合律的：$(f*g)*h=f*(g*h)$

需要注意，卷积需要用两个函数作为输入，并返回一个函数作为输出，对于 $f*g*h$ 就需要小心了，我们不能直接对三个函数求卷积，我们需要说明是：$(f*g)*h$ 或者是 $f*(g*h)$ ，幸运是的，由于结合律，这两个值相同，但是仍要说明运算顺序

下面来看一下上面那个定义的证明

证明：我们只考虑 $n=3$ 的情况，一般情况下可以类似得证明

我们假设 $Z=X_1+X_2+X_3=(X_1+X_2)+X_3$，由于 $X_3$ 分别和 $X_1,X_2$ 独立，所以 $X_3$ 和 $X_1+X_2$ 独立，于是有

$f_{Z}(z)=\left(f_{X_{1}+X_{2}} * f_{X_{3}}\right)(z)=((f_{X_1}*f_{X_2})*f_{X_3})(z)$

当然 $Z$ 可以写成 $Z=X_1+(X_2+X_3)$，得到

$f_{Z}(z)=\left(f_{X_{1}} * f_{X_{2}+X_{3}}\right)(z)=(f_{X_1}*(f_{X_2}*f_{X_3}))(z)$

这里还是利用了加法的交换律来证明结合律

变量替换公式

假设有一个连续性随机变量 $X$，它的概率密度函数是 $f_X$，如果 $g$ 是一个合适的函数，那么我们能求出 $Y=g(X)$ 的概率密度函数

定理

设 $X$ 是一个概率密度函数为 $f_X$ 的连续性随机变量，并存在一个区间 $I\subset \R$ 使得当 $x\notin I$ 时，$f_X(x)=0$

设 $g: I\rightarrow \R$ 是一个可微函数，其反函数是 $h$，除了在有限多个点的导数值可能为 $0$ 外，$g$ 的导数在 $I$ 中始终为正或始终为负，如果 $Y=g(X)$，那么

$f_{Y}(y)=f_{X}(h(y)) \cdot\left|h^{\prime}(y)\right|$

来再解释一下这个定理

• $I\subset \R$ 使得当 $x\notin I$ 时，$f_X(x)=0$ 其实是在缩小研究范围，当 $X$ 在 $I$ 中取值的时候，概率函数不为 $0$，我们需要的函数只需要在研究范围 $I$ 内有良好的性质，不需要在 $\R$ 上有良好的性质
• 其次要满足 $g$ 是可微的，例如 $I=[-1,1],g(X)=|X|$ 就不行，但是如果把 $I=[2,3]$ 就满足条件了
• 最后要求除了在个别点能为 $0$ 外，$g$ 的导数值要么始终为正，要么始终为负，就是说明要么单增，要么单减

回顾一下反函数，如果 $h$ 是 $g$ 的反函数，满足：$h(g(x))=x$，且 $g(h(y))=y$，后面那个式子对 $y$ 求微分可以得到

$g'(h(y))\cdot h'(y)=1\Rightarrow h'(y)=\frac{1}{g'(h(y))}$

也就是说我们需要求 $g$ 的导数然后把 $h(y)$ 带入就好了

例题

设 $X$ 的概率密度函数是：

$f_{X}(x)=\left\{\begin{array}{ll} 1 / 2 & \text { 若 } 0 \leqslant x \leqslant 2 \\ 0 & \text { 其他 }, \end{array}\right.$

并设

$g(X)=X^2$

1. 区间 $I=[0,2]$
2. 除了 $0$ 点以外，$g$ 单增
3. $h(y)=\sqrt{y}$，$h'(y)=\frac{1}{2}y^{-\frac{1}{2}}$

套用公式 $f_{Y}(y)=f_{X}(h(y)) \cdot\left|h^{\prime}(y)\right|$ 得到

$f_{Y}(y)=\left\{\begin{array}{ll} \frac{1}{4 \sqrt{y}} & \text { 若 } 0 \leqslant y \leqslant 4 \\ 0 & \text { 其他. } \end{array}\right.$

检验一下，显然这个函数是非负的，查看积分是否为 $1$

$\int_{0}^{4} f_{Y}(y) \mathrm{d} y=\int_{0}^{4} \frac{\mathrm{~d} y}{4 \sqrt{y}}=\left.\frac{\sqrt{y}}{2}\right|_{0} ^{4}=1$

考虑证明变量替换公式

证明 思路还是先求累积分布函数，然后对累积分布函数求导得到概率密度函数

情形一： 假设 $g'$ 是正的，所以 $I$ 被映射成 $[g(a),g(b)]$ 那么，由 $g(a)\le g(X)\le y$ 等价于 $a\le g^{-1}(g(X))\le g^{-1}(y)$ 可知

$\begin{aligned} F_{Y}(y) & =\operatorname{P}(Y \leqslant y) \\ & =\operatorname{P}(g(a) \leqslant Y \leqslant y) \\ & =\operatorname{P}(g(a) \leqslant g(X) \leqslant y) \\ & =\operatorname{P}\left(a \leqslant X \leqslant g^{-1}(y)\right), \end{aligned}$

于是，有

$F_Y(y)=P(a\leq X\leq h(y))=F_X(h(y))$

使用链式法则对 $F_Y$ 求导

$f_{Y}(y)=F_{X}^{\prime}(h(y)) \cdot h^{\prime}(y)=f_{X}(h(y)) \cdot h^{\prime}(y)$

情形二： 假设 $g'$ 是负的，所以 $I$ 被映射成 $[g(b),g(a)]$，此时，$Y\le y$ 变成了 $g(b)\le Y\le y$，有

$\begin{aligned} F_{Y}(y) & =\operatorname{P}(Y \leqslant y) \\ & =\operatorname{P}(g(b) \leqslant Y \leqslant y) \\ & =\operatorname{P}(g(b) \leqslant g(X) \leqslant y) \\ & =\operatorname{P}\left(g^{-1}(y) \leqslant X \leqslant b\right), \end{aligned}$

设 $h(x)=g^{-1}(y)$，得到

$\begin{aligned} F_{Y}(y) & =\operatorname{P}(h(y) \leqslant X \leqslant b) \\ & =\operatorname{P}(a \leqslant X \leqslant b)-\operatorname{P}(a \leqslant X \leqslant h(y)) \\ & =1-F_{X}(h(y)) \quad \end{aligned}$

用链式法则对 $F_Y(y)$ 求导

$f_{Y}(y)=-F_{X}^{\prime}(h(y)) \cdot h^{\prime}(y)=-f_{X}(h(y)) \cdot h^{\prime}(y) ;$

这里 $g'$ 是负的，所以 $h'$ 也是负的

所以结合情况一，能得到总的式子

$f_Y(y)=f_X(h(y))\cdot |h'(y)|$

证毕

这样一个通用的累积函数的方法也可以作为求变量替换的通法

微分恒等式

假设我们需要求：

$\frac{1}{2}+\frac{2}{4}+\frac{3}{8}+\cdots+=\sum_{n=0}^{\infty}\frac{n}{2^n}$

的值

我们发现这个和几何级数很像，但不完全相同，一个的分子是 $n$ 一个分子是 $1$

我们有几何级数的公式，我们可以对等式两端进行一些运算，从而得出新的恒等式

我们已知几何级数恒等式

$1+\frac{1}{2}+\frac{1}{4}+\frac{1}{8}+\frac{1}{16}+\cdots+=\sum_{n=0}^{\infty} \frac{1}{2^{n}}=\frac{1}{1-1 / 2}=2$

我们再抽象一层，把这个 $1/2$ 换成 $x$ ，考虑更一般的情形，也就是要求 $\sum\limits_{n=0}^{\infty} n\cdot x^n$

我们有几何恒等式

$\sum_{n=0}^{\infty} x^{n}=\frac{1}{1-x}$

在两边乘上 $\frac{\text{d}}{\text{d}x}$，得到

$\begin{aligned} \frac{\mathrm{d}}{\mathrm{~d} x} \sum_{n=0}^{\infty} x^{n} & =\frac{\mathrm{d}}{\mathrm{~d} x} \frac{1}{1-x} \\ \sum_{n=0}^{\infty} \frac{\mathrm{d}}{\mathrm{~d} x} x^{n} & =\frac{1}{(1-x)^{2}} \\ \sum_{n=0}^{\infty} n x^{n-1} & =\frac{1}{(1-x)^{2}} \end{aligned}$

想要得到 $\sum\limits_{n=0}^{\infty} n\cdot x^n$，只需要在等式两边乘 $x$ 得到

$\sum_{n=0}^{\infty}nx^n=\frac{x}{(1-x)^2}$

带入 $x=1/2$ 可以得到和就是 $2$

然后思考另外一个问题，如何求

$\sum_{n=0}^{\infty} \frac{n^2}{2^n}$

还是从几何级数开始，两边乘上 $x\frac{\text{d}}{\text{d}x}$，得到

$\sum\limits_{n=0}^{\infty} nx^n=\frac{x}{(1-x)^2}$

然后再在两边乘上 $x\frac{\text{d}}{\text{d}x}$，得到

$\sum_{n=0}^{\infty}n^2x^n=\frac{x(1+x)}{(1-x)^3}$

下面给出定义：

定义：微分恒等式法

设 $\alpha,\beta,\gamma,\cdots, \omega $ 是一些参数，设

$\sum_{n=n_{\min }}^{n_{\max }} f(n ; \alpha, \beta, \cdots, \omega)=g(\alpha, \beta, \cdots, \omega)$

其中，$f$ 和 $g$ 都是 $\alpha$ 的可微函数，如果 $f$ 退化到求和与微分次序可以交换，那么

$\sum_{n=n_{\min }}^{n_{\max }} \frac{\partial f(n ; \alpha, \beta, \cdots, \omega)}{\partial \alpha}=\frac{\partial g(\alpha, \beta, \cdots, \omega)}{\partial \alpha} .$

使用微分恒等式能给我们更多解题思路

来看一下微分恒等式在二项分布随机变量上的应用，有二项分布

$\operatorname{Prob}(X=k)=\left\{\begin{array}{ll} \binom{n}{k} p^{k}(1-p)^{n-k} & \text { 若 } k \in\{0,1, \cdots, n\} \\ 0 & \text { 其他. } \end{array}\right.$

我们设 $q=1-p$ ，于是二项分布就变成

$(p+q)^{n}=\sum_{k=0}^{n}\binom{n}{k} p^{k} q^{n-k}$

这里我们把 $q,p$ 看称相互独立的变量，以为如果把 $q=1-p$ 限定死的话，和就恒为 $1$，他的导数就是 $0$，没有研究的意义了

假设现在我们需要求

$\mathbb{E}[X]=\sum_{k=0}^{n} k \cdot\binom{n}{k} p^{k}(1-p)^{n-k}$

我们在等式两端乘上 $p\frac{\partial}{\partial p}$ 得到

$\begin{aligned} p \frac{\partial}{\partial p}\left(\sum_{k=0}^{n}\binom{n}{k} p^{k} q^{n-k}\right) & =p \frac{\partial}{\partial p}(p+q)^{n} \\ p \sum_{k=0}^{n}\binom{n}{k} k p^{k-1} q^{n-k} & =p \cdot n(p+q)^{n-1} \\ \sum_{k=0}^{n} k\binom{n}{k} p^{k} q^{n-k} & =n p(p+q)^{n-1} \end{aligned}$

现在回代 $q=1-p$，得到

$\sum_{k=0}^{n} k\binom{n}{k} p^{k}(1-p)^{n}=n p$

现在我们需要计算方差

$\operatorname{Var}(X)=\mathbb{E}\left[X^{2}\right]-\mathbb{E}[X]^{2}=\sum^{n} k^{2} \cdot\binom{n}{k} p^{k}(1-p)^{n-k}-(n p)^{2}$

后面一个均值我们已经得到了，现在需要得到 $\mathbb{E}[X^2]$ 的值

我们从二项展开那个等式开始

$\sum_{k=0}^{n}\binom{n}{k} p^{k} q^{n-k}=(p+q)^{n}$

在两边乘上 $p\frac{\partial}{\partial p}$ 得到

$\sum_{k=0}^{n} k\binom{n}{k} p^{k} q^{n-k} =n p(p+q)^{n-1}$

再次乘上 $p\frac{\partial}{\partial p}$ 得到

$\sum_{k=0}^{n} k^{2}\binom{n}{k} p^{k} q^{n-k}=p\left[1 \cdot n(p+q)^{n-1}+p \cdot n(n-1)(p+q)^{n-2}\right]$

另 $q=1-p$，上式就变成了

$\sum_{k=0}^{n} k^{2}\binom{n}{k} p^{k}(1-p)^{n-k}=n p+n(n-1) p^{2}=\mathbb{E}[X^2]$

于是我们能算出方差了

$\begin{aligned} \operatorname{Var}(X) & =\mathbb{E}\left[X^{2}\right]-\mathbb{E}[X]^{2} \\ & =\sum_{k=0}^{n} k^{2}\binom{n}{k} p^{k} q^{n-k}-(n p)^{2} \\ & =n p+n^{2} p^{2}-n p^{2}-n^{2} p^{2} \\ & =n p-n p^{2}=n p(1-p) . \end{aligned}$

现在再来观察一下在正态分布随机变量上的应用 / $X\sim N(\mu,\sigma^2)$ 表示 $X$ 服从均值为 $\mu$，方差为 $\sigma^2$ 的正态分布，概率密度函数是

$f_{X}(x)=\frac{1}{\sqrt{2 \pi \sigma^{2}}} \mathrm{e}^{-(x-\mu)^{2} / 2 \sigma^{2}}$

我们现在只考虑标准正态分布

$f(x)=\frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2}$

那么他的 $k$ 阶矩为

$M(k)=\int_{-\infty}^{\infty} x^{k} \cdot \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2} \mathrm{~d} x$

显然，当 $k$ 为奇数的时候，这是一个奇函数，积分为 $0$，我们必须要考虑 $k$ 为偶数的情况，处理方法至少有两种：直接积分和微分恒等式

直接积分

考虑方差，由于均值是 $0$，所以方差为

$\int_{-\infty}^{\infty} x^{2} \cdot \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2} \mathrm{~d} x$

令

$u=x, \quad \mathrm{~d} v=\frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2} x \mathrm{~d} x$

得到了，$\mathrm{d}u=\mathrm{d}x$ 和 $v=\frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2} \mathrm{~d} x$，于是有

$M(2)=\left.u v\right|_{-\infty} ^{\infty}+\int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2} \mathrm{~d} x=1 .$

于是我们证明了二阶矩为 $1$

微分恒等式法

我们从这个事实开始

$1=\int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^{2}}} \mathrm{e}^{-x^{2} / 2 \sigma^{2}} \mathrm{~d} x$

把 $\sigma$ 移动到另外一遍得到

$\sigma=\int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2 \sigma^{2}} \mathrm{~d} x$

我们把 $\sigma^3\frac{\mathrm{~d}}{\mathrm{~d\sigma}}$ 用于上式两端，为什么要乘上 $\sigma^3$ 因为微分会对 $-\frac{x^2}{2\sigma^2}$ 产生影响，从而产生 $\frac{1}{\sigma^3}$ 的因子，所以需要乘上 $\sigma^3$

$\sigma^{3} \frac{\mathrm{~d}}{\mathrm{~d} \sigma} \sigma=\sigma^{3} \frac{\mathrm{~d}}{\mathrm{~d} \sigma} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2 \sigma^{2}} \mathrm{~d} x$

$\sigma^{3} \cdot 1=\int_{-\infty}^{\infty} x^{2} \cdot \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2 \sigma^{2}} \mathrm{~d} x$

令

$I(k ; \sigma)=\int_{-\infty}^{\infty} x^{k} \cdot \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2 \sigma^{2}} \mathrm{~d} x$

这样我们就得出了

$\sigma^{3}=I(2 ; \sigma)$

此外，积分 $I(k ;\sigma)$ 与标准正态分布的矩 $M(k)$ 之间存在一种简单的关系：

$I(k,1)=M(k)$

这里可以看出 $I(k;\sigma)$ 是均值为 $0$ 且方差为 $\sigma^2$ 的正态分布的 $k$ 阶矩

我们证明了

$1\cdot \sigma^3=I(2;\sigma) \quad \text{和} \quad I(k;1)=M(k)$

我们在上面那个积分两端再乘上 $\sigma^3 \frac{\mathrm{d}}{\mathrm{d}\sigma}$ 得

$\sigma^{3} \cdot 3 \cdot 1 \sigma^{2}=\int_{-\infty}^{\infty} x^{2} \cdot x^{2} \frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-x^{2} / 2 \sigma^{2}} \mathrm{~d} x=I(4 ; \sigma)$

等价于

$3 \cdot 1 \cdot \sigma^{5}=I(4 ; \sigma)$

将 $\sigma^3 \frac{\mathrm{d}}{\mathrm{d}\sigma}$ 再次乘在式子两端，我们有

$\sigma^{3} \cdot 5 \cdot 3 \cdot 1 \sigma^{4}=5 \cdots 3 \cdots 1 \cdots \sigma^{7}=I(6 ; \sigma)$

令 $\sigma=1$ 可以得到标准正态分布的矩的公式

$\textstyle \prod\limits_{k=1}^{\frac{n}{2}-1}2k+1=M(n),\quad \text{n为偶数}$

多维随机变量

定义

设有随机试验 $E$，其样本空间为 $\Omega$，若 $\Omega$ 中的每一个样本点 $\omega$ 都有一对实数 $(X(\omega),Y(\omega))$ 与其对应，则称 $(X,Y)$ 为二维数组随机变量

联合分布函数

可以理解为前缀和

定义

设 $(X,Y)$ 为二维随机变量，对任意的 $(x,y)\in R^2$，称

$F(x,y)=P(X\le x, Y\le y)$

为随机变量 $(X,Y)$ 的联合分布函数

联合密度函数

定义

设二位变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，如果存在一个二元非负实值函数 $f(x,y)$，使得对于任意 $(x,y)\in R^2$ 有

$F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^y f(u,v)\mathrm{d}u\mathrm{d}v$

成立，则称 $(X,Y)$ 为二维连续性随机变量，$f(x,y)$ 为二维连续性随机变量 $(X,Y)$ 的联合密度函数

几何意义就是左前侧阴影部分的体积

常见分布

二维均匀分布

定义

设二维随机变量 $(X,Y)$ 的联合密度函数为

$f(x,y)=\begin{cases} \frac{1}{S_G}, & (x,y)\in G \\ 0, & \text{others} \end{cases}$

其中 $G$ 是 $xoy$ 平面上的某个区域，$S_G$ 为 $G$ 的面积，则称 $(X,Y)$ 服从区域 $G$ 上的二维均匀分布

二维正态分布

定义

如果 $(X,Y)$ 的联合密度函数为

$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\cdot\exp\{{-\frac{1}{2(1-p^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(x-\mu2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]}\}$

则称 $(X,Y)$ 服从二维正态分布，记为 $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2.\rho)$

边缘分布

如果知道二维随机变量 $(X,Y)$ 的联合分布，那么其中一个变量的分布肯定也能知道

边缘分布函数

定义

设二维随机变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，称

$F_X(x)=P(X\le x)=P(X\le x,Y\le +\infty)=F(x,\infty)$

为随机变量 $X$ 的边缘分布函数，随机变量 $Y$ 的边缘分布函数同理

离散型边缘分布律

求 $X$ 的边缘分布律即为求 $(X,Y)$ 联合分布律表格中的行和，$Y$ 的边缘分布律即为求 $(X,Y)$ 联合分布律表格中的列和

$X$ 的边缘分布律为

$Y$ 的边缘分布律为

连续性边缘密度函数

定义 设二维连续型随机变量 $(X,Y)$ 的联合密度函数 $f(x,y)$，则 $X$ 的边缘密度函数为 $$ f_X(x)=\int_{-\infty}^{+\infty}f(x,y)\text{d}y $$

$Y$ 的边缘密度函数类似

相互独立性

定义

设 $(X,Y)$ 为二维随机变量，若对任意的 $x,y\in R$，有：

$F(x,y)=F_X(x)F_Y(y)$

成立，则称随机变量 $X$ 与 $Y$ 相互独立

定理

设 $(X,Y)$ 为二维离散型随机变量，$X$ 和 $Y$ 相互独立的充分必要条件是，对任意的 $i,j=1,2,\cdots$，都有：

$p_{ij}=p_i\cdot p_j$

成立

条件分布

离散型条件分布律

定义

设二维随机变量 $(X,Y)$，其联合分布律为：

$P_{ij}=P\{X=x_i,Y=y_i\},\ i=1,2,\cdots$

关于 $Y$ 的边缘分布律为 $P\{Y=y_i\}=\sum\limits_{i=1}^{+\infty} p_{ij}=p_j,\ j=1,2,\cdots$，称

$P_{i|j}=P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}}=\frac{p_{ij}}{p_{\cdot j}},\ i=1,2,\cdots$

为在 $Y=y_j$ 的条件下随机变量 $X$ 的条件分布律

同理，关于 $X$ 的边缘分布律为 $P\{X=x_i\}=\sum\limits_{j=1}^{+\infty} p_{ij}=p_i\cdot,\ i=1,2,\cdots$，称

$P_{j|i}=P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{X=x_i\}}=\frac{p_{ij}}{p_{i\cdot}},\ j=1,2,\cdots$

为在 $X=x_i$ 的条件下随机变量 $Y$ 的条件分布律

连续性条件概率密度

先来看一个例子，二维随机变量 $(X,Y)$ 的概率密度为

$f(x,y)=\begin{cases} 3x, & 0 < x <1,0<y<x,\\ 0, & others \end{cases}$

求概率 $P\{Y\le \frac{1}{8}|X=\frac{1}{4}\}$

如果强行使用离散型的分析方法 $P\{Y\le \frac{1}{8}|X=\frac{1}{4}\}=\frac{P\{X=\frac{1}{4},Y\le \frac{1}{8}\}}{P\{X=\frac{1}{4}\}}$ 会发现 $P\{X=\frac{1}{4}\}=0$，除数不能为 $0$，肯定有问题

所以不能直接带入条件概率公式，需要先求得概率密度函数，然后通过概率密度函数求条件概率密度函数

定义

设二维连续性随机变量 $(X,Y)$ 的联合概率密度为 $f(x,y)$，其关于 $X,Y$ 的边缘概率密度分别为 $f_X(x)$ 和 $f_Y(y)$，则称

$f_{X|Y}=\frac{f(x,y)}{f_Y(y)}$

为给定 $Y$ 的条件下，$X$ 的概率密度函数

$F_{X|Y}=\int_{-\infty}^x\frac{f(u,y)}{f(y)}\text{d}u$

为给定 $Y$ 的条件下， $X$ 的概率分布函数

随机变量的数字特征

数学期望和矩

定义

设 $X$ 是定义在 $\mathbb{R}$ 上的随机变量，他的概率密度函数是 $f_X$，函数 $g(X)$ 的期望值是

$\mathbb{E}[g(X)]=\left\{\begin{array}{ll} \int_{-\infty}^{\infty} g(x) \cdot f_{X}(x) \mathrm{d} x & \text { 若 } X \text { 是连续的 } \\ \sum_{n} g\left(x_{n}\right) \cdot f_{X}\left(x_{n}\right) & \text { 若 } X \text { 是离散的. } \end{array}\right.$

最重要的情形是 $g(x)=x^r$，我们把 $\mathbb{E}[X^r]$ 称为 $X$ 的 $r$ 阶矩，把 $\mathbb{E}[(X-\mathbb{E}[X])^r]$ 称为 $X$ 的 $r$ 阶中心矩

只要能算出和或积分, 就可以求出期望值和矩

最重要的两个矩：

• 均值是一阶矩
• 方差是二阶中心矩

例题

$f_{X}(x) = \begin{cases} \frac{6}{11}\left(2+3 x-5 x^{2}\right) & \text { 若 } 0 \leqslant x \leqslant 1 \\ 0 & \text { 其他 } \end{cases}$

1. 求 $r$ 阶矩
2. $g(X)=e^X$ 的期望
3. $g(X)=1/X$ 的期望

1. 求 $r\ge 0$ 时候的 $r$ 阶矩，就是求 $\mathbb{E}[X^r]$

$\begin{aligned} \mathbb{E}\left[X^{r}\right] & =\int_{0}^{1} x^{r} \cdot \frac{6}{11}\left(2+3 x-5 x^{2}\right) \mathrm{d} x \\ & =\frac{6}{11} \int_{0}^{1}\left(2 x^{r}+3 x^{r+1}-5 x^{r+2}\right) \mathrm{d} x \\ & =\frac{6}{11}\left(\left.\frac{2 x^{r+1}}{r+1}\right|_{0} ^{1}+\left.\frac{3 x^{r+2}}{r+2}\right|_{0} ^{1}-\left.\frac{5 x^{r+3}}{r+3}\right|_{0} ^{1}\right) \\ & =\frac{6}{11} \frac{7 r+11}{(r+1)(r+2)(r+3)} \end{aligned}$

2. 求 $e^X$ 的期望，就是计算积分

$\begin{aligned} \mathbb{E}\left[\mathrm{e}^{X}\right] & =\int_{0}^{1} \mathrm{e}^{x} \cdot \frac{6}{11}\left(2+3 x-5 x^{2}\right) \mathrm{d} x \\ & =\frac{6}{11}\left(2 \int_{0}^{1} \mathrm{e}^{x} \mathrm{d} x+3 \int_{0}^{1} x \mathrm{e}^{x} \mathrm{~d} x-5 \int_{0}^{1} x^{2} \mathrm{e}^{x} \mathrm{~d} x\right) \end{aligned}$

这里有三个积分，我们需要一一处理

第一个积分就是：

$2\int_0^1 e^x\mathrm{d}x=2\left.e^x\right|_{0}^{1}=2(e-1)$

第二个积分需要使用分部积分法

$\int_{0}^{1} x \mathrm{e}^{x} \mathrm{~d} x = \left.x \mathrm{e}^{x}\right|_{0} ^{1}-\int_{0}^{1} \mathrm{e}^{x} \mathrm{~d} x = \mathrm{e}-(\mathrm{e}-1) = 1$

第三个积分同样也适用分部积分法

$\int_{0}^{1} x^{2} \mathrm{e}^{x} \mathrm{~d} x=\left.x^{2} \mathrm{e}^{x}\right|_{0} ^{1}-2 \int_{0}^{1} x \mathrm{e}^{x} \mathrm{~d} x=\mathrm{e}-2$

最后把三个积分结合在一起

$\mathbb{E}\left[\mathrm{e}^{X}\right]=\frac{6}{11}(2 \cdot(\mathrm{e}-1)+3 \cdot 1-5 \cdot(\mathrm{e}-2))=6-\frac{18 \mathrm{e}}{11}$

3. 求 $g(X)=1/X$ 的期望，也是积分

$\begin{aligned} \mathbb{E}\left[\frac{1}{X}\right] & =\int_{0}^{1} \frac{1}{x} \cdot \frac{6}{11}\left(2+3 x-5 x^{2}\right) \mathrm{d} x \\ & =\frac{6}{11}\left(2 \int_{0}^{1} \frac{\mathrm{~d} x}{x}+3 \int_{0}^{1} \mathrm{~d} x-5 \int_{0}^{1} x \mathrm{~d} x\right) \end{aligned}$

但是积分 $\int_{0}^1\frac{\mathrm{d}x}{x}$ 不存在，所以这个期望也不存在

均值和方差

一阶矩和二阶中心距是最重要的两个矩. 这两个重要的矩分别有自己的名称：均值和方差

定义

设 $X$ 是一个随机变量，它的概率密度函数是 $f_X$

• $X$ 的 均值 是一阶矩，我们把他称为 $\mathbb{E}[X]$ 或 $\mu_X$

$\mu = \left\{\begin{array}{ll} \int_{-\infty}^{\infty} x \cdot f_{X}(x) \mathrm{d} x & \text { 若 } X \text { 是连续的 } \\ \sum_{n} x_{n} \cdot f_{X}\left(x_{n}\right) & \text { 若 } X \text { 是离散的. } \end{array}\right.$

• $X$ 的 方差 是二阶中心矩，计作 $\sigma_X^2$ 或 $\text{Var}(X)$，也可以说是 $g(X)=(X-\mu_X)^2$ 的期望

$\sigma_{X}^{2}=\left\{\begin{array}{ll} \int_{-\infty}^{\infty}\left(x-\mu_{X}\right)^{2} f_{X}(x) \mathrm{d} x & \text { 若 } X \text { 是连续的 } \\ \sum_{n}\left(x-\mu_{X}\right)^{2} f_{X}\left(x_{n}\right) & \text { 若 } X \text { 是离散的. } \end{array}\right.$

• $X$ 的 标准差 的平方根，即 $\sigma_X=\sqrt{\sigma_X^2}$

为了保证均值存在，我们希望 $\int_{-\infty}^{+\infty} |x|f_X(x)\text{d}x$ 或 $\sum_n|x_n|f_X(x_n)$ 是有限的

均值就是期望值或平均值，如果从分布中不断地取出很多值，然后对得到的结果求平均值，那么这个平均值应该非常接近于 $\mu_X$

标准差可以预测出结果与均值之间差距的波动程度，标准差越小，结果就越容易分布在均值附近

与方差相比，标准差的优势在于它和均值有相同的单位，因此，标准差是衡量结果在均值附近波动幅度的自然尺度

例题

抛掷两颗均匀的骰子，随机变量 $R$ 表示掷出的数字之和，我们给出 $R$ 的 PDF（概率密度函数）

$\operatorname{P}(R=r)=\left\{\begin{array}{ll} \frac{6-|r-7|}{36} & \text { 若 } r \in\{2,3, \cdots, 12\} \\ 0 & \text { 其他. } \end{array}\right.$

求均值，方差，标准差

就是套公式

$\mu_{R}=\sum_{r=2}^{12} r \frac{6-|r-7|}{36}=2 \cdot \frac{1}{36}+3 \cdot \frac{2}{36}+\cdots+12 \cdot \frac{1}{36}=7$

$\begin{aligned} \sigma_{R}^{2} & =\sum_{r=2}^{12}(r-7)^{2} \cdot \frac{6-|r-7|}{36} \\ & =(-5)^{2} \cdot \frac{1}{36}+(-4)^{2} \cdot \frac{2}{36}+\cdots+5^{2} \cdot \frac{1}{36}=\frac{35}{6} \end{aligned}$

$\sigma = \sqrt{\sigma^2}\approx 2.42$

期望的线性性质

有一个最重要且最实用的事实：期望是线性的

定理

设 $X_1,\cdots,X_n$ 是随机变量，并设 $g_1,\cdots,g_n$ 是满足条件：$\mathbb{E}[|g_i(X)|]$ 有限

令 $a_1,\cdots, a_n$ 表示任意实数，那么

$\mathbb{E}\left[a_{1} g_{1}\left(X_{1}\right)+\cdots+a_{n} g_{n}\left(X_{n}\right)\right]=a_{1} \mathbb{E}\left[g_{1}\left(X_{1}\right)\right]+\cdots+a_{n} \mathbb{E}\left[g_{n}\left(X_{n}\right)\right] .$

注意：这里的随机变量不一定是相互独立的

用文字来描述，就是 “和的期望等于期望的和”

下面有几个利用这个性质推理出的几条关键结果

定理

设 $X$ 是一个随机变量，它的均值为 $\mu_X$，方差为 $\sigma_X^2$，如果 $a$ 和 $b$ 是任意两个固定的常数，那么随机变量 $Y=aX+b$ 有如下结果

$\mu_Y=a\mu_X+b$

$\sigma_Y^2=a^2\sigma_X^2$

感性理解上也很对，如果随机变量缩放 $a$ 倍，那么均值也被缩放 $a$ 倍，标准差被缩放 $|a|$ 倍，方差被缩放 $a^2$ 倍

定理

设 $X$ 是一个随机变量，那么

$\sigma^2=\mathbb{E}[X^2]-\mathbb{E}[X]^2$

证明：由于期望具有线性性质

$\begin{aligned} \operatorname{Var}(X) & =\mathbb{E}\left[\left(X-\mu_{X}\right)^{2}\right] \\ & =\mathbb{E}\left[X^{2}-2 \mu_{X} X+\mu_{X}^{2}\right] \\ & =\mathbb{E}\left[X^{2}\right]-\mathbb{E}\left[2 \mu_{X} X\right]+\mathbb{E}\left[\mu_{X}^{2}\right] \\ & =\mathbb{E}\left[X^{2}\right]-2 \mu_{X} \mathbb{E}[X]+\mu_{X}^{2} \\ & =\mathbb{E}\left[X^{2}\right]-2 \mu_{X} \cdot \mu_{X}+\mu_{X}^{2} \\ & =\mathbb{E}\left[X^{2}\right]-\mu_{X}^{2}=\mathbb{E}\left[X^{2}\right]-\mathbb{E}[X]^{2}, \end{aligned}$

这是一个很好的公式，能让我们在已知一阶矩和二阶矩的前提下，利用这个公式得出二阶中心矩

均值和方差的性质

我们先称述一个重要的有用的事实

定理

如果 $X$ 和 $Y$ 是相互独立的随机变量，那么

$\mathbb{E}[XY]=\mathbb{E}[X][Y]$

一种特殊的情况是

$\mathbb{E}\left[\left(X-\mu_{X}\right)\left(Y-\mu_{Y}\right)\right]=\mathbb{E}\left[X-\mu_{X}\right] \mathbb{E}\left[Y-\mu_{Y}\right]=0$

证明：前面的线性性质讲的是和，但这里是积

如果两个相互独立的随机变量，那么联合概率密度函数就等于它们边缘概率密度函数之积，即

$f_{X,Y}(x,y)=f_X(x)f_Y(y)$

把上面这个式子应用到二重积分中

$\begin{aligned} \mathbb{E}[X Y] & =\int_{x=-\infty}^{\infty} \int_{y=-\infty}^{\infty} x y f_{X}(x) f_{Y}(y) \mathrm{d} y \mathrm{~d} x \\ & =\int_{x=-\infty}^{\infty} x f_{X}(x) \mathrm{d} x \int_{y=-\infty}^{\infty} y f_{Y}(y) \mathrm{d} y=\mathbb{E}[X] \mathbb{E}[Y] \end{aligned}$

证毕

再来看一个很好的性质

定理

设 $X_1, \cdots,X_n$ 是 $n$ 个随机变量，它们的均值是 $\mu_{X_1},\cdots,\mu_{X_n}$，方差是 $\sigma_{X_1}^2,\cdots \sigma_{X_n}^2$，如果 $X=X_1+\cdots+X_n$，那么

$\mu_{X}=\mu_{X_{1}}+\cdots+\mu_{X_{n}}$

如果随机变量是 相互独立 的，那么有：

$\sigma_{X}^{2}=\sigma_{X_{1}}^{2}+\cdots+\sigma_{X_{n}}^{2}$

这里需要特别注意第二个性质成立的条件，相互独立，很容易忘记

下面给出一个这个定理的应用

假设有两只收益可变的股票，它们每股的价值是 $1$，两支股票的平均收益是 $3$ ，它们的方差都是 $2$，我们的目标是建立一个收益尽可能多且风险尽可能少的投资组合，我们假设这两只股票是相对独立的

假设我们一共投资 $1$ 元，其中的 $w$ 元来买第一支股票，剩下的 $1-w$ 来买第二只，设 $S=wX_1+(1-w)X_2$

先来看期望：

$\begin{aligned} \mathbb{E}[S] & =\mathbb{E}\left[w X_{1}+(1-w) X_{2}\right]=w \mathbb{E}\left[X_{1}\right]+(1-w) \mathbb{E}\left[X_{2}\right] \\ & =w \cdot 3+(1-w) \cdot 3= 3 \end{aligned}$

$w$ 的变化显然不能提升我们的期望收益

再考虑方差：

$\begin{aligned} \operatorname{Var}(S) & =\operatorname{Var}\left(w X_{1}+(1-w) X_{2}\right) \\ & =w^{2} \operatorname{Var}\left(X_{1}\right)+(1-w)^{2} \operatorname{Var}\left(X_{2}\right) \\ & =\left(w^{2}+(1-w)^{2}\right) \cdot 2 \end{aligned}$

这里可以看出，投资的方差取决于 $w$，当 $w=1/2$ 时，方差取到最小值为 $1$

协方差和相关系数

定义 协方差

设 $X$ 和 $Y$ 是两个随机变量，$X$ 和 $Y$ 的协方差记做 $\sigma_{XY}$ 或者 $\text{Cov(X,Y)}$

$\sigma_{XY}=\mathbb{E}[(X-\mu_X)(Y-\mu_y)]$

当 $X_1,\cdots, X_n$ 都是随机变量，而且 $X=X_1,\cdots,X_n$，那么

$\operatorname{Var}(X)=\sum_{i=1}^{n} \operatorname{Var}\left(X_{i}\right)+2 \sum_{1 \leqslant i<j \leqslant n} \operatorname{Cov}\left(X_{i}, X_{j}\right) .$

和前面那个定理不同的是，我们没有选择用独立性把交叉项消去，而是保留下来，它们就是协方差

与协方差密切相关的术语是相关系数，相关系数

$\rho=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}}$

相关系数是对协方差的标准化，我们有 $\rho\in[-1,1]$，相关系数越接近 $-1$ 或 $1$，线性相关性就越强

对于任意两个随机变量 $X$ 和 $Y$，如果它们的均值分别是 $\mu_X$ 和 $\mu_Y$，那么 $X$ 和 $Y$ 的协方差可以写成

$\operatorname{Cov}(X,Y)=\mathbb{E}[XY]-\mu_X\mu_Y$

这个式子和求方差的公式非常像，可以利用期望的线性性质证明

$\begin{aligned} \operatorname{Cov}(X, Y) & =\mathbb{E}\left[\left(X-\mu_{X}\right)\left(Y-\mu_{Y}\right)\right] \\ & =\mathbb{E}\left[X Y-\mu_{Y} X-\mu_{X} Y+\mu_{Y} \mu_{X}\right] \\ & =\mathbb{E}[X Y]-\mu_{X} \mathbb{E}[X]-\mu_{X} \mathbb{E}[Y]+\mathbb{E}\left[\mu_{X} \mu_{Y}\right] \\ & =\mathbb{E}[X Y]-\mu_{X} \mu_{Y}-\mu_{X} \mu_{Y}+\mu_{X} \mu_{Y} \\ & =\mathbb{E}[X Y]-\mu_{X} \mu_{Y} . \end{aligned}$

统计量

总体、样本和统计量

在一个统计问题中，把研究对象的全体称为总体，构成总体的每个成员称为个体

比如，研究某学校的身高情况，全体身高就是总体，每个学生的身高就是个体

定义 样本

若样本 $X_1,X_2,\cdots,X_n$ 为所考察的总体具体相同的分布，且 $X_1,X_2,\cdots, X_n$ 相互独立，则称 $X_1,X_2,\cdots,X_n$ 为来自总体 $X$，容量为 $n$ 的简单随机样本，简称样本