技术背景

统计力学是一门通过粒子的纯粹微观量来表示系统宏观量的学科，从统计分布出发，用无偏/有偏估计来研究各种不同的系综。本文内容部分参考自郑伟谋老师所著《统计力学导引》，主要介绍其中概率论基础的部分。但因为大多是个人的理解，如有差错，与参考文献作者无关。

事件与概率

假定我们抛一枚质地未知的硬币，正面事件记为$A$，反面事件记为$B$。那么经过多次的测试，可以得到一个统计概率：$P\left(A\right)=\frac{n_A}{N},P\left(B\right)=\frac{n_B}{N}$。这里就可以有一些基本性的结论：

因为这里面事件$A$和事件$B$是互斥事件（发生$A$的同时不可能发生$B$），那么发生$A$或$B$的概率就可以表示为：

以上就是概率函数的3个基本特性。假如在此基础上，再进行一轮测试，那么此时得到$A$的概率为：

由于样本数的不一致，这里有：

也就是说，如果要获取多份样本中的同一个事件的总概率，需要依照样本数做一个加权平均。

条件概率

如果问题变得更加复杂一些，我们一次抛2个硬币，并且记1号硬币正面朝上为事件$A$，反面朝上为事件$B$，2号硬币正面朝上为事件$C$，反面朝上为事件$D$。那么类似的有$P\left(C\right)=\frac{n_C}{N},P\left(D\right)=\frac{n_D}{N}$，这是对2号硬币的结果的概率统计。此时如果我们去统计一个联合概率，1号硬币正面朝上2号硬币也正面朝上的概率为：

其中$P\left(C|A\right)$表示事件$A$发生的条件下，事件$C$发生的概率，是一个条件概率。

同样在这个案例中，因为事件$C$发生的概率为$\frac{n_C}{N}$，因此在$n_A$的样本数下，事件$C$发生的频次的期望值为$n_{A\wedge C}=\frac{n_C}{N}{n}_A$，因此有：

贝叶斯定理

满足这种条件的事件$A$和$C$，又称为独立事件。并由此可以得到贝叶斯（Bayes）定理：

或者写为这种更加常见的形式：

还是在这个案例中，因为我们知道第一个硬币正面朝上（事件$A$）的条件下，对应的第二个硬币，要么正面朝上（事件$C$），要么反面朝上（事件$D$），而事件$A$的概率可以表示为两个条件概率的加和：

该公式又称为边际分布。

累积分布函数

如果我们随机投一个骰子，它朝上的一面对应的值，有可能是整数1~6之间的一个。因为在投之前，我们并不知道会出现什么数字朝上，因此我们将朝上的数字定义为一个随机变量$X$。对于一个随机变量$X$而言，其分布函数被定义为：

表示的是$X$取值不大于$x$的概率，例如，开小的概率为$F\left(3\right)=P(X\le 3)=\frac{1}{2}$，开大的概率为$F\left(6\right)-F\left(3\right)=P(X\le 6)-P(X\le 3)=\frac{1}{2}$。其导数$f\left(x\right)=F^{\prime }\left(x\right)$为概率密度函数。累积分布函数有如下的一些特性：

1. 累积分布函数是有界的：${lim}_{x\to -\infty }F\left(x\right)=0,{lim}_{x\to +\infty }F\left(x\right)=1$。

2. 累积分布函数具有单调性：$F\left(x_1\right)\le F\left(X_2\right),x_1\le x_2$。

3. $P(x_1<x\le x_2)=F\left(x_2\right)-F\left(X_1\right)$。

4. 当我们写出上面这个式子时，我们应当注意到，这是一个左开右闭的区间。其实也容易理解，比如狄拉克函数的积分在$x=x_0$处有一个突跃的位置，那么比较显然的是，$F_{x\to x_0^{-}}\left(x\right)=0,F_{x=x_0}\left(x\right)=1,F_{x\to x_0^{+}}\left(x\right)=1$。更一般的，我们可以理解其为右连续的累积分布函数：${lim}_{x\to x_0^{+}}F\left(x\right)=F\left(x_0\right)$。

如果考虑一个离散情形的概率密度函数，有：

分布函数唯一地决定随机变量的全部数字特征。

对于这个投骰子的问题，虽然我们没办法知道下一次会投出什么数字来，但是我们可以计算出出现的数字的平均值，或者叫期望值：

也就是说，最终得到的点数的平均值应该为3.5。那么假如对于这个随机变量，有一个函数$Y=h\left(X\right)$，那么关于$Y$的期望值为：

对于连续型的随机变量来说，期望值可以写为：

带函数的期望值可以写为：$E\left(h\right(x\left)\right)={\int }_{-\infty }^{\infty }h\left(x\right)f\left(x\right)dx$，例如$X$的$\gamma$阶绝对矩为：

此时要回顾起一个跟期望值/平均值息息相关的函数：方差函数。在概率论中，方差被定义为：

有了方差，自然就有了标准差：

如果是多变量情形，我们还可以定义一个协方差（Covariance）用于衡量两个变量之间的总体偏差：

需要注意的是，协方差可以用于计算一维的随机变量$X,Y$，也可以用于计算高维的随机变量$\text{X},\text{Y}$。我们可以想象出来，对于一个shape为$(n,)$的随机变量$\text{X}$而言，对其计算期望值$E\left(\text{X}\right)$，得到的结果也是$(n,)$的shape。如果给定的是两个高维的随机变量$\text{X},\text{Y}$，假设其shape分别为$(n,)$和$(m,)$，那么得到的期望值$E\left(\text{X}\text{Y}\right)$的结果shape为$(n,m)$。类似的，$E\left(\text{X}\right)E\left(\text{Y}\right)$的结果shape也是$(n,m)$。这样一来，协方差$Cov(\text{X},\text{Y})$的结果shape也是$(n,m)$。

母函数

母函数，又称生成函数（Generating function），是一种形式幂级数，其每一项的系数可以提供关于这个序列的信息。例如我们有可能得到这样的一个母函数：

这个形式的母函数表示，事件$1$发生的概率为$\frac{2}{2+3}=\frac{2}{5}$，事件$4$有可能发生的概率为$\frac{3}{5}$。具体的母函数构造方法是这样的，还是以抛硬币为例子。假设硬币正面朝上为事件$A$，硬币反面朝上为事件$B$，那么可以这样构造一个母函数：

这里面$x$只是一个形参，没有具体含义。那么如果我们抛两次硬币，得到的母函数形式为：

写成这个形式之后，就可以分别获得三个不同事件的概率。事件0：两次都是正面朝上，概率为$P\left(0\right)=P(A{)}^2$，事件1：一次正面朝上一次反面朝上，概率为$P\left(1\right)=2P\left(A\right)P\left(B\right)$，事件2：两次都是反面朝上，概率为$P\left(2\right)=P(B{)}^2$。那么假设投的是一块质地均匀的硬币，这样我们得到的三个事件的概率分别为：

这里事件1记录的是一个无序事件，如果要记录为有序事件，即第一次正面朝上、第二次反面朝上和第一次反面朝上、第二次正面朝上为不同事件的话，那表示方法又会有所不同。母函数更多的用于记录可能出现的组合的数量，也就是无序事件的场景用的会更多一些。

总结概要

本文的主要内容是一些统计力学中的基础的概率论知识，如密度函数、分布函数和贝叶斯定理的一些基本概念，主要作为一个简单的知识内容记录和分享。