这些概念考量的是一组变量之间的关系, 不妨设定两个随机变量 X~P(X) X ~ P ( X ) <script type="math/tex" id="MathJax-Element-1134">X\text ~P(X)</script> 与 Y~P(Y) Y ~ P ( Y ) <script type="math/tex" id="MathJax-Element-1135">Y \text ~P(Y)</script>.

联合概率分布 joint probability distribution

joint probability 指的是多个变量联合发生的概率分布.

<script type="math/tex; mode=display" id="MathJax-Element-1195">P(X=x, Y=y) </script>, 也可以简记做 <script type="math/tex; mode=display" id="MathJax-Element-1196">P(x,y)</script>

边缘概率分布 marginal probability distribution

我们已知两个有限的离散型随机变量 X X <script type="math/tex" id="MathJax-Element-1197">X</script> 与 Y $Y$<script type="math/tex" id="MathJax-Element-1198">Y</script> 以及它们的联合概率分布, 那么我们就是把 P(X,Y) P ( X , Y ) <script type="math/tex" id="MathJax-Element-1199">P(X,Y)</script> 写成一个表格形式, 每一行代表一个 x∈X x ∈ X <script type="math/tex" id="MathJax-Element-1200">x \in X</script>, 每一列代表一个 y∈Y y ∈ Y <script type="math/tex" id="MathJax-Element-1201">y \in Y</script>, 那么我们可以把每一行的 P(x,y) P ( x , y ) <script type="math/tex" id="MathJax-Element-1202">P(x,y)</script>加和, 写到右边的边缘处(margin), 这就是对应行 X=x X = x <script type="math/tex" id="MathJax-Element-1203">X=x</script> 的概率, 即

<script type="math/tex; mode=display" id="MathJax-Element-1204">\forall x\in X, P(X=x)=\sum_y P(X=x, Y=y)</script>, 我们就把这种子集上的概率分布依记账形式记做 边缘概率分布 (marginal probability distribution).
同理, 对于连续型随机变量, 只要把求和变成积分即可 <script type="math/tex; mode=display" id="MathJax-Element-1205">p(x) = \int p(x,y)dy</script>

条件概率和链式法则 conditional probability & chain rule

顾名思义, 条件概率指的是某个事件在给定其他条件时发生的概率, 这个非常符合人的认知:我们通常就是在已知一定的信息(条件)情况下, 去估计某个事件可能发生的概率. 概率论中,用 | 表示条件, 条件概率可以通过下式计算得到

<script type="math/tex; mode=display" id="MathJax-Element-1216"> P(Y = y | X = x) = \frac {P(Y=y, X=x)}{P(X=x)}</script>, 即 在 x 发生的条件下 y 发生的概率 等于 x,y 同时发生的联合概率 除以 x自身的概率. 注意, 必须满足 P(x)>0 P ( x ) > 0 <script type="math/tex" id="MathJax-Element-1217">P(x) > 0</script>, 否则对于永远不会发生的事情讨论条件概率无意义.

基于条件概率, 任意多维随机变量的联合分布都可以写成其中任意一个随机变量的条件概率相乘的形式

<script type="math/tex; mode=display" id="MathJax-Element-1218">P(\mathbb x^{(1)},...,\mathbb x^{(n)})=P(\mathbb x^{(1)})\prod_{i=2}^{n}P(\mathbb x^{(i)}|\mathbb x^{(1)},...,\mathbb x^{(i-1)})</script>,

具体而言, 对于一个三元分布 :

<script type="math/tex; mode=display" id="MathJax-Element-1219">P(a,b,c) = P(a\vert b,c)p(b,c) = P(a | b,c)P(b|c)P(c)</script>, 这样通常很难直接得到的 P(a,b,c) P ( a , b , c ) <script type="math/tex" id="MathJax-Element-1220">P(a,b,c)</script> 就分解为以下三个简单的情形乘积的形式:

1. P(c):c P ( c ) : c <script type="math/tex" id="MathJax-Element-1221">P(c): c</script> 发生的概率, 通常已知.
2. P(b|c):c P ( b | c ) : c <script type="math/tex" id="MathJax-Element-1222">P(b | c) : c</script> 发生的条件下, 观察到 b b <script type="math/tex" id="MathJax-Element-1223">b</script> 的概率, 通常从数据中挖出.
3. p(a|b,c):b,c $p(a|b,c):b,c$<script type="math/tex" id="MathJax-Element-1224">p(a | b, c) : b,c</script> 同时发生的条件下, 观察到 a a <script type="math/tex" id="MathJax-Element-1225">a</script> 的概率, 通常从数据中挖出.

独立性和条件独立性 independent & conditionally independent

由上面的 joint probability, 满足下面的条件

<script type="math/tex; mode=display" id="MathJax-Element-1226">\forall x \in X, y \in Y, p(X=x, Y=y) = p(X=x)p(Y=y)</script>, 就表明连个随机变量之间是没有相互影响的, 因此, 他们是 相互独立的(independent). 简记为 X⊥Y X ⊥ Y <script type="math/tex" id="MathJax-Element-1227">X \bot Y</script>, 其实也真的很像垂直正交的关系.

如果 X,Y X , Y <script type="math/tex" id="MathJax-Element-1228">X, Y</script> 在给定条件 Z=z Z = z <script type="math/tex" id="MathJax-Element-1229">Z=z</script> 时满足 independent, 即

<script type="math/tex; mode=display" id="MathJax-Element-1230">\forall x\in X, y\in Y, z\in Z, p(X=x, Y=y | Z=z) = p(X=x | Z=z)p(Y=y | Z=z)</script>, 我们就说 随机变量 X X <script type="math/tex" id="MathJax-Element-1231">X</script> 和 Y $Y$<script type="math/tex" id="MathJax-Element-1232">Y</script> 在给定随机变量 Z Z <script type="math/tex" id="MathJax-Element-1233">Z</script>时是条件独立的(conditionally independent), 简记为 X⊥Y|Z $X\mathrm{\perp }Y|Z$<script type="math/tex" id="MathJax-Element-1234">X \bot Y \vert Z</script>, 几何上可以看做给定基底 Z Z <script type="math/tex" id="MathJax-Element-1235">Z</script>时, X,Y $X,Y$<script type="math/tex" id="MathJax-Element-1236">X, Y</script>是正交的.