ベイズの定理

ベイズの定理（$\text{Bayes’}$ $\text{theorem}$）は、 条件付き確率の定義と 確率の乗法定理から導かれる定理であり、 条件付き確率の因果関係を逆転する関係式といえます。すなわち、 ベイズの定理により、ある試行の結果からその原因を推定することが可能になります。

ここでは、 ベイズの定理を示すとともに、その意味や具体的な問題における応用について解説します。

ベイズの定理#

まず、 ベイズの定理を示します。

定理 1.11（ベイズの定理）#

事象 $B_{1}, B_{2}, \cdots$ が、次の $2$ つの条件を満たすとき、

任意の $B_{i}$ について、次が成り立つ。

解説#

ベイズの定理とは#

定理 1.11（ベイズの定理）は、 条件付き確率の定義と 確率の乗法定理から導かれる関係式です。

端的にいえば、 定理 1.11（ベイズの定理）は、 条件付き確率における「条件」の入れ替えを行う関係式といえます。すなわち （1.2.15）式は、「$A$ を条件とする $B_{i}$ の確率（左辺）」が、「$B_{i}$ を条件とする $A$ の確率（右辺）」を用いて表せることを示しています。

ベイズの定理の意味#

特に重要な点は、 定理 1.11（ベイズの定理）により、 条件付き確率における「原因」と「結果」の関係（因果関係）を逆向きに捉えられるという点です。すなわち、 定理 1.11（ベイズの定理）により、ある試行の「結果」からその「原因」を推定することができるということです。

このことは、 条件付き確率の「条件」にあたる事象を、それぞれ「原因」と「結果」に対応させることで、以下のように理解できます。

原因と結果の確率#

いま、ある試行において、原因となる事象を $B_{i} \, (B_{1}, B_{2}, \cdots)$ 、その結果起こる事象を $A$ とします。

このとき、「$B_{i}$ を条件とする $A$ の確率」 $P(A \mid B_{i})$ は、$B_{i}$ が起こったとわかった上で $A$ が起こる確率に他ならず（ 条件付き確率の定義）、原因と結果の関係（因果関係）に紐づけて考えると、これは「原因 $B_{i}$ により結果 $A$ が起こる確率」を表しているといえます。

また、「$A$ を条件とする $B_{i}$ の条件付き確率」 $P(B_{i} \mid A)$ は、事象 $A$ が起こったとわかった上で事象 $B_{i}$ が起こる確率に他ならず（ 条件付き確率の定義）、同様に、これは「結果 $A$ が起こったとき、その原因が $B_{i}$ である確率」を表しているといえます。

ベイズの定理の意義#

前者の「原因を条件とする結果の確率」は実験や観察などにより求められる（ことが多い）のに対して、後者の「結果を条件とする原因の確率」を直接的に求られることはほとんどありません。ここに、 定理 1.11（ベイズの定理）の重要な意義があります。

すなわち、 定理 1.11（ベイズの定理）により、実験や観察などから求めづらい「結果を条件とする原因の確率」が計算により求められるということです。

このような意味で、 定理 1.11（ベイズの定理）は 条件付き確率の因果関係を逆転する関係式であり、 （1.2.15）式により、ある試行の「結果」からその「原因」を推定することが可能になるといえます。

事前確率と事後確率#

特に （1.2.15）式において、右辺の $P(B_{i})$ を 事前確率（$\text{prior}$ $\text{probability}$）、左辺の $P(B_{i} \mid A)$ を 事後確率（$\text{posterior}$ $\text{probability}$）といいます。

「事前」と「事後」は（結果である）事象 $A$ が起こることを基準にした表現です。すなわち、$P(B_{i})$ は、事象 $A$ が起こる前にその原因 $B_{i}$ が起こる確率（事前確率）であり、$P(B_{i} \mid A)$ は、事象 $A$ が起こったとわかった上でその原因が $B_{i}$ であった確率（事後確率）であるといえます。

原因となる事象が満たすべき条件#

定理 1.11（ベイズの定理）が成り立つためには、事象 $B_{1}, B_{2}, \cdots$ が、次の $2$ つの条件を満たす必要があります。

条件（$\text{i}$）排反であること#

まず、事象 $B_{1}, B_{2}, \cdots$ は、すべて互いに排反である必要があります。これは、事象 $A$ の原因となる事象 $B_{1}, B_{2}, \cdots$ が被りなく考慮されている必要があることを示しています。

条件（$\text{ii}$）和集合が標本空間に等しいこと#

次に、事象 $B_{1}, B_{2}, \cdots$ の和（和集合）は、標本空間 $\varOmega$ に等しくなる必要があります。これは、事象 $A$ の原因となる事象 $B_{1}, B_{2}, \cdots$ が漏れなく考慮されている（すべての場合を尽くしている）必要があることを示しています。

標本空間の分割#

このように、 定理 1.11（ベイズの定理）を適用する際、事象 $A$ の起こり得る原因としての事象 $B_{1}, B_{2}, \cdots$ は 漏れなく被りなく 考慮されている必要があります。

また、このことは「事象 $B_{1}, B_{2}, \cdots$ が表本空間 $\varOmega$ の有限または可算分割である」を表しているともいえます。すなわち、事象 $B_{1}, B_{2}, \cdots$ を集合と考えれば、これらは、標本空間 $\varOmega$ を 互いに交わらない有限または可算無限個の部分集合 に分けたものであるということです。

下記の 証明にみるように、 定理 1.11（ベイズの定理）は、確率の 可算加法性の上に成り立ちます。したがって、 定理 1.11（ベイズの定理）も、基本的には、可算無限個の事象 $B_{1}, B_{2}, \cdots$ に対して成り立ちます。

しかしながら、実際的な問題においては、有限個の事象 $B_{1}, B_{2}, \cdots, B_{n}$ について考えることがほとんどです。原因となる事象について、具体的に「漏れなく被りなく」数え上げる必要があるためです。

ベイズの定理の重要性#

定理 1.11（ベイズの定理）の応用範囲は極めて広いです。

ベイズの定理が応用されている数学分野としては、例えば、ベイズ統計学や統計的因果推論などがあります。また、計量経済学における効果検証や、情報科学における機械学習・パターン認識など、数学以外の分野でも重要な役割を果たしています。

更に、迷惑メール（スパム）の判定や生体認証・クレジットカードの不正利用検知など、実社会の様々な面で ベイズの定理が活用されています。これらはいずれも「観測結果から背後にある原因を推定する問題」に帰着できるためです。

証明#

いま、事象 $B_{1}, B_{2}, \cdots$ の和は標本空間 $\varOmega$ に等しいので、次が成り立つ。

また、$B_{1}, B_{2}, \cdots$ が互いに排反であることから、$A \cap B_{1}, A \cap B_{2}, \cdots$ も互いに排反であり、

したがって、確率の 可算加法性より、$A$ の確率は次のように表せる。

以上から、任意の $B_{i}$ について、次が成り立つ。

証明の考え方#

条件付き確率の定義と 確率の乗法定理から導きます。事象 $B_{1}, B_{2}, \cdots$ が標本空間 $\varOmega$ の分割であること（ 原因となる事象が満たすべき条件）に着目し、確率の 可算加法性を利用します。

前提事項の整理#

• 定理の前提より、事象 $B_{1}, B_{2}, \cdots$ は、次の $2$ つの条件を満たします（ 原因となる事象が満たすべき条件）。

  $$ \begin{alignat*}{2} & \, (\text{i}) \quad & B_{i} \cap B_{j} &= \phi \quad (\, i \neq j \,) \\ & (\text{ii}) \quad & \bigcup_{i} B_{i} &= \varOmega \end{alignat*} $$

• すなわち、$B_{1}, B_{2}, \cdots$ は（$\text{i}$）互いに排反であり、かつ（$\text{ii}$）その和集合が標本空間 $\varOmega$ に等しくなります。つまり、$B_{1}, B_{2}, \cdots$ は標本空間 $\varOmega$ の分割であるということです。

事後確率を求める#

• 条件付き確率の定義より、事後確率 $P(B_{i} \mid A)$ は、次のように表せます。

  $$ \begin{align*} \tag{$\ast$} P(B_{i} \mid A) = \frac{\, P(A \cap B_{i}) \vphantom{\big(\big)} \,}{\; P(A) \vphantom{\big(\big)} \;} \\ \end{align*} $$

• これを変形して、 定理 1.11（ベイズの定理）の （1.2.15）式を得ることを考えます。すなわち、 （$\ast$）式の右辺の分子と分母を、それぞれ事前確率を用いて表します。

（分子）加法定理の利用#

• まず、分子の $P(A \cap B_{i})$ を事前確率 $P(B_{i})$ を用いて表すために、 確率の乗法定理を利用します。

• 確率の乗法定理より、次が成り立ちます。

  $$ \begin{split} P(A \cap B_{i}) = P(A \mid B_{i}) \, P(B_{i}) \end{split} $$

• したがって、 （$\ast$）式の右辺の分子は、次のように変形できます。

  $$ \begin{split} P(B_{i} \mid A) &= \frac{\, P(A \cap B_{i}) \vphantom{\big(\big)} \,}{\; P(A) \vphantom{\big(\big)} \;} \\ &= \frac{\, P(A \mid B_{i}) \, P(B_{i}) \vphantom{\big(\big)} \,}{\; P(A) \vphantom{\big(\big)} \;} \\ \end{split} $$

（分母）可算加法性の利用#

• 次に、分母の $P(A)$ を事前確率 $P(B_{j})$ を用いて表します。

• いま、 前提事項（$\text{ii}$）より、事象 $B_{1}, B_{2}, \cdots$ の和（和集合）が標本空間 $\varOmega$ に等しいことから、次が成り立ちます。

  $$ \begin{split} A &= A \cap \varOmega \vphantom{\Big(\Big)} \\ &= A \cap \Big(\bigcup_{j} B_{j} \Big) \\ &= \bigcup_{j} \; (A \cap B_{j}) \end{split} $$

• また、 前提事項（$\text{i}$）より、$B_{1}, B_{2}, \cdots$ が互いに排反であることから、$A \cap B_{1}, A \cap B_{2}, \cdots$ も互いに排反であるといえます。

  $$ \begin{gather*} & B_{i} \cap B_{j} = \phi \quad (\, i \neq j \,) \\ \Rightarrow & (A \cap B_{i}) \cap (A \cap B_{j}) = \phi \quad (\, i \neq j \,) \\ \end{gather*} $$

• したがって、確率の 可算加法性より、$P(A)$ について、次が成り立ちます。

  $$ \begin{split} P(A) &= P \Big(\, \bigcup_{j} \; (A \cap B_{j}) \, \Big) \\ &= \displaystyle\sum_{j} \, P (A \cap B_{j}) \end{split} $$

• ここで、和の対象となる同時確率 $P(A \cap B_{j})$ について、それぞれ 確率の乗法定理を適用することで、これを事前確率 $P(B_{j})$ を用いて表すことができます。

  $$ \begin{split} P(A \cap B_{j}) = P(A \mid B_{j}) \, P(B_{j}) \end{split} $$

• 以上から、 （$\ast$）式の右辺の分母は、次のように変形できます。

  $$ \begin{split} P(B_{i} \mid A) &= \frac{\, P(A \cap B_{i}) \vphantom{\big(\big)} \,}{\; P(A) \vphantom{\Big(\Big)} \;} \\ &= \frac{\, P(A \cap B_{i}) \vphantom{\big(\big)} \,}{\; \displaystyle\sum_{j} \, P (A \cap B_{j}) \vphantom{\Big(\Big)} \;} \\ &= \frac{\, P(A \cap B_{i}) \vphantom{\big(\big)} \,}{\; \displaystyle\sum_{j} \, P(A \mid B_{j}) \, P(B_{j}) \vphantom{\Big(\Big)} \;} \end{split} $$

証明のまとめ#

• 以上をまとめると、事後確率 $P(B_{i} \mid A)$ は、次のように表せます。

  $$ \begin{split} P(B_{i} \mid A) &\overset{(1)}{=} \frac{\, P(A \cap B_{i}) \vphantom{\big(\big)} \,}{\; P(A) \vphantom{\big(\big)} \;} \\ &\overset{(2)}{=} \frac{\, P(A \mid B_{i}) \, P(B_{i}) \vphantom{\big(\big)} \,}{\; P(A) \vphantom{\big(\big)} \;} \\ &\overset{(3)}{=} \frac{\, P(A \mid B_{i}) \, P(B_{i}) \vphantom{\big(\big)} \,}{\; \displaystyle\sum_{j} \, P(A \mid B_{j}) \, P(B_{j}) \vphantom{\Big(\Big)} \;} \end{split} $$
  • （$1$） 条件付き確率の定義によります。
  • （$2$） 確率の乗法定理により、分子を変形します（ 加法定理の利用を参照）。
  • （$3$） 確率の乗法定理と確率の 可算加法性により、分母を変形します（ 可算加法性の利用を参照）。

• 上式は任意の $B_{i}$ について成り立ちます。したがって、 定理 1.11（ベイズの定理）が成り立つことが示されたといえます。

参考文献#

[1] 舟木直久. 確率論. 朝倉書店. 2004.
[2] 縄田和満. 確率・統計 $\text{I}$. 丸善出版. 2013.
[3] 小針晛宏. 確率・統計入門. 岩波書店. 1973.
[4] 真貝寿明. 徹底攻略 確率統計. 共立出版. 2012.
[5] 東京大学教養学部統計学教室 編. 統計学入門. 東京大学出版会. 1991.
[6] W. Feller. An Introduction to Probability Theory and Its Applications. John Wiley & Sons, Inc.. 1968.
[7] Robert B. Ash. Basic Probability Theory. Dover Publications, Inc.. 2008.
[8] G. Andrews. Special Functions. Cambridge University Press. 1999.
[9] 杉浦光夫. 解析入門 $\text{I}$. 東京大学出版会. 1980.
[10] 吉田伸生. [新装版] ルベーグ積分入門. 日本評論社. 2021.