多腕バンディット問題入門に引き続き，報酬が平均・分散が未知の正規分布に従うと仮定したThompson Samplingの解説第２回目です．

第２回目となる今回は，ベイズ推定について解説を行います．

TL;DR

• ベイズ推定では，ある事象に対する事後分布を求める
• 平均・分散が未知の正規分布のパラメータをベイズ推定する手順を解説
  • 事後分布の導出を簡単にするために，事前分布を平均と分散それぞれの事前分布に分離
  • 平均に対する事前分布は正規分布，分散に対する事前分布はscaled inverse chi-squared分布をチョイス
  • これによって事前分布が共役事前分布になるので，平均，分散に対する事後分布も正規分布とscaled inverse chi-aquared分布になる

ベイズ推定とは

データをサンプルする未知の分布をベイズ推定するとは，その分布のパラメータの事後分布を求めることにほかなりません．

今回は，データ$X=\{x_i\}_{i=1}^{N}$が平均・分散が未知の正規分布$N(\mu,\sigma^2)$によってサンプルされていると仮定してベイズ推定を行います．

したがって，今回は平均$\mu$と分散$\sigma^2$の事後分布$\pi(\mu,\sigma^2 \vert X)$を求めることになります．

さて，事後分布$\pi(\mu,\sigma^2 \vert X)$はベイズの定理

$$\pi(\mu,\sigma^2 \vert X)\propto \pi(X \vert \mu,\sigma^2)\pi(\mu,\sigma^2)$$

を用いることによって導出します． ここで，$\pi(X \vert \mu,\sigma^2)$は$\mu,\sigma^2$に関する尤度関数，$\pi(\mu,\sigma^2)$は事前分布を表しています．

実は，上の式を用いることで，尤度関数$\pi(X \vert \mu,\sigma^2)$と事前分布$\pi(\mu,\sigma^2)$が明示的に与えられていれば，事後分布$\pi(\mu,\sigma^2)$を導出することができます．

以降では，その導出方法について解説を行います．

事前分布$\pi(\mu,\sigma^2)$の導出

事前分布の分離

事前分布$\pi(\mu,\sigma^2)$を見ると，この分布は２つの確率変数の組に関する分布になっていることが分かります．

これではこの後の式導出で扱いにくいので，以下のように，$\mu,\sigma^2$それぞれのパラメータに対する事前分布に分けて考えるようにします．

$$\pi(\mu,\sigma^2)=\pi(\mu \vert \sigma^2)\pi(\sigma^2)$$

上の式によって，事前分布$\pi(\mu,\sigma^2)$を平均$\mu$に対する事前分布$\pi(\mu \vert \sigma^2)$と分散$\sigma^2$に対する事前分布$\pi(\sigma^2)$に分離することができました．

事前分布を平均$\mu$，$\sigma^2$それぞれに対する事前分布に分離することができましたので，次は，それぞれに対する事前分布を適当な分布として与えましょう．

平均$\mu$に対する事前分布

平均$\mu$に対する事前分布$\pi(\mu \vert \sigma^2)$は，正規分布$N(\hat{\mu}_0, \frac{\sigma^2}{k_0})$であるとします． ここで，$\hat{\mu}_0,k_0$は事前分布のパラメータとします．

この仮定によって，平均$\mu$に対する事前分布$\pi(\mu \vert \sigma^2)$の確率密度関数は以下のようになります．

$$\pi(\mu \vert \sigma^2)=\frac{1}{\sqrt{2\pi \sigma^2/k_0}}\exp{\left\{-\frac{(\mu-\hat{\mu}_0)^2}{2\sigma^2/k_0}\right\}}$$

分散$\sigma^2$に対する事前分布

分散$\sigma^2$に対する事前分布$\pi(\sigma^2)$は，scaled inverse chi-squared分布$Scale-inv-\chi^2(v_0,\hat{\sigma}^2_0)$であるとします． ここで，$v_0,\hat{\sigma}^2_0$は事前分布のパラメータとします．

この仮定によって，分散$\sigma^2$に対する事前分布$\pi(\sigma^2)$の確率密度関数は以下のようになります．

$$\pi(\sigma^2)=\frac{(\hat{\sigma}^2_0v_0/2)^{v_0/2}}{\Gamma(v_0/2)}\frac{\exp{\left(\frac{-v_0\hat{\sigma}^2_0}{2\sigma^2}\right)}}{(\sigma^2)^{1+v_0/2}}$$

事前分布$\pi(\mu,\sigma^2)$

平均$\mu$，分散$\sigma^2$それぞれに対する事前分布の確率密度関数を与えることができたので，晴れて事前分布$\pi(\mu,\sigma^2)$の確率密度関数を求めることができます．

事前分布$\pi(\mu,\sigma^2)$の確率密度関数は，これまでの式を用いると，以下のように導出されます．

$$\begin{aligned} \pi(\mu,\sigma^2)&=\pi(\mu \vert \sigma^2)\pi(\sigma^2)\\ &=\frac{1}{\sqrt{2\pi \sigma^2/k_0}}\exp{\left\{-\frac{(\mu-\hat{\mu}_0)^2}{2\sigma^2/k_0}\right\}} \cdot \frac{(\hat{\sigma}^2_0v_0/2)^{v_0/2}}{\Gamma(v_0/2)}\frac{\exp{\left(\frac{-v_0\hat{\sigma}^2_0}{2\sigma^2}\right)}}{(\sigma^2)^{1+v_0/2}} \end{aligned}$$

さらに，この式を少し整理をすると，

$$\pi(\mu,\sigma^2)\propto \sigma^{-1}(\sigma^2)^{-\left(\frac{v_0}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+k_0(\hat{\mu}_0-\mu)^2}{2\sigma^2}\right\}}$$

が成り立つことを導くことができます．

尤度関数$\pi(X \vert \mu,\sigma^2)$の導出

この記事の始めに，データ$X$は平均・分散が未知の正規分布$N(\mu,\sigma^2)$に従ってサンプルされると仮定しました．

よって，尤度関数$\pi(X \vert \mu,\sigma^2)$は，正規分布の確率密度関数の積によって与えられます．

つまり，尤度関数$\pi(X \vert \mu,\sigma^2)$は，

$$\pi(X \vert \mu,\sigma^2)=\prod_{i=1}^{N}\pi(x_i \vert \mu,\sigma^2)=\prod_{i=1}^{N}\frac{1}{\sqrt{2\pi \sigma^2}}\exp{\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}}$$

で与えられます．

事後分布$\pi(\mu,\sigma^2 \vert X)$の導出

さて，ようやく事前分布$\pi(\mu,\sigma^2)$と尤度関数$\pi(X\vert \mu,\sigma^2)$の式を決めることができたので，ここからは事後分布$\pi(\mu,\sigma^2 \vert X)$の導出を行いましょう．

これまでの式を用いると，

$$\begin{aligned} \pi(\mu,\sigma^2 \vert X)\propto&\pi(X \vert \mu,\sigma^2)\pi(\mu,\sigma^2)\\ =&\left(\prod_{i=1}^{N}\frac{1}{\sqrt{2\pi \sigma^2}}\exp{\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}}\right)\cdot \frac{1}{\sqrt{2\pi \sigma^2/k_0}}\exp{\left\{-\frac{(\mu-\hat{\mu}_0)^2}{2\sigma^2/k_0}\right\}} \cdot \frac{(\hat{\sigma}^2_0v_0/2)^{v_0/2}}{\Gamma(v_0/2)}\frac{\exp{\left(\frac{-v_0\hat{\sigma}^2_0}{2\sigma^2}\right)}}{(\sigma^2)^{1+v_0/2}}\\ \propto& \left(\prod_{i=1}^{N}\frac{1}{\sqrt{2\pi \sigma^2}}\exp{\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}}\right)\cdot \sigma^{-1}(\sigma^2)^{-\left(\frac{v_0}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+k_0(\hat{\mu}_0-\mu)^2}{2\sigma^2}\right\}}\\ \propto& (\sigma^2)^{-\frac{1}{2}N}\exp{\left\{-\frac{1}{2\sigma^2}\sum_{i=1}^N(x_i-\mu)^2\right\}} \cdot \sigma^{-1}(\sigma^2)^{-\left(\frac{v_0}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+k_0(\hat{\mu}_0-\mu)^2}{2\sigma^2}\right\}}\\ =& \sigma^{-N}(\sigma^2)^{-\left(\frac{v_0+1}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0-2\mu\sum_{i=1}^N x_i}{2\sigma^2}\right\}}\cdot \exp{\left\{-\frac{k_0(\mu^2-2\mu\hat{\mu}_0+\hat{\mu}_0^2)+\sum_{i=1}^N x_i^2+N\mu^2}{2\sigma^2}\right\}}\\ =& \sigma^{-N}(\sigma^2)^{-\left(\frac{v_0+1}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+(k_0+N)\mu^2}{2\sigma^2}\right\}} \cdot \exp{\left\{-\frac{k_0(-2\mu\hat{\mu}_0+\hat{\mu}_0^2)+\sum_{i=1}^N x_i^2 - 2\mu\sum_{i=1}^N x_i}{2\sigma^2}\right\}}\\ =& \sigma^{-N}(\sigma^2)^{-\left(\frac{v_0+1}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+(k_0+N)\mu^2 - 2k_0\hat{\mu}_0\mu}{2\sigma^2}\right\}} \cdot \exp{\left\{-\frac{\frac{k_0N}{k_0+N}\hat{\mu}_0^2 + \frac{k_0^2}{k_0+N}\hat{\mu}_0^2 + \sum_{i=1}^N x_i^2}{2\sigma^2}\right\}}\\ &\cdot \exp{\left\{-\frac{-\frac{k_0N}{k_0+N}\frac{2\hat{\mu}_0}{N}\sum_{i=1}^N x_i + \frac{k_0}{k_0+N}2\hat{\mu}_0\sum_{i=1}^N x_i}{2\sigma^2}\right\}} \cdot \exp{\left\{-\frac{-2\mu\sum_{i=1}^N x_i}{2\sigma^2}\right\}}\\ =& \sigma^{-1}(\sigma^2)^{-\left(\frac{v_0+N}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+\frac{k_0N}{k_0+N}(\frac{\sum_{i=1}^N x_i}{N}-\hat{\mu}_0)^2}{2\sigma^2}\right\}} \cdot \exp{\left\{-\frac{(k_0+N)(\frac{k_0}{k_0+N}\hat{\mu}_0+\frac{\sum_{i=1}^N x_i}{k_0+N}-\mu)^2}{2\sigma^2}\right\}}\\ &\cdot \exp{\left\{-\frac{\sum_{i=1}^N(x_i-\frac{\sum_{i^{\prime}=1}^N x_{i^{\prime}}}{k_0+N})^2}{2\sigma^2}\right\}}\\ =& \sigma^{-1}(\sigma^2)^{-\left(\frac{v_0+N}{2}+1\right)}\exp{\left\{-\frac{v_0\hat{\sigma}^2_0+\frac{k_0N}{k_0+N}(\frac{\sum_{i=1}^N x_i}{N}-\hat{\mu}_0)^2}{2\sigma^2}\right\}} \cdot \exp{\left\{-\frac{\sum_{i=1}^N(x_i-\frac{\sum_{i^{\prime}=1}^N x_{i^{\prime}}}{k_0+N})^2}{2\sigma^2}\right\}}\\ &\cdot \exp{\left\{-\frac{(k_0+N)(\frac{k_0}{k_0+N}\hat{\mu}_0+\frac{\sum_{i=1}^N x_i}{k_0+N}-\mu)^2}{2\sigma^2}\right\}} \end{aligned}$$

と式変形をすることができます．

式を見やすくするために，

$$\begin{aligned} v_N&=v_0+N, \\ v_N\hat{\sigma}^2_N&=v_0\hat{\sigma}^2_0+\sum_{i=1}^N(x_i-\frac{\sum_{i^{\prime}=1}^Nx_{i^{\prime}}}{N})^2+\frac{k_0N}{k_0+N}(\frac{\sum_{i=1}^N x_i}{N}-\hat{\mu}^2_0)^2, \\ k_N&=k_0+N, \\ \hat{\mu}_N&=\frac{k_0}{k_0+N}\hat{\mu}_0+\frac{\sum_{i=1}^N x_i}{k_0+N} \end{aligned}$$

と定義すると，事後分布$\pi(\mu,\sigma^2 \vert X)$は，

$$\pi(\mu,\sigma^2 \vert X)\propto \sigma^{-1}(\sigma^2)^{\left(\frac{v_N}{2}+1\right)}\exp{\left\{-\frac{1}{2\sigma^2}(v_N\hat{\sigma}^2_N+k_N(\hat{\mu}_N-\mu)^2\right\}}$$

と書き直されます．

この式を事前分布$\pi(\mu,\sigma^2)$の確率密度関数の式と見比べると，事前分布$\pi(\mu,\sigma^2)$と事後分布$\pi(\mu,\sigma^2 \vert X)$の関数形が一致していることが分かります． このことから，事前分布$\pi(\mu,\sigma^2)$は共役事前分布であることが分かります．

さらに，事後分布$\pi(\mu,\sigma^2 \vert X)$の確率密度関数の式から，

$$\pi(\mu,\sigma^2 \vert X) = \pi(\mu \vert \sigma^2; X)\pi(\sigma^2 \vert X)$$

であることが導かれます．

この式と，事前分布$\pi(\mu,\sigma^2)$が共役事前分布であることを考えると，平均$\mu$に対する事後分布$\pi(\mu \vert \sigma^2; X)$および分散$\sigma^2$に対する事後分布$\pi(\sigma^2 \vert X)$は，以下のように導きだされます．

$$\begin{aligned} \pi(\mu \vert \sigma^2; X)&=\frac{1}{\sqrt{2\pi \sigma^2/k_N}}\exp{\left\{-\frac{(\mu-\hat{\mu}_N)^2}{2\sigma^2/k_N}\right\}}, \\ \pi(\sigma^2 \vert X)&=\frac{(\hat{\sigma}^2_Nv_N/2)^{v_N/2}}{\Gamma(v_N/2)}\frac{\exp{\left(\frac{-v_N\hat{\sigma}^2_N}{2\sigma^2}\right)}}{(\sigma^2)^{1+v_N/2}} \end{aligned}$$