Change of Measure Inequality

Csiszar, 1975, Donsker and Varadhan, 1975.

Equation 두번째 line에서 $\mathcal{H}$에 대한 새로운 distribution인 $Q$를 도입하면,

$$\mathop{\mathbb{E}}\limits_{h \sim P}f(h)=\int_{\mathcal{H}}{P(h)f(h)dh}=\int_{\mathcal{H}}{Q(h)\frac{P(h)}{Q(h)}f(h)dh}$$

그러나 $Q$의 support($\mathcal{H}_Q$)가 $P$의 support ($\mathcal{H}$)에 완전히 포함되지 않은 영역($\mathcal{H} \backslash \mathcal{H}_Q$)의 경우,

즉, $Q$가 전체 $\mathcal{H}$ 공간에서 $Q(h)=0$인 영역(분모가 0)의 경우에는 위와 같이 정의 될 수 없음.

 

따라서 $\mathcal{H}_Q$와 $\mathcal{H} \backslash \mathcal{H}_Q$의 범위를 나누어서 처리해야 한다.

즉, $Q$가 도입되어 활용될 수 있는 범위는 $Q$의 support로 제한하고,

나머지 영역 $\mathcal{H} \backslash \mathcal{H}_Q$에 대해서는 기존의 식으로 적분한다.

$$\mathop{\mathbb{E}}\limits_{h \sim P}f(h)=\int_{\mathcal{H}}{P(h)f(h)dh}=\int_{\mathcal{H}_Q}{Q(h)\frac{P(h)}{Q(h)}f(h)dh}+\int_{\mathcal{H} \backslash \mathcal{H}_Q}{P(h)f(h)dh}$$

 

여기에 양변에 로그를 취한 뒤,

흔히 알고 있는 Jensen's Inequality를 적용하면,

다음과 같은 최종 Theorem이 나온다.

 

For any $P$ and $Q$ on $\mathcal{H}$, and any measurable function $f:\mathcal{H} \rightarrow \mathbb{R}$, we have:

$$\mathop{\mathbb{E}}_\limits{h\sim Q}[f(h)]  \leq KL(Q||P) + \ln{[\mathop{\mathbb{E}}_\limits{h\sim P}[e^{f(h)}]]}$$

이와 같은 inequaility를 통해 다른 measure에 대해 적분할 distribution을 바꿀 수 있음.

예를 들면, Posterior에서 Prior으로 기대값의 distribution을 바꿀 수 있음.

 

동영상 출처:

https://www.youtube.com/watch?v=OkftNAp1_Fg&t=1890s