12.3 Выбор наилучшего подмножества: 12.3.1 Критерии согласия, 12.3.2 Критерии на основе ошибки прогноза, 12.3.3 Оценивание расхождений распределений, 12.3.4 Приближённое вычисление апостериорных вероятностей

Докажите, что

Проведите небольшую симуляцию, чтобы оценить, насколько сильно $C_{p}$ занижает ошибку предсказания в примере 12.1.

Докажите, что $K L(f, g) \geq 0$. Можете предполагать, что $f(\mathbf{y}) > 0$ и $g(\mathbf{y}) > 0$ для всех x. Указание: покажите, что $\log x \leq x-1$ при $x > 0$, и положите $x = g(\mathbf{y}) / f(\mathbf{y})$.

Получите (12.35), используя рассуждения об условной вероятности.