最大似然参数估计

Ana*_*ans 1 machine-learning bayesian mle

鉴于此数据集:

颜色 | 尺寸

红色 | 大

白色 | 小的

红色 | 大

红色 | 小的

白色 | 大

红色 | 大

以及以下贝叶斯网络:Color --> Size,我应该找到贝叶斯网络的最大似然参数。估算器是什么?我不确定如何在这里进行,因此将不胜感激任何帮助。

ben*_*nte 5

假设您的颜色和尺寸变量为多项式分布,您需要估计以下参数 θ

对于颜色:

  • Theta_red: 红色概率。
  • Theta_white: 白概率。

对于尺寸:

  • Theta_big|红色: 大概率是红色的。
  • Theta_big|白色: 白色的概率很大。
  • Theta_small|红色: 红色的概率很小。
  • Theta_small|白色: 白色的概率很小。

最终只有3个,因为

  • theta_white = 1 - theta_red,
  • theta_small|red = 1 - theta_big|red
  • theta_small|white = 1 - theta_big|white

似然是给定模型的观察数据的概率,在这种情况下,对于具有 n 个颜色和大小观察的数据集:

D = {(color_1, size_1), ..., (color_n, size_n)},

和参数:

theta = {theta_red, theta_big|red, theta_big|white},

可能性由下式给出:

可能性

由于我们在这里处理颜色和给定颜色的大小的伯努利分布,我们可以这样写:

在此处输入图片说明

在哪里 在此处输入图片说明 是红色和小观察的计数,其他 Ms 的定义也是如此。

最后,通过优化似然函数,得到参数估计量:

  • 在此处输入图片说明
  • 在此处输入图片说明
  • 在此处输入图片说明