R 中随时间变化的动态主题模型/主题

use*_*767 2 r text-mining topic-modeling

我有一个关于 1998 年至 2008 年水政策的报纸文章数据库。我想看看在此期间报纸发布的变化。我的问题是,我应该使用 Dynamic Topic Modeling 还是 Topic Over Time 模型来处理这个任务?它们是否会明显优于传统的 LDA 模型(其中我基于整个文本语料库拟合主题模型,并根据每个文档的标记方式绘制主题趋势)?如果是,是否有我可以用于 R 中的 DTA/ToT 模型的包?

Jam*_*mie 5

所以这取决于你的研究问题是什么。

动态主题模型允许与给定主题最密切相关的词随时间变化。介绍该模型的论文使用日记条目 [1] 给出了一个很好的例子。如果您对各个主题的特征是否随时间变化感兴趣,那么这是正确的方法。

我之前没有处理过 ToT 模型,但它看起来类似于时间协变量连续的结构主题模型。这意味着主题是固定的,但它们的相对流行度和相关性可能会有所不同。如果您将您的文章按月份分组,那么结构模型或 ToT 模型可以向您展示某些主题是否会随着时间的推移变得越来越流行。

总而言之,您希望变化发生在主题内还是主题之间?您是想研究文章在谈论的主题上有何不同,还是想研究这些文章如何构建某些主题?

就 R 而言,您会遇到一些问题。这stm包可以处理具有离散时间段的 STM,但我所知道的 ToT 模型没有预先打包的实现。对于 DTM,我知道有一个 C++ 实现与介绍性论文一起发布,我有一个 python 版本,我可以为您找到。

注意:我永远不会推荐某人对文本文档使用简单的 LDA。我总是以相关的主题模型为基础,并从那里构建。

编辑:解释更多关于stm包。

这个包是结构主题模型 [2] 的一个实现。STM 是相关主题模型 [3] 的扩展,但允许在文档级别包含协变量。然后,您可以探索主题流行度与这些协变量之间的关系。如果您包含日期的协变量,那么您可以探索单个主题相对于其他主题如何随着时间的推移变得越来越重要或越来越不重要。该软件包本身非常出色,快速且直观,并且包括选择最合适的主题数量等功能。

[1] Blei、David M. 和 John D. Lafferty。“动态主题模型。” 第 23 届机器学习国际会议论文集。ACM,2006 年。

[2] 罗伯茨,玛格丽特 E.,等。“开放式?结束调查响应的结构主题模型。” 美国政治学杂志 58.4(2014):1064-1082。

[3] Lafferty, John D. 和 David M. Blei。“相关主题模型。” 神经信息处理系统的进展。2006 年。

  • 嗨杰米,非常感谢您的回答!实际上,我对某个主题的流行程度如何变化以及它本身如何随着时间的推移而演变感兴趣。您能详细说明一下 STM 软件包对我有何帮助吗? (2认同)
  • @user7453767没问题,我添加到我的答案中以扩展“stm”包! (2认同)