Скрытое распределение Дирихле

Скрытое распределение Дирихле (LDA) (в статистике) — это порождающая модель, позволяющая объяснять результаты наблюдений с помощью неявных групп, что позволяет получить объяснение, почему некоторые части данных схожи. Например, если наблюдениями являются слова, собранные в документы, утверждается, что каждый документ представляет собой смесь небольшого количества тем и что появление каждого слова связано с одной из тем документа. LDA является примером модели тематик и впервые был представлен в качестве графической модели для обнаружения тематик Дэвидом Блеем, Эндрю Нг и Майклом Джорданом в 2002 году.^[1]

Темы в LDA

В LDA каждый документ может рассматриваться как набор различных тематик. Подобный подход схож с вероятностным латентно-семантическим анализом (pLSA) с той разницей, что в LDA предполагается, что темы следуют распределению Дирихле. На практике в результате получается более корректный набор тематик.

К примеру, модель может иметь тематики классифицируемые как CAT_related (относящиеся к кошкам) и DOG_related (относящиеся к собакам). Тематика обладает вероятностями генерировать различные слова, такие как мяу, молоко или котенок, которые можно было бы классифицировать как CAT_related. Слова, не обладающие особой значимостью (к примеру, служебные слова), будут обладать примерно равной вероятностью в различных тематиках.

Примечания

1. ↑ (January 2003) «Latent Dirichlet allocation». Journal of Machine Learning Research 3 (4–5): pp. 993–1022. DOI:10.1162/jmlr.2003.3.4-5.993.

Ссылки

• topicmodels и lda реализации LDA для R.