- Графическая вероятностная модель
-
Графическая вероятностная модель — это вероятностная модель, в которой в виде графа представлены зависимости между случайными величинами. Вершины графа соответствуют случайным переменным, а рёбра — непосредственным вероятностным взаимосвязям между случайными величинами. Графические модели широко используются в теории вероятностей, статистике (особенно в Байесовской статистике), а также в машинном обучении.
Содержание
Виды графических моделей
Байесовская сеть
Байесовская сеть представляет случай графической модели с ориентированным ациклическим графом, при этом ориентированные рёбра кодируют отношения вероятностной зависимости между переменными.
По байесовской сети легко записывается совместное распределение переменных: если события (случайные величины) обозначаются как
тогда совместное распределение удовлетворяет уравнению
где множество вершин-предков вершины . Другими словами, совместное распределение представляется в виде произведения условных атомарных распределений, который обычно известны. Любые две вершины, не соединённые ребром, условно независимы, если известно значение их предков. В общем, любые два набора вершин условно независимы при заданных значениях третьего множества вершин, если в графе выполняется условие скрытая марковская модель
Марковские случайные поля
Марковские случайные поля задаются неориентированным графом. В отличие от байесовских сетей, они могут содержать циклы.
С помощью марковских случайных полей, можно удобно представлять изображения, используя сеточную структуру, что позволяет решать, например, задачу фильтрации шума на изображении.
Другие виды графических моделей
- фактор-граф — неориентированный двудольный граф, в котором рёбрами соединены факторы и случайные переменные. Каждый фактор представляет вероятностное распределения для всех переменных, которые он связывает. Графы переводят в форму фактор-графа, например, для возможности использования алгоритма belief propagation.
- цепной граф — это граф, который может содержать как направленные, так и ненаправленные рёбра, но без ориентированных циклов (то есть если мы начнём движение в какой-то вершине и будем двигаться по графу только по ориентированным рёбрам, то мы не сможем вернуться в ту вершину, из которой мы начали путь). И ориентированные и неориентированные графы являются частным случаем цепных графов, которые могут служить обобщением Байесовских и Марковских сетей
- условное случайное поле — дискриминативная модель, заданная на неориентированном графе
Приложения
Графические модели используются в задачах извлечения информации, распознавания речи, компьютерного зрения, декодирования кодов с малой плотностью проверок на чётность, обнаружения генов и диагностики болезней.
Ссылки
- Jensen, Finn An introduction to Bayesian networks. — Berlin: Springer, 1996. — ISBN 0-387-91502-8
- Cowell, Robert G. Probabilistic networks and expert systems. — Berlin: Springer, 1999. — ISBN MR16971750-387-98767-3 A more advanced and statistically oriented book
- Pearl Judea Probabilistic Reasoning in Intelligent Systems. — 2nd revised. — San Mateo, CA: Morgan Kaufmann, 1988. — ISBN MR09657651558604790 A computational reasoning approach, where the relationships between graphs and probabilities were formally introduced.
- Bishop Christopher M. Chapter 8. Graphical Models // Pattern Recognition and Machine Learning. — Springer. — P. 359–422. — ISBN MR22475870-387-31073-8
- A Brief Introduction to Graphical Models and Bayesian Networks
- Heckerman's Bayes Net Learning Tutorial
- Edoardo M. Airoldi (2007). «Getting Started in Probabilistic Graphical Models». PLoS Computational Biology 3 (12): e252. DOI:10.1371/journal.pcbi.0030252.
Байесовская сеть | Причинная Байесова сеть | Марковская сеть | Скрытая марковская модель
Категории:- Теория вероятностей
- Байесовская статистика
Wikimedia Foundation. 2010.