Машина Больцмана

Пример графического представления машины Больцмана. В данном примере 3 скрытых и 4 видимых нейрона

Машина Больцмана (англ. Boltzmann machine) — вид стохастической рекуррентной нейронной сети, изобретенной Джеффри Хинтоном и Терри Сейновски. Машина Больцмана может рассматриваться как стохастический генеративний вариант сети Хопфилда. Эта модель оказалась первой нейронной сетью, способной обучаться внутренним репрезентациям, и может представлять и решать сложные комбинаторные задачи. Несмотря на это, из-за ряда проблем, машины Больцмана с неограниченной связностью не могут использоваться для решения практических проблем. Если же связность ограничена, то обучение может быть достаточно эффективным для решения практических проблем.

Модель

Как и сеть Хопфилда, машина Больцмана является сетью нейронов, с определенной для нее энергией. Расчет глобальной энергии производится идентичным по форме с сетью Хопфилда образом:

$E = -\sum_{i<j} w_{ij} \, s_i \, s_j - \sum_i \theta_i \, s_i$

Где:

• $w_{ij}$ сила связи между нейронами $j$ и $i$.
• $s_i$ состояние , $s_i \in \{0,1\}$, нейрона $i$.
• $\theta_i$ порог для нейрона $i$.

Связи имеют следующие ограничения:

• $w_{ii}=0\qquad \forall i$. (нейрон не может иметь связь с самим собой)
• $w_{ij}=w_{ji}\qquad \forall i,j$. (все связи являеются симметричными)

Ссылки

• Talk at Google by Geoffrey Hinton