Дифференциальная эволюция

Дифференциа́льная эволю́ция (англ. differential evolution) — метод многомерной математической оптимизации, относящийся к классу стохастических алгоритмов оптимизации (то есть работает с использованием случайных чисел) и использующий некоторые идеи генетических алгоритмов.

Это прямой метод оптимизации, то есть он требует только возможности вычислять значения целевой функций, но не её производных. Метод дифференциальной эволюции предназначен для нахождения глобального минимума (или максимума) недифференцируемых, нелинейных, мультимодальных (имеющих, возможно, большое число локальных экстремумов) функций от многих переменных. Метод прост в реализации и использовании (содержит мало управляющих параметров, требующих подбора), легко распараллеливается.

Метод дифференциальной эволюции был разработан Рэйнером Сторном и Кеннетом Прайсом, впервые опубликован ими в 1995 году^[1] и развит в дальнейшем в их более поздних работах.^[2][3]

Алгоритм

В его базовом виде алгоритм можно описать следующим образом. Изначально генерируется некоторое множество векторов, называемых поколением. Под векторами понимаются точки $n$-мерного пространства, в котором определена целевая функция $f(x)$, которую требуется минимизировать. На каждой итерации алгоритм генерирует новое поколение векторов, случайным образом комбинируя векторы из предыдущего поколения. Число векторов в каждом поколении одно и то же и является одним из параметров метода.

Новое поколение векторов генерируется следующим образом. Для каждого вектора $x_i$ из старого поколения выбираются три различных случайных вектора $v_1$, $v_2$, $v_3$ среди векторов старого поколения, за исключением самого вектора $x_i$, и генерируется так называемый мутантный вектор (mutant vector) по формуле:

$v = v_1 + F \cdot (v_2 - v_3),$

где $F$ — один из параметров метода, некоторая положительная действительная константа в интервале [0, 2].

Над мутантным вектором $v$ выполняется операция «скрещивания» (crossover), состоящая в том, что некоторые его координаты замещаются соответствующими координатами из исходного вектора $x_i$ (каждая координата замещается с некоторой вероятностью, которая также является еще одним из параметров этого метода). Полученный после скрещивания вектор называется пробным вектором (trial vector). Если он оказывается лучше вектора $x_i$ (то есть значение целевой функции стало меньше), то в новом поколении вектор $x_i$ заменяется на пробный вектор, а в противном случае — остаётся $x_i$.

Примеры практических приложений

Поисковая система Яндекс использует метод дифференциальной эволюции для улучшения своих алгоритмов ранжирования. ^[4][5]

Примечания

1. ↑ Storn, Rainer and Price, Kenneth. Differential Evolution — A Simple and Efficient Adaptive Scheme for Global Optimization over Continuous Spaces, Technical Report TR-95-012, ICSI, March 1995.
2. ↑ Storn, Rainer and Price, Kenneth. Differential Evolution — A Simple and Efficient Heuristic for Global Optimization over Continuous Spaces. (1997)
3. ↑ K. Price, R. Storn, J. Lampinen. Differential Evolution: A Practical Approach to Global Optimization. Springer, 2005.
4. ↑ Интервью А. Садовского журналу «IT СПЕЦ», Июль 2007.
5. ↑ А. Гулин и др. Яндекс на РОМИП’2009. Оптимизация алгоритмов ранжирования методами машинного обучения.

Внешние ссылки:

• Описание и реализации метода на сайте одного из его авторов.
• S. Luke. Essentials of Metaheuristics. Глава 3.4.