Теорема Кархунена-Лоэва

Теорема Кархунена-Лоэва

Эта статья или секция — грубый перевод статьи на другом языке (см. Проверка переводов). Он мог быть генерирован программой-переводчиком или человеком со слабыми познаниями в языке статьи оригинала. Пожалуйста, не поленитесь улучшить перевод. Оригинал можно найти слева в списке «на других языках».

В теории стохастических процессов , теорема Карунена-Лоэва (названа в честь Кари Карунена и М.Лоэва)) — представление стохастического процесса, как бесконечной линейной комбинации ортогональных функций, аналогичного представлению рядов Фурье- последовательному представлению функций на ограниченном интервале. В отличие от рядов Фурье, где коэффициенты являются действительными числами и базис представления состоит из синусоидальных функций (то есть, из функций синус и косинус с разными частотами), коэффициенты в теореме Кархунена-Лоэва -случайные переменные, и базис представления зависит от процесса. Ортогональные базисные функции, использованные в этом представлении, определяет функция ковариации процесса. Если мы рассматриваем стохастический процесс как случайную функцию F, то есть процесс, в котором функция на интервале [a, b] принимает значение F, то эта теорема может рассматриваться как случайное ортонормальное расширение F.

В случае, если центрированный стохастический процесс {X_t}_{t ∈ [a, b]} (где центрирование означает, что математические ожидания E(X_t) определены и равны 0, для всех значений параметра t на [a, b]), удовлетворяя техническому условию непрерывности, допускает разложение.

$\mathbf{X}_t = \sum_{k=1}^\infty \mathbf{Z}_k e_k(t).$

где Z_k- взаимнонекоррелированые случайные переменные и функции e_k- непрерывные вещественные функции, на [a, b], которые попарно ортогональны в метрике L² [a, b]. Общий случай нецентрированного процесса, может быть показан разложением функции математического ожидания в базисе e_k.

Кроме того, если этот процесс гауссовский, то случайные величины Z_k-тоже гауссовские и являются стохастически независимыми. Этот результат обобщает преобразования Карунена-Лоэва. Важным примером центрированного стохастического процесса на интервале [0,1], является винеровский процесс, и теорема Карунена-Лоэва может быть использована для получения канонического ортогонального представления. В этом случае расширение состоит из синусоидальных функций.

Приведенные выше разложения в также известны как разложения или декомпозиция Карунена-Лоэва (эмпирическая версия, то есть, с коэффициентами из исходных числовых данных), как анализ главных компонент, собственное ортогональное разложение или преобразование Хотеллинга.

Формулировка

Сформулируем результат в терминах комплексно-значных стохастических процессов. Результаты могут быть приминимы к вещественнозначным процессам без модификаций, вспоминая, что комплексно-сопряженное действительное число- это то же самое число.

Если X и Y — случайные переменные, то внутренне произведение (скалярное) определяется формулой

$\langle \mathbf{X}|\mathbf{Y} \rangle = \operatorname{E}(\mathbf{X^*}\mathbf{Y})$

где * обозначает операцию комплексного сопряжения.

Статистики второго порядка

Скалярное произведение определяется если как X, так и Y имеют ограниченные вторые моменты, эквивалентны, и если они оба квадратично интегрируемы. Отметим, что скалярное произведение связано с ковариацией и корреляцией. В частности, для случайных переменных со средним нулевым значением, ковариация и скалярное произведение совпадают. Функция автоковариации K_XX

$K_\mathrm{XX}(t,s) = \operatorname{Cov}[ X(t),X(s) ] = \langle \mathbf{X}_t | \mathbf{X}_s \rangle$

$= \mathrm{E} \{ [ X(t)-\mu_X(t) ]^* [ X(s)-\mu_X(s) ] \} \,$

$= \mathrm{E} \{ X^*(t) X(s) \} - \mu^*_X(t) \mu_X(s) \,$

$= R_\mathrm{XX}(t,s) - \mu^*_X(t) \mu_X(s) . \,$

Если {X_t}_t является центрируемым процессом, тогда

$\mu_X(t) = 0 \,$

для всех t. Таким образом, автоковариация K_XX равна автокорреляции R_XX:

$K_\mathrm{XX}(t,s) = R_\mathrm{XX}(t,s) . \,$

Отметим, что если {X_t}_t центрируется и t₁, ≤ t₂, …, ≤ t_N являются точками на интервале [a, b], следовательно

$\sum_{k,\ell} \operatorname{Cov}_{\mathbf{X}}(t_k,t_\ell) = \operatorname{Var}\left(\sum_{k=1}^N \mathbf{X}_k\right) \geq 0.$

Формулировка теоремы

Теорема. Рассмотрим центрированный стохастический процесс {X_t}_t, индексированный t на интервале [a, b] с функцией ковариации Cov_X. Предположим, что функция ковариации Cov_X(t,s) совместно непрерывна по t, s. Тогда Cov_X — позитивно определенное ядро, и по теореме Мерсера интегральный оператор T в L²[a,b] (близкой к мере Лебега на [a,b]) имеет ортонормированный базис из собственных векторов . Пусть {e_i}_i являются собственными векторами T, соответствующими ненулевым собственным значениям и

$\mathbf{Z}_i = \int_a^b \mathbf{X}_t e_i(t) dt.$

Тогда Z_i — центрированные ортогональные случайные переменные и

$\mathbf{X}_t = \sum_{i=1}^\infty e_i(t) \mathbf{Z}_i$

где сходимость обеспечивается в среднем и является равномерной по t. Кроме того

$\operatorname{Var}(\mathbf{Z}_i) = \operatorname{E}(\mathbf{Z}_i^2) = \lambda_i.$

где λ_i собственное значение соответствует собственному вектору e_i.

Суммы Коши

В формулировке теоремы интеграл определения Z_i может быть задан, как предел в среднем сумм Коши случайных переменных

$\sum_{k=0}^{\ell-1} \mathbf{X}_{\xi_k} e_i(\xi_k) (t_{k+1} - t_k),$

Где

$a = t_0 \leq \xi_0 \leq t_1 \leq \cdots \leq \xi_{\ell-1} \leq t_n = b$

Особый случай: распределение Гаусса

Так как предел в среднем из совместно Гауссовых случайных переменных является совместно Гауссовым и совместно Гауссовые случайные (центрированные) переменные независимы и только, если они являются ортогональными, мы можем также заключить:

Теорема. Переменные Z_i имеют совместное распределение Гаусса, и являются стохастически независимыми, если первоначальный процесс {X_t}_t -тоже является Гауссовым.

В Гауссовом случае, поскольку переменные Z_i являются независимыми, мы можем быть уверены в том, что:

$\lim_{N \rightarrow \infty} \sum_{i=1}^N e_i(t) \mathbf{Z}_i(\omega) = \mathbf{X}_t(\omega)$

почти очевидно.

Отметим, что обобщая теорему Мерсера, мы можем заменить интервал [a, b] другими компактными пространствами C , а меру Лебега на [a, b] — мерой Бореля, поддерживаемую на C.

Процесс Винера

Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем. Здесь мы рассматриваем его в качестве центрируемого стандартного гауссовского процесса B(t) с ковариационной функцией

$\mathrm{K}_\mathrm{BB}(t,s) = \operatorname{Cov}(B(t),B(s)) = \min (s,t).$

Собственные векторы ядра ковариации легко определяются:

$e_k(t) = \sqrt{2} \sin \left(k - \frac{1}{2}\right) \pi t$

так же, как и соответствующие собственные значения

$\lambda_k = \frac{4}{(2 k -1)^2 \pi^2}.$

Это позволяет получить нам следующее представление винеровского процесса :

Теорема. Существует последовательность {W_i}_i из случайных гауссовых независимых переменных с средним равным 0 и дисперсией (вариацией), такая, что

$\mathbf{B}_t = \sqrt{2} \sum_{k=1}^\infty \mathbf{W}_k \frac{\sin \left(k - \frac{1}{2}\right) \pi t}{ \left(k - \frac{1}{2}\right) \pi}.$

Сходимость является равномерной по t в норме L² так, что

$\operatorname{E}\left(\mathbf{B}_t - \sqrt{2} \sum_{k=1}^n \mathbf{W}_k \frac{\sin \left(k - \frac{1}{2}\right) \pi t}{ \left(k - \frac{1}{2}\right) \pi} \right)^2 \rightarrow 0$

равномерно по t.

Использование

Было высказано мнение, что в проекте SETI, следует использовать преобразования Кархунена-Лоэва для обнаружения сигналов с очень широким спектром. Аналогично, в системах адаптивной оптики иногда используют функции Карунена-Лоэва для восстановления информации о фазе фронта волны. (Dai 1996, JOSA A).

См. также

• Метод главных компонент
• Нейронная сеть Кохонена
• Proper orthogonal decomposition
• Polynomial chaos

Ссылки

• И. И. Гихман, А. В. Скороход, Введение в теорию случайных процессов.- М.: Наука, 1965.
• B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979
• K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung, Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys., 1947, No. 37, 1-79
• М. Лоев, Теория вероятностей, — М.: ИЛ, 1962.
• G. Dai, Modal wave-front reconstruction with Zernike polynomials and Karhunen-Loeve functions, JOSA A, 13, 6, 1996