- Регрессионный анализ
-
Регрессио́нный (линейный) анализ — статистический метод исследования влияния одной или нескольких независимых переменных
на зависимую переменную
. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Ложная корреляция), а не причинно-следственные отношения.
Содержание
Цели регрессионного анализа
- Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
- Предсказание значения зависимой переменной с помощью независимой(-ых)
- Определение вклада отдельных независимых переменных в вариацию зависимой
Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.
Математическое определение регрессии
Строго регрессионную зависимость можно определить следующим образом. Пусть
,
— случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений
определено условное математическое ожидание
(уравнение регрессии в общем виде),
то функция
называется регрессией величины Y по величинам
, а её график — линией регрессии
по
, или уравнением регрессии.
Зависимость
от
проявляется в изменении средних значений Y при изменении
. Хотя при каждом фиксированном наборе значений
величина
остаётся случайной величиной с определённым рассеянием.
Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение Y при изменении
, используется средняя величина дисперсии Y при разных наборах значений
(фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии).
Метод наименьших квадратов (расчёт коэффициентов)
На практике линия регрессии чаще всего ищется в виде линейной функции
(линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых
от их оценок
(имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):
(M — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда
.
Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки:
Условие минимума функции невязки:
Полученная система является системой
линейных уравнений с
неизвестными
Если представить свободные члены левой части уравнений матрицей
а коэффициенты при неизвестных в правой части матрицей
то получаем матричное уравнение:
, которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:
Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса−Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators) − наилучшие линейные несмещенные оценки.
Интерпретация параметров регрессии
Параметры
являются частными коэффициентами корреляции;
интерпретируется как доля дисперсии Y, объяснённая
, при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад
в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.
Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идет ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида
,
, свидетельствующее о наличии взаимодействий между признаками
,
и т. д (см. Мультиколлинеарность).
См. также
- Корреляция
- Мультиколлинеарность
- Автокорреляция
- Перекрёстная проверка
- Линейная регрессия на корреляции
Ссылки
- www.kgafk.ru — Лекция на тему «Регрессионный анализ»
- www.basegroup.ru — методы отбора переменных в регрессионные модели
Литература
- Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. — 3-е изд. — М.: «Диалектика», 2007. — С. 912. — ISBN 0-471-17082-8
- Радченко Станислав Григорьевич, Устойчивые методы оценивания статистических моделей: Монография. — К.: ПП «Санспарель», 2005. — С. 504. — ISBN 966-96574-0-7, УДК: 519.237.5:515.126.2, ББК 22.172+22.152
- Радченко Станислав Григорьевич, Методология регрессионного анализа: Монография. — К.: "Корнийчук", 2011. — С. 376. — ISBN 978-966-7599-72-0
Для улучшения этой статьи желательно?: - Добавить иллюстрации.
- Проставив сноски, внести более точные указания на источники.
Категории:- Машинное обучение
- Регрессионный анализ
- Статистическое моделирование
Wikimedia Foundation. 2010.