МНК

Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) и Гауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятности, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но даёт зато вероятнейшие значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.

Пусть дано решить систему уравнений

a₁x + b₁y + c₁z + … + n₁ = 0

a₂x + b₂y + c₂z + … + n₂ = 0 (1)

a₃x + b₃y + c₃z + … + n₃ = 0

…

число которых более числа неизвестных x, у, z… Чтобы решить их по способу Н. квадратов, составляют новую систему уравнений, число которых равно числу неизвестных и которые затем решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные, уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной х и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной у и, сложив почленно, получают второе нормальное уравнение и т. д. Если означить для краткости:

[aa] = a₁a₁ + a₂a₂ +…

[ab] = a₁b₁ + a₂b₂ +…

[ac] = a₁c₁ + a₂c₂ +…

…

[ba] = b₁a₁ + b₂a₂ +…

[bb] = b₁b₁ + b₂b₂ +…

[bc] = b₁c₁ + b₂c₂ +…

…

то нормальные уравнения представятся в следующем простом виде:

[aa]x + [ab]y + [ac]z + … + [an] = 0

[ba]x + [bb]y + [bc]z + … + [bn] = 0 (2)

[ca]x + [cb]y + [cc]z + … + [cn] = 0

…

Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т. д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными:

5x - 8y - 16 = 0

8x - y - 32 = 0

16x + 8y - 55 = 0

9x + 7y - 32 = 0

9x + 20y - 29 = 0

Составив значения [aa], [ab].., получаем следующие нормальные уравнения:

507x + 323у — 1765 = 0

323x + 578у — 1084 = 0,

откуда х = +3,55; у = —0,109. Уравнения (1) представляют систему линейных уравнений, то есть уравнений, в которых все неизвестные входят в первой степени. В большинстве случаев уравнения, связывающие наблюдаемые и искомые величины, бывают высших степеней и даже трансцендентные, но это не изменяет сущности дела: предварительными изысканиями всегда можно найти величины искомых с таким приближением, что затем, разложив соответствующие функции в ряды и пренебрегая высшими степенями искомых поправок, можно привести любое уравнение к линейному.

Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым.

Примечания

• Теория и пример использования

См. также

• Регрессионный анализ

При написании этой статьи использовался материал из Энциклопедического словаря Брокгауза и Ефрона (1890—1907).