Где применяется метод наименьших квадратов

Видео: Метод наименьших квадратов. Тема

Метод наименьших квадратов (МНК) позволяет оценивать различные величины, используя результаты множества измерений, содержащих случайные ошибки.

Характеристика МНК

Основная идея данного метода состоит в том, что в качестве критерия точности решения задачи рассматривается сумма квадратов ошибок, которую стремятся свести к минимуму. При использовании этого метода можно применять как численный, так и аналитический подход.

В частности, в качестве численной реализации метод наименьших квадратов подразумевает проведение как можно большего числа измерений неизвестной случайной величины. Причем, чем больше вычислений, тем точнее будет решение. На этом множестве вычислений (исходных данных) получают другое множество предполагаемых решений, из которого затем выбирается наилучшее. Если множество решений параметризировать, то метод наименьших квадратов сведется к поиску оптимального значения параметров.

В качестве аналитического подхода к реализации МНК на множестве исходных данных (измерений) и предполагаемом множестве решений определяется некоторая функциональная зависимость (функционал), которую можно выразить формулой, получаемой в качестве некоторой гипотезы, требующей подтверждения. В этом случае метод наименьших квадратов сводится к нахождению минимума этого функционала на множестве квадратов ошибок исходных данных.

Заметьте, что не сами ошибки, а именно квадраты ошибок. Почему? Дело в том, что зачастую отклонения измерений от точного значения бывают как положительными, так и отрицательными. При определении средней погрешности измерений простое суммирование может привести к неверному выводу о качестве оценки, поскольку взаимное уничтожение положительных и отрицательных значений понизит мощность выборки множества измерений. А, следовательно, и точность оценки.

Для того чтобы этого не произошло, и суммируют квадраты отклонений. Даже более того, чтобы выровнять размерность измеряемой величины и итоговой оценки, из суммы квадратов погрешностей извлекают квадратный корень.

Некоторые приложения МНК

МНК широко используется в различных областях. Например, в теории вероятностей и математической статистике метод используется для определения такой характеристики случайной величины, как среднее квадратическое отклонение, определяющей ширину диапазона значений случайной величины.

В математическом анализе и различных областях физики, использующих для вывода или подтверждения гипотез данный аппарат, МНК применяют, в частности, для оценки приближенного представления функций, определенных на числовых множествах, более простыми функциями, допускающими аналитические преобразования.

Еще одно применение этого метода – отделение полезного сигнала от наложенного на него шума в задачах фильтрации.

Ещё одна область применения МНК – эконометрика. Здесь данный метод настолько широко используется, что для него были определены некоторые специальные модификации.

Большинство задач эконометрики, так или иначе, сводится к решению систем линейных эконометрических уравнений, описывающих поведение некоторых систем - структурных моделей. Основной элемент каждой такой модели – временной ряд, представляющий собой набор некоторых характеристик, значения которых зависят как от времени, так и от ряда других факторов. При этом может наблюдаться соответствие между внутренними (эндогенными) характеристиками модели и внешними (экзогенными) характеристиками. Это соответствие выражается обычно в виде систем линейных экономических уравнений.

Характерной особенностью таких систем является наличие взаимосвязей между отдельными переменными, которые с одной стороны, усложняют ее, с другой – переопределяют. Что является причиной появления неопределенности при выборе решения таких систем. Дополнительным фактором, усложняющим решение таких задач, является зависимость параметров моделей от времени.

Основная цель задач эконометрики – идентификация моделей, то есть определение структурных взаимосвязей в выбранной модели, а также оценивание ряда ее параметров.

Восстановление зависимостей во временных рядах, составляющих модели, может быть выполнено, в частности, с помощью как прямого МНК, так и некоторых его модификаций, а также ряда других методов. Специальные модификации МНК при решении таких задач специально развиты для разрешения тех или иных проблем, возникающих в процессе численного решения систем уравнений.

В частности, одна из таких проблем связана с наличием исходных ограничений на параметры, которые нужно оценивать. Например, доход частного предприятия может быть потрачен на потребление или на его развитие. Следовательно, сумма частей данных двух видов затрат заведомо равна 1. В систему эконометрических уравнений эти части могут входить независимо друг от друга. Следовательно, можно оценить различные виды трат с помощью МНК, без учета исходного ограничения, а затем подкорректировать полученный результат. Такой способ решения назван косвенным методом наименьших квадратов.

Видео: Линейная регрессия. Метод наименьших квадратов

Косвенный метод наименьших квадратов (КМНК) используется для точно определяемой структурной модели. Алгоритм КМНК предполагает выполнение следующих действий:

1) преобразование структурной модели в более простую, приведенную форму путем введения дополнительной зависимости-

2) оценка с помощью обычного МНК приведенных коэффициентов для каждого уравнения упрощенной модели-

3) полученные коэффициенты простой формы модели преобразуются в параметры исходной структурной модели.

Стоит отметить, что для сверхидентифицируемых систем КМНК не используют, так как в этом случае невозможно задание однозначных оценок параметров структурной модели. Для таких моделей может быть использована еще одна модификация МНК – двухшаговый метод наименьших квадратов (ДМНК).

Алгоритм ДМНК следующий:

1) на основе упрощенной модели расчитать для сверхидентифицируемого уравнения значения внутренних переменных, которые содержатся в правой части уравнения-

2) подставить полученные значения переменных на место соответствующих фактических переменных в исходной модели и еще раз применить обычный МНК.

Подробное описание косвенного и двухшагового методов наименьших квадратов приведено во многих учебниках по эконометрике. Особенность этих методов, равно как и обычного МНК, в их универсальности, позволяющей использовать их для оценки коэффициентов любой структурной модели в какой угодно предметной области.