Технология подбора коэффициентов функции методом наименьших квадратов средствами excel

Метод наименьших квадратов (МНК) основан на минимизации суммы квадратов отклонений выбранной функции от исследуемых данных. В этой статье аппроксимируем имеющиеся данные с помощью линейной функции

y

=

a

x

+

b

.

Метод наименьших квадратов

(англ.

Ordinary

Least

Squares

,

OLS

) является одним из базовых методов регрессионного анализа в части оценки неизвестных параметров

регрессионных моделей

по выборочным данным.

Рассмотрим приближение функциями, зависящими только от одной переменной:

• Линейная: y=ax+b (эта статья)
• Логарифмическая

  : y=a*Ln(x)+b

• Степенная

  : y=a*x
  
  ^m
  

• Экспоненциальная

  : y=a*EXP(b*x)+с

• Квадратичная

  : y=ax
  
  ²
  
  +bx+c

Примечание

: Случаи приближения полиномом с 3-й до 6-й степени рассмотрены в этой статье. Приближение тригонометрическим полиномом рассмотрено здесь.

Линейная зависимость

Нас интересует связь 2-х переменных

х

и

y

. Имеется предположение, что

y

зависит от

х

по линейному закону

y

=

ax

+

b

. Чтобы определить параметры этой взаимосвязи исследователь провел наблюдения: для каждого значения х

_i

произведено измерение y

_i

(см.

файл примера

). Соответственно, пусть имеется 20 пар значений (х

_i

; y

_i

).

Для наглядности рекомендуется построить диаграмму рассеяния.

Примечание:

Если шаг изменения по

х

постоянен, то для построения

диаграммы рассеяния

можно использовать

тип График

, если нет, то необходимо использовать тип диаграммы

Точечная

.

Из диаграммы очевидно, что связь между переменными близка к линейной. Чтобы понять какая из множества прямых линий наиболее «правильно» описывает зависимость между переменными, необходимо определить критерий, по которому будут сравниваться линии.

В качестве такого критерия используем выражение:

где

ŷ

_i

=

a

*

x

_i

+

b

;

n – число пар значений (в нашем случае n=20)

Вышеуказанное выражение представляет собой сумму квадратов расстояний между наблюденными значениями y

_i

и ŷ

_i

и часто обозначается как SSE (

Sum

of

Squared

Errors

(

Residuals

), сумма квадратов ошибок (остатков)

)

.

Метод наименьших квадратов

заключается в подборе такой линии

ŷ

=

ax

+

b

, для которой вышеуказанное выражение принимает минимальное значение.

Примечание:

Любая линия в двухмерном пространстве однозначно определяется значениями 2-х параметров:

a

(наклон) и

b

(сдвиг).

Считается, что чем меньше сумма квадратов расстояний, тем соответствующая линия лучше аппроксимирует имеющиеся данные и может быть в дальнейшем использована для прогнозирования значений y от переменной х. Понятно, что даже если в действительности никакой взаимосвязи между переменными нет или связь нелинейная, то МНК все равно подберет «наилучшую» линию. Таким образом, МНК ничего не говорит о наличии реальной взаимосвязи переменных, метод просто позволяет подобрать такие параметры функции

a

и

b

, для которых вышеуказанное выражение минимально.

Проделав не очень сложные математические операции (подробнее см.

статью про квадратичную зависимость

), можно вычислить параметры

a

и

b

:

Как видно из формулы, параметр

a

представляет собой отношение ковариации и

дисперсии

, поэтому в MS EXCEL для вычисления параметра

а

можно использовать следующие формулы (см.

файл примера лист Линейная

):

=

КОВАР(B26:B45;C26:C45)/ ДИСП.Г(B26:B45)

или

=

КОВАРИАЦИЯ.В(B26:B45;C26:C45)/ДИСП.В(B26:B45)

Также для вычисления параметра

а

можно использовать формулу =

НАКЛОН(C26:C45;B26:B45)

. Для параметра

b

используйте формулу =

ОТРЕЗОК(C26:C45;B26:B45)

.

И наконец, функция

ЛИНЕЙН()

позволяет вычислить сразу оба параметра. Для ввода формулы

ЛИНЕЙН(C26:C45;B26:B45)

необходимо выделить в строке 2 ячейки и нажать

CTRL

+

SHIFT

+

ENTER

(см. статью про

формулы массива, возвращающими несколько значений

). В левой ячейке будет возвращено значение

а

, в правой –

b

.

Примечание

: Чтобы не связываться с вводом

формул массива

потребуется дополнительно использовать функцию

ИНДЕКС()

. Формула =

ИНДЕКС(ЛИНЕЙН(C26:C45;B26:B45);1)

или просто =

ЛИНЕЙН(C26:C45;B26:B45)

вернет параметр, отвечающий за наклон линии, т.е.

а

. Формула =

ИНДЕКС(ЛИНЕЙН(C26:C45;B26:B45);2)

вернет параметр, отвечающий за пересечение линии с осью Y, т.е.

b

.

Вычислив параметры, на

диаграмме рассеяния

можно построить соответствующую линию.

Инструмент диаграммы Линия тренда

Еще одним способом построения прямой линии по методу наименьших квадратов является инструмент диаграммы

Линия тренда

. Для этого выделите диаграмму, в меню выберите

вкладку Макет

, в

группе Анализ

нажмите

Линия тренда

, затем

Линейное приближение

.

Поставив в диалоговом окне галочку в поле «показывать уравнение на диаграмме» можно убедиться, что найденные выше параметры совпадают со значениями на диаграмме.

Примечание

: Для того, чтобы параметры совпадали необходимо, чтобы тип у диаграммы был

Точечная, а не График

. Дело в том, что при построении диаграммы

График

значения по оси Х не могут быть заданы пользователем (пользователь может указать только подписи, которые не влияют на расположение точек). Вместо значений Х используется последовательность 1; 2; 3; … (для нумерации категорий). Поэтому, если строить

линию тренда

на диаграмме типа

График

, то вместо фактических значений Х будут использованы значения этой последовательности, что приведет к неверному результату (если, конечно, фактические значения Х не совпадают с последовательностью 1; 2; 3; …).

СОВЕТ

: Подробнее о построении диаграмм см. статьи

Основы построения диаграмм

и

Основные типы диаграмм

.

Содержание

• Использование метода в Экселе
  • Включение надстройки «Поиск решения»
  • Условия задачи
  • Решение
• Вопросы и ответы

Метод наименьших квадратов представляет собой математическую процедуру построения линейного уравнения, которое бы наиболее точно соответствовало набору двух рядов чисел. Целью применения данного способа является минимизация общей квадратичной ошибки. В программе Excel имеются инструменты, с помощью которых можно применять данный метод при вычислениях. Давайте разберемся, как это делается.

Использование метода в Экселе

Метод наименьших квадратов (МНК) является математическим описанием зависимости одной переменной от второй. Его можно использовать при прогнозировании.

Включение надстройки «Поиск решения»

Для того, чтобы использовать МНК в Экселе, нужно включить надстройку «Поиск решения», которая по умолчанию отключена.

1. Переходим во вкладку «Файл».



2. Кликаем по наименованию раздела «Параметры».



3. В открывшемся окне останавливаем выбор на подразделе «Надстройки».



4. В блоке «Управление», который расположен в нижней части окна, устанавливаем переключатель в позицию «Надстройки Excel» (если в нём выставлено другое значение) и жмем на кнопку «Перейти…».



5. Открывается небольшое окошко. Ставим в нём галочку около параметра «Поиск решения». Жмем на кнопку «OK».

Теперь функция Поиск решения в Excel активирована, а её инструменты появились на ленте.

Урок: Поиск решения в Экселе

Условия задачи

Опишем применение МНК на конкретном примере. Имеем два ряда чисел x и y, последовательность которых представлена на изображении ниже.

Наиболее точно данную зависимость может описать функция:

y=a+nx

При этом, известно что при x=0 y тоже равно 0. Поэтому данное уравнение можно описать зависимостью y=nx.

Нам предстоит найти минимальную сумму квадратов разности.

Решение

Перейдем к описанию непосредственного применения метода.

1. Слева от первого значения x ставим цифру 1. Это будет приближенная величина первого значения коэффициента n.



2. Справа от столбца y добавляем ещё одну колонку – nx. В первую ячейку данного столбца записываем формулу умножения коэффициента n на ячейку первой переменной x. При этом, ссылку на поле с коэффициентом делаем абсолютной, так как это значение меняться не будет. Кликаем по кнопке Enter.



3. Используя маркер заполнения, копируем данную формулу на весь диапазон таблицы в столбце ниже.



4. В отдельной ячейке высчитываем сумму разностей квадратов значений y и nx. Для этого кликаем по кнопке «Вставить функцию».



5. В открывшемся «Мастере функций» ищем запись «СУММКВРАЗН». Выбираем её и жмем на кнопку «OK».



6. Открывается окно аргументов. В поле «Массив_x» вводим диапазон ячеек столбца y. В поле «Массив_y» вводим диапазон ячеек столбца nx. Для того, чтобы ввести значения, просто устанавливаем курсор в поле и выделяем соответствующий диапазон на листе. После ввода жмем на кнопку «OK».



7. Переходим во вкладку «Данные». На ленте в блоке инструментов «Анализ» жмем на кнопку «Поиск решения».



8. Открывается окно параметров данного инструмента. В поле «Оптимизировать целевую функцию» указываем адрес ячейки с формулой «СУММКВРАЗН». В параметре «До» обязательно выставляем переключатель в позицию «Минимум». В поле «Изменяя ячейки» указываем адрес со значением коэффициента n. Жмем на кнопку «Найти решение».



9. Решение будет отображаться в ячейке коэффициента n. Именно это значение будет являться наименьшим квадратом функции. Если результат удовлетворяет пользователя, то следует нажать на кнопку «OK» в дополнительном окне.

Как видим, применение метода наименьших квадратов довольно сложная математическая процедура. Мы показали её в действии на простейшем примере, а существуют гораздо более сложные случаи. Впрочем, инструментарий Microsoft Excel призван максимально упростить производимые вычисления.

Еще статьи по данной теме:

Помогла ли Вам статья?

• 

4.1.
Использование встроенных функций

Вычисление
коэффициентов
регрессии
осуществляется с помощью функции

ЛИНЕЙН(Значения_y;
Значения_x;
Конст;
статистика),

где

Значения_y
— массив значений y,

Значения_x—
необязательный массив значений x,
если массив х
опущен, то предполагается, что это массив
{1;2;3;…} такого же размера, как и Значения_y,

Конст—
логическое значение, которое указывает,
требуется ли, чтобы константа b
была равна 0. Если Конст
имеет значение ИСТИНА
или опущено, то b
вычисляется обычным образом. Если
аргумент Конст
имеет значение ЛОЖЬ, то b
полагается равным 0 и значения a
подбираются так, чтобы выполнялось
соотношение y=ax.

Статистика—
логическое значение, которое указывает,
требуется ли вернуть дополнительную
статистику по регрессии. Если аргумент
Статистика
имеет значение ИСТИНА,
то функция ЛИНЕЙН
возвращает дополнительную регрессионную
статистику. Если аргумент Статистика
имеет значение ЛОЖЬ
или опущен, то функция ЛИНЕЙН
возвращает только коэффициент a
и постоянную b.

Необходимо
помнить, что результатом функций ЛИНЕЙН()
является
множество значений – массив.

Для
расчета коэффициента
корреляции
используется функция

КОРРЕЛ(Массив1;Массив2),

возвращающая
значения коэффициента корреляции, где
Массив1
— массив значений y,
Массив2
— массив значений x.
Массив1
и Массив2
должны быть одной размерности.

ПРИМЕР
1. Зависимость
y(x)
представлена в таблице. Построить линию
регрессии
и вычислить коэффициент
корреляции.

y	0	0.5	1	1.5	2	2.5	3	3.5	4
x	1	2.39	2.81	3.25	3.75	4.11	4.45	4.85	5.25

Введем
таблицу значений в лист MS
Excel
и построим точечный график. Рабочий
лист примет вид изображенный на рис. 2.

Рис. 2

Для
того чтобы рассчитать значения
коэффициентов регрессии а
и b
выделим
ячейки A7:B7,
обратимся к мастеру функций и в категории
Статистические
выберем функцию ЛИНЕЙН.
Заполним появившееся диалоговое окно
так, как показано на рис. 3 и нажмем ОK.

Рис. 3

В
результате вычисленное значение появится
только в ячейке A6
(рис.4). Для того чтобы значение появилось
и в ячейке B6
необходимо войти в режим редактирования
(клавиша F2),
а затем нажать комбинацию клавиш
CTRL+SHIFT+ENTER.

Для
расчета значения коэффициента корреляции
в ячейку С6
была введена следующая формула:

С7=КОРРЕЛ(B3:J3;B2:J2).

Рис. 4

Зная
коэффициенты
регрессии а
и b
вычислим значения функции y=ax+b
для заданных x.
Для этого
введем формулу

B5=$A$7*B2+$B$7

и
скопируем ее в диапазон С5:J5
(рис. 5).

Рис. 5

Изобразим
линию регрессии на диаграмме. Выделим
экспериментальные точки на графике,
щелкнем правой кнопкой мыши и выберем
команду Исходные
данные. В
появившемся диалоговом окне (рис. 5)
выберем вкладку Ряд
и щелкнем по кнопке Добавить.
Заполним поля ввода, так как показано
на рис. 6 и нажмем кнопку ОК.
К графику экспериментальных данных
будет добавлена линия регрессии. По
умолчанию ее график будет изображен в
виде точек, не соединенных сглаживающими
линиями.

Рис.
6

Чтобы
изменить вид линии регрессии, выполним
следующие действия. Щелкнем правой
кнопкой мыши по точкам, изображающим
график линии, выберем команду Тип
диаграммы и
установим вид точечной диаграммы, так
как показано на рис. 7.

Рис.
7

Тип
линии, ее цвет и толщину можно изменить
следующим образом. Выделить линию на
диаграмме, нажать правую кнопку мыши и
в контекстном меню выбрать команду
Формат рядов
данных…
Далее сделать установки, например, так
как показано на рис. 8.

Рис. 8

В
результате всех преобразований получим
график экспериментальных данных и линию
регрессии в одной графической области
(рис. 9).

Рис. 9

4.2.
Использование линии тренда.

Построение
различных аппроксимирующих зависимостей
в MS
Excel
реализовано в виде свойства диаграммы
– линия
тренда.

ПРИМЕР
2. В результате
эксперимента была определена некоторая
табличная зависимость.

0.15	0.16	0.17	0.18	0.19	0.20
4.4817	4.4930	5.4739	6.0496	6.6859	7.3891

Выбрать
и построить аппроксимирующую зависимость.
Построить графики табличной и подобранной
аналитической зависимости.

Решение
задачи можно разбить на следующие этапы:
ввод исходных данных, построение
точечного графика и добавление к этому
графику линии тренда.

Рассмотрим
этот процесс подробно. Введем исходные
данные в рабочий лист и построим график
экспериментальных данных. Далее выделим
экспериментальные точки на графике,
щелкнем правой кнопкой мыши и воспользуемся
командой Добавить
линию
тренда (рис.
10).

Рис. 10

Появившееся
диалоговое окно позволяет построить
аппроксимирующую зависимость.

На
первой вкладке (рис. 11) этого окна
указывается вид аппроксимирующей
зависимости.

На
второй (рис. 12) определяются параметры
построения:

• название
  аппроксимирующей зависимости;

• прогноз
  вперед (назад) на n
  единиц (этот параметр определяет, на
  какое количество единиц вперед (назад)
  необходимо продлить линию тренда);

• показывать
  ли точку пересечения кривой с прямой
  y=const;

• показывать
  аппроксимирующую функцию на диаграмме
  или нет (параметр показывать уравнение
  на диаграмме);

• помещать
  ли на диаграмму величину среднеквадратичного
  отклонения или нет (параметр поместить
  на диаграмму величину достоверности
  аппроксимации).

Рис. 11

Рис. 12

Выберем
в качестве аппроксимирующей зависимости
полином второй степени (рис. 11) и выведем
уравнение, описывающее этот полином на
график (рис. 12). Полученная диаграмма
представлена на рис. 13.

Рис.
13

Аналогично
с помощью линии
тренда можно
подобрать параметры таких зависимостей
как

• линейная
  y=a∙x+b,

• логарифмическая
  y=a∙ln(x)+b,

• экспоненциальная
  y=a∙e^b,

• степенная
  y=a∙x^b,

• полиномиальная
  y=a∙x²+b∙x+c,
  y=a∙x³+b∙x²+c∙x+d
  и так далее, до полинома 6-й степени
  включительно,

• линейная
  фильтрация.

4.3.
Использование решающего блока

Значительный
интерес представляет реализация в MS
Excel
подбора параметров методом наименьших
квадратов с использованием решающего
блока. Эта методика позволяет подобрать
параметры функции любого вида. Рассмотрим
эту возможность на примере следующей
задачи.

ПРИМЕР
3. В результате
эксперимента получена зависимость z(t)
представленная в таблице

0,66	0,9	1,17	1,47	1,7	1,74	2,08	2,63	3,12
38,9	68,8	64,4	66,5	64,95	59,36	82,6	90,63	113,5

Подобрать
коэффициенты зависимости Z(t)=At⁴+Bt³+Ct²+Dt+K
методом наименьших квадратов.

Эта
задача эквивалентна задаче нахождения
минимума функции пяти переменных

(10).

Рассмотрим
процесс решения задачи оптимизации
(рис. 14).

Рис. 14

Пусть
значения А,
В,
С,
D
и К
хранятся в ячейках A7:E7.
Рассчитаем теоретические значения
функции Z(t)=At⁴+Bt³+Ct²+Dt+K
для заданных t
(B2:J2).
Для этого в ячейку B4
введем значение функции в первой точке
(ячейка B2):

B4=$A$7*B2^4+$B$7*B2^3+$C$7*B2^2+$D$7*B2+$E$7.

Скопируем
эту формулу в диапазон С4:J4
и получим ожидаемое значение функции
в точках, абсциссы которых хранится в
ячейках B2:J2.

В
ячейку B5
введем формулу, вычисляющую квадрат
разности между экспериментальными и
расчетными точками:

B5=(B4-B3)^2,

и
скопируем ее в диапазон С5:J5.
В ячейке F7
будем хранить суммарную квадратичную
ошибку (10). Для этого введем формулу:

F7
=
СУММ(B5:J5).

Воспользуемся
командой СервисПоиск
решения
и решим задачу оптимизации без ограничений.
Заполним соответствующим образом поля
ввода в диалоговом окне, показанном на
рис. 14 и нажмем кнопку Выполнить.
Если решение будет найдено, то появится
окно, изображенное на рис. 15.

Результатом
работы решающего блока будет вывод в
ячейки A7:E7
значений
параметров
функции Z(t)=At⁴+Bt³+Ct²+Dt+K.
В ячейках B4:J4
получим ожидаемые
значение функции
в исходных точках. В ячейке F7
будет храниться суммарная
квадратичная ошибка.

Изобразить
экспериментальные точки и подобранную
линию в одной графической области можно,
если выделить диапазон B2:J4,
вызвать
Мастер
диаграмм,
а затем отформатировать внешний вид
полученных графиков.

Рис.
17 отображает рабочий лист MS
Excel
после проведенных вычислений.

Рис.
15

Рис. 16

Рис. 17

5.
СПИСОК ЛИТЕРАТУРЫ

1.
Алексеев Е.Р., Чеснокова О.В., Решение
задач вычислительной математики в
пакетах Mathcad12,
MATLAB7,
Maple9.
– НТ Пресс, 2006.–596с. :ил. –(Самоучитель)

2.
Алексеев Е.Р., Чеснокова О.В., Е.А. Рудченко,

Scilab,
решение инженерных и математических
задач. –М., БИНОМ, 2008.–260с.

3.
Березин И.С., Жидков Н.П., Методы
вычислений.–М.:Наука, 1966.–632с.

4.
Гарнаев А.Ю., Использование MS
EXCEL
и VBA
в экономике и финансах. – СПб.: БХВ —
Петербург, 1999.–332с.

5.
Демидович Б.П., Марон И А., Шувалова В.З.,
Численные методы анализа.–М.:Наука,
1967.–368с.

6.
Корн Г., Корн Т., Справочник по математике
для научных работников и инженеров.–М.,
1970, 720с.

7.
Алексеев
Е.Р., Чеснокова О.В. Методические указания
к выполнению лабораторных работ в MS
EXCEL.
Для студентов всех специальностей.
Донецк,
ДонНТУ, 2004. 112 с.

25

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Программа Excel – мощный табличный редактор, позволяющий выполнять огромное количество различных операций и задач. В данной статье мы разберем, как можно применить метод наименьших квадратов (МНК), который используется для решения различных задач с минимизацией суммы квадратов отклонений некоторых функций от искомых переменных.

Подготовительный этап: активируем надстройку “Поиск Решения”

Прежде, чем приступить к решению основной задачи, потребуется активировать надстройку “Поиск решения” в программе.

1. Идем в меню “Файл”.
2. В перечне слева выбираем пункт “Параметры”.
3. В правой части подраздела “Надстройки” выбираем для параметра “Управление” вариант “Надстройки Excel” и жмем “Перейти”.
4. Появится окно для выбора нужных надстроек. Устанавливаем галочку напротив пункта “Поиск решения” и щелкаем OK.

Этап 1: исходные данные

Давайте разберем применение метода наименьших квадратов, решив конкретный пример. Допустим, у нас есть два ряда числовых значений – X и Y.

Данная зависимость может быть описана уравнением ниже:

Y=A+NX

Также, мы знаем, что если X=0, то и Y=0. А значит, данное уравнение можно записать так:

Y=NX

Приступим к выполнению нашей задачи, которая заключается в нахождении суммы квадратов разности.

Этап 2: решаем задачу с применением МНК

1. Столбцу, находящемся слева от X, задаем имя N пишем число “1” (примерное значение первого коэф. N) напротив первого значения ряда X.
2. Столбцу с правой стороны от Y задаем название NX. Затем в самой верхней ячейке (напротив первых значений рядов X и Y) пишем формулу произведения коэф. N на соответствующее ему значение из столбца X. При этом адрес ячейки с коэффициентом нужно сделать абсолютным, чтобы он не менялся при копировании формулы. По готовности жмем Enter.
3. Наводим указатель мыши на ячейку с полученным результатом. Как только появится черный плюсик (маркер заполнения), зажав левую кнопку мыши тянем его вниз до последней строки таблицы.
4. Получаем результаты расчетов в каждой ячейке столбца NX.
5. Теперь нужно посчитать сумму разностей квадратов значений Y и NX. Встаем в самую верхнюю ячейку столбца справа от NX (не считая шапки таблицы) и щелкаем по значку “Вставить функцию” (fx).
6. В окне вставки функции выбираем категорию “Математические”, находим оператор “СУММКВРАЗН” и щелкаем OK.
7. Теперь нужно заполнить аргументы функции:
   • в поле “Массив_x”  указываем координаты диапазона ячеек столбца Y (без шапки). Адреса ячеек можно указать как вручную, напечатав их с клавиатуры, так и путем выделения с помощью зажатой левой кнопки мыши в самой таблице.
   • в поле “Массив_y” указываем диапазон ячеек столбца NX.
   • жмем Enter, когда все готово.
8. Переключаемся во вкладку “Данные”. В группе “Анализ” щелкаем по функции “Поиск решения”.
9. Нам предстоит заполнить параметры поиска решения:
   • в поле “Оптимизировать целевую функцию” следует указать ссылку на ячейку с функцией “СУММКВРАЗН”. Сделать это можно вручную или выбрав элемент в таблице.
   • для опции “До” выбираем вариант – “Минимум”.
   • в поле “Изменяя ячейки переменных” нужно указать координаты ячейки, в которой находится соответствующее значение коэф. N.
   • по готовности нажимаем “Найти решение”.
10. После выполнения функции появится окно с результатами поиска решения и произойдет замена значения в столбце N. Найденная величина является наименьшим квадратом функции. Нажимаем OK, если полученный результат удовлетворителен.

Заключение

Итак, мы только что разобрали на практическом примере, каким образом можно применить метод наименьших квадратов в Эксель. На практике могут встречаться более сложные задачи, однако, в целом логика действий схожа с той, что мы описали.