Нелинейный метод наименьших квадратов Постановка задачи




Скачать 177.72 Kb.
НазваниеНелинейный метод наименьших квадратов Постановка задачи
страница1/3
Дата публикации01.06.2014
Размер177.72 Kb.
ТипДокументы
literature-edu.ru > Информатика > Документы
  1   2   3
Глава 4 Нелинейный метод наименьших квадратов
Постановка задачи. Что будет, если зависимость наблюдаемых значений yi от параметров нелинейная, т.е.

yi = h(xi ; ) + i = h i ( ) + i , i = 1, ..., n, (1)

где xi  значение (скалярного или векторного) аргумента в i-ом наблюдении, h  функция заданного вида, зависящая от параметров = ( 1 , ..., k)T, истинное значение неизвестно и подлежит оценке по yi; ошибки измерений i независимы и в совокупности для = (1 , ..., n )T выполняются условия E = 0, cov( , ) = 2In ? Свойства оптимальности оценки НК, доказанные в линейном случае, целиком основывались на линейности модели (5’) гл.1 по и на линейности НК-оценок

= Arg min || yh () || 2 , (2)

где h () = (h 1 ( ) , h 2 ( ) , ..., h n ( ) )T Rn . Ни то, ни другое не имеет места для h(x ; ) нелинейного вида. Оценка (2) обычно не может быть записана в явной форме, а получается численно в итерационной процедуре минимизации

Q ( ) = || yh () || 2. (3)

Поэтому в общем случае МНК не обоснован, и метод МП является единственным обоснованным методом :

МП = Arg max L ( ) , (4)

и в зависимости от ф.р. ошибок получим разные оценки (4) (см. пример 3 гл.1 для линейного случая). В частности, если Nn (0 , 2 I n ), то

МП = Arg max [exp {1/(2 2 )  || yh () || 2 }] = Arg min Q ( ) = , (5)

т.е. получаем обоснование нелинейного МНК в случае нормальности ошибок.

Однако, в отличие от линейного случая, оценка (2) не будет нормально распределённой (вспомним, что результат теоремы 2.4 был основан на линейности = L y) . Поэтому вся теория нормальной регрессии тут не проходит. В частности, несмещённость и эффективность НК-оценки лишь асимптотическая, как и для любой МП-оценки.

Таким образом, рассмотрение нелинейного случая в основном касается вычислительной стороны  как искать (2) ? Однако прежде, чем искать, поставим вопрос о существовании и единственности НК-оценки.

Пример 1. Оценка (2) может не существовать. Пусть y1 = y2 = ... = yn = 0, R1 , h (x ; ) = , xi > 0, i = 1, ..., n . Тогда

Q ( ) = , inf Q ( ) = 0, но он не достигается ни в какой конечной точке , а лишь при    . 

Пример 2 . (решение (2) может быть не единственным). Пусть опять yi = 0, i = 1, ..., n , и пусть = (1 , 2 , 3 )T ,

h (x; ) = exp{ -1x } - exp{ -2x } - 3 (exp{ -x } - exp{ -10x }).

Нетрудно видеть, что опять inf Q ( ) = 0, но он достигается при

(а) 1 = 1, 2 = 10, 3 = 1; (б) 1 = 10, 2 = 1, 3 = -1; (в) 1 = a , 2 = -a, 3 = 0 ;   a    . 

Наконец, из (5) вытекает, что под НК-оценкой понимается , реализующая глобальный минимум Q( ) (3). Однако при нелинейной h(x; ) , как правило, Q( ) имеет несколько минимумов, а найденное * может давать не глобальный, а локальный минимум Q() (неподходящее решение). Задача глобальной минимизации очень трудна, и до настоящего времени в общем случае не решена. Поэтому, чтобы иметь хоть какую-то гарантию успеха, на практике пробуют несколько разных начальных приближений в одной из описанных ниже итерационных процедур, и убеждаются, что все эти начальные приближения приводят к одному и тому же решению (в противном случае за принимают то, которое даёт наименьшее значение Q() ).

Пример 3. Пусть n = 5, опять yi = 0; xi = i, i = 1, ..., 5 , и пусть R1 , h (x ; ) = 1 – cos(2 ) + 0.36 x 2. Ясно, что min Q ( ) = 0, и он достигается в точке = 0 (глобальный минимум). Но имеются ещё четыре локальных минимума вблизи точек -2, -1, 1, 2 (в этих точках функция f() = 1 – cos(2) принимает наименьшее значение, равное 0). Если использовать, как это обычно делается, итерационный алгоритм, и взять в качестве начального приближения для значение (0) , отделённое от нуля одним из локальных минимумов, то процедура локальной минимизации найдёт в качестве * локальный минимум.




Действительно, автор провёл вычислительный эксперимент, используя функцию FindMinimum из пакета Mathematica (version 2.2). Получились такие результаты:

(0) = 0.5 Q( (0) ) = 25.8455 * = 0.0251734 Q( *) = 8.70710 -8

(0) = 1.2 Q( (0) ) = 27.9141 * = 0.936574 Q( *) = 6.25756

(0) = 2.2 Q( (0) ) = 205.484 * = 1.86034 Q( *) = 99.5182.

Как же минимизировать целевую функцию (3) ? Для некоторых частных видов модельной функции h(x;) можно использовать подходящее преобразование переменных, делающее модельную функцию линейной. Например, если в примере 1 взять

g (x; ) = ln h (x; ) = - x , (*)

и если данные не искусственно сконструированные (y1 = y2 = ... = yn = 0), а более реальные (y1 , y2 , ... yn > 0) , можно рассмотреть zi = lnyi . Такова же ситуация в случае модельной функции – гиперболы

h(x;) = 1/ (1 + 2 x)

(g(x; ) = 1/ h(x;), zi = 1/ yi ). Однако при преобразованиях типа (*) теряется аддитивность ошибок:

zi = ln yi ln h(xi ; ) + i’ = g(xi ; ) + i’,

где i– ошибка для преобразованных данных. Поэтому минимизация целевой функции

(**)

    не то же самое, что минимизация (3), так что решение (**) не есть НК-оценка. Правда, если | i | << |h(x; )|, можно взять по формуле Тейлора линейную (по i ) часть разложения yi : zi = ln h(xi ; ) + ln (1+ )  ln h(xi ; ) + = g(xi ; ) + i’. Однако и в этом случае преобразованная ошибка i не имеет постоянной дисперсии, Var{i} = , так что нужно использовать оценку Эйткена (20) из гл.1, а не обычную НК-оценку (10) гл.1. Таким образом, преобразование переменных требует осторожности, и правильнее рассматривать решение линеаризованной задачи (**) в качестве метода выбора начального приближения для , а затем решать нелинейную задачу (3) итерационными методами.

Градиентные методы. Какими? Обычно модельная функция h(x;)  гладкая функция (в дальнейшем нам понадобится, чтобы h ( ), h ( ) и h ( ) были непрерывны), а Q() квадратичная по h (т.е. тоже гладкая) . Теория и практика оптимизации показывают, что для локальной минимизации гладкой функции (3) более эффективны градиентные методы, а не алгоритмы типа случайного поиска. При этом решение ищется итерационно :

(l+1) = (l) +  (l) , (6)

где l  номер шага, (l)  приближение для на l -ой итерации, (l+1)  на l+1-ой итерации,  (l)Rkитерационный шаг. Итерационный шаг определяется направлением l (единичный вектор, || l || = 1, лежащий на луче, проведённом из (l) ) , и величиной шага l > 0, так что

 (l) = l l . (7)
Хотелось бы, чтобы очередной шаг приближал нас к решению * (обозначаем его *, а не потому, что ищется не глобальный, а локальный минимум (3)). Однако мы не знаем * , поэтому считаем шаг удачным, если он уменьшил целевую функцию (3).

Определение 1. Шаг  (l) допустимый, если Q( (l) +  (l)) < Q( (l)) .

Определение 2. Градиентный метод называется допустимым , если он состоит из одних лишь допустимых шагов.

В дальнейшем мы будем рассматривать только допустимые градиентные методы. Общую итерационную процедуру такого метода можно описать так:

  1. Пусть начальное приближение для есть (1) . Положим l := 1.

  2. Находим l направление допустимого шага.

  3. Определяем величину шага l , вычисляем по (7)  (l) и (l+1) = (l) +  (l)

  4. Проверяем условия останова. Если они выполнены, полагаем *:= (l+1) и идём на шаг 5. Иначе присваиваем (l):= (l+1), l := l+1 и идём на шаг 2.

  5. Стоп.

    В книге Гилл Ф., Мюррей У., Райт М. “Практическая оптимизация”. М.: Мир, 1985 при изложении теории оптимизации приводятся условия локального минимума функции в точке *

    А) Необходимые:

    1. Вектор градиента g( *) = 0 ;

    2. матрица вторых производных (матрица Гессе (Hesse), гессиан, играющая в оптимизации ключевую роль) H 0 в точке *.

    Б) Достаточные:

1. g( *) = 0 ;
  1   2   3

Добавить документ в свой блог или на сайт

Похожие:

Нелинейный метод наименьших квадратов Постановка задачи iconПостановка задачи
Роботы — это физические агенты, которые выполняют поставленные перед ними задачи, проводя манипуляции в физическом мире. Управление...

Нелинейный метод наименьших квадратов Постановка задачи iconМатематические модели cae систем
Описание и постановка прикладной задачи, реализованной в качестве дипломной работы. 33

Нелинейный метод наименьших квадратов Постановка задачи iconМатематические модели cae систем
Описание и постановка прикладной задачи, реализованной в качестве дипломной работы. 33

Нелинейный метод наименьших квадратов Постановка задачи iconОпределение ориентации неподвижного объекта с помощью спутниковых радионавигационных систем
В статье рассматривается постановка задачи определения ориентации. Описана модель, используемая для решения задачи. Приведен алгоритм...

Нелинейный метод наименьших квадратов Постановка задачи iconI. Обзор предметной области 1 Цель работы 6 Постановка задачи 6 Глава
...

Нелинейный метод наименьших квадратов Постановка задачи iconОтчет по лабораторной работе должен содержать следующие материалы...
Аналитическое решение тестового примера и результат вычислительного эксперимента по тесту

Нелинейный метод наименьших квадратов Постановка задачи iconПрограмма по курсу: практикум по программированию в ядре
Постановка задачи на драйвер kLogger. Базовая структура драйвера. Работа с файлами из режима ядра. Инициализация и выгрузка драйвера....

Нелинейный метод наименьших квадратов Постановка задачи iconОтчет должны содержать следующие: заголовок или титульный лист, введение,...
Спешу вам сообщить, что мы чуть не упустили такую замечательную вещь как курсовая работа

Нелинейный метод наименьших квадратов Постановка задачи iconД. Е. Кочкин в статье рассматривается постановка задачи относительного...
Применение математической модели вторых разностей фазовых измерений gps в задаче относительного местоопределения

Нелинейный метод наименьших квадратов Постановка задачи iconРобоча програма по дисципліні Чисельні методи
Численные методы решения систем линейных алгебраических уравнений. Правило Крамера, метод обращения матрицы, метод Гаусса

Литература


При копировании материала укажите ссылку © 2015
контакты
literature-edu.ru
Поиск на сайте

Главная страница  Литература  Доклады  Рефераты  Курсовая работа  Лекции