Поиск параметрической регрессионной модели в индуктивно заданном множестве Текст научной статьи по специальности «Математика»

Описана процедура поиска параметрической регрессионной модели в классе моделей, определенном суперпозициями гладких функций из заданного множества. Для поиска используются оценки плотности распределения параметров элементов моделей. Параметры моделей оцениваются с помощью методов нелинейной оптимизации. Для иллюстрации приведена задача о моделировании изменения давления в камере внутреннего сгорания дизельного двигателя.

Search for a parametric regression model in an inductive-generated set

A procedure of the search for a parametric regression model in a model set is described. The model set is a set of superpositions of the given smooth functions. The models' parameters density estimates are used for the search. To illustrate applicability of the approach the problem of the pressure variation in a spray chamber of the combustion engine is examined.

Текст научной работы на тему «Поиск параметрической регрессионной модели в индуктивно заданном множестве»

ПОИСК ПАРАМЕТРИЧЕСКОЙ РЕГРЕССИОННОЙ МОДЕЛИ В ИНДУКТИВНО ЗАДАННОМ

Вычислительный центр имени А. А. Дородницына РАН, Москва, Россия

Проблема отыскания оптимальной параметрической регрессионной модели имеет большую историю, однако продолжает оставаться одной их самых актуальных в области распознавания образов. А.Г. Ивахненко, еще в 1968 году, предложил метод группового учета аргументов [1]. Согласно этому методу модель, доставляющая наилучшее приближение, отыскивается во множестве последовательно порождаемых моделей. В частности, для построения моделей как суперпозиций функций использовались полиномиальные функции, ряды Фурье и некоторые другие функции. А.Г. Ивахненко и его ученики создали ряд алгоритмов синтеза моделей и предложили методы оценки качества моделей.

При порождении конкурирующих моделей появляется задача определения значимости элементов модели. В работе К. Бишопа [2] предложен метод анализа распределения параметров однослойных нейронных сетей посредством гиперпараметров, т. е. параметров аппроксимирующих функций. Для каждого элемента сети оценивается плотность гауссов-ского распределения его параметров и делается вывод о том, насколько информативен данный элемент исследуемой регрессионной модели.

Ле Кюн предложил метод для модификации моделей, называемый методом оптимального отсечения (optimal brain damage) [3]. Этот метод состоит в исключении некоторых, наименее информативных, элементов регрессионной модели с тем условием, что при этом качество аппроксимации уменьшается незначительно. При исключении отдельных элементов модели становится возможным оценить их вклад по значениям заданной функции качества аппроксимации.

Проблема сравнения и выбора регрессионных моделей получила новое развитие после ряда публикаций Д. МакКая [4-6], предложившего при выборе модели из заданного мно-

* Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант № 07-07-00181).

жества использовать не информационные критерии, например AIC — Akakie Information Criterion, а двухуровневый байесовский вывод и правило Оккама. На первом уровне вывода вычисляются плотности вероятностей распределения параметров каждой модели из заданного множества, на втором — правдоподобие моделей. Правило Оккама состоит в том, что вероятность выбора более сложной модели меньше, чем более простой, при сравнимом значении функции качества аппроксимации.

Метод, предлагаемый в данной работе, заключается в следующем. Поиск моделей выполняется по итерационной схеме "порождение-выбор" в соответствии с определенными правилами порождения моделей и критерием их выбора. Последовательно порождаются наборы конкурирующих моделей. Каждая модель в наборе является суперпозицией элементов заданного множества гладких параметрических функций. После построения модели каждому элементу суперпозиции ставится в соответствие гиперпараметр. Параметры и гиперпараметры модели последовательно настраиваются. Из набора выбираются наилучшие модели для последующей модификации. При модификации моделей по значениям гиперпараметров делаются выводы о целесообразности включения того или иного элемента в модель следующего порождаемого набора.

Поставим задачу нахождения регрессионной модели нескольких свободных переменных следующим образом. Задана выборка — множество значений свободных переменных и множество соответствующих им значений зависимой переменной. Обозначим оба эти множества как множество исходных данных D. Также задано множество G = гладких параметрических функций д = g(b, •, •. •). Первый аргумент функции д — вектор-строка параметров b, последующие — переменные из множества действительных чисел, рассматриваемые как элементы вектора свободных переменных. Рассмотрим произвольную суперпозицию, состоящую из не более чем r функций д. Эта суперпозиция задает параметрическую регрессионную модель f = f (w, x). Модель f зависит от вектора свободных переменных x и вектора параметров w. Вектор w £ состоит из присоединенных вектор-параметров функций д1. дг, т.е. w = b1.b2. br, где . — знак присоединения векторов. Обозначим через Ф = множество всех суперпозиций, индуктивно порожденное элементами множества G.

Требуется найти модель fi, которая доставляет максимум функционалаp(w|D, а, в, fi). Этот функционал, определяемый далее, включает искомую модель fi(w, x) и ее дополнительные параметры а и в.

1. Выбор регрессионных моделей и гипотеза порождения данных

Общий подход к сравнению нелинейных моделей заключается в следующем. Рассмотрим набор конкурирующих моделей /1. /м• Априорная вероятность модели /г определена как Р(/г). При появлении данных О апостериорная вероятность модели Р(/г|О) может быть найдена по теореме Байеса

где p(D| fi) — функция соответствия модели данным. Знаменатель дроби обеспечивает

выполнение условия У] P(fi|D) = 1.

Вероятности моделей f1 и f2, параметры которых идентифицированы по данным D, сравнимы как

Отношение р(О|/1)/р(О|/) есть отношение правдоподобия моделей. Отношение Р(/1 )/Р(/2) является априорной оценкой предпочтения одной модели другой. При моделировании отдается предпочтение наиболее простым и устойчивым моделям. Если априорные оценки Р(/¿) моделей одинаковы, т. е. нет причины предпочитать одну модель другой, то их необходимо сравнивать по значениям р(О|/):

Апостериорная плотность распределения параметров w функции / при заданной выборке О равна

где р^|/) — априорно заданная плотность вероятности параметров начального приближения; р(О^,/г) — функция правдоподобия параметров модели, а знаменатель р(О|/) обеспечивает выполнение условия /p(w|D,/¿)dw = 1. Он задан интегралом в пространстве параметров /р^'|О, Формулы (2) и (1) называются формулами байесовского вывода первого и второго уровня.

Рассмотрим регрессию у = /¿(Ь, х) + V с аддитивным гауссовским шумом с дисперсией аи и нулевым матожиданием. Тогда плотность вероятности появления данных опреде-

/I , лд /П| n n exp(-eED(D|w,fi))

где в = l/^. Нормирующий множитель Zd (в) задан выражением

а взвешенный функционал ошибки в пространстве данных

Введем регуляризующий параметр а, который отвечает за то, насколько хорошо модель должна соответствовать зашумленным данным. Функция плотности вероятности параметров с заданным гиперпараметром а имеет вид

где а — обратная дисперсия распределения параметров, а = а нормирующая константа Zw зависит от дисперсии распределения параметров как

Требование к малым значениям параметров [7] предполагает гауссовское априорное распределение с нулевым средним:

Так как переменные а и в являются параметрами распределения параметров модели, в дальнейшем будем называть их гиперпараметрами. Исключая нормирующую константу Zw, которая не зависит от параметров и логарифмируя, получаем

Эта ошибка регуляризирует параметры, начисляя штраф за их чрезмерно большие значения.

При заданных значениях гиперпараметров а и в выражение (2) для фиксированной функции /г будет иметь вид

Записывая функцию ошибки в виде Б(') = аEw + вЕд, получаем

где Zs — нормирующий множитель.

2. Нахождение параметров модели

Рассмотрим итеративный алгоритм для определения оптимальных параметров ' и гиперпараметров а, в при заданной модели /г. Корректный подход заключается в интегрировании всех неизвестных параметров и гиперпараметров. Апостериорное распределение параметров определяется как

р('Щ = Цр(',а,в|D)dаdв = Цр(^а, в^)р(а, в|D)dаdв, (8)

что требует интегрирования апостериорного распределения параметров p(w|а, в, D) по пространству, размерность которого равна количеству параметров. Вычислительная сложность этого интегрирования весьма велика. Интеграл может быть упрощен при подходящем выборе начальных значений гиперпараметров.

Приближение интеграла заключается в том, что апостериорная плотность распределения гиперпараметров р(а, вимеет выраженный пик в окрестности наиболее правдоподобных значений гиперпараметров амр, вМР • Это приближение известно как аппроксимация Лапласа [8]. При таком допущении интеграл (8) упрощается до

рМЯ) « рНаМР,вМР,£)^Iр(а, в|D)dadв

Необходимо найти значения гиперпараметров, которые оптимизируют апостериорную плотность вероятности параметров, а затем выполнить все остальные расчеты, включающие р^|Д) при фиксированных значениях гиперпараметров.

Для нахождения функционалар^|а, в, который использует апостериорное распределение параметров, рассмотрим аппроксимацию ошибки Б(w) на основе рядов Тейлора второго порядка:

БЫ « Б(wмр) + - wMP)TА^ - wмр). (9)

В выражении (9) нет слагаемого первого порядка, так как предполагается, что wмр определяет локальный минимум функции ошибки, т. е.

для всех значений Матрица А — это матрица Гессе функции ошибок:

А _ У2Б^мр) _ вV2ED(wмр) + а!.

Обозначим первое слагаемое правой части через Н, тогда А _ Н + а!. Подставив полученное приближенное значение Бв (7) и обозначив Дw _ w — wмр, получим

р^а,в^) _ -^ехр ( —Б^мр) — 2ДwTАД^ .

Оценим нормирующую константу "б, необходимую для аппроксимации кривой Гаусса, как

¿б _ ехр(—Б^мр))(2п)^(ае1 А)-2. (10)

Максимизируем функцию р(Д|а,в), изменяя значения гиперпараметров а и в• Это можно выполнить, интегрируя функцию плотности вероятности данных по пространству параметров w:

р(П^,в а, в )рМа,в )dw р(Б^,а,в )p(w|а)dw, (11)

где второй интеграл справедлив по причине того, что распределение параметров не зависит от дисперсии шума в силу гипотезы о гауссовском распределении шума. Для упрощения вычислений мы допускаем, что распределение р(а,в) является равномерным. Используя (4), (6), запишем (11) в виде

1 1 /* р(Д|а,в) _ ехр(—Б^^

Из (3), (5), (10) и предыдущего выражения получим

1пр(£|а, в) = -а£$Р - в^Г - " 1п IА| + — 1п а + — 1пв--1п (2п).

Для того чтобы оптимизировать это выражение относительно а, найдем производную

^ 1 а/ ^ 4^ = 1 / ,=1 ,= 1

В этом выражении Л1;. Лш — собственные значения матрицы Н. Так как функция ошибки на данных не является квадратичной функцией параметров, как при линейной или ИВЕ регрессии, непосредственно оптимизировать величину а невозможно, гессиан Н не является константой, а зависит от параметров Поскольку мы принимаем А = Н + а/ для вектора 'мр, который зависит от выбора а, собственные значения Н косвенным образом зависят от а. Таким образом, формула (13) игнорирует параметры модели. С использованием этого приближения, производная (12) с учетом а равна

Л ш Ш 1 * ^ 1п(Л, + а) = £ = 1г(А-1). (13)

1пР(^|а,в) = -ЕШР - 2Ё 1

Приравнивая последнее выражение к нулю и преобразовывая его, получаем выражение

Обозначим вычитаемое правой части через 7:

Те компоненты суммы, в которых Л, ^ а, привносят вклад, близкий к единице, а те компоненты суммы, в которых 0 < Л, ^ а, привносят вклад, близкий к нулю. Таким образом 7 может быть интерпретирована как мера числа хорошо обусловленных параметров модели.

Для нахождения гиперпараметра в рассмотрим задачу оптимизации (12). Обозначим через собственное значение матрицы У2Ед. Так как Н = вV2Eд, то Л, = в^з, а следовательно,

Лв >п|А = Лв £ ^ + а) = 1 £ ЛТ^.

Дифференцируя, как и в случае нахождения а, мы находим, что оптимальное значение в определено как

Способ вычисления оптимальных значений гиперпараметров а и в описан в следующем разделе.

3. Процедура поиска оптимальной модели

Поиск оптимальной модели происходит на множестве порождаемых моделей на каждой итерации алгоритма. Перед работой алгоритма заданы множество измеряемых данных О и множество гладких функций С. Задан начальный набор конкурирующих моделей ^о = , в котором каждая модель /г есть суперпозиция функций Г==1. Каждой функции дгз- — элементу модели /г ставится в соответствие гиперпараметр агз-, характеризующий начальную плотность распределения вектора параметров Ъгз- этой функции. Каждой модели /г поставлен в соответствие гиперпараметр вг начального приближения. Параметры начального приближения для г-й модели назначаются исходя из априорного распределения данных, определяемых значением вг. Далее выполняется последовательность шагов, приведенных ниже, которые повторяются заданное количество раз.

1. Методом сопряженных градиентов [9] минимизируются штрафные функции для каждой модели /г, г = 1. М. Отыскиваются параметры моделей wMP.

2. После нахождения параметров wMP исходя из (14) и (15) определяются новые значения гиперпараметров — аПзеш и вгпеш. Гиперпараметр вг функции /г вычисляется для всего набора данных и равен

Гиперпараметр агз- вычисляется для каждой функции дгз- из суперпозиции /г и равен

Здесь значения функционалов 7г и (Ъгз-) вычисляются только для подмножества тех параметров Ъгз- из множества wi, которые являются параметрами функции дгз-. Изменение гиперпараметров повторяется итерационно до тех пор, пока локальный минимум не

3. Заданы следующие правила построения производных моделей /1. /М. Для каждой модели /г строится производная модель /г'. В /г выбирается функция дгз- с наименьшим значением агз-. Выбираются произвольная модель / из Е0 \ и ее произвольная функция д^. Модель /' порождается из модели / путем замещения функции дгз- с ее аргументами на функцию д^ с ее аргументами.

4. С заданной вероятностью п каждая модель /' подвергается изменениям. В изменяемой модели выбирается ^'-я функция, причем закон распределения вероятности выбора функции ) задан. Из множества С случайным образом выбирается функция д', которая замещает функцию дз-. Гиперпараметр агз- этой функции определяется как шах(агз-).

Вектор параметров этой функции Ъгз- равен нулю или назначается при задании С.

5. При выборе моделей из объединенного множества родительских и порожденных моделей в соответствии с критерием 5выбираются М наилучших, которые используются в дальнейших итерациях.

4. Численный эксперимент

Ниже описывается пример построения регрессионной модели. Объектом моделирования является кривая одной свободной переменной, представленная набором измерений давления в камере внутреннего сгорания дизельного двигателя. На рисунке сплошной кривой

measure data regression

Исходная выборка и восстановленная выборка, полученная по модели 2.

показаны исходные данные, штриховой — значения модели 2. По оси абсцисс отложено значение свободной переменной, по оси ординат — значение зависимой переменной. Выборка, представленная данной кривой, содержит четыре тысячи отсчетов. Для верификации полученных моделей использовалось 118 выборок.

Экспертами задано множество базовых функций О, из элементов которого порождаются регрессионные модели. Список функций приведен в табл. 1. Множество /0 моделей начального приближения также было задано экспертами.

📎📎📎📎📎📎📎📎📎📎

Поиск параметрической регрессионной модели в индуктивно заданном множестве Текст научной статьи по специальности «Математика»

Похожие темы научных работ по математике , автор научной работы — Стрижов В. В.

Search for a parametric regression model in an inductive-generated set

Текст научной работы на тему «Поиск параметрической регрессионной модели в индуктивно заданном множестве»