Эти фильтры в литературе также называются фильтрами Калмана - Бьюси . В отличие от задачи Винера, для задания случайного входного полезного сигнала (задающего воздействия) здесь используется формирующий фильтр (рис. 4.2), представляющий собой некоторую динамическую систему, описываемую линейными дифференциальными уравнениями в общем случае с переменными коэффициентами и возбуждаемую многомерным белым шумом и с гауссовским распределением.

Рис. 4.2. Оптимальный фильтр Калмана.

На рис. 4.2 это показано для непрерывного случая.

Формирующий фильтр, возбуждаемый белым шумом, представляет собой модель входного процесса системы управления (систему-аналог). Состояние этой модели в каждый момент времени определяется совокупностью переменных состояния число которых обусловливается видом входного сигнала, т. е. его корреляционной функцией или спектральной плотностью. Определение состояния системы-аналога производится измерительным устройством которое на своем выходе дает совокупность входных сигналов системы управления т. е. многомерный входной сигнал, искаженный аддитивной помехой представляющей собой многомерный белый шум с гауссовым распределением. В дискретном варианте задачи Р. Калмана входные и выходные величины формирующего фильтра рассматриваются в дискретные моменты времени где - целое число, период дискретности. В этом случае

модель входного сигнала описывается системой линейных разностных уравнений.

Требуется построить динамическую систему - фильтр Калмана которая дает наилучшую оценку многомерной величины в виде совокупности выходных величин фильтра Далее из этой совокупности могут формироваться линейным образом выходные величины систем управления .

К оценке предъявляется требование несмещенности, т. е. ее математическое ожидание

Выражение (4.9) записывается также в другом виде. При заданных измерениях величины от момента до момента I оценка в некоторый момент времени должна обладать свойством

Кроме того, накладывается условие минимума дисперсии ошибки оценки, которое записывается в виде

где Г - любая положительно-определенная матрица. Матричное произведение представляет собой квадратичную форму с весовой матрицей Г. Выражение (4.11) означает, что оценка величины удовлетворяет условию минимума дисперсии ошибки каждой из составляющих совокупности величин

При использовании фильтров Калмана возможны следующие случаи.

1. Для непрерывных систем решается задача оптимальной фильтрации, т. е. задача выделения полезного сигнала из аддитивной смеси полезного сигнала и помехи. В этом случае фильтр Калмана дает оценку совокупности переменных начиная с некоторого момента времени в виде первоначального грубого приближения которое тем точнее, чем больше имеется априорных сведений о совокупности Далее с течением времени эта оценка улучшается и постоянно приближается к теоретически достижимому

значению, которое уже не зависит от априорных сведений о значении а определяется свойствами формирующего фильтра и помехами измерительного устройства.

В установившемся состоянии фильтр Калмана совпадает с фильтром Винера и дает то же значение оценки.

2. В дискретных системах возможна постановка задачи оптимального определения оценки для времени по данным измерений входного сигнала в временных точках от до , т. е. задачи оптимального предсказания на один (или несколько) такт вперед. Эта задача имеет смысл и в случае равенства нулю помех измерительного устройства.

3. В дискретных системах возможна также постановка задачи оптимальной фильтрации, т. е. задачи определения оценки по данным предыдущих измерений, включая и момент времени Эта задача может быть решена в случае наличия конфликтной ситуации, даваемой помехами измерений.

Применительно к цифровым системам автоматического управления и регулирования необходимо отметить следующее. В цифровой системе управления, как правило, измерение входного сигнала в момент времени не дает возможности откорректировать ее выходную величину в этот же момент времени, так как реакция непрерывной части системы (ее приведенная весовая функция) на входной сигнал в этот же момент времени равна нулю и она не может быть не равной нулю. Поэтому выходная величина системы в момент времени может быть определена только в результате прогнозирования по результатам предыдущих измерений.

Указанная выше вторая задача, решаемая фильтрами Калмана, имеет очевидное практическое значение для цифровых автоматических систем. Однако следует заметить, что во многих случаях период дискретности цифровой системы управления приходится выбирать по различным соображениям (устойчивости, возможности потери входной информации и др.) сравнительно малым (тысячные и сотые доли секунды). Сама же непрерывная часть системы управления может содержать экстраполяторы, хорошо прогнозирующие требуемый выходной процесс. Такими экстраполяторами могут быть интеграторы различного вида и сами объекты управления. Поэтому задача оптимального прогнозирования на

такт вперед в некоторых случаях теряет свой смысл и может привести к неправильным решениям конкретной технической задачи. Однако прогнозирование на несколько тактов вперед обычно не теряет своего смысла и при малых периодах дискретности. Но в этом случае оно практически совпадает со случаем прогнозирования в непрерывных системах.

Третья задача, решаемая фильтром Калмана, имеет большие возможности, так как предполагает нахождение оптимального решения задачи построения системы управления при одновременном действии полезного сигнала и помехи. Ограничения в использовании фильтров Калмана для построения цифровых систем управления определяются следующими обстоятельствами.

1. Построение фильтра Калмана предполагает полные априорные сведения о структуре формирующего фильтра, т. е. полные априорные сведения о статистических свойствах входного сигнала и полные сведения о действующих помехах. Если эти сведения малодостоверны, то оптимизация теряет здесь смысл либо следует идти по пути значительного усложнения системы за счет использования принципов адаптации.

2. Использование фильтров Калмана предполагает отсутствие ограничений на структуру оптимальной системы. Поэтому переход от требуемой теоретической структуры к реальной структуре системы управления, содержащей те или иные заданные элементы, может значительно ухудшить результаты. Эти ограничения обычно не сказываются в тех случаях, когда вся система выработки оценки многомерной величины строится, например, на ЦВМ и не включает в себя заданных заранее элементов системы управления.

3. При построении фильтра Калмана предполагается, как это будет показано ниже, что для обработки может быть использовано предыдущих значений входных сигналов, где - порядок разностного уравнения, описывающего формирующий фильтр (рис. 4.2). В реальных условиях работы цифровой системы управления можно использовать для обработки большее число предыдущих входных сигналов, что позволяет существенно снизить влияние помех измерения входных сигналов и получить результаты, лучшие по сравнению с фильтром Калмана.

Использование реальных фильтров. В некоторых случаях построения систем управления входной сигнал задан своими

характеристиками, но помехи отсутствуют или они сравнительно малы, в результате чего построение оптимальной системы в смысле Винера или Калмана теряет смысл. Это не означает, однако, что реальная система управления может быть построена со сколь угодно малой дисперсией ошибки. В идеализированном случае винеровского или калмановского фильтра на проектируемую систему не накладывается никаких предварительных ограничений. Увеличение общего коэффициента с целью повышения точности воспроизведения полезного сигнала здесь ограничивается возрастанием ошибки за счет увеличения пропускания помех, действующих на входе. Это и создает конфликтную ситуацию.

В реальных системах помехи во входном сигнале могут и отсутствовать, но увеличение общего коэффициента усиления в этом случае ограничивается приближением к колебательной границе устойчивости, которое вызывает рост ошибки за счет увеличения колебательности системы. Максимальные достижимые коэффициенты усиления в этом случае будут определяться наличием в реальной системе некоторой совокупности звеньев с малыми постоянными времени, влияние которых уже не может быть скомпенсировано.

В этом смысле налнчие совокупности звеньев, характеризуемое суммой их постоянных времени или результирующим временным запаздыванием, эквивалентно по конечному результату действию на входе некоторой помехи. И в том и в другом случаях максимальная точность системы оказывается ограниченной, а дисперсия ошибки не может быть сделана меньше некоторого предельного значения.

Оценка минимальной суммы постоянных времени или суммарного временного запаздывания в проектируемой системе может быть сделана достаточно опытным конструктором при выборе ее элементов. При этом, конечно, конструктор может влиять на эту сумму в сторону ее уменьшения. Однако это может быть связано с переходом к более совершенным и дорогим элементам. Поэтому эта сумма может быть всегда оценена для данной конкретной ситуации и она зависит от уровня развития используемой техники.

Учет влияния малых постоянных времени накладывает на проектируемую систему некоторые ограничения, которых обычно нет при решении задачи оптимального синтеза. Эти ограничения в принципе могут быть учтены в виде

некоторого эквивалентного шума. Поясним это простейшим примером. Пусть полезный сигнал на входе имеет спектральную плотность для производной в виде

где - дисперсия первой производной, а - некоторая постоянная времени, и спектральную плотность помехи на входе соответствующую белому шуму. Пусть отыскивается оптимальное значение общего коэффициента усиления системы, имеющей передаточную функцию в разомкнутом состоянии вида

При отсутствии взаимной корреляции между полезным сигналом и помехой дисперсия ошибки

Дифференцирование (4.14) по коэффициенту усиления и приравнивание производной нулю дает условие минимума дисперсии ошибки

Подстановка (4.15) в (4.14) дает минимальное значение дисперсии ошибки, соответствующее оптимальному значению общего коэффициента усиления:

Пусть теперь решается задача оптимального выбора коэффициента усиления при том же полезном входном сигнале и при отсутствии помехи, но при условии, что передаточная функция разомкнутой системы может иметь вид

где - суммарное временное запаздывание, которое не может быть устранено в системе управления при выбранных

элементах. Такое суммарное временное запаздывание может быть введено, например, при наличии нескольких апериодических звеньев с малыми постоянными времени. Дисперсия ошибки в этом случае

Интеграл (4.18) не берется элементарным образом. Приближенное его вычисление дает

Минимум дисперсии ошибки будет при выполнении условия

Подстановка этого значения коэффициента усиления в (4.19) дает минимальную дисперсию ошибки

Приравнивание (4.16) и (4.21) позволяет определить уровень эквивалентного белого шума

который по своему действию приводит к такому же эффекту, как и влияние неустраняемого временного запаздывания.

Возможны, конечно, более сложные ситуации, когда, кроме наличия в системе некоторых малых параметров, на входе системы действуют реальные помехи. И в этом случае в принципе можно найти эквивалентную помеху, учитывающую наличие двух этих факторов. Однако подобный путь приводит к значительному усложнению расчетов. Поэтому эквивалентность малых постоянных времени по своему конечному действию входному шуму в системе управления имеет лишь некоторый познавательный интерес. Сама же задача синтеза системы управления в этом случае может более просто решаться на основе разработанных в настоящее время инженерных методов, предполагающих

использование типовых передаточных функций, типовых переходных характеристик, типовых логарифмических частотных характеристик и т. п.

Таким образом, при построении реальных фильтров, представляющих собой системы автоматического управления, работающие как при наличии помех на входе, так и при их отсутствии, структура их должна соответствовать изображенной на рис. 4.3. На вход системы поступает аддитивная смесь полезного сигнала и и помехи либо только полезный сигнал. Полезный сигнал может быть регулярной функцией времени, стационарным случайным процессом или нестационарным процессом. Помехи, как правило, представляются в виде случайного стационарного процесса с нулевым средним значением. Кроме того, на систему может действовать Еозмущение или несколько возмущений, приложенных к различным точкам объекта.

Рис. 4.3. Реальный одномерный фильтр.

Линейный оператор формирует из процесса и задающее воздействие которое и должно воспроизводиться на выходе системы управления с передаточной функцией Система управления должна состоять из неизменяемой части в качестве которой может рассматриваться, например, совокупность некоторых звеньев с малыми постоянными времени или звено временного запаздывания, и изменяемой части по отношению к которой имеется свобода выбора в части ее передаточной функции.

Таким образом, здесь приходится иметь дело с полужесткой структурой системы управления. Заметим, что сформулированное выше понятие неизменяемой части системы несколько отличается от обычно используемого в литературе, когда под неизменяемой частью просто понимается объект управления с его передаточной функцией. Дело в том, что применение различных корректирующих средств (последовательного типа, параллельного типа, обратных связей) позволяет активно влиять на передаточнуюфункциюобъекта, меняя ее нужным образом. Однако это может делаться только

до некоторого предела, который характеризуется минимальными значениями «остаточных» постоянных времени или временных запаздываний, которыми располагает конструктор. Поэтому неизменяемая часть системы определяется здесь в этом смысле.

При построении реальных фильтров возможны следующие случаи.

1. При условии задания характеристик полезного сигнала, помехи, возмущений и неизменяемой части системы требуется найти передаточную функцию системы управления при которой обеспечивается выполнение требований по точности, определяемых по среднеквадратичной ошибке, максимальной ошибке, наиболее вероятной ошибке или иным образом, и выполняются другие требования к системе, сформулированные в § 4.1.

Задача может облегчаться, если отсутствуют помехи на входе, либо отсутствуют возмущения, приложенные к объекту управления, либо отсутствует и то и другое. Однако она не становится при этом тривиальной.

2. При условии задания характеристик полезного сигнала, помехи, возмущений и неизменяемой части системы требуется определить передаточную функцию системы управления, при которой выполняется условие минимизации дисперсии ошибки что соответствует построению оптимальной системы.

Следует обратить внимание на то, что построение реальных фильтров представляет значительно более трудную задачу, чем построение, например, фильтра Винера. В этом можно убедиться, сравнив рис. 4.1 и рис. 4.3. Кроме того, выполнение первой сформулированной выше задачи часто оказывается более сложным, чем построение оптимальной системы. Дело заключается в том, что оптимальная система для имеющихся исходных данных всегда может быть построена и трудности нахождения оптимальной передаточной функции относятся к чисто математическим. Использование в настоящее время ЭВМ в значительной степени снимает эти трудности. Поэтому задача оптимизации системы управления, например, по минимуму дисперсии ошибки в некоторых случаях приобретает сейчас тривиальный характер.

В то же время задача построения системы с требуемой точностью при имеющихся исходных данных может и не

иметь решения. Если же решить эту задачу все же необходимо, то возможно, что придется решать попутно целый комплекс сложнейших проблем, связанных с переходом к более совершенным элементам системы управления, получением дополнительной информации о входных сигналах системы, например, по первой, второй и более высоким производным задающего воздействия, переходом к более совершенным средствам переработки информации и т. п.

Поэтому первая сформулированная выше задача не теряет своей актуальности, несмотря на развитие теории оптимальных систем, и, более того, она оказывает сейчас наиболее активное влияние на развитие техники автоматического управления.

Рис. 4.4. Реальный многомерный фильтр.

При переходе к многомерным системам управления задача построения реальных фильтров сохраняет свое значение. Структурная схема для этого случая изображена на рис. 4.4. На схеме показаны матрицы-столбцы полезных входных воздействий и помех задающих воздействий возмущающих воздействий управляемых величин и ошибки , а также матрицы передаточных функций

Все приведенные выше соображения по построению непрерывных систем управления на основе использования реальных фильтров практически сохраняют свое значение и для цифровых систем управления с учетом их особенностей - квантования по времени и квантования по уровню.

В интернете, в том числе и на хабре, можно найти много информации про фильтр Калмана. Но тяжело найти легкоперевариваемый вывод самих формул. Без вывода вся эта наука воспринимается как некое шаманство, формулы выглядят как безликий набор символов, а главное, многие простые утверждения, лежащие на поверхности теории, оказываются за пределами понимания. Целью этой статьи будет рассказать об этом фильтре на как можно более доступном языке.
Фильтр Калмана - это мощнейший инструмент фильтрации данных. Основной его принцип состоит в том, что при фильтрации используется информация о физике самого явления. Скажем, если вы фильтруете данные со спидометра машины, то инерционность машины дает вам право воспринимать слишком быстрые скачки скорости как ошибку измерения. Фильтр Калмана интересен тем, что в каком-то смысле, это самый лучший фильтр. Подробнее обсудим ниже, что конкретно означают слова «самый лучший». В конце статьи я покажу, что во многих случаях формулы можно до такой степени упростить, что от них почти ничего и не останется.

Ликбез

Перед знакомством с фильтром Калмана я предлагаю вспомнить некоторые простые определения и факты из теории вероятности.

Случайная величина

Когда говорят, что дана случайная величина , то имеют ввиду, что эта величина, может принимать случайные значения. Разные значения она принимает с разной вероятностью. Когда вы кидаете, скажем, кость, то выпадет дискретное множество значений: . Когда речь идет, например, о скорости блуждающей частички, то, очевидно, приходится иметь дело с непрерывным множеством значений. «Выпавшие» значения случайной величины мы будем обозначать через , но иногда, будем использовать ту же букву, которой обозначаем случайную величину: .
В случае с непрерывным множеством значений случайную величину характеризует плотность вероятности , которая нам диктует, что вероятность того, что случайная величина «выпадет» в маленькой окрестности точки длиной равна . Как мы видим из картинки, эта вероятность равна площади заштрихованного прямоугольника под графиком:

Довольно часто в жизни случайные величины распределены по Гауссу, когда плотность вероятности равна .

Мы видим, что функция имеет форму колокола с центром в точке и с характерной шириной порядка .
Раз мы заговорили о Гауссовом распределении, то грешно будет не упомянуть, откуда оно возникло. Также как и числа и прочно обосновались в математике и встречаются в самых неожиданных местах, так и распределение Гаусса пустило глубокие корни в теорию вероятности. Одно замечательное утверждение, частично объясняющее Гауссово всеприсутствие, состоит в следующем:
Пусть есть случайная величина имеющая произвольное распределение (на самом деле существуют некие ограничения на эту произвольность, но они совершенно не жесткие). Проведем экспериментов и посчитаем сумму «выпавших» значений случайной величины. Сделаем много таких экспериментов. Понятно, что каждый раз мы будем получать разное значение суммы. Иными словами, эта сумма является сама по себе случайной величиной со своим каким-то определенным законом распределения. Оказывается, что при достаточно больших закон распределения этой суммы стремится к распределению Гаусса (к слову, характерная ширина «колокола» растет как ). Более подробно читаем в википедии: центральная предельная теорема . В жизни очень часто встречаются величины, которые складываются из большого количества одинаково распределенных независимых случайных величин, поэтому и распределены по Гауссу.

Среднее значение

Среднее значение случайной величины - это то, что мы получим в пределе, если проведем очень много экспериментов, и посчитаем среднее арифметическое выпавших значений. Среднее значение обозначают по-разному: математики любят обозначать через (математическое ожидание), а заграничные математики через (expectation). Физики же через или . Мы будем обозначать на заграничный лад: .
Например, для Гауссова распределения , среднее значение равно .

Дисперсия

В случае с распределением Гаусса мы совершенно четко видим, что случайная величина предпочитает выпадать в некоторой окрестности своего среднего значения . Как видно из графика, характерный разброс значений порядка . Как же оценить этот разброс значений для произвольной случайной величины, если мы знаем ее распределение. Можно нарисовать график ее плотности вероятности и оценить характерную ширину на глаз. Но мы предпочитаем идти алгебраическим путем. Можно найти среднюю длину отклонения (модуль) от среднего значения: . Эта величина будет хорошей оценкой характерного разброса значений . Но мы с вами очень хорошо знаем, что использовать модули в формулах - одна головная боль, поэтому эту формулу редко используют для оценок характерного разброса.
Более простой способ (простой в смысле расчетов) - найти . Эту величину называют дисперсией, и часто обозначают как . Корень из дисперсии называют среднеквадратичным отклонением. Среднеквадратичное отклонение - хорошая оценка разброса случайной величины.
Например, для распределение Гаусса можно посчитать, что определенная выше дисперсия в точности равна , а значит среднеквадратичное отклонение равно , что очень хорошо согласуется с нашей геометрической интуицией.
На самом деле тут скрыто маленькое мошенничество. Дело в том, что в определении распределения Гаусса под экспонентой стоит выражение . Эта двойка в знаменателе стоит именно для того, чтобы среднеквадратичное отклонение равнялось бы коэффициенту . То есть сама формула распределения Гаусса написана в виде, специально заточенном для того, что мы будем считать ее среднеквадратичное отклонение.

Независимые случайные величины

Случайные величины бывают зависимыми и нет. Представьте, что вы бросаете иголку на плоскость и записываете координаты ее обоих концов. Эти две координаты зависимы, они связаны условием, что расстояние между ними всегда равно длине иголки, хотя и являются случайными величинами.
Случайные величины независимы, если результат выпадения первой из них совершенно не зависит от результата выпадения второй из них. Если случайные величины и независимы, то среднее значение их произведения равно произведению их средних значений:

Доказательство

Например, иметь голубые глаза и окончить школу с золотой медалью - независимые случайные величины. Если голубоглазых, скажем а золотых медалистов , то голубоглазых медалистов Этот пример подсказывает нам, что если случайные величины и заданы своими плотностями вероятности и , то независимость этих величин выражается в том, что плотность вероятности (первая величина выпала , а вторая ) находится по формуле:

Из этого сразу же следует, что:

Как вы видите, доказательство проведено для случайных величин, которые имеют непрерывный спектр значений и заданы своей плотностью вероятности. В других случаях идея доказательтсва аналогичная.

Фильтр Калмана

Постановка задачи

Обозначим за величину, которую мы будем измерять, а потом фильтровать. Это может быть координата, скорость, ускорение, влажность, степень вони, температура, давление, и т.д.
Начнем с простого примера, который и приведет нас к формулировке общей задачи. Представьте себе, что у нас есть радиоуправляемая машинка, которая может ехать только вперед и назад. Мы, зная вес машины, форму, покрытие дороги и т.д., расcчитали как контролирующий джойстик влияет на скорость движения .

Тогда координата машины будет изменяться по закону:

В реальной же жизни мы не можем учесть в наших расчетах маленькие возмущения, действующие на машину (ветер, ухабы, камушки на дороге), поэтому настоящая скорость машины, будет отличаться от расчетной. К правой части написанного уравнения добавится случайная величина :

У нас есть установленный на машинке GPS сенсор, который пытается мерить истинную координату машинки, и, конечно же, не может ее померить точно, а мерит с ошибкой , которая является тоже случайной величиной. В итоге с сенсора мы получаем ошибочные данные:

Задача состоит в том, что, зная неверные показания сенсора, найти хорошее приближение для истинной координаты машины .
В формулировке же общей задачи, за координату может отвечать все что угодно (температура, влажность…), а член, отвечающий за контроль системы извне мы обозначим за (в примере c машиной ). Уравнения для координаты и показания сенсора будут выглядеть так:

(1)

Давайте подробно обсудим, что нам известно:

Нелишним будет отметить, что задача фильтрации - это не задача сглаживания. Мы не стремимся сглаживать данные с сенсора, мы стремимся получить наиболее близкое значение к реальной координате .

Алгоритм Калмана

Мы будем рассуждать по индукции. Представьте себе, что на -ом шаге мы уже нашли отфильтрованное значение с сенсора , которое хорошо приближает истинную координату системы . Не забываем, что мы знаем уравнение, контролирующее изменение нам неизвестной координаты:

поэтому, еще не получая значение с сенсора, мы можем предположить, что на шаге система эволюционирует согласно этому закону и сенсор покажет что-то близкое к . К сожалению, пока мы не можем сказать ничего более точного. С другой стороны, на шаге у нас на руках будет неточное показание сенсора .
Идея Калмана состоит в следующем. Чтобы получить наилучшее приближение к истинной координате , мы должны выбрать золотую середину между показанием неточного сенсора и нашим предсказанием того, что мы ожидали от него увидеть. Показанию сенсора мы дадим вес а на предсказанное значение останется вес :

Коэффициент называют коэффициентом Калмана. Он зависит от шага итерации, поэтому правильнее было бы писать , но пока, чтобы не загромождать формулы расчетах, мы будем опускать его индекс.
Мы должны выбрать коэффициент Калмана таким, чтобы получившееся оптимальное значение координаты было бы наиболее близко к истинной . К примеру, если мы знаем, что наш сенсор очень точный, то мы будем больше доверять его показанию и дадим значению больше весу ( близко единице). Eсли же сенсор, наоборот, совсем не точный, тогда больше будем ориентироваться на теоретически предсказанное значение .
В общем случае, чтобы найти точное значение коэффициента Калмана , нужно просто минимизировать ошибку:

Используем уравнения (1) (те которые в на голубом фоне в рамочке), чтобы переписать выражение для ошибки:

Доказательство

Теперь самое время обсудить, что означает выражение минимизировать ошибку? Ведь ошибка, как мы видим, сама по себе является случайной величиной и каждый раз принимает разные значения. На самом деле не существует однозначного подхода к определению того, что означает, что ошибка минимальна. Точно также как и в случае с дисперсией случайной величины, когда мы пытались оценить характерную ширину ее разброса, так и тут мы выберем самый простой для расчетов критерий. Мы будем минимизировать среднее значение от квадрата ошибки:

Распишем последнее выражение:

Доказательство

Из того что все случайные величины, входящие в выражение для , независимы, следует, что все «перекрестные» члены равны нулю:

Мы использовали тот факт, что , тогда формула для дисперсии выглядит намного проще: .

Это выражение принимает минимальное значение, когда(приравниваем производную к нулю):

Здесь мы уже пишем выражение для коэффициента Калмана с индексом шага , тем самым мы подчеркиваем, что он зависит от шага итерации.
Подставляем полученное оптимальное значение в выражение для , которую мы минимизировали. Получаем;

Наша задача решена. Мы получили итерационную формулу, для вычисления коэффициента Калмана.
Давайте сведем, наши полученные знания в одну рамочку:

Пример

Код на матлабе

Clear all; N=100 % number of samples a=0.1 % acceleration sigmaPsi=1 sigmaEta=50; k=1:N x=k x(1)=0 z(1)=x(1)+normrnd(0,sigmaEta); for t=1:(N-1) x(t+1)=x(t)+a*t+normrnd(0,sigmaPsi); z(t+1)=x(t+1)+normrnd(0,sigmaEta); end; %kalman filter xOpt(1)=z(1); eOpt(1)=sigmaEta; for t=1:(N-1) eOpt(t+1)=sqrt((sigmaEta^2)*(eOpt(t)^2+sigmaPsi^2)/(sigmaEta^2+eOpt(t)^2+sigmaPsi^2)) K(t+1)=(eOpt(t+1))^2/sigmaEta^2 xOpt(t+1)=(xOpt(t)+a*t)*(1-K(t+1))+K(t+1)*z(t+1) end; plot(k,xOpt,k,z,k,x)

Анализ

Если проследить, как с шагом итерации изменяется коэффициент Калмана , то можно показать, что он всегда стабилизируется к определенному значению . К примеру, когда среднеквадратичные ошибки сенсора и модели относятся друг к другу как десять к одному, то график коэффициента Калмана в зависимости от шага итерации выглядит так:

В следующем примере мы обсудим как это поможет существенно облегчить нашу жизнь.

Второй пример

На практике очень часто бывает, что нам вообще ничего не известно о физической модели того, что мы фильтруем. К примеру, вы захотели отфильтровать показания с вашего любимого акселерометра. Вам же заранее неизвестно по какому закону вы намереваетесь крутить акселерометр. Максимум информации, которую вы можете выцепить - это дисперсия ошибки сенсора . В такой непростой ситуации все незнание модели движения можно загнать в случайную величину :

Но, откровенно говоря, такая система уже совершенно не удовлетворяет тем условиям, которые мы налагали на случайную величину , ведь теперь туда запрятана вся неизвестная нам физика движения, и поэтому мы не можем говорить, что в разные моменты времени ошибки модели независимы друг от друга и что их средние значения равны нулю. В этом случае, по большому счету, теория фильтра Калмана не применима. Но, мы не будем обращать внимания на этот факт, а, тупо применим все махину формул, подобрав коэффициенты и на глаз, так чтобы отфильтрованные данные миленько смотрелась.
Но можно пойти по другому, намного более простому пути. Как мы видели выше, коэффициент Калмана с увеличением всегда стабилизируется к значению . Поэтому вместо того, чтобы подбирать коэффициенты и и находить по сложным формулам коэффициент Калмана , мы можем считать этот коэффициент всегда константой, и подбирать только эту константу. Это допущение почти ничего не испортит. Во-первых, мы уже и так незаконно пользуемся теорией Калмана, а во-вторых коэффициент Калмана быстро стабилизируется к константе. В итоге все очень упростится. Нам вообще никакие формулы из теории Калмана не нужны, нам просто нужно подобрать приемлемое значение и вставить в итерационную формулу:

На следующем графике показаны отфильтрованные двумя разными способами данные с вымышленного сенсора. При условии того, что мы ничего не знаем о физике явления. Первый способ - честный, со всеми формулами из теории Калмана. А второй - упрощенный, без формул.

Как мы видим, методы почти ничем не отличаются. Маленькое отличие наблюдается, только вначале, когда коэффициент Калмана еще не стабилизировался.

Обсуждение

Как мы увидели, основная идея фильтра Калмана состоит в том, чтобы найти такой коэффициент , чтобы отфильтрованное значение

в среднем меньше всего отличалось бы от реального значения координаты . Мы видим, что отфильтрованное значение есть линейная функция от показания сенсора и предыдущего отфильтрованного значения . А предыдущее отфильтрованное значение является, в свою очередь, линейной функцией от показания сенсора и предпредыдущего отфильтрованного значения . И так далее, пока цепь полностью не развернется. То есть отфильтрованное значение зависит от всех предыдущих показаний сенсора линейно:

Поэтому фильтр Калмана называют линейным фильтром.
Можно доказать, что из всех линейных фильтров Калмановский фильтр самый лучший. Самый лучший в том смысле, что средний квадрат ошибки фильтра минимален.

Многомерный случай

Всю теорию фильтра Калмана можно обобщить на многомерный случай. Формулы там выглядят чуть страшнее, но сама идея их вывода такая же, как и в одномерном случае. В этой прекрасной статье вы можете увидеть их: http://habrahabr.ru/post/140274/ .
А в этом замечательном видео разобран пример, как их использовать.

Random Forest - один из моих любимых алгоритмов data mining. Во-первых он невероятно универсален, с его помощью можно решать как задачи регрессии так и классификации. Проводить поиск аномалий и отбор предикторов. Во-вторых это тот алгоритм, который действительно сложно применить неправильно. Просто потому, что в отличии от других алгоритмов у него мало настраиваемых параметров. И еще он удивительно прост по своей сути. И в то же время он отличается удивительной точностью.

В чем же идея такого замечательного алгоритма? Идея проста: допустим у нас есть какой-то очень слабый алгоритм, скажем, . Если мы сделаем очень много разных моделей с использованием этого слабого алгоритма и усредним результат их предсказаний, то итоговый результат будет существенно лучше. Это, так называемое, обучение ансамбля в действии. Алгоритм Random Forest потому и называется "Случайный Лес", для полученных данных он создает множество деревьев приятия решений и потом усредняет результат их предсказаний. Важным моментом тут является элемент случайности в создании каждого дерева. Ведь понятно, что если мы создадим много одинаковых деревьев, то результат их усреднения будет обладать точностью одного дерева.

Как он работает? Предположим, у нас есть некие данные на входе. Каждая колонка соответствует некоторому параметру, каждая строка соответствует некоторому элементу данных.

Мы можем выбрать, случайным образом, из всего набора данных некоторое количество столбцов и строк и построить по ним дерево принятия решений.

Thursday, May 10, 2012

Thursday, January 12, 2012

Вот собственно и всё. 17-ти часовой перелет позади, Россия осталась за океаном. А в окно уютной 2-ух спальной квартиры на нас смотрит Сан-Франциско, знаменитая Кремниевая долина, Калифорния, США. Да, это и есть та самая причина, по которой я практически не писал последнее время. Мы переехали.

Всё это началось еще в апреле 2011 года, когда я проходил телефонное интервью в компании Zynga. Тогда это все казалось какой-то игрой не имеющей отношения к реальности и я и представить себе не мог, во что это выльется. В июне 2011 года Zynga приехали в Москву и провели серию собеседований, рассматривалось около 60 кандидатов прошедших телефонное интервью и из них было отобрано около 15 человек (точное число не знаю, кто-то потом передумал, кто-то сразу отказался). Интервью оказалось неожиданно простым. Ни тебе задачек на программирование, ни заковыристых вопросов про форму люков, в основном проверялись способности болтать. А знания, на мой взгляд, оценивались лишь поверхностно.

А дальше началась канитель. Сначала мы ждали результатов, потом офера, потом одобрение LCA, потом одобрения петиции на визу, потом документы из США, потом очередь в посольстве, потом дополнительную проверку, потом визу. Временами мне казалось, что я готов все бросить и забить. Временами я сомневался, а нужна ли нам эта Америка ведь и в России не плохо. Весь процесс занял где-то около полугода, в итоге, в середине декабря мы получили визы и начали готовиться к отъезду.

В понедельник был мой первый рабочий день на новом месте. В офисе созданы все условия для того чтобы не только работать, но и жить. Завтраки, обеды и ужины от собственных поваров, куча разнообразнейшей еды распиханной по всем уголкам, спортзал, массаж и даже парикмахер. Все это совершенно бесплатно для сотрудников. Многие добираются на работу на велосипеде и для хранения транспорта оборудовано несколько комнат. В общем, ничего подобного в России мне встречать не доводилось. Всему, однако, есть своя цена, нас сразу предупредили, что работать придется много. Что такое "много", по их меркам, мне не очень понятно.

Надеюсь, однако, что несмотря на количество работы, в обозримом будущем смогу возобновить ведение блога и, может быть, расскажу что-нибудь о американской жизни и работе программистом в Америке. Поживем - увидим. А пока, поздравляю всех с наступившим новым годом и рождеством и до новых встреч!

Для примера использования, распечатаем дивидендную доходность российских компаний. В качестве базовой цены, берем цену закрытия акции в день закрытия реестра. Почему-то на сайте тройки этой информации нет, а она ведь гораздо интересней чем абсолютные величины дивидендов.
Внимание! Код выполняется довольно долго, т.к. для каждой акции требуется сделать запрос на сервера finam и получить её стоимость.

Result <- NULL for(i in (1:length(divs[,1]))){ d <- divs if (d$Divs>0){ try({ quotes <- getSymbols(d$Symbol, src="Finam", from="2010-01-01", auto.assign=FALSE) if (!is.nan(quotes)){ price <- Cl(quotes) if (length(price)>0){ dd <- d$Divs result <- rbind(result, data.frame(d$Symbol, d$Name, d$RegistryDate, as.numeric(dd)/as.numeric(price), stringsAsFactors=FALSE)) } } }, silent=TRUE) } } colnames(result) <- c("Symbol", "Name", "RegistryDate", "Divs") result

Аналогично можно построить статистику для прошлых лет.

Этот фильтр применяют в разных областях – от радиотехники до экономики. Здесь мы обсудим основную идею, смысл, суть данного фильтра. Излагаться она будет максимально простым языком.
Предположим, что у нас есть необходимость в измерениях некоторых величин некоего объекта. В радиотехнике чаще всего имеют дело с измерениями напряжений на выходе некоего устройства (датчика, антенны и т.д.). В примере с электрокардиографом (см. ) мы имеем дело с измерениями биопотенциалов на теле человека. В экономике, например, измеряемой величиной могут быть курсы валют. Каждыё день курс валют разный, т.е. каждый день “его измерения” дают нам разную величину. А если обобщать, то можно сказать, что большая часть деятельности человека (если не вся) сводится именно к постоянным измерениям-сравнениям тех или иных величин (см. книгу).
Итак, предположим, что мы что-то постоянно измеряем. Так же предположим, что наши измерения всегда идут с некоторой ошибкой – оно и понятно, ведь нет идеальных измерительных приборов, и каждый выдаёт результат с ошибкой. В простейшем случае описанное можно свести к следующему выражению: z=x+y, где x – истинное значение, которое мы хотим измерить и которое измерили бы если бы у нас был идеальный измерительный прибор, y – ошибка измерения, вносимая измерительным прибором, а z – измеренная нами величина. Так вот задача фильтра Калмана состоит в том, чтобы по измеренной нами z всё-таки догадаться (определить), а какое же истинное значение x было, когда мы получали нашу z (в которой "сидит" истинное значение и ошибка измерения). Необходимо отфильтровать (отсеять) из z истинное значение x – убрать из z искажающий шум y. То есть, имея на руках только лишь сумму нам необходимо догадаться о том, какие слагаемые дали эту сумму.
В свете вышеописанного сформулируем теперь всё следующим образом. Пусть есть всего лишь два случайных числа. Нам даётся только их сумма и от нас требуется по этой сумме определить, какими являются слагаемые. Например, нам дали число 12 и говорят: 12 – это сумма чисел x и y, вопрос – чему равны x и y. Чтобы ответить на этот вопрос, составляем уравнение: x+y=12. Мы получили одно уравнение с двумя неизвестными, поэтому, строго говоря, найти два числа которые и дали эту сумму не возможно. Но кое-что об этих числах мы всё-таки можем сказать. Мы можем сказать, что это были либо числа 1 и 11, либо 2 и 10, либо 3 и 9, либо 4 и 8 и т.д., также это либо 13 и -1, либо 14 и -2, либо 15 и -3 и т.д. То есть мы можем по сумме (в нашем примере 12) определить множество возможных вариантов, которые дают в сумме именно 12. Один из этих вариантов – это искомая нами пара, которая на самом деле прямо сейчас и дала 12. Нелишне так же отметить, что все варианты пар чисел дающих в сумме 12 образуют прямую, изображённую на рис.1, которая и задаётся уравнением x+y=12 (y=-x+12).

Рис.1

Таким образом, искомая нами пара лежит где-то на этой прямой. Повторюсь, выбрать из всех этих вариантов ту пару, которая была на самом деле – которая дала число 12, не владея какими-либо дополнительными подсказками, невозможно. Однако, в ситуации, для которой изобретён фильтр Калмана, такие подсказки есть . Там заранее о случайных числах кое-что известно. В частности там известна так называемая гистограмма распределения для каждой пары чисел. Она обычно бывает получена после достаточно длительных наблюдений за выпадениями этих самых случайных чисел. То есть, например, из опыта известно, что в 5% случаев обычно выпадает пара x=1, y=8 (обозначим эту пару так: (1,8)), в 2% случаев пара x=2, y=3 (2,3), в 1% случаев пара (3,1), в 0.024% случаев пара (11,1) и т.д. Повторюсь, эта гистограмма задана для всех пар чисел, в том числе и для тех, что образуют в сумме 12. Таким образом, для каждой пары, что даёт в сумме 12, мы можем сказать, что, например, пара (1, 11) выпадает в 0.8% случаев, пара (2, 10) – в 1% случаев, пара (3, 9) – в 1.5% случаев и т.д. Таким образом, мы можем по гистограмме определить, в скольких процентах случаев сумма слагаемых пары равна 12. Пусть, например, в 30% случаев сумма даёт 12. А в остальных 70% выпадают остальные пары – это (1,8), (2,3), (3,1) и т.д. – те, что в сумме дают числа отличные от 12. Причём пусть, например, пара (7,5) выпадает в 27% случаев в то время, как все остальные пары, что дают в сумме 12, выпадают в 0.024%+0.8%+1%+1.5%+…=3% случаев. Итак, по гистограмме мы выяснили, что числа дающие в сумме 12 выпадают в 30% случаев. При этом мы знаем, что если выпало 12, то чаще всего (в 27% из 30%) причиной этого является пара (7,5). То есть если уже выпало 12, то мы можем сказать, что в 90% (27% из 30% – или, что то же самое 27 раз из каждых 30-ти) причиной выпадения 12 является пара (7,5). Зная, что чаще всего причиной получения суммы равной 12 является пара (7,5) логично предположить, что, скорее всего, она выпала и сейчас. Конечно, всё-таки не факт, что на самом деле сейчас число 12 образовано именно этой парой, однако, в следующие разы, если нам попадётся 12, и мы опять предположим пару (7,5), то где-то в 90% случаев из 100% окажемся правы. А вот если мы будем предполагать пару (2, 10), то окажемся правы лишь в 1% из 30% случаев, что равно 3.33% правильных догадок по сравнению с 90% при предположении пары (7,5). Вот и всё – в этом и состоит смысл алгоритма фильтра Калмана. То есть фильтр Калмана не гарантирует, что не ошибётся в определении слагаемого по сумме, однако он гарантирует, что ошибётся минимальное количество раз (вероятность ошибки будет минимальна), так как использует статистику – гистограмму выпадения пар чисел. Так же необходимо подчеркнуть, что часто в алгоритме фильтрации Калмана используется так называемая плотность распределения вероятности (ПРВ). Однако необходимо понимать, что смысл там тот же, что и у гистограммы. Более того, гистограмма – это функция, построенная на основе ПРВ и являющаяся её приближением (см., например, ).
В принципе мы эту гистограмму можем изобразить в виде функции двух переменных – то есть в виде некоей поверхности над плоскостью xy. Там, где поверхность выше, там выше и вероятность выпадения соответствующей пары. На рис.2 изображена такая поверхность.

рис.2

Как видно над прямой x+y=12 (которая есть варианты пар дающих в сумме 12) расположены точки поверхности на разной высоте и наибольшая высота у варианта с координатами (7,5). И когда нам встречается сумма равная 12, в 90% случаев причиной появления этой суммы является именно пара (7,5). Т.е. именно эта пара, дающая в сумме 12, имеет наибольшую вероятность появления при условии, что сумма равна 12.
Таким образом, здесь описана идея лежащая в основе фильтра Калмана. Именно на ней и построены всевозможные его модификации – одношаговые, многошаговые рекуррентные и т.д. Для более глубокого изучения фильтра Калмана рекомендую книгу: Ван Трис Г. Теория обнаружения, оценок и модуляции.

p.s. Для того, кто интересуется объяснениями понятий математики что называется "на пальцах" можно посоветовать вот эту книгу и в частности главы из её раздела "Математика" (саму книгу или отдельные главы из неё вы можете приобрести ).

Как то так повелось, что очень нравятся мне всякие алгоритмы, имеющие четкое и логичное математическое обоснование) Но зачастую их описание в интернете настолько перегружено формулами и расчетами, что общий смысл алгоритма понять просто невозможно. А ведь понимание сути и принципа работы устройства/механизма/алгоритма намного важнее, чем заучивание огромных формул. Как это ни банально, но запоминание даже сотни формул ничем не поможет, если не знать, как и где их применить 😉 Собственно, к чему все это.. Решил я замутить описание некоторых алгоритмов, с которыми мне приходилось сталкиваться на практике. Постараюсь не перегружать математическими выкладками, чтобы материал был понятным, а чтение легким.

И сегодня мы поговорим о фильтре Калмана , разберемся, что это такое, для чего и как он применяется.

Начнем с небольшого примера. Пусть перед нами стоит задача определять координату летящего самолета. Причем, естественно, координата (обозначим ее ) должна определяться максимально точно.

На самолете мы заранее установили датчик, который и дает нам искомые данные о местоположении, но, как и все в этом мире, наш датчик неидеален. Поэтому вместо значения мы получаем:

где – ошибка датчика, то есть случайная величина. Таким образом, из неточных показаний измерительного оборудования мы должны получить значение координаты (), максимально близкое к реальному положению самолета.

Задача поставлена, перейдем к ее решению.

Пусть мы знаем управляющее воздействие (), благодаря которому летит самолет (пилот сообщил нам, какие рычаги он дергает 😉). Тогда, зная координату на k-ом шаге, мы можем получить значение на (k+1) шаге:

Казалось бы, вот оно, то что надо! И никакой фильтр Калмана тут не нужен. Но не все так просто.. В реальности мы не можем учесть все внешние факторы, влияющие на полет, поэтому формула принимает следующий вид:

где – ошибка, вызванная внешним воздействием, неидеальностью двигателя итп.

Итак, что же получается? На шаге (k+1) мы имеем, во-первых, неточное показание датчика , а во-вторых, неточно рассчитанное значение , полученное из значения на предыдущем шаге.

Идея фильтра Калмана заключается в том, чтобы из двух неточных значений (взяв их с разными весовыми коэффициентами) получить точную оценку искомой координаты (для нашего случая). В общем случае, измеряемая величина можем быть абсолютно любой (температура, скорость..). Вот, что получается:

Путем математических вычислений мы можем получить формулу для расчета коэффициента Калмана на каждом шаге, но, как условились в начале статьи, не будем углубляться в вычисления, тем более, что на практике установлено, что коэффициент Калмана с ростом k всегда стремится к определенному значению. Получаем первое упрощение нашей формулы:

А теперь предположим, что связи с пилотом нет, и мы не знаем управляющее воздействие . Казалось бы, в этом случае фильтр Калмана мы использовать не можем, но это не так 😉 Просто “выкидываем” из формулы то, что мы не знаем, тогда

Получаем максимально упрощенную формулу Калмана, которая тем не менее, несмотря на такие “жесткие” упрощения, прекрасно справляется со своей задачей. Если представить результаты графически, то получится примерно следующее:

Если наш датчик очень точный, то естественно весовой коэффициент K должен быть близок к единице. Если же ситуация обратная, то есть датчик у нас не очень хороший, то K должен быть ближе к нулю.

На этом, пожалуй, все, вот так вот просто мы разобрались с алгоритмом фильтрации Калмана! Надеюсь, что статья оказалась полезной и понятной =)