Случайная траектория движения точки как марковский процесс. Основные понятия марковских процессов. Гауссовский диффузионный процесс

В последние годы широкое распространение получили ме­тоды статистического анализа, оценивания и оптимального управ­ления стохастическими системами, основанные на использовании результатов теории марковских процессов. В данном разделе рас­сматривается применение методов теории марковских процессов для статистического анализа линейных и нелинейных стохастиче­ских систем.

Уравнение Фоккера - Планка - Колмогорова. В теории мар­ковских процессов получены дифференциальные уравнения в част­ных производных параболического типа для условной (переходной) и безусловной плотностей распределения ве­роятностей непрерывного марковского процесса x(t). Применитель­но к скалярному марковскому процессу x(t) уравнение для плот­ности , называемое уравнением Фоккера - Планка - Кол­могорова (ФПК), имеет вид

Функции а(х, t) и b(x, t) называют соответственно коэффициен­тами сноса и диффузии марковского процесса x(t).

В многомерном случае уравнение ФПК для векторного марковского процесса x(t), состоящего из п компонент , записывается следующим образом:

где - вектор коэффициентов сноса; -матрица коэффициентов диффузии векторного процесса x(t).

Интегрируя уравнение ФПК при заданном начальном условии , можно определить плотность распределения вероят­ностей рассматриваемого марковского процесса в последую­щие моменты времени.

Стохастические дифференциальные уравнения. Среди различных непрерывных марковских процессов в практических задачах осо­бенно большое значение имеют так называемые диффузионные марковские процессы, изменение которых во времени описывается дифференциальными уравнениями вида

где -стандартный белый шум.

Такие уравнения называют стохастическими дифференциальны­ми уравнениями.

Уравнение вида (2.53) можно записать непосредственно для изу­чаемой динамической системы, если случайное входное воздействие этой системы действительно может быть аппроксимировано стан­дартным белым шумом. Например, одномерной системе, состоящей из интегрирующего звена 1/p, охваченного нелинейной обратной связью f(x), подверженной воздействию белого шума на вхо­де, соответствует стохастическое дифференциальное уравнение пер­вого порядка

Используя метод формирующих фильтров, к виду (2.53) можно привести уравнения, описывающие поведение систем, подвержен­ных воздействию окрашенных шумов.

Пример. Пусть исследуемая динамическая система описывается передаточ­ной функцией апериодического звена

Внешнее воздействие -случайный процесс со спектральной плотностью

Коэффициент усиления К является гауссовской случайной величиной, харак­теризуемой параметрами m k и D k .

Чтобы описать эту систему стохастическим дифференциальным уравнением, перепишем соотношение (2.54) в виде дифференциального уравнения в нормаль­ной форме:

Последнее уравнение объединим с уравнением формирующего фильтра для , полученные ранее [см. формулу (2.30")].

и уравнением формирующего фильтра для случайного параметра

В результате получим стохастическое дифференциальное уравнение вида (2.53), описывающее рассматриваемую динамическую систему, в котором векторный случайный процесс x(t), объединяющий в качестве составляющих переменные у, x 1 и К, есть диффузионный марковский процесс. Компоненты вектор-функции f T (x, t) - n в данном случае равны

Белый шум является скалярным случайным процессом, поскольку в; правые части уравнений (2.56) и (2.57) входит одно и то же внешнее случай­ное воздействие, а

Возникает вопрос, как выражаются коэффициенты сноса а(х, t) и диффузии b(x, t), входящие в уравнение ФПК (2.51) или (2.52),. описывающие изменение плотности р(х, t) распределения вероят­ностей диффузионного марковского процесса x(t), через f(x, t) и ? В зависимости от ответа на этот вопрос различают сто­хастические дифференциальные уравнения Ито и Стратоновича_ В уравнении Ито в скалярном случае коэффициенты сноса и диф­фузии соответственно равны f(x, t) и . Для стохастического дифференциального уравнения Стратоновича эти коэффициенты определяются соотношениями *(* Диментберг М. Ф. Нелинейные стохастические задачи механических коле­баний. М.: Наука, 1980. 368 с.)

Конкретный вариант используемой интерпретации стохастиче­ского дифференциального уравнения зависит от особенностей ана­лизируемой физической системы.

В рассматриваемом далее в данной главе наиболее широко рас­пространенном случае, когда не зависит от х, флуктуационная поправка к коэффициенту сноса, возникающая при рассмотре­нии стохастического дифференциального уравнения Стратоновича, обращается в нуль и обе интерпретации приводят к одним и тем же результатам.

Интегрировать аналитически и даже численно уравнение в част­ных производных параболического типа, каким является уравнение ФПК трудно, особенно в тех случаях, когда размерность вектора х велика. Только в одномерном и в отдельных двумерных случаях удается найти аналитическое решение этого уравнения, соответст­вующего стохастическому дифференциальному уравнению нелиней­ной системы. Однако каждое такое решение представляет большой интерес, поскольку оно является наиболее полной характеристикой точности системы, позволяющей оце­нить точность решений, полученных с помощью приближенных методов - расчета, например, с помощью ме­тода статистической линеаризации.

Рис. 2.1. Нелинейная система первого порядка.

Так, стационарным решением уравнения ФПК, соответствующего нелинейной системе первого порядка, показанной на рис. 2.4, для р(х, ∞)=р ст (х) является выражение

в котором постоянная интегрирования С выбирается из условия нормировки . В случае стационарной линейной системы при f(x). = - х из (2.60) получаем гауссовскую плотность . Если в обратной связи стоит реле с уровнем насыщения А, то

Плотности (2.61) соответствуют и .

Уравнения для моментов диффузионного процесса. Основным применением уравнения ФПК при априорном анализе точности си­стем является получение с его помощью обыкновенных дифферен­циальных уравнений для вектора математических ожиданий m x (t) и корреляционной матрицы K x (t) фазового вектора диффузионной марковской системы. Эти уравнения оказываются точными, если стохастическое дифференциальное уравнение (2.53) - линейное, и приближенными в случае нелинейного уравнения (2.53).

Чтобы получить из уравнения ФПК уравнения для и в случае, когда x(t) -скалярный процесс, умножим (2.51) на х и про­интегрируем обе части по этой переменной в бесконечных пределах. Тогда получим

Слева в уравнении (2.62) имеем

а интеграл справа вычисляем, применяя метод интегрирования по частям и учитывая граничные условия . Окончательный результат оказывается следующим:

Уравнение для дисперсии D x получают, умножив левую и пра­вую части (2.51) на и проинтегрировав их по перемен­ной х в бесконечных пределах. В итоге имеем

Соотношениями (2.64) - (2.65) устанавливается связь между производными по времени от m x и D x диффузионного процесса x(t) и его плотностью распределения р(х, t). Из них нельзя найти m x (t) и D x (t), если плотность р(х, t) неизвестна.

Уравнения для моментов в линейной системе. Если коэффициент сноса f(x, t) в правой части стохастического дифференциального уравнения (2.57) - линейный относительно х, т. е. f(x,t)=a(t)x + b(t), то соотношения (2.64) и (2.65) превращаются в уравнения относительно m x и D x , т. е. становятся замкнутыми. Действительно, в этом случае

поэтому для линейной марковской системы первого порядка

Интегрирование уравнений (2.66) и (2.67) при заданных на­чальных условиях m x (t 0) и D x (t 0) позволяет определить m x (t) и D x (t).

Если рассматриваемая система - стационарная и устойчивая, а искомыми являются m x и D x в установившемся режиме, то эти величины можно найти из алгебраических уравнений

поскольку в установившемся режиме для такой системы и

В многомерном случае уравнения для т х и К х оказываются сле­дующими:

Векторное уравнение (2.69) размерности п совместно с матрич­ным уравнением (2.70) размерности п×п называют корреляцион­ной системой уравнений. Системы (2.69) и (2.70) не зависят друг от друга, поэтому их можно интегрировать раздельно. Учитывая симметричность матрицы К х, Для ее определения достаточно про-янтегрировать п(п+1)/2 уравнений относительно различных кова­риационных моментов К х. Начальными условиями для (2.69) и (2.70) являются вектор математических ожиданий m x (t 0) и корре­ляционная матрица К х (t 0) фазового вектора x(t 0) в начальный мо­мент времени.

Если исследуемая линейная марковская система - стационар­ная и устойчивая, а искомыми являются т х и К х в установившемся режиме, то их можно найти из систем алгебраических уравнений

Одним из способов решения может служить интегрирование соответствующих им систем дифференциальных уравнений (2.69) и (2.70) при произвольно заданных начальных условиях. Сходи­мость решения обеспечивается устойчивостью исследуемой динами­ческой системы.

Приближенные уравнения для определения моментов диффузи­онного процесса в нелинейной системе. Для получения приближен­ной замкнутой системы уравнений из (2.64) и (2.65) в общем слу­чае нелинейного коэффициента сноса f(x, t) предположим, что плотность р(х, t) распределения вероятностей фазового вектора гауссовская. При р(х, t) =p Г (x, t) интегралы в правых частях соот­ношений (2.64) и (2.65) можно вычислить. Результирующие функции зависят от m x (t) и D x (t), описывающих p Г (x, t):

Подставив (2.73) и (2.74) в (2.64) и (2.65), получим систему из двух нелинейных обыкновенных дифференциальных уравнений:

Интегрирование этой системы при заданных m x (t 0) и D x (t 0) позво­ляет найти m x (t) и D x (t), т. е. решить приближенно задачу стати­стического анализа рассматриваемой нелинейной системы. Для «типовых» нелинейностей f(x) формулы для f 0 (m x , D x) и K(m x , D x) могут быть взяты из таблиц выражений коэффициентов статисти­ческой линеаризации.

Пример. Пусть f(x) в (2.53)-релейная характеристика f(x)= -A sign (x).

Для этой нелинейности f (см. пример в разд. 1.1) и

Уравнеиия для m x и D x в такой системе имеют вид

Установившиеся значения и получаем, положив и .

Имеем . Сравнивая приближенное значение с точным, полученным ранее путем решения уравнения ФПК значением, видим, что предположение о гауссовском распределении р(х) в рассматриваемой нелиней­ной системе с реле в обратной связи приводит к ошибке в дисперсии, рав­ной 22%.

В многомерном случае вектор m x (t) и корреляционную матрицу K x (t) можно найти в результате совместного интегрирования двух систем обыкновенных дифференциальных уравнений

Матричная функция, элементами которой являются частные производные от составляющих вектор-функции по компонентам вектора т х.

Если в состав исследуемой системы входят только линейные звенья и типовые одномерные существенные нелинейности, то кор­реляционную систему вида (2.76) удобно составить, применяя со­вместно статистическую линеаризацию нелинейных звеньев и кор­реляционную систему уравнений (2.69) - (2.70) для статистически линеаризованной системы.

Когда управляемое движение летательного аппарата описыва­ется нелинейными стохастическими дифференциальными уравне­ниями, правые части которых содержат гладкие многомерные не­линейности, приближенный анализ точности такого движения значительно упрощается по сравнению с непосредственным исполь­зованием уравнений (2.76), если пользоваться так называемой ква­зилинейной корреляционной системой уравнений. При составлении такой системы полное движение исследуемой системы разбивается на два движения: среднее и возмущенное. Для описания среднего движения, характеризующего изменение математических ожиданий составляющих фазового вектора, используются нелинейные урав­нения системы при математических ожиданиях (средних значениях) начальных условий и внешних воздействий. Для описания возму­щенного движения, характеризующего случайные отклонения со­ставляющих фазового вектора от их средних значений, применяют­ся линеаризованные уравнения, причем в качестве опорных значе­ний при линеаризации берутся математические ожидания фазовых координат в соответствующие моменты времени.

Пример. Рассмотрим задачу баллистического спуска летательного аппарата, т. е. спуска с нулевой подъемной силой, в атмосфере Земли. Продольное дви­жение аппарата описывается нелинейными дифференциальными уравнениями

Требуется оценить рассеивание траекторий аппарата, предполагая случайными переменные V, θ, Н и L в момент t 0 начала спуска; постоянными величины R, С х, S, т и g, а зависимость -показательной вида , где .

Перепишем уравнения движения аппарата в виде векторного уравнения

Представим фазовый вектор х в виде х=т х +Δх, а нелинейную вектор-функ­цию f(x, t) линеаризуем в окрестности х=т х:

где -матрица 4×4 частных производных вектор-функции f(x, t) по составляющим вектора х, вычисленная при х=т х. Получаем уравнение

из которого в результате усреднения непосредственно находим уравнение для вектора математических ожиданий

по виду совпадающие с (2.77). Вычтя (2.79) из (2.78), получаем линеаризован­ное уравнение возмущенного движения

на основе которого составляем уравнение для корреляционной матрицы фазо­вого вектора

Совместное интегрирование уравнений (2.80) и (2.81), в совокупности образу­ющих квазилинейную корреляционную систему уравнений, при заданных на­чальных условиях т х (t 0) и K x (t 0) позволяет определить т х (t) и Kx(t) в по­следующие моменты времени. Точность решения определяется точностью аппрок­симации вектор-функции линеаризованной зависимостью при тех значениях слу­чайных отклонений Δx (t) фазового вектора x(t), которые имеют место в рас­сматриваемой задаче при заданных статистических характеристиках случайных, начальных условий.

2.6. МЕТОД СТАТИСТИЧЕСКОГО МОДЕЛИРОВАНИЯ (МОНТЕ-КАРЛО)

Метод статистического моделирования - универсальный метод статистического анализа стохастических систем (линейных и нелинейных, стационарных и нестационарных), подверженных воз­действию случайных факторов различных типов с произвольными их статистическими свойствами. В литературе данный метод также называют методом статистических испытаний или методом Монте-Карло.

Основу метода статистического моделирования составляет закон больших чисел, заключающийся в том, что результат усреднения, относящийся к случайному фактору (событию, величине, процессу или полю), вычисленный по п его реализациям, при перестает быть случайным и может рассматриваться в качестве оценки соответствующей характеристики рассматриваемого фактора. В част­ности, в соответствии с теоремой. Бернулли при большом числе опытов (реализаций) частота случайного события приближается к вероятности этого события. Аналогичные теоремы существуют и для статистических характеристик случайных величин, процессов, полей.

Применительно к априорному анализу точности стохастических систем метод статистического моделирования заключается в про­ведении на ЭВМ статистических экспериментов, имитирующих функционирование исследуемой системы при действии случайных факторов, и в последующей обработке полученных в этих экспери­ментах результатов с помощью методов математической статистики для определения соответствующих статистических характеристик.

Методика статистического моделирования. Первым этапом под­готовки к статистическому моделированию стохастической системы является выбор типа ЭВМ (ЦВМ, АВМ или аналого-цифрового комплекса), на которой целесообразно проводить моделирование. При этом учитываются сложность исследуемой системы, характер и число нелинейностей в ней, скорость протекания процессов в раз­личных частях (звеньях) системы, тип и характеристики действую­щих на систему случайных возмущений и другие факторы.

Выясняется возможность использования канонических разложе­ний случайных процессов, действующих на исследуемую систему. Если такие разложения известны для всех случайных функций, рас­сматриваемых в системе, моделирование системы можно заметно упростить, поскольку в этом случае при моделировании требуется получать реализации только случайных величин (начальных ус­ловий, параметров системы и коэффициентов канонических разло­жений).

Более общей и сложной является ситуация, когда в число воз­мущений системы входят случайные процессы, для которых канони­ческие разложения не известны. В этом случае описывающие ис­следуемую динамическую систему уравнения сводятся к системе стохастических дифференциальных уравнений в нормальной форме вида

где λ - вектор случайных параметров системы; - векторный белый шум. Вектор начальных условий x(t 0) также может быть случайным.

Некоторые из действующих на систему случайных возмущений могут оказаться не белым шумом. Для таких процессов требуется составить дифференциальные уравнения формирующих фильтров. Эти уравнения при моделировании следует интегрировать совмест­но с уравнениями системы (2.82).

Далее составляется программа интегрирования на ЦВМ систе­мы (2.82) совместно с уравнениями формирующих фильтров или схема моделирования для АВМ. Характерными элементами про­граммы являются блоки, обеспечивающие получение реализаций случайных факторов, рассматриваемых в системе.

Получение на ЭВМ реализаций случайных величин. При моде­лировании задачи на АВМ, а иногда и на ЦВМ реализации случай­ных величин задают с помощью таблиц случайных чисел. Наиболь­шее распространение получили таблицы случайных чисел, подчи­няющихся нормальному (гауссовскому) и равномерному распре­делениям. Таблица нормально распределенных случайных чисел содержит реализации гауссовской случайной величины соответствующие и .Беря числа из этой табли­цы, реализации гауссовской случайной величины с характери­стиками и вычисляют по формуле

Таблица равномерно распределенных чисел содержит реализа­ции подчиняющиеся равномерному на интервале распределению вероятностей. Для получения реализаций величи­ны х, распределенной равномерно на интервале числа , взятые из таблицы, преобразуют с помощью соотношения

Основным способом получения реализаций случайных величин на ЦВМ является использование специальных стандартных подпро­грамм, называемых датчиками псевдослучайных чисел. При каж­дом обращении к датчику в нем вычисляется новое случайное чис­ло. Расчет проводится с помощью рекуррентной формулы, аргумен­тами которой являются несколько случайных чисел, вычисленных при предыдущих обращениях к данной подпрограмме. При фикси­рованной начальной (стартовой) совокупности случайных чисел все рекуррентно вычисляемые датчиком последующие числа будут определенными, зависящими от стартовой совокупности, поэтому числа, получаемые с помощью датчика, называют псевдослучайны­ми. Рекуррентная формула, реализованная в датчике, подбирается так, чтобы псевдослучайные числа, получаемые с помощью датчика, обладали требуемыми статистическими свойствами - соответство­вали определенной плотности распределения вероятностей р(х), а коэффициент корреляции был равен нулю.

Как правило, в библиотеке стандартных подпрограмм ЦВМ при­сутствуют два датчика псевдослучайных чисел: равномерно распре­деленных на интервале и гауссовских с и .

Получение реализаций векторной гауссовской случайной вели­чины затруднений не вызывает, если этот вектор некоррелирован. Реализации отдельных компонент такого вектора можно рассчиты­вать с помощью датчика гауссовских чисел независимо друг от друга. Если же гауссовский вектор х коррелирован, его реализации получают путем линейного преобразования реализаций некоррели­рованного гауссовского вектора U той же размерности, формируе­мого с помощью датчика гауссовских псевдослучайных чисел. У вектора U математическое ожидание - нулевой вектор, а корре­ляционная матрица - единичная. Матрица линейного преобразова­ния А подбирается так, чтобы результирующая ковариационная матрица К х была равна заданной. При ее определении использу­ется соотношение (1.26).

При из (1.26) получаем следующее уравнение относи­тельно А:

Это уравнение имеет бесчисленное множество решений. Если искать А в виде треугольной матрицы вида

то из (2.83)получим n(n+1)/2 уравнений для элементов этой мат­рицы, которые можно решить рекуррентно. Результатом являются следующие выражения для элементов матрицы А:

где - элементы заданной корреляционной матрицы .

Пример. Пусть х - двумерный вектор с корреляционной матрицей

Найдем матрицу А, такую, что

где -некоррелированный вектор с .

С помощью соотношений (2.84) находим ац т. е.

В ряде случаев требуется получать реализации случайной вели­чины, распределение которой не является ни равномерным, ни га-уссовским. Наиболее распространенным способом моделирования в данном случае является нелинейное преобразование реализаций, получаемых с помощью датчика равномерно распределенных чисел.

Задача определения нелинейного преобразования y=f(x), свя­зывающего случайные величины х и у с заданными плотностями распределения р(х) и р(у) (плотность р(х) -равномерная), яв­ляется обратной по отношению к задаче определения распределе­ния нелинейной функции случайной величины, рассмотренной в разд. 1.1. Если распределение р(х) - равномерное, то из соотно­шения (1.32) имеем , откуда при монотонно возрастаю­щей функции получаем

где F (у) - интегральная функция распределения вероятностей ве­личины у.

Функция является обратной по отношению к искомой функции f(x). Таким образом, определение искомого нелинейного преобразования y = f(x) сводится к нахождению по заданной плот­ности р(у) интегральной функции F(y) и последующему решению уравнения F (у) =х относительно у.

Пример. Пусть

Тогда в интервале (0, 1) имеем xF(y)=y 2 , откуда ,т. е. .

Иной подход может быть применен в тех случаях, когда тре­буется получать реализации случайной величины у по имеющейся ее гистограмме или когда распределение р(у) имеет сложную фор­му, которую целесообразно аппроксимировать ступенчатой зависи­мостью.

Пусть интервал [у 0 , у п ] практически возможных значений слу­чайной величины у, имеющей распределение р(у), разбит на п уча­стков , в пределах каждого из которых плотность р(у) можно полагать равномерной. Вероятность попадания в каждый интервал

причем . При использовании такой аппроксимации р(у)

реализацию можно определить в результате двукратного обращения к датчику равномерно распределенных псевдослучай­ных чисел. При первом обращении разыгрывается исход попадания реализации y i в один из интервалов . Для этого вероятностям P l попадания y i в интервалы ставятся в соответствие интервалы значений равномерно распределенных псевдослучайных чи­сел из общего диапазона . Попаданию случайного числа х i р.р, получаемого в результате обращения к датчику, в интервал ставится в соответствие попадание реализации y i в интервал . При втором обращении к датчику разыгрывается значение реали­зации y i как случайной величины, распределенной равномерно в интервале .

Моделирование на ЭВМ реализаций случайных процессов. На АВМ реализации случайных процессов получают с помощью гене­раторов шума. Так называют электронный прибор, электрическое напряжение на выходе которого является случайным процессом с заданными статистическими характеристиками. Генераторы, ис­пользуемые при статистическом моделировании управляемого дви­жения летательных аппаратов, генерируют шум с равномерной спектральной плотностью в диапазоне инфранизких частот (от до Гц) и с гауссовским одномерным распределением вероятностей. При статистическом моделировании систем, по­лоса пропускания которых уже, чем , а именно такими, как правило, являются системы управления летательными аппаратами, шум генераторов можно считать белым. Окрашенные шумы, дей­ствующие на изучаемую систему, моделируют на АВМ путем про­пускания белого шума через соответствующим образом подобран­ный формирующий фильтр.

На ЦВМ белый шум моделируют, аппроксимируя его прибли­женно ступенчатым абсолютно случайным процессом x(t). Реали­зации последнего вычисляются по следующему правилу. Аргумент процесса - время t -изменяется дискретно с шагом Δt. В пределах каждого шага значение реализации задается заново с помощью датчика гауссовских псевдослучайных чисел

где В - постоянный множитель.

На всем интервале значение остается постоянным. Псевдо­случайные числа, получаемые при помощи датчика, попарно некоррелированы друг с другом. Следовательно, корреляция между зна­чениями ступенчатого процесса x(t) в различных интервалах и , отсутствует. Поэтому корреляционная функция данного процесса равна

При отношение . Следовательно, при достаточна малой величине интервала процесс x(t) с корреляционной функ­цией R x (t), определяемой соотношением (2.85), можно рассматри­вать в качестве приближенной аппроксимации белого шума с интенсивностью . Точность аппроксимации оказывается тем выше, чем меньше интервал .

При численном интегрировании стохастических дифференци­альных уравнений (2.82) на ЦВМ величина интервала , исполь­зуемого при моделировании белого шума , действующего на систему, не может быть задана меньше шага интегрирования . Следовательно, шаг численного интегрирования должен опре­деляться из условия

где - интервал, при котором ступенчатый абсолютно случайный процесс достаточно точно аппроксимирует белый шум; - шаг численного интегрирования, обеспечивающий приемлемую точность вычислений при избранном методе численного интегрирования си­стемы (2.82).

Эксперименты на ЦВМ показывают, что при всех методах чис­ленного интегрирования , поэтому для обеспечения аппрок­симации белого шума ступенчатым процессом интегрирование си­стемы (2.82) должно вестись с шагом

Среди всех методов численного интегрирования затраты машин­ного времени на один шаг интегрирования являются наименьшими при интегрировании по методу Эйлера:

Вследствие этого данный метод и следует использовать при ста­тистическом моделировании систем, беря , а коэффициент В рассчитывать по формуле

где - интенсивность белого шума, действующего на систему.

Проведение статистического моделирования и обработка его ре­зультатов. Составив программу моделирования исследуемой дина­мической системы на ЦВМ или набрав схему моделирования на АВМ, с их помощью получают необходимое число реализаций вы­ходных координат исследуемой системы. Обработка результатов^ моделирования может проводиться или при моделировании, или после его завершения с использованием методов математической: статистики . В зависимости от конкретной цели статистиче­ского моделирования результатами обработки могут быть оценки математических ожиданий, дисперсий, взаимных корреляционных моментов, корреляционных функций и других статистических ха­рактеристик выходных координат системы. Точность оценок будет тем выше, чем большее число реализаций будет статистически об­работано. Соотношения для расчета доверительных интервалов и доверительных вероятностей оценок различных параметров в зави­симости от числа реализаций, используемых для их получения, при­водятся в книгах .

Если исследуемая система и действующие на нее возмущения таковы, что рассматриваемая выходная переменная является эргодическим стационарным процессом, то при моделировании доста­точно ограничиться получением одной длинной реализации это» переменной. В иных случаях требуется получать и обрабатывать множество реализаций выходных координат.

МЕТОДЫ ОПРЕДЕЛЕНИЯ ОЦЕНОК СОСТОЯНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

3.1. ЗАДАЧА ОЦЕНИВАНИЯ КАК ЧАСТНЫЙ СЛУЧАЙ СТАТИСТИЧЕСКОГО РЕШЕНИЯ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ

Сформулируем задачу построения оценок. Рассмотрим случайный вектор X, плотность распределения которого имеет из­вестную математическую форму, но содержит некоторое число не­известных параметров. Задана выборка измеренных значений компонент этого вектора, в дальнейшем называемая вектором измере­ний У.

Если, например, измерены N раз т компонент n-мерного векто­ра X, то вектор Y будет включать N×m компонент. Вектор Y также является случайным, так как содержит так называемые ошибки из­мерения , плотность распределения которых считается известной. Требуется, используя вектор измерения У, получить оценки неиз­вестных параметров плотности распределения X и определить точ­ность этих оценок.

Важно уметь сравнивать свойства различных оценок одного и того же параметра и, в частности, находить оценки максимальной точности. Точность оценок определяем на основе статистических характеристик отклонений оценок от неизвестных «истинных значе­ний» оцениваемых параметров. Плотность распределения X, харак­теризуемую истинными значениями оцениваемых параметров, на­зываем «истинной».

Данная постановка задачи определения оценок называется ста­тистической и является в настоящее время наиболее широко рас­пространенной в технических задачах. В то же время существуют и другие постановки задач оценивания, когда нельзя сделать ника­ких предположений о распределении оцениваемой величины. По­добная ситуация рассматривается отдельно.

Вернемся к статистической задаче оценивания. Введем некото­рые определения.

Функцию значений оцениваемой величины, т. е. функцию изме­рений, в дальнейшем будем называть статистикой. Простейшей статистикой является, таким образом, сам вектор измерений У. Оценка случайного вектора X, полученная на основе измерений У, т. е. (Y), также является статистикой. Если статистика содержит.всю необходимую эмпирическую информацию для построения рас­пределения X, то она называется достаточной.

Если оценка сходится по вероятности к оцениваемой величи­не X при неограниченном возрастании объема выборки, т. е. раз­мерности вектора У, то она называется состоятельной.

Оценка вектора X -функция случай­ных аргументов. Поэтому для сравнения оценок между собой и вы­бора наилучшей необходимо рассматривать статистические харак­теристики функции потерь, так называемые функции риска.

Таких функций можно построить несколько. Наиболее употреби­тельные функции риска следующие.

1. Средний или априорный риск:

где р(х, у) -плотность совместного распределения вероятностей векторов X и У.

Интегрирование в (3.3) ведется по области всех возможных значе­ний X и У. В дальнейшем в подобных случаях не будем указывать пределов интегрирования; х я у - значения случайных векторов X и У. Записью (у) в (3.3) подчеркивает то обстоятельство, что оценка рассматривается как функция у. Если оценка (у) минимизирует функцию риска (3.3), то она называется оптимальной в смысле среднего риска. Средний риск (3.3) R( ) может быть представлен в виде

2. Байесовский риск:

где p(x/Y) -апостериорная плотность вероятностей значений X . при заданном (фиксированном) Y, р(х) -априорная плотность ве­роятностей вектора X, т. е. существующая до опыта, в котором реа­лизовался какой-то вектор у. Таким образом, байесовский риск в силу структуры формулы Байеса (1.9) зависит не только от оцен­ки, но и от априорной плотности вероятностей р(х), что и отражено в записи . Оценка , минимизирующая функцию риска (3.4), называется оптимальной в байесовском смысле или просто ^байесовской. Доказано , что для функции потерь вида (3.1) бай­есовская оценка минимизирует одновременно функции риска (3.3) и (3.4). Алгоритмы оценивания, обеспечивающие получение байесовских оценок, принято называть байесовскими.

3. Условный риск:

Эта функция риска характеризует ошибки оценки при заданном (фиксированном) значении оцениваемого вектора X. Между услов­ным и средним риском существует связь:

В (3.5) и (3.6) р(у/Х) и р(х) - соответственно условная плот­ность вероятностей вектора Y и априорная плотность вероятностей вектора X. На основе плотности вероятностей p(y/X) может быть построена оценка максимума правдоподобия. Это оценка, которая максимизирует так называемую функцию правдоподобия. В каче­стве функции правдоподобия в простейшем случае может быть вы­брана функция р(у/Х), в которую подставлены фактические значе­ния измерений у. Для построения р(у/Х) не обязательно знать вид плотности распределения р(х), т. е. вид априорной плотности веро­ятностей вектора X. X, X на множестве .

Можно также сказать, что минимаксная оценка является бай­есовской при априорном распределении X, являющемся наименее благоприятным для задачи оценивания. Поясним последнюю мысль-подробнее.

Байесовский риск может быть определен в том слу­чае, если известен вид априорной плотности вероятностей р(х) век­тора X, так как в силу (1.9) условная плотность вероятностей

где р(у) -плотность вероятностей вектора Y.

В том случае, когда плотность вероятностей р(х) не сущест­вует, можно условно поставить в соответствие каждому X из некоторое априорное распределение , принадлежащее некото­рому классу распределений .

Оказывается, для функции потерь вида (3.1) справедливо ра­венство :

т. е. минимаксная оценка тождественна байесовской оценке вычисленной для априорного распределения, максимизирующего байесовский риск на . Таким образом устанавливается связь меж­ду байесовской и минимаксной оценками.

3.2. БАЙЕСОВСКИЕ АЛГОРИТМЫ ОЦЕНИВАНИЯ

Как показывает практика, сложность реализации алго­ритмов оценивания зависит, во-первых, от вида математической модели движения оцениваемой динамической системы и измерений и, во-вторых, от способа проведения измерений, т. е. от того, как поступают измерения, непрерывно или дискретно. Рассмотрим ли­нейные (для линейных моделей), квазилинейные (для линеаризо­ванных моделей) и нелинейные (для нелинейных моделей) байесовские алгоритмы. Как правило, будем полагать, что измери­тельная информация поступает дискретно и соответствующие алго­ритмы имеют рекуррентную форму. Эта форма алгоритма наиболее удобна для реализации на ЭВМ, когда поступающие векторы из­мерений обрабатываются поочередно. В некоторых случаях удобно обобщить полученные результаты на случай непрерывных изме­рений.

Из определения марковского процесса, приведенного в п.5.1.6, а также непосредственно из формулы (5.6) следует

Условную плотность

называют плотностью вероятности перехода марковского процесса из состояния у в момент s в состояние х в момент t.

Используя формулу (2.57), определяем многомерную плотность вероятности (любого конечного порядка) марковского процесса

Формула (5.60) означает факторизацию многомерной плотности вероятности марковского процесса - представление ее в виде произведения одномерной плотности и плотностей вероятности перехода. Условие факторизации (5.60) многомерной плотности - характерная особенность марковских процессов (ср. с аналогичным более простым условием факторизации (5.4) для процессов с независимыми значениями).

Одномерная плотность и плотность вероятности перехода связаны соотношением

Плотность вероятности перехода марковского процесса не является произвольной условной функцией распределения, удовлетворяющей только обычным условиям неотрицательности и нормировки, т. е. . Она должна еще удовлетворять некоторому интегральному уравнению. Действительно, из (5.60) при имеем

Интегрируя обе части этого равенства по , получаем

и так как

Интегральное уравнение (5.62) называют уравнением Колмогорова - Чепмена.

5.4.2. Однородные марковские процессы.

Если распределение вероятностей марковского процесса инвариантно временному сдвигу, то его называют однородным (стационарным). В этом случае плотность вероятности перехода (5.59) зависит лишь от одного временного параметра .

Условие факторизации многомерной плотности однородного марковского процесса записывается в виде)[см. (5.60)]

Отметим, что класс однородных марковских процессов совпадает с рассмотренным классом однородных случайных процессов с независимыми приращениями.

5.4.3. Многосвязный марковский процесс.

Назовем марковский процесс -связным, если плотность вероятности перехода зависит от k предыдущих значений процесса [см. (5.58)]:

Условие факторизации многомерной плотности связного марковского процесса записывается в виде

а уравнение Колмогорова - Чепмена

5.4.4. Векторный марковский процесс.

Совокупность случайных процессов образует векторный марковский процесс, если для полного вероятностного описания этой совокупности необходимо и достаточно знать совместное распределение

и условное распределение

или соответствующую плотность вероятности перехода

Заменяя - (5.62) скалярные величины векторными, получаем соответствующие соотношения для векторного марковского процесса.

Каждый из случайных процессов принадлежащий совокупности, образующей векторный марковский процесс, называют компонентой векторного марковского процесса, которая, однако, не является скалярным марковским процессом, вообще говоря.

Отметим связь (векторного и многосвязного марковских процессов: -связную марковскую последовательность можно интерпретировать и как векторную (размера k) марковскую последовательность

5.4.5. Гауссовский марковский процесс.

Марковский процесс называют гауссовским, если его распределение подчиняется нормальному закону распределения вероятностей (см. п. 5.2.1). Как для любого гауссовского процесса, корреляционная функция гауссовского марковского процесса обеспечивает его полное вероятностное описание. Можно доказать, что случайный процесс является центрированным гауссовским марковским процессом тогда и только тогда, когда при его корреляционная функция удовлетворяет уравнению

Для однородного гауссовского марковского процесса условие (5.71) записывается при помощи нормированной корреляционной функции, зависящей, естественно, от одного аргумента

За исключением тривиального решения уравнение (5.72) имеет единственное решение

Таким образом, стационарный центрированный гауссовский процесс с дисперсией - марковский тогда и только тогда, когда его корреляционная функция (рис. 5.4)

или соответствующая спектральная плотность мощности процесса (рис. 5.5)

Из (5.74) и, соответственно, из (5.75) следует, что однородный гауссовский марковский процесс непрерывен в среднеквадратическом, но не дифференцируем в среднеквадратическом также задачу 5.6).

Рис. 5.4. Нормированная корреляционная функция однородного гауссовского марковского процесса

Рис. 5.5. Спектральная плотность мощности однородного гауссовского марковского процесса

5.4.6. Гауссовская марковская последовательность.

Пусть - последовательность центрированных гауссовских случайных величин с дисперсиями и коэффициентами корреляции Для того чтобы эта последовательность была марковской, необходимо и достаточно, чтобы

Для стационарной гауссовской марковской последовательности из (5.76) следует

где - коэффициент корреляции между двумя соседними членами последовательности.

Каждая подпоследовательность гауссовской марковской последовательности также гауссовская, марковская.

5.4.7. Дифференциальное уравнение для плотности вероятности перехода непрерывного марковского процесса.

Решение интегрального уравнения (5.62) Колмогорова - Чепмена представляет трудную задачу. Определение плотности вероятности перехода марковского процесса можно свести к решению дифференциального уравнения, если ограничиться непрерывными процессами. Марковский процесс называют непрерывным, если за малые промежутки времени лишь с малой вероятностью возможны заметные перемещения. Точнее говоря, это означает, что каково бы ни было

Реализации непрерывного марковского процесса с вероятностью единица непрерывны.

Из уравнения (5.62), полагая и изменяя обозначения переменных, получаем

Кроме того, очевидно, что

Из последних двух равенств следует

Предположим, что плотность вероятности перехода можно разложить в ряд Тейлора

Подставив (5.80) в (5.79), поделив обе части на и перейдя к пределу при получим

5.4.8. Диффузионные процессы.

Если функции конечны отлично от нуля и при , то непрерывный марковский процесс называется диффузионным. Из (5.81) следует, что плотность вероятности перехода диффузионного процесса удовлетворяет дифференциальному уравнению в частных производных

называемому обратным уравнением Колмогорова.

Аналогично можно доказать, что плотность вероятности перехода диффузионного процесса удовлетворяет и прямому уравнению Колмогорова:

коэффициент сноса, а

Коэффициент диффузии.

Прямое уравнение Колмогорова (5.84) известно так же, как уравнение Фоккера - Плавка. Уравнения (5.83) и (5.84) принадлежат к классу параболических дифференциальных в частных производных. В (5.83) переменными являются а переменные у и Т входят только в условие . В (5.84) переменными являются у и и t входят только через начальное условие . Методы решения уравнений Колмогорова рассмотрены, например, .

5.4.9. Стационарные диффузионные процессы.

Для стационарных диффузионных процессов коэффициенты сноса (5.85) и диффузии (5.86) не зависят от временного параметра, а плотность вероятности перехода зависит только от разности . Тогда из (5.84) получаем

с начальным условием

Если при существует предел плотности вероятности перехода, не зависящий от начального состояния то его называют предельной функцией распределения стационарного диффузного процесса

Из (5.88) следует, что . Поэтому предельную функцию распределения можно найти из обыкновенного дифференциального уравнения первого порядка

решение которого имеет вид

константы определяются из условия нормировки и граничного условия

5.4.10. Гауссовский диффузионный процесс.

Рассмотрим гауссовский стационарный случайный процесс с нулевым средним, дисперсией и нормированной корреляционной функцией . Условная плотность распределения этого случайного процесса [см. (2.74)]

Найдем для рассматриваемой условной плотности вероятности функции , ойределенные согласно (5.82):

(5.92)

где - значение производной при приближении к нулю справа. Если непрерывно в нуле, то Предположим, что терпит разрыв при . Тогда

Очень удобно описывать появление случайных событий в виде вероятностей переходов из одного состояния системы в другое, так как при этом считается, что, перейдя в одно из состояний, система не должна далее учитывать обстоятельства того, как она попала в это состояние.

Случайный процесс называется марковским процессом (или процессом без последействия ), если для каждого момента времени t вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, как система пришла в это состояние.

Итак, марковский процесс удобно задавать графом переходов из состояния в состояние. Мы рассмотрим два варианта описания марковских процессов — с дискретным и непрерывным временем .

В первом случае переход из одного состояния в другое происходит в заранее известные моменты времени — такты (1, 2, 3, 4, …). Переход осуществляется на каждом такте, то есть исследователя интересует только последовательность состояний, которую проходит случайный процесс в своем развитии, и не интересует, когда конкретно происходил каждый из переходов.

Во втором случае исследователя интересует и цепочка меняющих друг друга состояний, и моменты времени, в которые происходили такие переходы.

И еще. Если вероятность перехода не зависит от времени, то марковскую цепь называют однородной .

Марковский процесс с дискретным временем

Итак, модель марковского процесса представим в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i -го состояния в j -е состояние), см. рис. 33.1 .

Каждый переход характеризуется вероятностью перехода P ij . Вероятность P ij показывает, как часто после попадания в i -е состояние осуществляется затем переход в j -е состояние. Конечно, такие переходы происходят случайно, но если измерить частоту переходов за достаточно большое время, то окажется, что эта частота будет совпадать с заданной вероятностью перехода.

Ясно, что у каждого состояния сумма вероятностей всех переходов (исходящих стрелок) из него в другие состояния должна быть всегда равна 1 (см. рис. 33.2 ).

Например, полностью граф может выглядеть так, как показано на рис. 33.3 .

Реализация марковского процесса (процесс его моделирования) представляет собой вычисление последовательности (цепи) переходов из состояния в состояние (см. рис. 33.4 ). Цепь на рис. 33.4 является случайной последовательностью и может иметь также и другие варианты реализации.

Чтобы определить, в какое новое состояние перейдет процесс из текущего i -го состояния, достаточно разбить интервал на подынтервалы величиной P i 1 , P i 2 , P i 3 , … (P i 1 + P i 2 + P i 3 + … = 1 ), см. рис. 33.5 . Далее с помощью ГСЧ надо получить очередное равномерно распределенное в интервале случайное число r рр и определить, в какой из интервалов оно попадает (см. лекцию 23).

После этого осуществляется переход в состояние, определенное ГСЧ, и повтор описанной процедуры для нового состояния. Результатом работы модели является марковская цепь (см. рис. 33.4 ) .

Пример. Имитация стрельбы из пушки по цели . Для того, чтобы проимитировать стрельбу из пушки по цели, построим модель марковского случайного процесса.

Определим следующие три состояния: S 0 — цель не повреждена; S 1 — цель повреждена; S 2 — цель разрушена. Зададим вектор начальных вероятностей:

Значение P 0 для каждого из состояний показывает, какова вероятность каждого из состояний объекта до начала стрельбы.

Зададим матрицу перехода состояний (см. табл. 33.1).

Матрица задает вероятность перехода из каждого состояния в каждое. Заметим, что вероятности заданы так, что сумма вероятностей перехода из некоторого состояния в остальные всегда равна единице (куда-то система должна перейти обязательно).

Наглядно модель марковского процесса можно представить себе в виде следующего графа (см. рис. 33.6 ).

Используя модель и метод статистического моделирования, попытаемся решить следующую задачу: определить среднее количество снарядов, необходимое для полного разрушения цели.

Проимитируем, используя таблицу случайных чисел, процесс стрельбы. Пусть начальное состояние будет S 0 . Возьмем последовательность из таблицы случайных чисел: 0.31, 0.53, 0.23, 0.42, 0.63, 0.21, … (случайные числа можно взять, например, из этой таблицы).

0.31 : цель находится в состоянии S 0 и остается в состоянии S 0 , так как 0 < 0.31 < 0.45;
0.53 : цель находится в состоянии S 0 и переходит в состояние S 1 , так как 0.45 < 0.53 < 0.45 + 0.40;
0.23 : цель находится в состоянии S 1 и остается в состоянии S 1 , так как 0 < 0.23 < 0.45;
0.42 : цель находится в состоянии S 1 и остается в состоянии S 1 , так как 0 < 0.42 < 0.45;
0.63 : цель находится в состоянии S 1 и переходит в состояние S 2 , так как 0.45 < 0.63 < 0.45 + 0.55.

Так как достигнуто состояние S 2 (далее цель переходит из S 2 в состояние S 2 с вероятностью 1), то цель поражена. Для этого в данном эксперименте потребовалось 5 снарядов.

На рис. 33.7 приведена временная диаграмма, которая получается во время описанного процесса моделирования. Диаграмма показывает, как во времени происходит процесс изменения состояний. Такт моделирования для данного случая имеет фиксированную величину. Нам важен сам факт перехода (в какое состояние переходит система) и не важно, когда это происходит.

Процедура уничтожения цели совершена за 5 тактов, то есть марковская цепь этой реализации выглядит следующим образом: S 0 —S 0 —S 1 —S 1 —S 1 —S 2 . Конечно, ответом задачи это число быть не может, так как в разных реализациях получатся разные ответы. А ответ у задачи может быть только один.

Повторяя данную имитацию, можно получить, например, еще такие реализации (это зависит от того, какие конкретно случайные числа выпадут): 4 (S 0 —S 0 —S 1 —S 1 —S 2 ); 11 (S 0 —S 0 —S 0 —S 0 —S 0 —S 1 —S 1 —S 1 —S 1 —S 1 —S 1 —S 2 ); 5 (S 1 —S 1 —S 1 —S 1 —S 1 —S 2 ); 6 (S 0 —S 0 —S 1 —S 1 —S 1 —S 1 —S 2 ); 4 (S 1 —S 1 —S 1 —S 1 —S 2 ); 6 (S 0 —S 0 —S 1 —S 1 —S 1 —S 1 —S 2 ); 5 (S 0 —S 0 —S 1 —S 1 —S 1 —S 2 ). Всего уничтожено 8 целей. Среднее число циклов в процедуре стрельбы составило: (5 + 4 + 11 + 5 + 6 + 4 + 6 + 5)/8 = 5.75 или, округляя, 6. Именно столько снарядов, в среднем, рекомендуется иметь в боевом запасе пушки для уничтожения цели при таких вероятностях попаданий.

Теперь следует определить точность. Именно точность может нам показать, насколько следует доверять данному ответу. Для этого проследим, как сходится последовательность случайных (приближенных) ответов к правильному (точному) результату. Напомним, что, согласно центральной предельной теореме (см. лекцию 25 , лекцию 21), сумма случайных величин есть величина неслучайная, поэтому для получения статистически достоверного ответа необходимо следить за средним числом снарядов, получаемых в ряде случайных реализаций.

На первом этапе вычислений средний ответ составил 5 снарядов, на втором этапе средний ответ составил (5 + 4)/2 = 4.5 снаряда, на третьем — (5 + 4 + 11)/3 = 6.7. Далее ряд средних величин, по мере накопления статистики, выглядит следующим образом: 6.3, 6.2, 5.8, 5.9, 5.8. Если изобразить этот ряд в виде графика средней величины выпущенных снарядов, необходимых для поражения цели, в зависимости от номера эксперимента, то обнаружится, что данный ряд сходится к некоторой величине, которая и является ответом (см. рис. 33.8 ).

Визуально мы можем наблюдать, что график «успокаивается», разброс между вычисляемой текущей величиной и ее теоретическим значением со временем уменьшается, стремясь к статистически точному результату. То есть в некоторый момент график входит в некоторую «трубку», размер которой и определяет точность ответа.

Алгоритм имитации будет иметь следующий вид (см. рис. 33.9).

Еще раз заметим, что в вышерассмотренном случае нам безразлично, в какие моменты времени будет происходить переход. Переходы идут такт за тактом. Если важно указать, в какой именно момент времени произойдет переход, сколько времени система пробудет в каждом из состояний, требуется применить модель с непрерывным временем.

Марковские случайные процессы с непрерывным временем

Итак, снова модель марковского процесса представим в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i -го состояния в j -е состояние), см. рис. 33.10 .

Теперь каждый переход характеризуется плотностью вероятности перехода λ ij . По определению:

При этом плотность понимают как распределение вероятности во времени.

Переход из i -го состояния в j -е происходит в случайные моменты времени, которые определяются интенсивностью перехода λ ij .

К интенсивности переходов (здесь это понятие совпадает по смыслу с распределением плотности вероятности по времени t ) переходят, когда процесс непрерывный, то есть, распределен во времени.

С интенсивностью потока (а переходы — это поток событий) мы уже научились работать в лекции 28 . Зная интенсивность λ ij появления событий, порождаемых потоком, можно сымитировать случайный интервал между двумя событиями в этом потоке.

где τ ij — интервал времени между нахождением системы в i -ом и j -ом состоянии.

Далее, очевидно, система из любого i -го состояния может перейти в одно из нескольких состояний j , j + 1 , j + 2 , …, связанных с ним переходами λ ij , λ ij + 1 , λ ij + 2 , ….

В j -е состояние она перейдет через τ ij ; в (j + 1 )-е состояние она перейдет через τ ij + 1 ; в (j + 2 )-е состояние она перейдет через τ ij + 2 и т. д.

Ясно, что система может перейти из i -го состояния только в одно из этих состояний, причем в то, переход в которое наступит раньше.

Поэтому из последовательности времен: τ ij , τ ij + 1 , τ ij + 2 и т. д. надо выбрать минимальное и определить индекс j , указывающий, в какое именно состояние произойдет переход.

Пример. Моделирование работы станка . Промоделируем работу станка (см. рис. 33.10 ), который может находиться в следующих состояниях: S 0 — станок исправен, свободен (простой); S 1 — станок исправен, занят (обработка); S 2 — станок исправен, замена инструмента (переналадка) λ 02 < λ 21 ; S 3 — станок неисправен, идет ремонт λ 13 < λ 30 .

Зададим значения параметров λ , используя экспериментальные данные, получаемые в производственных условиях: λ 01 — поток на обработку (без переналадки); λ 10 — поток обслуживания; λ 13 — поток отказов оборудования; λ 30 — поток восстановлений.

Реализация будет иметь следующий вид (см. рис. 33.11 ).

В частности, из рис. 33.11 видно, что реализовавшаяся цепь выглядит так: S 0 —S 1 —S 0 —… Переходы произошли в следующие моменты времени: T 0 —T 1 —T 2 —T 3 —… , где T 0 = 0 , T 1 = τ 01 , T 2 = τ 01 + τ 10 .

Задача . Поскольку модель строят для того, чтобы на ней можно было решить задачу, ответ которой до этого был для нас совсем не очевиден (см. лекцию 01), то сформулируем такую задачу к данному примеру. Определить долю времени в течение суток, которую занимает простой станка (посчитать по рисунку) T ср = (T + T + T + T )/N .

Алгоритм имитации будет иметь следующий вид (см. рис. 33.12 ).

Очень часто аппарат марковских процессов используется при моделировании компьютерных игр, действий компьютерных героев.

Для системы массового обслуживания характерен случайный процесс. Изучение случайного процесса, протекающего в системе, выражение его математически и является предметом теории массового обслуживания.

Математический анализ работы системы массового обслуживания значительно облегчается, если случайный процесс этой работы является марковским. Процесс, протекающий в системе, называется марковским, если в любой момент времени вероятность любого состояния системы в будущем зависит только от состояния системы в текущий момент и не зависит от того, каким образом система пришла в это состояние. При исследовании экономических систем наибольшее применение имеют марковские случайные процессы с дискретными и непрерывными состояниями.

Случайный процесс называется процессом с дискретными состояниями, если все его возможные состояния можно заранее перечислить, а сам процесс состоит в том, что время от времени система скачком переходит из одного состояния в другое.

Случайный процесс называется процессом с непрерывным состоянием, если для него характерен плавный, постепенный переход из состояния в состояние.

Также можно выделить марковские процессы с дискретным и непрерывным временем. В первом случае переходы системы из одного состояния в другое возможны только в строго определенные, заранее фиксированные моменты времени. Во втором случае переход системы из состояния в состояние возможен в любой, заранее неизвестный, случайный момент. Если вероятность перехода не зависит от времени, то марковский процесс называют однородным.

В исследовании систем массового обслуживания большое значение имеют случайные марковские процессы с дискретными состояниями и непрерывным временем.

Исследование марковских процессов сводится к изучению матриц переходных вероятностей (). Каждый элемент такой матрицы (поток событий) представляет собой вероятность перехода из заданного состояния (которому соответствует строка) к следующему состоянию (которому соответствует столбец). В этой матрице предусмотрены все возможные переходы данного множества состояний. Следовательно, процессы, которые можно описывать и моделировать с помощью матриц переходных вероятностей, должны обладать зависимостью вероятности конкретного состояния от непосредственно предшествующего состояния. Так выстраивается цепь Маркова. При этом цепью Маркова первого порядка называется процесс, для которого каждое конкретное состояние зависит только от его предшествующего состояния. Цепью Маркова второго и более высоких порядков называется процесс, в котором текущее состояние зависит от двух и более предшествующих.

Ниже представлены два примера матриц переходных вероятностей.

Матрицы переходных вероятностей можно изобразить графами переходных состояний, как показано на рисунке.

Пример

Предприятие выпускает продукт, насытивший рынок. Если предприятие от реализации продукта в текущем месяце получит прибыль (П), то с вероятностью 0,7 получит прибыль и в следующем месяце, а с вероятностью 0,3 – убыток. Если в текущем месяце предприятие получит убыток (У), то с вероятностью 0,4 в следующем месяце оно получит прибыль, а с вероятностью 0,6 – убыток (вероятностные оценки получены в результате опроса экспертов). Рассчитать вероятностную оценку получения прибыли от реализации товара через два месяца работы предприятия.

В матричной форме эта информация будет выражена следующим образом (что соответствует примеру матрицы 1):

Первая итерация – построение матрицы двухступенчатых переходов.

Если предприятие в текущем месяце получит прибыль, то вероятность того, что в следующем месяце оно снова получит прибыль, равна

Если предприятие в текущем месяце получит прибыль, то вероятность того, что в следующем месяце оно получит убыток, равна

Если предприятие в текущем месяце получит убыток, то вероятность того, что в следующем месяце оно получит прибыль, равна

Если предприятие в текущем месяце получит убыток, то вероятность того, что в следующем месяце оно вновь получит убыток, равна

В результате расчетов получаем матрицу двухступенчатых переходов:

Результат достигается перемножением матрицы т,на матрицу с такими же значениями вероятностей:

Для проведения этих процедур в среде Excel необходимо выполнить следующие действия:

• 1) формировать матрицу;
• 2) вызывать функцию МУМНОЖ;
• 3) указывать первый массив – матрицу;
• 4) указывать второй массив (эта же матрица или другая);
• 5) ОК;
• 6) выделить зону новой матрицы;
• 7) F2;
• 8) Ctrl+Shift+Enter;
• 9) получить новую матрицу.

Вторая итерация – построение матрицы трехступенчатых переходов. Аналогично рассчитываются вероятности получения прибыли или убытка на следующем шаге и рассчитывается матрица трехступенчатых переходов, она имеет следующий вид:

Таким образом, в ближайшие два месяца работы предприятия вероятность получения прибыли от выпуска продукта выше, по сравнению с вероятностью получения убытка. Однако следует заметить, что вероятность получения прибыли падает, поэтому предприятию необходимо осуществить разработку нового продукта для замены производимого продукта.

Теория массового обслуживания составляет один из разделов теории вероятностей. В этой теории рассматриваются вероятностные задачи и математические модели (до этого нами рассматривались детерминированные математические модели). Напомним, что:

Детерминированная математическая модель отражает поведение объекта (системы, процесса) с позицийполной определенности в настоящем и будущем.

Вероятностная математическая модель учитывает влияние случайных факторов на поведение объекта (системы, процесса) и, следовательно, оценивает будущее с позиций вероятности тех или иных событий.

Т.е. здесь как, например, в теории игр задачи рассматриваются в условиях неопределенности .

Рассмотрим сначала некоторые понятия, которые характеризуют «стохастическую неопределенность», когда неопределенные факторы, входящие в задачу, представляют собой случайные величины (или случайные функции), вероятностные характеристики которых либо известны, либо могут быть получены из опыта. Такую неопределенность называют еще «благоприятной», «доброкачественной».

Понятие случайного процесса

Строго говоря, случайные возмущения присущи любому процессу. Проще привести примеры случайного, чем «неслучайного» процесса. Даже, например, процесс хода часов (вроде бы это строгая выверенная работа – «работает как часы») подвержен случайным изменениям (уход вперед, отставание, остановка). Но до тех пор, пока эти возмущения несущественны, мало влияют на интересующие нас параметры, мы можем ими пренебречь и рассматривать процесс как детерминированный, неслучайный.

Пусть имеется некоторая система S (техническое устройство, группа таких устройств, технологическая система – станок, участок, цех, предприятие, отрасль промышленности и т.д.). В системеS протекаетслучайный процесс , если она с течением времени меняет свое состояние (переходит из одного состояния в другое), причем, заранее неизвестным случайным образом.

Примеры: 1. СистемаS – технологическая система (участок станков). Станки время от времени выходят из строя и ремонтируются. Процесс, протекающий в этой системе, случаен.

2. Система S – самолет, совершающий рейс на заданной высоте по определенному маршруту. Возмущающие факторы – метеоусловия, ошибки экипажа и т.д., последствия – «болтанка», нарушение графика полетов и т.д.

Марковский случайный процесс

Случайный процесс, протекающий в системе, называется Марковским , если для любого момента времениt 0 вероятностные характеристики процесса в будущем зависят только от его состояния в данный моментt 0 и не зависят от того, когда и как система пришла в это состояние.

Пусть в настоящий момент t 0 система находится в определенном состоянииS 0 . Мы знаем характеристики состояния системы в настоящеми все, что было приt <t 0 (предысторию процесса). Можем ли мы предугадать (предсказать) будущее, т.е. что будет приt >t 0 ? В точности – нет, но какие-то вероятностные характеристики процесса в будущем найти можно. Например, вероятность того, что через некоторое времясистемаS окажется в состоянииS 1 или останется в состоянииS 0 и т.д.

Пример . СистемаS – группа самолетов, участвующих в воздушном бою. Пустьx – количество «красных» самолетов,y – количество «синих» самолетов. К моменту времениt 0 количество сохранившихся (не сбитых) самолетов соответственно –x 0 ,y 0 . Нас интересует вероятность того, что в момент временичисленный перевес будет на стороне «красных». Эта вероятность зависит от того, в каком состоянии находилась система в момент времениt 0 , а не от того, когда и в какой последовательности погибали сбитые до моментаt 0 самолеты.

На практике Марковские процессы в чистом виде обычно не встречаются. Но имеются процессы, для которых влиянием «предистории» можно пренебречь. И при изучении таких процессов можно применять Марковские модели (в теории массового обслуживания рассматриваются и не Марковские системы массового обслуживания, но математический аппарат, их описывающий, гораздо сложнее).

В исследовании операций большое значение имеют Марковские случайные процессы с дискретными состояниями и непрерывным временем.

Процесс называется процессом с дискретным состоянием , если его возможные состоянияS 1 ,S 2 , … можно заранее определить, и переход системы из состояния в состояние происходит «скачком», практически мгновенно.

Процесс называется процессом с непрерывным временем , если моменты возможных переходов из состояния в состояние не фиксированы заранее, а неопределенны, случайны и могут произойти в любой момент.

Пример . Технологическая система (участок)S состоит из двух станков, каждый из которых в случайный момент времени может выйти из строя (отказать), после чего мгновенно начинается ремонт узла, тоже продолжающийся заранее неизвестное, случайное время. Возможны следующие состояния системы:

S 0 - оба станка исправны;

S 1 - первый станок ремонтируется, второй исправен;

S 2 - второй станок ремонтируется, первый исправен;

S 3 - оба станка ремонтируются.

Переходы системы S из состояния в состояние происходят практически мгновенно, в случайные моменты выхода из строя того или иного станка или окончания ремонта.

При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – графом состояний . Вершины графа – состояния системы. Дуги графа – возможные переходы из состояния в

Рис.1. Граф состояний системы

состояние. Для нашего примера граф состояний приведен на рис.1.

Примечание. Переход из состояния S 0 вS 3 на рисунке не обозначен, т.к. предполагается, что станки выходят из строя независимо друг от друга. Вероятностью одновременного выхода из строя обоих станков мы пренебрегаем.