Главная
страница 1страница 2страница 3 ... страница 17страница 18

Моделирование экономических систем с использованием марковских случайных процессов

1.2.1. Основные понятия марковских процессов


Функция X(t)называется случайной, если ее значение при любом аргументе X является случайной величиной.

Случайная функция X(t), аргументом которой является время, называется случайным процессом.

Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи; с помощью марковских процессов можно описать (точно или приближенно) поведение достаточно сложных систем.

Случайный процесс, протекающий в какой-либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любого момента времени to вероятность любого состояния системы в будущем (при t > t0) зависит только от ее состояния в настоящем (при t = t0) и не зависит от того, когда и каким образом система S пришла в это состояние.

Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции Х(t) и параметра t.

Различают следующие основные виды марковских случайных процессов:


  • с дискретными состояниями и дискретным временем (цепь Маркова);

  • с непрерывными состояниями и дискретным временем (марковские последовательности);

  • с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

  • с непрерывным состоянием и непрерывным временем.

Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью графа состояний (рис. 1.10), где кружками обозначены состояния S1 , S2,…,системы S, а стрелками – возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным).



Рис. 1.10. Граф состояний системы S

      1. Марковские цепи


Марковский случайный процесс с дискретными состояниями и дискретным временем называют марковской цепью. Для такого процесса моменты t1,t2,…, когда система S может менять свое состояние, рассматривают как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, выступает не время t, а номер шага 1, 2, .... k, ... Случайный процесс в этом случае характеризуется последовательностью состояний S(0), S(1), S(2), S(k), где S(0) – начальное состояние системы (перед первым шагом); S(1) – состояние системы после первого шага; S(k) - состояние системы после k-го шага.

Событие {S(k) = Si}, состоящее в том, что сразу после k-го шага система находится в состоянии Si (i= 1, 2, ...), является случайным событием. Последовательность состояний S(0), S(1),…,S(k) можно рассматривать как последовательность случайных событий. Такая случайная последовательность событий называется марковской цепью, если для каждого шага вероятность перехода из любого состояния Si в любое Sj не зависит от того, когда и как система пришла в состояние Si. Начальное состояние S(0) может быть заданным заранее или случайным.

Вероятностями состояний цепи Маркова называются вероятности Pj(k) того, что после k-го шага (и до (k+1)-го) система S будет
находиться в состоянии Si (i=1,2,…,п). Очевидно, для любого k

Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса P1(0), P2(0), …, Pi(0), …, Pn(0).

В частном случае, если начальное состояние системы S в точности известно S(0) = Si, то начальная вероятность Pi(0)= 1, а все остальные равны нулю.

Вероятностью перехода (переходной вероятностью) на kшаге из состояния Si в состояние Sj называется условная вероятность того, что система S после k-го шага окажется в состоянии Sj при условии, что непосредственно перед этим (после k - 1 шага) она находилась в состоянии Si.

Поскольку система может пребывать в одном из п состояний, то для каждого момента времени t необходимо задать n2 вероятностей перехода Pij, которые удобно представить в виде матрицы переходных вероятностей:



где Pij - вероятность перехода за один шаг из состояния Si в состояние Sj,



Pij — вероятность задержки системы в состоянии Sj.

Если переходные вероятности не зависят от номера шага (от времени), а зависят только от того, из какого состояния в какое осуществляется переход, то соответствующая цепь Маркова называется однородной.



Переходные вероятности однородной марковской цепи Pij образуют квадратную матрицу размера nxn, особенности которой заключаются в следующем:

  1. каждая строка характеризует выбранное состояние системы, а ее элементы представляют собой вероятности всех возможных переходов за один шаг из выбранного (из i-го) состояния, в том числе и переход в самое себя;

  2. элементы столбцов показывают вероятности всех возможных переходов системы за один шаг в заданное (j-е) состояние (иначе говоря, строка характеризует вероятность перехода системы из состояния, столбец – в состояние);

  3. сумма вероятностей каждой строки равна единице, так как переходы образуют полную группу несовместных событий:



  1. по главной диагонали матрицы переходных вероятностей стоят вероятности Рij того, что система не выйдет из состояния Si, а останется в нем.

Если для однородной марковской цепи заданы начальное распределение вероятностей и матрица переходных вероятностей ||Рij||, то вероятности состояний системы Pi(k)(;) определяются по рекуррентной формуле:



Пример 1.8. Рассмотрим процесс функционирования системы - автомобиль. Пусть автомобиль (система) в течение одной смены (суток) может находиться в одном из двух состояний: исправном (S1) и неисправном (S2). Граф состояний системы представлен на рис. 1.11.


Рис. 1.11. Граф состояний автомобиля

В результате проведения массовых наблюдений за работой автомобиля составлена следующая матрица вероятностей перехода:



где Р11 = 0,8 – вероятность того, что автомобиль останется в исправном состоянии;



Р12 = 0,2 – вероятность перехода автомобиля из состояния «исправен» в состояние «неисправен»;

Р21 = 0.9 – вероятность перехода автомобиля из состояния «неисправен» в состояние «исправен»;

Р22 = 0,1 – вероятность того, что автомобиль останется в состоянии «неисправен».

Вектор начальных вероятностей состояний автомобиля задан .

Требуется определить вероятности состояний автомобиля через трое суток.

Решение

Используя матрицу переходных вероятностей, определим вероятности состояний Pi(k) после первого шага (после первых суток):



Р1(1) = Р1(0)*P11 + P2(0)* P21 =0*0,8+1*0,9=0,9

Р2(1) = Р1(0)*Р12 + Р2(0)*Р22 = 0 *0,2 + 1*0,1 = 0,1.

Вероятности состояний после второго шага (после вторых суток) таковы:



Р1(2) = Р1(1)* Р11 + Р2(1)* Р21 = 0,9* 0,8 + 0,1*0,9 = 0,81;

Р2 (2) = Р1(1)*Р12 + Р2(1)* Р22 = 0,9* 0,2 + 0,1* 0,1 = 0,19.

Вероятности состояний после третьего шага (после третьих суток) равны:



Р1 (3) = Р1(2)* Р11+ Р2(2)* Р21 = 0,81* 0,8 + 0,19* 0,9 = 0,819;

Р2 (3) = Р1(2)* Р12 + Р2(2)* Р22 = 0,81* 0,2 + 0,19 * 0,1 = 0,181.

Таким образом, после третьих суток автомобиль будет находиться в исправном состоянии с вероятностью 0,819 и в состоянии «неисправен» с вероятностью 0,181.



      1. Непрерывные цепи Маркова


Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние происходит не в фиксированные, а в случайные моменты времени.

В экономике часто встречаются ситуации, которые указать заранее невозможно (например, любая деталь или агрегат автомобиля могут выйти из строя в любой, непредсказуемый заранее момент времени). Для описания таких систем в отдельных случаях можно использовать математический аппарат непрерывной цепи Маркова.

Пусть система характеризуется п состояниями S0, S1, S2, …, Sn, а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим через Pi(t) вероятность того, что в момент времени t система S будет находиться в состоянии Si (i = 0,1, ....,n). Требуется определить для любого t вероятности состояний P0(t), P1(t), .... Рn(t). Очевидно, что .

Для процесса с непрерывным временем вместо переходных вероятностей Рij рассматриваются плотности вероятностей перехода λij, представляющие собой предел отношения вероятности перехода системы за время Δt из состояния Si в состояние Sj к длине промежутка Δt:



,

где Рij (t, Δt) - вероятность того, что система, пребывавшая в момент t в состоянии Si за время Δt перейдет из него в состояние Sj (при этом всегда i j).

Если λij = const то процесс называется однородным, если плотность вероятности зависит от времени λij = λij (t), то процесс - неоднородный. При рассмотрении непрерывных марковских процессов принято представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим через случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность λij соответствующих потоков событий. Если все эти потоки пуассоновские, то процесс, протекающий в системе S, будет марковским.

При изучении марковских случайных процессов с дискретными состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния Si в Sj, проставляют соответствующие интенсивности λij. Такой граф состояний называют размеченным (рис. 1.12).





Рис. 1.12. Граф состояний системы

Задачи по теме «Моделирование экономических систем с использованием марковских случайных процессов» представлены в Приложении 1 учебного пособия.



<< предыдущая страница   следующая страница >>
Смотрите также:
Учебное пособие Санкт-Петербург 2012
3455.98kb.
18 стр.
Учебное пособие спбгут санкт-петербург 2012 +658. 012. 011. 56 Ббк 32. 811я7 П16 Рецензент
52.39kb.
1 стр.
Учебное пособие Санкт-Петербург 2003
3145kb.
12 стр.
Практикум Санкт-Петербург 2003 ббк 73
414.05kb.
1 стр.
Учебное пособие Санкт-Петербург Издательство «Дидактика Плюс»
869.79kb.
5 стр.
Октября 2012 года г. Санкт-Петербург Среда 24 октября 2012 г. Место проведения: Санкт-Петербург, «Петровский зал»
61.19kb.
1 стр.
Проблемы здоровья и экологии
3773.97kb.
37 стр.
Учебное пособие для студентов вузов специализирующихся на информационных технологиях и информатизации. Санкт Петербург 2006
2347.42kb.
12 стр.
Учебное пособие по междисциплинарному курсу «Технология работ по наладке станков и манипуляторов с программным управлением»
243.74kb.
1 стр.
Учебное пособие / Е. Б. Леанович. 4-e изд. М.: Ид риор, 2012. 187 с.: 70x100 1/32. (Карманное учебное пособие).
67.31kb.
1 стр.
Учебное пособие Санкт-Петербург 1997 содержание: Проектная сущность социально-культурных технологий 3
4137.85kb.
31 стр.
Учебное пособие для слушателей курсов Москва Санкт-Петербург Екатеринбург Февраль 2008 г. Составители
2276.98kb.
47 стр.