Что будет происходить с вероятностями состояний при .Будут лиP 1 (t), P 2 (t), … стремится к каким-то пределам? Если эти пределы существуют и не зависят от начального состояния системы, то они называются финальными вероятностями состояний. В теории случайных процессов доказывается, что если число n состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое, то финальные вероятности существуют (это условие достаточно, но не необходимо для существования финальных вероятностей).

Предположим, что это условие выполнено и финальные вероятности существуют:

Будем обозначать их теми же буквами P 1 , P 2 , …, что и сами вероятности состояний, но подразумевая под ними не функции времени, а постоянные числа. Очевидно, они тоже образуют в сумме единицу:

. (4.10)

Например, если система S имеет три состояния S 1 , S 2 , S 3 и их финальные вероятности равны 0,2; 0,3; 0,5, это значит, что в предельном стационарном режиме система в среднем две десятых времени проводит в состоянии S 1 , три десятых – в состоянии S 2 и половину времени – в состоянии S 3 .

Как же вычислить финальные вероятности? Если вероятности P 1 , P 2 , … постоянны, то их производные равны нулю. Значит, чтобы найти финальные вероятности, нужно все левые части в уравнениях Колмогорова положить равными нулю и решить полученную систему уже не дифференциальных, а линейных алгебраических уравнений. Даже можно сразу по графу состояний написать систему алгебраических уравнений. Если перенести отрицательный член каждого уравнения из правой части в левую, то получим сразу систему уравнений, где слева стоит финальная вероятность данного состояния P i , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа – сумма произведений интенсивностей всех потоков, входящих в i – е состояние, на вероятности тех состояний, из которых эти потоки исходят.

Пользуясь этим правилом, напишем линейные алгебраические уравнения для финальных вероятностей состояний системы, граф состояний дан на рис. 4.9:

(4.11)

Эту систему 4-х уравнений с 4-мя неизвестными P 0 , P 1 , P 2 , P 3 можно решить воспользовавшись так называемым нормировочным условием:

, (4.12)

при этом одно (любое) из уравнений можно отбросить (оно вытекает как следствие из остальных).

Зададимся численными значениями интенсивностей λ 1 =1, λ 2 =2, μ 1 =2, μ 2 =3 и решим систему (4.11). Отбросим четвертое уравнение, добавив вместо него нормировочное условие (4.12). Уравнения примут вид:

(4.13)

Решая их, получим т.е. в предельном, стационарном режиме системаS в среднем 40% времени будет проводить в состоянии S 0 (оба узла исправны), 20% - в состоянии S 1 (первый узел ремонтируется, второй работает), 27% - в состоянии S 2 (второй узел ремонтируется, первый работает) и 13% - в состоянии S 3 полной негодности (оба узла ремонтируются). Знание этих предельных вероятностей может помочь оценить среднюю эффективность работы системы и загрузку ремонтных органов. Предположим, что система S в состоянии S 0 приносит в единицу времени доход 8 (условных единиц), в состоянии S 1 – доход 3, в состоянии S 2 – доход 5, а в состоянии S 3 – вообще не приносит дохода. Тогда, в предельном стационарном режиме средний доход в единицу времени будет . Теперь оценим загрузку ремонтных органов (рабочих), занятых ремонтов узлов 1 и 2. Узел 1 ремонтируется долю времени, равную. Узел 2 ремонтируется долю времени
.

Здесь уже может возникнуть вопрос об оптимизации решения. Допустим, что мы можем уменьшить среднее время ремонта того или другого узла (а может быть и того, и другого), но это нам обойдется в какую-то сумму. И необходимо оценить, а окупит ли увеличение дохода, связанное с ускорением ремонта, повышенные расходы на ремонт? (для этого надо будет решить систему 4-х уравнений с 4-мя неизвестными).

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем на примере случайного процесса из предыдущего примера, граф которого изображен на рис. 15. Будем полагать, что все переходы системы из состояния S i в S j происходят под воздействием простейших потоков событий с интенсивностями (i, j = 0, 1, 2, 3); так, переход системы из состояния S 0 в S 1 будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния S 1 в S 0 - под воздействием потока окончаний ремонтов первого узла и т.п.

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным (см. рис. 3.1). Рассматриваемая система S имеет четыре возможных состояния: S 0 ,S 1 , S 2 , S 3 .

Вероятностью i-го состояния называется вероятность p i (t ) того, что в момент t система будет находиться в состоянии S ,. Очевидно, что для любого момента t сумма вероятностей всех состояний равна единице:

Система дифференциальных уравнений Колмогорова для вероятностей состояний:

(3.2.)

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i -го состояния. В правой части - сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (1-го состояния).

В системе (3.2) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (3.1).

Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задать так называемые начальные условия, т.е. в данном случае вероятности состояний системы в начальный момент t = 0. Так, например, систему уравнений (15.9) естественно решать при условии, что в начальный момент обе бригады свободны и система находилась в состоянии S 0 , т.е. при начальных условиях p 0 (0) = 1, p 1 (0) = 0, p 2 (0) = 0, p 3 (0) = 0.

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы p i (t ) в предельном стационарном режиме, т.е. при , которые называются предельными (или финальными) вероятностями состояний.

Предельная вероятность состояния S , имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом, состоянии. Например, если предельная вероятность состояния S 0 т.е. р 0 = 0,5, то это означает, что в среднем половину времени система находится в состоянии S 0 .

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы S с графом состояний, изображенном на рис. 3.2), такая система уравнений имеет вид:

(3.3)

Систему (4.3) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния р„ умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа - сумма произведений интенсивностей всех потоков, входящих в 1-е состояние, на вероятности тех состояний, из которых эти потоки исходят.

Рассматривая марковские процессы с дискретными состояниями и непрерывным временем, нам удобно будет представлять себе, что все переходы системы состояния в состояние происходят под действием каких-то потоков событий (поток вызовов, поток отказов, поток восстановлений и т. д.). Если все потоки событий, переводящие систему S из состояния в состояние, - простейшие, то процесс протекающий в системе, будет марковским. Это и естественно, так как простейший поток не обладает последействием: в нем «будущее» не зависит от «прошлого».

Если система S находится в каком-то состоянии из которого есть непосредственный переход в другое состояние (стрелка, ведущая из на графе состояний), то мы себе это будем представлять так, как будто на систему, пока она находится в состоянии действует простейший поток событий, переводящий ее по стрелке . Как только появится первое событие этого потока, происходит «перескок» системы из

Для наглядности очень удобно на графе состояний у каждой стрелки проставлять интенсивность того потока событий, который переводит систему по данной стрелке. Обозначим интенсивность потока событий, переводящего систему из состояния

На рис. 17.1 дан граф состояний с проставленными у стрелок интенсивностями (мы будем называть такой граф размеченны .

Построим размеченный граф состояний для примера, данного в § 15 (техническое устройство из двух узлов). Напомним состояния системы:

Оба узла исправны,

Первый узел ремонтируется, второй исправен,

Второй узел ремонтируется, первый исправен,

Оба узла ремонтируются.

Интенсивности потоков событий, переводящих систему из состояния в состояние, будем вычислять, предполагая, что среднее время ремонта узла не зависит от того, ремонтируется ли один узел или оба сразу.

Это будет именно так, если ремонтом каждого узла занят отдельный специалист. Найдем все интенсивности потоков событий, переводящих систему из состояния в состояние. Пусть система находится в состоянии . Какой поток событий переводит ее в состояние ? Очевидно, поток отказов первого узла. Его интенсивность равна единице, деленной на среднее время безотказной работы первого узла. Какой поток событий переводит систему обратно из ? Очевидно, поток «окончаний ремонтов» первого узла. Его интенсивность равна единице, деленной на среднее время ремонта первого узла. Аналогично вычисляются интенсивности потоков событий, переводящих систему по всем стрелкам графа рис. 17.2.

Имея в своем распоряжении размеченный граф состояний системы, легко построить математическую модель данного процесса.

В самом деле, пусть рассматривается система S, имеющая возможных состояний . Назовем вероятностью состояния вероятность того, что в момент t система будет находиться в состоянии . Очевидно, что для любого момента сумма всех вероятностей состояний равна единице:

Имея в своем распоряжении размеченный граф состояний, можно найти все вероятности состояний как функции времени. Для этого составляются и решаются так называемые уравнения Колмогорова - особого вида дифференциальные уравнения, в которых неизвестными функциями являются вероятности состояний.

Покажем на конкретном примере, как эти уравнения составляются. Пусть система S имеет четыре состояния: размеченный граф которых показан на рис. 17.3. Рассмотрим одну из вероятностен состояний, например Это - вероятность того, что в момент t система будет в состоянии S. Придадим t малое приращение и найдем - вероятность того, что в момент система будет в состоянии . Как это может произойти? Очевидно, двумя способами: либо 1) в момент t система уже была в состоянии а за время не вышла из него; либо 2) в момент t система была в состоянии а за время перешла из него в

Найдем вероятность первого варианта. Вероятность того, что в момент t система была в состоянии равна . Эту вероятность нужно умножить на вероятность того, что, находившись в момент t в состоянии система за время не перейдет из него ни в ни в . Суммарный поток событий, выводящий систему из состояния тоже будет простейшим, с интенсивностью (при наложении - суперпозиции - двух простейших потоков получается опять простейший поток, так как свойства стационарности, ординарности и отсутствия последействия сохраняются).

Значит, вероятность того, что за время система выйдет из состояния равна вероятность того, что не выйдет: Отсюда вероятность первого варианта равна .

Найдем вероятность второго варианта. Она равна вероятности того, что в момент t система будет в состоянии а за время перейдет из него в состояние т. е. она равна

Складывая вероятности обоих вариантов (по правилу сложения вероятностей), получим:

Раскроем квадратные скобки, перенесем в левую часть и разделим обе части на

Устремим, как и полагается в подобных случаях, к нулю; слева получим в пределе производную функции Таким образом, запишем дифференциальное уравнение для

или, короче, отбрасывая аргумент t у функций (теперь он нам больше уже не нужен):

Рассуждая аналогично для всех остальных состояний, напишем еще три дифференциальных уравнения. Присоединяя к ним уравнение (17.2), получим систему дифференциальных уравнений для вероятностей состояний:

Это - система четырех линейных дифференциальных уравнений с четырьмя неизвестными функциями Заметим, что одно из них (любое) можно отбросить, пользуясь тем, что выразить любую из вероятностей через другие, это выражение подставить в (17.3), а соответствующее уравнение с производной отбросить.

Сформулируем теперь общее правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности какого-то состояния. В правой части - сумма произведений вероятностей всех состояний, из которых идут стрелки в данное состояние, на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного состояния.

Пользуясь этим правилом, запишем уравнения Колмогорова для системы S, размеченный граф состояний которой дан на рис. 17.2:

Чтобы решить уравнения Колмогорова и найти вероятности состояний, прежде всего надо задать начальные условия. Если мы точно знаем начальное состояние системы , то в начальный момент (при ) , а все остальные начальные вероятности равны нулю. Так, например, уравнения (17.4) естественно решать при начальных условиях (в начальный момент оба узла исправны).

Как решать подобные уравнения? Вообще говоря, линейные дифференциальные уравнения с постоянными коэффициентами можно решать аналитически, но это удобно только когда число уравнений не превосходит двух (иногда - трех).

Если уравнений больше, обычно их решают численно - вручную или на ЭВМ.

Таким образом, уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени.

Поставим теперь вопрос: что будет происходить с вероятностями состояний при ? Будут ли стремиться к каким-то пределам? Если эти пределы существуют и не зависят от начального состояния системы, то они называются финальными вероятностями состояний. В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое, то финальные вероятности существуют

Предположим, что это условие выполнено и финальные вероятности существуют:

Финальные вероятности мы будем обозначать теми же буквами что и сами вероятности состояний, но разумея под ними уже не переменные величины (функции времени), а постоянные числа. Очевидно, они тоже образуют в сумме единицу:

Как понимать эти финальные вероятности? При в системе S устанавливается предельный стационарный режим, в ходе которого система случайным образом меняет свои состояния, но их вероятности уже не зависят от времени. Финальную вероятность состояния можно истолковать как среднее относительное время пребывания системы в этом состоянии. Например, если система S имеет три состояния и их финальные вероятности равны 0,2, 0,3 и 0,5, это значит, что в предельном, стационарном режиме система в среднем две десятых времени проводит в состоянии три десятых - в состоянии и половину времени - в состоянии

Как же вычислить финальные вероятности? Очень просто. Если вероятности постоянны, то их производные равны нулю. Значит, чтобы найти финальные вероятности, нужно все левые части в уравнениях Колмогорова положить равными нулю и решить полученную систему уже не дифференциальных, а линейных алгебраических уравнений. Можно и не писать уравнений Колмогорова, а прямо по графу состояний написать систему линейных алгебраических уравнений. Если перенести отрицательный член каждого уравнения из правой части в левую, то получим сразу систему уравнений, где слева стоит финальная вероятность данного состояния умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа - сумма произведений интенсивностей всех потоков, входящих в состояние, на вероятности тех состояний, из которых эти потоки исходят.

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем на примере графа, изображенного на рисунке 1. Будем полагать, что все переходы системы из состояния Si в Sj происходят под воздействием простейших потоков событий с интенсивностями??ij (i, j=0, 1, 2, 3); так, переход системы из состояния S0 в S1 будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния S1 в S0 -- под воздействием потока "окончаний ремонтов" первого узла и т.п.

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным. Рассматриваемая система S имеет четыре возможных состояния: S0, S1, S2, S3.

Вероятностью i-го состояния называется вероятность pi(f) того, что в момент t система будет находиться в состоянии Si. Очевидно, что для любого момента t сумма вероятностей всех состояний равна единице:

Рассмотрим систему в момент t и, задав малый промежуток?t, найдем вероятность p0(t+?t) того, что система в момент t+?t будет находиться в состоянии S0. Это достигается разными способами.

Система в момент t с вероятностью p0(t) находилась в состоянии S0, а за время?t не вышла из него.

Вывести систему из этого состояния можно суммарным простейшим потоком с интенсивностью (л01+л02), т.е. в соответствии с формулой, с вероятностью, приближенно равной (л01+л02)?t. А вероятность того, что система не выйдет из состояния S0, равна . Вероятность того, что система будет находиться в состоянии S0 по первому способу, равна по теореме умножения вероятностей:

Система в момент t с вероятностями p1(t) (или p2(t)) находилась в состоянии S1 или S2 и за время?t перешла в состояние S0.

Потоком интенсивностью л10 система перейдет в состояние S0 с вероятностью, приближенно равной??10?t (или??20?t). Вероятность того, что система будет находиться в состоянии S0 по этому способу, равна p1(t)??10?t. Применяя теорему сложения вероятностей, получим

Переходя к пределу при?t>0 (приближенные равенства, связанные с применением формулы, перейдут в точные), получим в левой части уравнения производную (обозначим ее для простоты):

Получили дифференциальное уравнение первого порядка, т.е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.

Рассуждая аналогично для других состояний системы S, можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i-го состояния. В правой части -- сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (i-го состояния).

В системе (14) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение.

Нужно задать начальные условия. Так, например, систему уравнений (14) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии S0, т.е. при начальных условиях p0(0)=1, p1(0)=p2(0)=p3(0)=0.

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы рi(t) в предельном стационарном режиме, т.е. при t>?, которые называются предельными (или финальными) вероятностями состояний.

Предельная вероятность состояния Si имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния S0, т.е. p0=0.5, то это означает, что в среднем половину времени система находится в состоянии S0.

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы S с графом состояний, изображенном на рисунке 1, такая система уравнений имеет вид:

Систему (15) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния рi, умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа -- сумма произведений интенсивностей всех потоков, входящих в i-e состояние, на вероятности тех состояний, из которых эти потоки исходят.

Построить граф состояний следующего случайного процесса: система состоит из двух аппаратов по продаже билетов, каждый из которых в случайный момент времени может быть либо занятым, либо свободным.

Решение:

Система может находиться в четырех состояниях, так как у каждого аппарата по продаже билетов есть два состояния (быть занятым или свободным). Пусть S 0 - оба аппарата заняты; S 1 - 1-ый занят, 2-ой свободен; S 2 - 1-ый свободен, 2-ой занят; S 3 - оба аппарата свободны. Построим граф состояний, отметив на нем все возможные состояния кругами, а возможные переходы из состояния в состояние обозначим стрелками. Получаем, что переход из S 0 в S 3 возможен либо через S 1 , либо через S 2 , либо напрямик, как показано на рисунке 4.

Рисунок 4 - Граф состояний аппаратов по продаже билетов

Найти предельные вероятности для системы S, граф которой изображен на рисунке.

Решение:

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют. Их можно найти из уравнений Колмогорова, составив систему по данному размеченному графу состояний, по следующему правилу:

Слева в уравнении стоит предельная вероятность данного состояния p i , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа - сумма произведений интенсивностей всех потоков, входящих в данное состояние, на вероятности тех состояний, из которых эти состояния выходят.

Кроме этого надо учитывать, что сумма всех вероятностей данной конечной системы равна единице. Составим уравнения для состояний S 1 и S 2 (уравнение для состояния S 0 - «лишнее»):

Ответ: Система примерно 66,67% времени пребывает в состоянии S 0 , 25% - в состоянии S 1 и 8,33% времени находится в состоянии S 2 .

Найти валовой выпуск для сбалансированной многоотраслевой экономики в модели Леонтьева, если дана матрица прямых затрат А и вектор конечного потребления У:

Решение:

Для сбалансированной многоотраслевой экономики выполняется следующее соотношение:

Выразим валовой выпуск через конечное потребление и матрицу затрат:

Находим матрицу, обратную к (Е - А):

Найдем валовой выпуск:

Ответ: Валовой выпуск равен (811,3; 660,4).

*При решении задач использовался

Уравнения колмогорова для вероятностей состояний системы. Теория вероятности: формулы и примеры решения задач

Найти предельные вероятности для системы S, граф которой изображен на рисунке.

Найти валовой выпуск для сбалансированной многоотраслевой экономики в модели Леонтьева, если дана матрица прямых затрат А и вектор конечного потребления У:

Похожие статьи