Какво ще се случи с вероятностите на състоянията, когато . Ще клонят ли P 1 (t), P 2 (t), ... към някакви граници? Ако тези ограничения съществуват и не зависят от първоначалното състояние на системата, тогава те се извикват крайни вероятности на състоянията. На теория случайни процесидоказано е, че ако номернсъстоянията на системата са крайни и от всяко от тях е възможно (в краен брой стъпки) да се премине към всяко друго, тогава крайните вероятности съществуват(това условие е достатъчно, но не е необходимо за съществуването на крайни вероятности).

Да приемем, че това условие е изпълнено и крайните вероятности съществуват:

Ще ги обозначаваме със същите букви P 1 , P 2 , ... като самите вероятности на състоянието, но под тях нямаме предвид функции на времето, а константни числа. Очевидно те също се добавят към едно:

. (4.10)

Как да разберем тези крайни вероятности? При
в система S се установява граничен стационарен режим, по време на който системата произволно променя своите състояния, но техните вероятности вече не зависят от времето. Крайната вероятност за състояние S i може да се разбира като средното относително време, през което системата остава в това състояние.

Например, ако системата S има три състояния S 1, S 2, S 3 и техните крайни вероятности са равни на 0,2; 0,3; 0,5, това означава, че в ограничителния стационарен режим системата прекарва средно две десети от времето в състояние S1, три десети в състояние S2 и половината от времето в състояние S3.

Как да изчислим крайните вероятности? Ако вероятностите P 1, P 2, ... са постоянни, то техните производни са равни на нула. Това означава, че за да намерите крайните вероятности, трябва да поставите всички леви части в уравненията на Колмогоров на нула и да решите получената система от не диференциални, а линейни алгебрични уравнения. Можете дори веднага да напишете система от алгебрични уравнения, като използвате графиката на състоянието. Ако преместим отрицателния член на всяко уравнение от дясната страна наляво, веднага получаваме система от уравнения, където отляво е крайната вероятност за дадено състояние П аз , умножено по общия интензитет на всички потоци,извеждайки от това състояние, а отдясно е сумата от продуктите на интензитетите на всички потоци,включен в аз – д състояние, върху вероятностите на състоянията, от които произтичат тези потоци.

Използвайки това правило, ние пишем линейни алгебрични уравнения за крайните вероятности на състоянията на системата; графиката на състоянието е показана на фиг. 4.9:

(4.11)

Тази система от 4 уравнения с 4 неизвестни P 0 , P 1 , P 2 , P 3 може да се реши с помощта на т.нар. условие за нормализиране:

, (4.12)

в този случай едно (всяко) от уравненията може да бъде отхвърлено (следва като следствие от останалите).

Нека зададем числените стойности на интензитетите λ 1 =1, λ 2 =2, μ 1 =2, μ 2 =3 и решим системата (4.11). Нека отхвърлим четвъртото уравнение и вместо него добавим условието за нормализиране (4.12). Уравненията ще приемат формата:

(4.13)

Решавайки ги, получаваме т.е. в ограничаващ стационарен режим системата S ще прекарва средно 40% от времето в състояние S 0 (и двата възела работят), 20% в състояние S 1 (първият възел се ремонтира, вторият работи ), 27% в състояние S 2 (вторият възел е в ремонт), първият работи) и 13% са в състояние S 3 на пълна неизправност (и двата блока са в ремонт). Познаването на тези ограничаващи вероятности може да помогне да се оцени средната ефективност на системата и натоварването на ремонтните части. Да приемем, че системата S в състояние S 0 носи доход 8 (условни единици) за единица време, в състояние S 1 - доход 3, в състояние S 2 - доход 5, а в състояние S 3 - никакъв доход. Тогава в ограничителния стационарен режим средният доход за единица време ще бъде . Сега нека оценим натоварването на ремонтните органи (работниците), заети с ремонта на възли 1 и 2. Възел 1 се ремонтира за част от времето, равно на Възел 2 се ремонтира част от времето
.

Тук вече може да възникне въпросът за оптимизиране на решението. Да кажем, че можем да намалим средното време за ремонт на една или друга единица (или може би и двете), но това ще ни струва малко пари. И е необходимо да се прецени дали увеличението на доходите, свързано с ускоряване на ремонта, ще изплати увеличените разходи за ремонт? (за целта ще трябва да решите система от 4 уравнения с 4 неизвестни).

Помислете за математическото описание Марков процесс дискретни състояния и непрекъснато време, използвайки примера на случаен процес от предишния пример, чиято графика е показана на фиг. 15. Ще приемем, че всички преходи на системата от държав S i V Sjвъзникват под влияние на прости потоци от събития с интензитет ( i, j= 0, 1, 2, 3); Така системата преминава от държавата С 0 инча С 1 ще възникне под въздействието на потока от повреда на първия възел и обратния преход от състоянието С 1 инч С 0 - под влияние на потока от завършвания на ремонти на първия възел и др.

Графиката на състоянията на системата с интензитетите, отбелязани със стрелките, ще се нарича етикетирана (виж Фиг. 3.1). Разглеждана система Сима четири възможни състояния: С 0 ,С 1 , С 2 , С 3 .

Вероятността за i-то състояние е вероятността p i(T) какво в момента Tсистемата ще бъде в състояние С,. Очевидно за всеки момент Tсумата от вероятностите на всички състояния е равна на единица:

Система диференциални уравненияКолмогоров за вероятностите на състоянието:

(3.2.)

Нека формулираме правило за съставяне на уравненията на Колмогоров. От лявата страна на всяка от тях е производната на вероятността аз-то състояние. От дясната страна е сумата от произведенията на вероятностите на всички състояния (от които стрелките преминават към дадено състояние) по интензитета на съответните потоци от събития, минус общия интензитет на всички потоци, които извеждат системата от дадено състояние, умножено по вероятността за дадено (1-во състояние).

В системата (3.2) има едно по-малко независими уравнения общ бройуравнения. Следователно, за да се реши системата, е необходимо да се добави уравнение (3.1).

Особеността на решаването на диференциални уравнения като цяло е, че е необходимо да се зададат така наречените начални условия, т.е. в този случай вероятностите на състоянията на системата в началния момент T= 0. Така например е естествено да се реши системата от уравнения (15.9), при условие че в началния момент и двата отбора са свободни и системата е била в състояние С 0, т.е. при начални условия стр 0 (0) = 1, стр 1 (0) = 0, стр 2 (0) = 0, стр 3 (0) = 0.

Уравненията на Колмогоров позволяват да се намерят всички вероятности на състоянията като функция на времето. От особен интерес са системните вероятности p i(T) в ограничителния стационарен режим, т.е. при , които се наричат гранични (или крайни) вероятности на състоянията.

Пределна вероятност за състояние С, има ясно значение: показва средното относително време, през което системата остава в това състояние. Например, ако пределната вероятност за състояние С 0 т.е. Р 0 = 0,5, това означава, че средно половината от времето системата е в състояние С 0 .

Тъй като граничните вероятности са постоянни, замествайки техните производни в уравненията на Колмогоров с нулеви стойности, получаваме система от линейни алгебрични уравнения, описващи стационарния режим. За система Сс графиката на състоянието, показана на фиг. 3.2), такава система от уравнения има формата:

(3.3)

Система (4.3) може да бъде компилирана директно от обозначена графика на състоянието, ако се ръководи от правилото, че от лявата страна на уравненията е пределната вероятност за дадено състояние p„, умножена по общия интензитет на всички потоци, водещи от дадена състояние, а вдясно е сумата от произведенията на интензитетите на всички потоци, влизащи в 1-во състояние, върху вероятността на тези състояния, от които идват тези потоци.

Разглеждайки марковски процеси с дискретни състояния и непрекъснато време, ще ни бъде удобно да си представим, че всички преходи на държавна система в състояние се случват под влияние на някакъв поток от събития (поток от повиквания, поток от повреди, поток от възстановявания, и т.н.). Ако всички потоци от събития, които прехвърлят системата S от състояние в състояние, са най-прости, тогава процесът, протичащ в системата, ще бъде марковски. Това е естествено, тъй като най-простият поток няма последействие: в него „бъдещето“ не зависи от „миналото“.

Ако системата S е в някакво състояние, от което има директен преход към друго състояние (стрелка, водеща от на графиката на състоянието), тогава ще си представим това така, сякаш системата, докато е в състоянието, е подложена на най-простият поток от събития, движейки го по стрелката. Веднага щом се появи първото събитие от този поток, системата „скача“ от

За по-голяма яснота е много удобно да се посочи на графиката на състоянието при всяка стрелка интензивността на потока от събития, който движи системата по тази стрелка. Нека обозначим интензивността на потока от събития, който прехвърля системата от състоянието

На фиг. 17.1 има графика на състояния с интензитети, маркирани със стрелките (такава графика ще наричаме етикетирана.

Нека изградим етикетирана графика на състоянието за примера, даден в § 15 (техническо устройство от два възела). Нека си припомним състоянията на системата:

И двата възела са добре

Първият блок е в ремонт, вторият работи,

Вторият блок е в ремонт, първият работи,

И двата блока са в ремонт.

Ще изчислим интензитетите на потоците от събития, които прехвърлят системата от състояние в състояние, като приемем, че средното време за ремонт на възел не зависи от това дали един възел или и двата са поправени наведнъж.

Това ще бъде точно така, ако в ремонта на всяка единица участва отделен специалист. Нека намерим всички интензитети на потоците от събития, които прехвърлят системата от състояние в състояние. Нека системата е в състояние. Какъв поток от събития го поставя в състояние? Очевидно процентът на отказ на първия възел. Неговата интензивност е равна на единица, разделена на средното време на работа на първия възел. От какъв поток от събития се връща системата? Очевидно потокът на „завършване на ремонта“ на първия възел. Интензивността му е равна на единица, разделена на средното време за ремонт на първия възел. По същия начин, интензитетите на потоците от събития, които движат системата по всички стрелки на графиката на фиг. 17.2.

Като имате на разположение обозначена графика на състоянието на системата, тя е лесна за конструиране математически моделна този процес.

Всъщност нека разгледаме система S с възможни състояния. Нека наречем вероятност за състояние вероятността в момент t системата да бъде в състояние . Очевидно е, че за всеки момент сумата от всички вероятности на състоянието е равна на единица:

С етикетирана графика на състоянието на ваше разположение можете да намерите всички вероятности на състоянието като функция на времето. За целта се съставят и решават т. нар. уравнения на Колмогоров – специален вид диференциални уравнения, в които неизвестните функции са вероятностите на състоянията.

Нека покажем с конкретен пример как са съставени тези уравнения. Нека системата S има четири състояния: обозначената графика на която е показана на фиг. 17.3. Нека разгледаме едно от вероятностните състояния, например. Това е вероятността в момент t системата да бъде в състояние S. Нека дадем малко увеличение на t и да намерим вероятността в момент t системата да бъде в състояние . Как може да стане това? Очевидно по два начина: или 1) в момента t системата вече е била в състояние и не го е напуснала през времето; или 2) в момента t системата е била в състояние и през времето е преминала от него към

Нека намерим вероятността за първия вариант. Вероятността в момента t системата да е била в състояние е равна на . Тази вероятност трябва да се умножи по вероятността, че, намирайки се в състояние в момента t, системата няма да премине от него нито към, нито към . Общият поток от събития, който извежда системата от състоянието, също ще бъде най-прост, с интензитет (при наслагването - суперпозиция - на два най-прости потока, отново се получава най-простият поток, тъй като свойствата стационарност, обикновеност и отсъствие на последствията се запазват).

Това означава, че вероятността системата да напусне състоянието с течение на времето е равна на вероятността да не го направи: Следователно вероятността за първата опция е равна на .

Нека намерим вероятността за втория вариант. Тя е равна на вероятността в момента t системата да бъде в състояние и да премине от него в състояние с течение на времето, т.е. равна е на

Събирайки вероятностите на двете опции (според правилото за добавяне на вероятности), получаваме:

Отворете квадратните скоби, преместете ги вляво и разделете двете части на

Нека се стремим, както трябва да бъде в такива случаи, към нула; отляво получаваме в границата производната на функцията. Така записваме диференциалното уравнение за

или, накратко, изхвърляне на аргумента t от функциите (сега вече нямаме нужда от него):

Разсъждавайки по подобен начин за всички останали състояния, ще напишем още три диференциални уравнения. Добавяйки към тях уравнение (17.2), получаваме система от диференциални уравнения за вероятностите на състоянията:

Това е система от четири линейни диференциални уравнения с четири неизвестни функции. Забележете, че една от тях (която и да е) може да бъде отхвърлена, използвайки факта, че всяка от вероятностите може да бъде изразена чрез другите, този израз може да бъде заменен в (. 17.3), и съответното уравнение с производната може да бъде отхвърлено.

Нека сега формулираме общо правило за съставяне на уравненията на Колмогоров. От лявата страна на всяка от тях е производната на вероятността за някакво състояние. От дясната страна е сумата от произведенията на вероятностите на всички състояния, от които стрелките преминават към дадено състояние, от интензитета на съответните потоци от събития, минус общия интензитет на всички потоци, които извеждат системата от дадено състояние , умножено по вероятността за дадено състояние.

Използвайки това правило, ние пишем уравненията на Колмогоров за системата S, чиято означена графика на състоянието е дадена на фиг. 17.2:

За да решите уравненията на Колмогоров и да намерите вероятностите за състояния, първо трябва да зададете началните условия. Ако знаем точно началното състояние на системата , тогава в началния момент (при ) , и всички други начални вероятности са равни на нула. Така например е естествено да се решават уравнения (17.4) при начални условия (в началния момент и двата възела работят).

Как се решават такива уравнения? Най-общо казано, линейните диференциални уравнения с постоянни коефициентимогат да бъдат решени аналитично, но това е удобно само когато броят на уравненията не надвишава две (понякога три).

Ако уравненията са повече, обикновено се решават числено - ръчно или на компютър.

По този начин уравненията на Колмогоров позволяват да се намерят всички вероятности на състоянията като функция на времето.

Нека сега зададем въпроса: какво ще се случи с вероятностите за състояния при ? Ще се стремят ли към някакви ограничения? Ако тези граници съществуват и не зависят от началното състояние на системата, тогава те се наричат вероятности за крайно състояние. В теорията на случайните процеси е доказано, че ако броят на състоянията на една система е краен и от всяко от тях е възможно (в краен брой стъпки) да се премине към всяко друго, тогава крайните вероятности съществуват

Да приемем, че това условие е изпълнено и крайните вероятности съществуват:

Ще обозначаваме крайните вероятности със същите букви като вероятностите на самите състояния, но с тях вече нямаме предвид променливи(функции на времето), но постоянни числа. Очевидно те също се добавят към едно:

Как да разберем тези крайни вероятности? Когато в системата S се установи граничен стационарен режим, по време на който системата произволно променя своите състояния, но техните вероятности вече не зависят от времето. Крайната вероятност за състояние може да се тълкува като средното относително време, през което системата остава в това състояние. Например, ако системата S има три състояния и крайните им вероятности са равни на 0,2, 0,3 и 0,5, това означава, че в ограничителния стационарен режим системата прекарва средно две десети от времето си в състоянието три десети - в състояние и полувреме - способен

Как да изчислим крайните вероятности? Много просто. Ако вероятностите са постоянни, тогава техните производни са равни на нула. Това означава, че за да намерим крайните вероятности, трябва да поставим всички леви части в уравненията на Колмогоров равно на нулаи решаване на получената система от не диференциални, а линейни алгебрични уравнения. Не е нужно да пишете уравненията на Колмогоров, а напишете система от линейни алгебрични уравнения директно от графиката на състоянието. Ако преместим отрицателния член на всяко уравнение от дясната страна наляво, веднага получаваме система от уравнения, където отляво е крайната вероятност за дадено състояние, умножена по общия интензитет на всички потоци, водещи от дадено състояние , а вдясно е сумата от произведенията на интензитетите на всички потоци, влизащи в състоянието, върху вероятностите на състоянията, от които тези потоци произтичат.

Нека разгледаме математическо описание на марковски процес с дискретни състояния и непрекъснато време, като използваме примера на графиката, показана на фигура 1. Предполагаме, че всички преходи на системата от състояние Si към Sj се случват под въздействието на прости потоци от събития с интензитет ??ij (i, j=0, 1, 2, 3); По този начин преходът на системата от състояние S0 към S1 ще настъпи под въздействието на потока от повреди на първия възел, а обратният преход от състояние S1 към S0 ще настъпи под въздействието на потока „завършване на ремонта“ на първия възел и т.н.

Графиката на състоянията на система с интензитети, отбелязани със стрелките, ще се нарича етикетирана. Разглежданата система S има четири възможни състояния: S0, S1, S2, S3.

Вероятността за i-то състояние е вероятността pi(f), че в момента t системата ще бъде в състояние Si. Очевидно за всеки момент t сумата от вероятностите на всички състояния е равна на единица:

Нека разгледаме системата в момент t и след като сме посочили малък интервал?t, да намерим вероятността p0(t+?t), че системата в момент t+?t ще бъде в състояние S0. Това се постига по различни начини.

Системата в момент t с вероятност p0(t) е била в състояние S0, но не го е напуснала през време?t.

Системата може да бъде изведена от това състояние с най-прост общ поток с интензитет (l01+l02), т.е. в съответствие с формулата, с вероятност приблизително равна на (l01+l02)?t. А вероятността системата да не излезе от състояние S0 е равна на . Вероятността системата да бъде в състояние S0 според първия метод е равна, съгласно теоремата за умножение на вероятностите:

Системата в момент t с вероятности p1(t) (или p2(t)) е била в състояние S1 или S2 и по време на време?t е преминала в състояние S0.

При поток с интензитет l10 системата ще премине в състояние S0 с вероятност приблизително равна на ??10?t (или??20?t). Вероятността системата да бъде в състояние S0 според този метод е равна на p1(t)??10?t. Прилагайки теоремата за добавяне на вероятностите, получаваме

Преминавайки към границата при?t>0 (приблизителните равенства, свързани с прилагането на формулата, ще се превърнат в точни), получаваме производната от лявата страна на уравнението (означаваме го за простота):

Получихме диференциално уравнение от първи ред, т.е. уравнение, съдържащо както самата неизвестна функция, така и нейната производна от първи ред.

Разсъждавайки по подобен начин за други състояния на системата S, можем да получим система от диференциални уравнения на Колмогоров за вероятностите на състоянията:

Нека формулираме правило за съставяне на уравненията на Колмогоров. От лявата страна на всяка от тях е производната на вероятността за i-то състояние. От дясната страна е сумата от произведенията на вероятностите на всички състояния (от които стрелките преминават към дадено състояние) по интензитета на съответните потоци от събития, минус общия интензитет на всички потоци, които извеждат системата от дадено състояние, умножено по вероятността за дадено (i-то състояние).

В система (14) има едно независими уравнения по-малко от общия брой уравнения. Следователно, за да се реши системата, е необходимо да се добави уравнение.

Трябва да зададете началните условия. Така, например, естествено е да се реши системата от уравнения (14), при условие че в началния момент и двата възела са работещи и системата е била в състояние S0, т.е. при начални условия p0(0)=1, p1(0)=p2(0)=p3(0)=0.

Уравненията на Колмогоров позволяват да се намерят всички вероятности на състоянията като функция на времето. Особен интерес представляват вероятностите на системата pi(t) в граничния стационарен режим, т.е. за t>?, които се наричат ограничаващи (или крайни) вероятности на състояния.

Ограничителната вероятност на състоянието Si има ясно значение: тя показва средното относително време, през което системата остава в това състояние. Например, ако пределната вероятност на състоянието е S0, т.е. p0=0,5, това означава, че средно половината от времето системата е в състояние S0.

Тъй като граничните вероятности са постоянни, замествайки техните производни в уравненията на Колмогоров с нулеви стойности, получаваме система от линейни алгебрични уравнения, описващи стационарния режим. За система S с графика на състоянието, показана на фигура 1, такава система от уравнения има формата:

Система (15) може да бъде компилирана директно от маркирана графика на състоянието, ако се ръководим от правилото, че от лявата страна на уравненията е максималната вероятност за дадено състояние pi, умножена по общия интензитет на всички потоци, водещи от даден състояние, а вдясно е сумата от произведенията на интензитетите на всички потоци, включени в i-e държава, върху вероятностите на състоянията, от които идват тези потоци.

Изградете графика на състоянието на следния случаен процес: системата се състои от две машини за продажба на билети, всяка от които може да бъде заета или свободна в произволен момент.

Решение:

Системата може да бъде в четири състояния, тъй като всяка машина за продажба на билети има две състояния (заето или свободно). Нека S 0 - и двете устройства са заети; S 1 - 1-ви е зает, 2-ри е свободен; S 2 - 1-ви е свободен, 2-ри е зает; S 3 - и двете устройства са безплатни. Нека изградим графика на състоянието, маркирайки всички възможни състояния върху него с кръгове и обозначавайки възможните преходи от състояние в състояние със стрелки. Откриваме, че преходът от S 0 към S 3 е възможен или през S 1, или през S 2, или директно, както е показано на фигура 4.

Фигура 4 - Графика на състоянието на автоматите за продажба на билети

Намерете граничните вероятности за системата S, чиято графика е показана на фигурата.

Решение:

В теорията на случайните процеси е доказано, че ако броят на състоянията на една система е краен и от всяко от тях е възможно (в краен брой стъпки) да се премине към всяко друго състояние, тогава съществуват ограничаващи вероятности. Те могат да бъдат намерени от уравненията на Колмогоров чрез съставяне на система, базирана на дадена етикетирана графика на състоянието, съгласно следното правило:

От лявата страна на уравнението е максималната вероятност за дадено състояние p аз , умножена по общия интензитет на всички потоци, водещи от дадено състояние, а вдясно - сумата от произведенията на интензитетите на всички потоци, влизащи в дадено състояние, и вероятностите на тези състояния, от които тези състояния излизат.

Освен това трябва да вземем предвид, че сумата от всички вероятности на дадена крайна система е равна на единица. Нека създадем уравнения за състояния S 1 и S 2 (уравнението за състояние S 0 е „допълнително“):