Čo sa stane s pravdepodobnosťami stavov, keď bude P 1 (t), P 2 (t), ... inklinovať k nejakým limitom? Ak tieto limity existujú a nezávisia od počiatočného stavu systému, potom sa volajú konečné pravdepodobnosti stavov. V teórii náhodných procesov je dokázané, že ak číslonstavy systému sú konečné a z každého z nich je možné (v konečnom počte krokov) prejsť na ktorýkoľvek iný, potom existujú konečné pravdepodobnosti(táto podmienka je postačujúca, ale nie nevyhnutná pre existenciu konečných pravdepodobností).

Predpokladajme, že táto podmienka je splnená a existujú konečné pravdepodobnosti:

Budeme ich označovať rovnakými písmenami P 1 , P 2 , ... ako samotné stavové pravdepodobnosti, ale nemáme na mysli funkcie času, ale konštantné čísla. Je zrejmé, že sa tiež pripočítajú k jednému:

. (4.10)

Ako pochopiť tieto konečné pravdepodobnosti? O
v systéme S je stanovený obmedzujúci stacionárny režim, počas ktorého systém náhodne mení svoje stavy, ale ich pravdepodobnosti už nezávisia od času. Konečnú pravdepodobnosť stavu S i možno chápať ako priemerný relatívny čas, počas ktorého systém zostáva v tomto stave.

Napríklad, ak systém S má tri stavy S 1, S 2, S 3 a ich konečné pravdepodobnosti sú rovné 0,2; 0,3; 0,5, to znamená, že v obmedzujúcom stacionárnom režime strávi systém v priemere dve desatiny času v stave S1, tri desatiny v stave S2 a polovicu času v stave S3.

Ako vypočítať konečné pravdepodobnosti? Ak sú pravdepodobnosti P 1, P 2, ... konštantné, potom sa ich derivácie rovnajú nule. To znamená, že ak chcete nájsť konečné pravdepodobnosti, musíte nastaviť všetky ľavé strany v Kolmogorovových rovniciach na nulu a vyriešiť výsledný systém lineárnych algebraických rovníc a nie diferenciálnych. Pomocou stavového grafu môžete dokonca okamžite napísať systém algebraických rovníc. Ak posunieme záporný člen každej rovnice z pravej strany doľava, okamžite dostaneme sústavu rovníc, kde naľavo je konečná pravdepodobnosť daného stavu P i , vynásobené celkovou intenzitou všetkých tokov,vedúci z tohto stavu, a napravo je súčet súčinov intenzít všetkých tokov,zahrnuté v i - štát, o pravdepodobnostiach stavov, z ktorých tieto toky vychádzajú.

Pomocou tohto pravidla píšeme lineárne algebraické rovnice pre konečné pravdepodobnosti stavov sústavy, stavový graf je na obr. 4.9:

(4.11)

Túto sústavu 4 rovníc so 4 neznámymi P 0, P 1, P 2, P 3 je možné riešiť pomocou tzv. normalizačný stav:

, (4.12)

v tomto prípade môže byť jedna (ktorákoľvek) z rovníc vyradená (vyplýva to z ostatných).

Stanovme číselné hodnoty intenzít λ 1 =1, λ 2 =2, μ 1 =2, μ 2 =3 a vyriešme sústavu (4.11). Zahodíme štvrtú rovnicu a pridáme namiesto nej podmienku normalizácie (4.12). Rovnice budú mať tvar:

(4.13)

Ich riešením dostaneme t.j. v obmedzujúcom, stacionárnom režime strávi systém S v priemere 40 % času v stave S 0 (oba uzly fungujú), 20 % v stave S 1 (prvý uzol sa opravuje, druhý pracuje ), 27 % je v stave S 2 (druhý uzol sa opravuje), prvý funguje) a 13 % je v stave S 3 úplne havarijný (oba bloky sa opravujú). Poznanie týchto obmedzujúcich pravdepodobností môže pomôcť odhadnúť priemernú účinnosť systému a pracovné zaťaženie dielov na opravu. Predpokladajme, že systém S v stave S 0 prináša príjem 8 (konvenčných jednotiek) za jednotku času, v štáte S 1 - príjem 3, v štáte S 2 - príjem 5 a v štáte S 3 - žiadny príjem. Potom v obmedzujúcom stacionárnom režime bude priemerný príjem za jednotku času . Teraz odhadnime pracovné zaťaženie opravárenských orgánov (pracovníkov), ktorí sú zaneprázdnení opravou uzlov 1 a 2. Uzol 1 je opravený za zlomok času, ktorý sa rovná Uzol 2 je opravený za zlomok času
.

Tu už môže vyvstať otázka optimalizácie riešenia. Povedzme, že môžeme znížiť priemerný čas opravy jednej alebo druhej jednotky (alebo možno oboch), ale bude nás to stáť nejaké peniaze. A je potrebné vyhodnotiť, či zvýšenie príjmov spojené s urýchlením opráv oplatí zvýšené náklady na opravy? (na to budete musieť vyriešiť sústavu 4 rovníc so 4 neznámymi).

Uvažujme matematický popis Markovovho procesu s diskrétnymi stavmi a spojitým časom na príklade náhodného procesu z predchádzajúceho príkladu, ktorého graf je znázornený na obr. 15. Budeme predpokladať, že všetky prechody systému zo stavu S i V Sj vyskytujú sa pod vplyvom jednoduchých prúdov udalostí s intenzitou ( i, j= 0, 1, 2, 3); Systém teda prechádza zo stavu S 0 palcov S 1 dôjde pod vplyvom poruchového toku prvého uzla a spätného prechodu zo stavu S 1 palec S 0 - pod vplyvom toku dokončení opráv prvého uzla atď.

Graf stavov sústavy s intenzitami vyznačenými pri šípkach sa nazýva označený (pozri obr. 3.1). Uvažovaný systém S má štyri možné stavy: S 0 ,S 1 , S 2 , S 3 .

Pravdepodobnosť i-tého stavu je pravdepodobnosť p i(t), čo momentálne t systém bude v stave S,. Samozrejme, na každú chvíľu t súčet pravdepodobností všetkých stavov sa rovná jednej:

Kolmogorovov systém diferenciálnych rovníc pre pravdepodobnosti stavu:

(3.2.)

Sformulujme pravidlo na zostavenie Kolmogorovových rovníc. Na ľavej strane každého z nich je derivácia pravdepodobnosti i-tý štát. Na pravej strane je súčet súčinov pravdepodobností všetkých stavov (z ktorých šípky smerujú k danému stavu) intenzitou zodpovedajúcich tokov udalostí mínus celková intenzita všetkých tokov, ktoré vedú systém z a daný stav, vynásobený pravdepodobnosťou daného (1. stav).

V systéme (3.2) je o jednu nezávislých rovníc menej ako je celkový počet rovníc. Preto na vyriešenie systému je potrebné pridať rovnicu (3.1).

Zvláštnosťou riešenia diferenciálnych rovníc vo všeobecnosti je, že je potrebné nastaviť takzvané počiatočné podmienky, t.j. v tomto prípade pravdepodobnosti systému uvádza v počiatočnom momente t= 0. Je teda napríklad prirodzené riešiť sústavu rovníc (15.9) za predpokladu, že v počiatočnom momente sú oba tímy voľné a sústava bola v stave S 0, t.j. za počiatočných podmienok p 0 (0) = 1, p 1 (0) = 0, p 2 (0) = 0, p 3 (0) = 0.

Kolmogorovove rovnice umožňujú nájsť všetky pravdepodobnosti stavov ako funkciu času. Obzvlášť zaujímavé sú systémové pravdepodobnosti p i(t) v obmedzujúcom stacionárnom režime, t.j. at , ktoré sa nazývajú limitné (alebo konečné) pravdepodobnosti stavov.

Limitná pravdepodobnosť stavu S, má jasný význam: zobrazuje priemerný relatívny čas, počas ktorého systém zostáva v tomto stave. Napríklad, ak je hraničná pravdepodobnosť stavu S 0 t.j. R 0 = 0,5, to znamená, že priemerne polovicu času je systém v stave S 0 .

Keďže limitné pravdepodobnosti sú konštantné a ich derivácie v Kolmogorovových rovniciach sa nahradia nulovými hodnotami, získame sústavu lineárnych algebraických rovníc popisujúcich stacionárny režim. Pre systém S s grafom stavu znázorneným na obr. 3.2), takýto systém rovníc má tvar:

(3.3)

Sústavu (4.3) je možné zostaviť priamo z označeného stavového grafu, ak sa riadime pravidlom, že na ľavej strane rovníc je hraničná pravdepodobnosť daného stavu p„ vynásobená celkovou intenzitou všetkých tokov vedúcich z daného stavu. stavu a vpravo je súčet súčinov intenzít všetkých tokov vstupujúcich do 1. stavu, na pravdepodobnosti tých stavov, z ktorých tieto toky pochádzajú.

Ak vezmeme do úvahy Markovove procesy s diskrétnymi stavmi a spojitým časom, bude pre nás vhodné predstaviť si, že všetky prechody stavového systému do stavu nastávajú pod vplyvom nejakého toku udalostí (tok hovorov, tok porúch, tok obnovy, atď.). Ak sú všetky toky udalostí, ktoré prenášajú systém S zo stavu do stavu, najjednoduchšie, potom proces vyskytujúci sa v systéme bude markovovský. Je to prirodzené, pretože najjednoduchší tok nemá následný efekt: v ňom „budúcnosť“ nezávisí od „minulosti“.

Ak je systém S v nejakom stave, z ktorého je priamy prechod do iného stavu (šípka vedúca z grafu stavu), potom si to predstavíme tak, že systém, kým je v stave, podlieha najjednoduchší tok udalostí a posúvajte ho pozdĺž šípky. Hneď ako sa objaví prvá udalosť tohto toku, systém „skočí“ z

Pre prehľadnosť je veľmi vhodné na stavovom grafe pri každej šípke uviesť intenzitu toku udalostí, ktoré posúvajú systém po tejto šípke. Označme intenzitu toku udalostí, ktoré prenáša systém zo stavu

Na obr. 17.1 je pri šípkach vyznačený graf stavov s intenzitami (takýto graf budeme nazývať označený.

Zostavme si označený stavový graf pre príklad uvedený v § 15 (technické zariadenie z dvoch uzlov). Pripomeňme si stavy systému:

Oba uzly sú v poriadku

Prvá jednotka sa opravuje, druhá funguje,

Druhá jednotka sa opravuje, prvá funguje,

Obe jednotky sú v oprave.

Vypočítame intenzity tokov udalostí, ktoré prenášajú systém zo stavu do stavu, za predpokladu, že priemerný čas opravy pre uzol nezávisí od toho, či sa opravuje jeden uzol alebo oba naraz.

To bude presne v prípade, ak sa na oprave každej jednotky podieľa samostatný špecialista. Nájdime všetky intenzity prúdov udalostí, ktoré prenášajú systém zo štátu do štátu. Nech je systém v stave. Aký prúd udalostí ho uvádza do stavu? Je zrejmé, že miera zlyhania prvého uzla. Jeho intenzita sa rovná jednej vydelenej priemernou dobou prevádzky prvého uzla. Z akého prúdu udalostí sa systém vracia späť? Je zrejmé, že tok „dokončenia opráv“ prvého uzla. Jeho intenzita sa rovná jednej vydelenej priemerným časom opravy prvého uzla. Podobne aj intenzity tokov udalostí, ktoré pohybujú systémom pozdĺž všetkých šípok grafu na obr. 17.2.

Ak máte k dispozícii vyznačený graf stavov systému, je ľahké zostaviť matematický model tohto procesu.

V skutočnosti uvažujme systém S s možnými stavmi . Pravdepodobnosť stavu nazvime pravdepodobnosť, že v čase t bude systém v stave . Je zrejmé, že v každom okamihu sa súčet všetkých pravdepodobností stavu rovná jednej:

Pomocou označeného grafu stavu, ktorý máte k dispozícii, môžete nájsť všetky pravdepodobnosti stavu ako funkciu času. Na tento účel sa zostavujú a riešia takzvané Kolmogorovove rovnice – špeciálny typ diferenciálnych rovníc, v ktorých sú neznáme funkcie pravdepodobnosti stavov.

Ukážme si na konkrétnom príklade, ako sa tieto rovnice skladajú. Nech má systém S štyri stavy: ktorého označený graf je znázornený na obr. 17.3. Uvažujme jeden z pravdepodobnostných stavov, napríklad Toto je pravdepodobnosť, že v okamihu t bude systém v stave S. Dajme t malý prírastok a nájdime pravdepodobnosť, že v okamihu t bude systém v stave . Ako sa to môže stať? Je zrejmé, že dvoma spôsobmi: buď 1) v momente t bol systém už v stave a neopustil ho počas doby; alebo 2) v momente t bol systém v stave a počas doby prechodu z neho do

Nájdite pravdepodobnosť prvej možnosti. Pravdepodobnosť, že v momente t bol systém v stave, sa rovná . Táto pravdepodobnosť sa musí vynásobiť pravdepodobnosťou, že v stave v okamihu t sa systém z neho nepohne ani do, ani do . Celkový tok udalostí, ktorý vyvedie systém zo stavu, bude tiež najjednoduchší, s intenzitou (superpozíciou - superpozíciou - dvoch najjednoduchších tokov sa opäť získa najjednoduchší tok, pretože vlastnosti stacionárnosti, obyčajnosti a absencie zachovajú sa následky).

To znamená, že pravdepodobnosť, že systém časom opustí stav, sa rovná pravdepodobnosti, že to tak nie je: Pravdepodobnosť prvej možnosti sa teda rovná .

Nájdite pravdepodobnosť druhej možnosti. Rovná sa pravdepodobnosti, že v momente t bude systém v stave a časom sa z neho presunie do stavu, t.j.

Sčítaním pravdepodobností oboch možností (podľa pravidla sčítania pravdepodobností) dostaneme:

Otvorte hranaté zátvorky, presuňte ich na ľavú stranu a rozdeľte obe časti

Usilujme sa, ako by to v takýchto prípadoch malo byť, k nule; vľavo získame v limite deriváciu funkcie, teda napíšeme diferenciálnu rovnicu pre

alebo skrátka vyradenie argumentu t z funkcií (teraz ho už nepotrebujeme):

Podobne pre všetky ostatné stavy napíšeme ďalšie tri diferenciálne rovnice. Pridaním rovnice (17.2) k nim získame sústavu diferenciálnych rovníc pre pravdepodobnosti stavov:

Toto je systém štyroch lineárnych diferenciálnych rovníc so štyrmi neznámymi funkciami. Všimnite si, že jednu z nich (akúkoľvek) je možné vynechať, pretože ktorúkoľvek z pravdepodobností je možné vyjadriť inými, tento výraz možno nahradiť výrazom ( 17.3) a zodpovedajúcu rovnicu s deriváciou možno zahodiť.

Sformulujme teraz všeobecné pravidlo na zostavenie Kolmogorovových rovníc. Na ľavej strane každého z nich je derivácia pravdepodobnosti nejakého stavu. Na pravej strane je súčet súčinov pravdepodobností všetkých stavov, z ktorých šípky smerujú do daného stavu intenzitou zodpovedajúcich tokov udalostí, mínus celková intenzita všetkých tokov, ktoré vedú systém z daného stavu. , vynásobené pravdepodobnosťou daného stavu.

Pomocou tohto pravidla napíšeme Kolmogorovove rovnice pre systém S, ktorého označený stavový graf je uvedený na obr. 17.2:

Ak chcete vyriešiť Kolmogorovove rovnice a nájsť pravdepodobnosti stavov, musíte najprv nastaviť počiatočné podmienky. Ak presne poznáme počiatočný stav systému , potom v počiatočnom okamihu (v ), a všetky ostatné počiatočné pravdepodobnosti sú rovné nule. Takže napríklad je prirodzené riešiť rovnice (17.4) za počiatočných podmienok (v počiatočnom momente sú oba uzly funkčné).

Ako riešiť takéto rovnice? Vo všeobecnosti možno lineárne diferenciálne rovnice s konštantnými koeficientmi riešiť analyticky, ale je to vhodné len vtedy, keď počet rovníc nepresahuje dve (niekedy tri).

Ak je rovníc viac, väčšinou sa riešia numericky – ručne alebo na počítači.

Kolmogorovove rovnice teda umožňujú nájsť všetky pravdepodobnosti stavov ako funkciu času.

Položme si teraz otázku: čo sa stane s pravdepodobnosťami stavov pri ? Budú sa snažiť o nejaké limity? Ak tieto limity existujú a nezávisia od počiatočného stavu systému, potom sa nazývajú pravdepodobnosti konečného stavu. V teórii náhodných procesov je dokázané, že ak je počet stavov systému konečný a z každého z nich je možné (v konečnom počte krokov) prejsť na ktorýkoľvek iný, potom existujú konečné pravdepodobnosti

Predpokladajme, že táto podmienka je splnená a existujú konečné pravdepodobnosti:

Konečné pravdepodobnosti budeme označovať rovnakými písmenami ako samotné pravdepodobnosti stavov, no už pod nimi nemáme na mysli premenné veličiny (funkcie času), ale konštantné čísla. Je zrejmé, že sa tiež pripočítajú k jednému:

Ako pochopiť tieto konečné pravdepodobnosti? Keď je v systéme S nastolený obmedzujúci stacionárny režim, počas ktorého systém náhodne mení svoje stavy, ale ich pravdepodobnosti už nezávisia od času. Konečnú pravdepodobnosť stavu možno interpretovať ako priemerný relatívny čas, počas ktorého systém zostáva v tomto stave. Ak má napríklad systém S tri stavy a ich výsledné pravdepodobnosti sa rovnajú 0,2, 0,3 a 0,5, znamená to, že v obmedzujúcom, stacionárnom režime strávi systém v priemere dve desatiny svojho času v stave troch desatín - v stav a polčas - schopný

Ako vypočítať konečné pravdepodobnosti? Veľmi jednoduché. Ak sú pravdepodobnosti konštantné, potom sa ich derivácie rovnajú nule. To znamená, že ak chcete nájsť konečné pravdepodobnosti, musíte nastaviť všetky ľavé strany v Kolmogorovových rovniciach na nulu a vyriešiť výsledný systém lineárnych algebraických rovníc a nie diferenciálnych. Nemusíte písať Kolmogorovove rovnice, ale napíšte systém lineárnych algebraických rovníc priamo zo stavového grafu. Ak posunieme záporný člen každej rovnice z pravej strany na ľavú, okamžite dostaneme sústavu rovníc, kde naľavo je konečná pravdepodobnosť daného stavu vynásobená celkovou intenzitou všetkých tokov vedúcich z daného stavu , a vpravo je súčet súčinov intenzít všetkých tokov vstupujúcich do stavu, na pravdepodobnosti stavov, z ktorých tieto toky vychádzajú.

Uvažujme matematický popis Markovovho procesu s diskrétnymi stavmi a spojitým časom pomocou príkladu grafu znázorneného na obrázku 1. Predpokladáme, že všetky prechody systému zo stavu Si do Sj sa vyskytujú pod vplyvom jednoduchých prúdov udalostí s intenzitami Xij (i, j = 0, 1, 2, 3); Prechod systému zo stavu S0 do S1 teda nastane pod vplyvom toku porúch prvého uzla a spätný prechod zo stavu S1 do S0 nastane pod vplyvom toku „dokončenia opráv“ prvého uzla atď.

Graf stavov sústavy s intenzitami vyznačenými pri šípkach sa bude nazývať označený. Uvažovaný systém S má štyri možné stavy: S0, S1, S2, S3.

Pravdepodobnosť i-tého stavu je pravdepodobnosť pi(f), že v okamihu t bude systém v stave Si. Je zrejmé, že v každom okamihu t sa súčet pravdepodobností všetkých stavov rovná jednej:

Uvažujme systém v čase t a po zadaní malého intervalu?t nájdime pravdepodobnosť p0(t+?t), že systém v čase t+?t bude v stave S0. To sa dosahuje rôznymi spôsobmi.

Systém v okamihu t s pravdepodobnosťou p0(t) bol v stave S0, ale neopustil ho počas času?t.

Z tohto stavu je možné systém vyviesť pomocou najjednoduchšieho celkového prietoku s intenzitou (l01+l02), t.j. v súlade so vzorcom, s pravdepodobnosťou približne rovnou (l01+l02)?t. A pravdepodobnosť, že systém neopustí stav S0, sa rovná . Pravdepodobnosť, že systém bude v stave S0 podľa prvej metódy, je rovnaká, podľa vety o násobení pravdepodobnosti:

Systém v čase t s pravdepodobnosťami p1(t) (alebo p2(t)) bol v stave S1 alebo S2 a počas času?t prešiel do stavu SO.

Pri prietoku intenzity l10 systém prejde do stavu S0 s pravdepodobnosťou približne rovnou 10 t (alebo 20 t). Pravdepodobnosť, že systém bude podľa tejto metódy v stave S0, sa rovná p1(t)??10?t. Aplikovaním pravdepodobnostnej vety o sčítaní dostaneme

Prechodom na limitu pri?t>0 (približné rovnosti spojené s aplikáciou vzorca sa zmenia na presné) dostaneme deriváciu na ľavej strane rovnice (pre jednoduchosť ju označíme):

Získali sme diferenciálnu rovnicu prvého rádu, t.j. rovnica obsahujúca ako samotnú neznámu funkciu, tak aj jej deriváciu prvého rádu.

Podobne pre ostatné stavy systému S môžeme získať systém Kolmogorovových diferenciálnych rovníc pre pravdepodobnosti stavov:

Sformulujme pravidlo na zostavenie Kolmogorovových rovníc. Na ľavej strane každého z nich je derivácia pravdepodobnosti i-tého stavu. Na pravej strane je súčet súčinov pravdepodobností všetkých stavov (z ktorých šípky smerujú k danému stavu) intenzitou zodpovedajúcich tokov udalostí mínus celková intenzita všetkých tokov, ktoré vedú systém z a daný stav, vynásobený pravdepodobnosťou daného (i-tého stavu).

V systéme (14) je o jednu nezávislých rovníc menej ako je celkový počet rovníc. Preto na vyriešenie systému je potrebné pridať rovnicu.

Musíte nastaviť počiatočné podmienky. Takže napríklad je prirodzené riešiť sústavu rovníc (14) za predpokladu, že v počiatočnom momente sú oba uzly funkčné a systém bol v stave S0, t.j. za počiatočných podmienok p0(0)=1, p1(0)=p2(0)=p3(0)=0.

Kolmogorovove rovnice umožňujú nájsť všetky pravdepodobnosti stavov ako funkciu času. Zvlášť zaujímavé sú pravdepodobnosti systému pi(t) v obmedzujúcom stacionárnom režime, t.j. pre t>?, ktoré sa nazývajú limitné (alebo konečné) pravdepodobnosti stavov.

Limitná pravdepodobnosť stavu Si má jasný význam: ukazuje priemerný relatívny čas, počas ktorého systém zostáva v tomto stave. Ak je napríklad hraničná pravdepodobnosť stavu S0, t.j. p0=0,5, to znamená, že priemerne polovicu času je systém v stave S0.

Keďže limitné pravdepodobnosti sú konštantné a ich derivácie v Kolmogorovových rovniciach sa nahradia nulovými hodnotami, získame sústavu lineárnych algebraických rovníc popisujúcich stacionárny režim. Pre systém S so stavovým grafom znázorneným na obrázku 1 má takýto systém rovníc tvar:

Sústavu (15) je možné zostaviť priamo z vyznačeného grafu stavu, ak sa riadime pravidlom, že na ľavej strane rovníc je maximálna pravdepodobnosť daného stavu pi, vynásobená celkovou intenzitou všetkých tokov vedúcich z daného stavu. stavu a vpravo je súčet súčinov intenzít všetkých tokov, vstupujúcich do i-e stavu, na pravdepodobnosti tých stavov, z ktorých tieto toky pochádzajú.

Zostavte stavový graf nasledujúceho náhodného procesu: systém pozostáva z dvoch automatov na predaj lístkov, z ktorých každý môže byť v náhodnom čase zaneprázdnený alebo voľný.

Riešenie:

Systém môže byť v štyroch stavoch, keďže každý automat na lístky má dva stavy (zaneprázdnený alebo voľný). Nech S 0 - obe zariadenia sú obsadené; S 1 - 1. je obsadená, 2. je voľná; S 2 - 1. je voľný, 2. je obsadený; S 3 - obe zariadenia sú zadarmo. Zostavme stavový graf, na ktorom označíme všetky možné stavy krúžkami a šípkami označíme možné prechody zo stavu do stavu. Zistili sme, že prechod z S 0 na S 3 je možný buď cez S 1, alebo cez S 2, alebo priamo, ako je znázornené na obrázku 4.

Obrázok 4 - Stavový graf automatov na lístky

Nájdite limitné pravdepodobnosti pre systém S, ktorého graf je na obrázku.

Riešenie:

V teórii náhodných procesov je dokázané, že ak je počet stavov systému konečný a z každého z nich je možné (v konečnom počte krokov) prejsť do akéhokoľvek iného stavu, potom existujú limitujúce pravdepodobnosti. Možno ich nájsť z Kolmogorovových rovníc zostavením systému na základe daného označeného stavového grafu podľa nasledujúceho pravidla:

Na ľavej strane rovnice je maximálna pravdepodobnosť daného stavu p i , vynásobený celkovou intenzitou všetkých tokov vedúcich z daného stavu a vpravo - súčtom súčinov intenzít všetkých tokov vstupujúcich do daného stavu a pravdepodobnosti tých stavov, z ktorých tieto stavy vychádzajú.

Okrem toho musíme vziať do úvahy, že súčet všetkých pravdepodobností daného konečného systému sa rovná jednej. Vytvorme rovnice pre stavy S 1 a S 2 (rovnica pre stav S 0 je „navyše“):