Vad händer med sannolikheterna för tillstånd när . Om dessa gränser finns och inte beror på systemets initiala tillstånd, anropas de slutliga sannolikheter för tillstånd. I teorin slumpmässiga processer det är bevisat att om nummernsystemets tillstånd är ändliga och från vart och ett av dem är det möjligt (i ett ändligt antal steg) att gå till vilket som helst annat, då finns de slutliga sannolikheterna(detta villkor är tillräckligt, men inte nödvändigt för att det ska finnas slutliga sannolikheter).

Låt oss anta att detta villkor är uppfyllt och att de slutliga sannolikheterna finns:

Vi kommer att beteckna dem med samma bokstäver P 1 , P 2 , ... som tillståndssannolikheterna själva, men med dem menar vi inte funktioner av tid, utan konstanta tal. Uppenbarligen lägger de också till en:

. (4.10)

Hur förstår man dessa slutliga sannolikheter? På
i system S etableras en begränsande stationär regim, under vilken systemet slumpmässigt ändrar sina tillstånd, men deras sannolikheter beror inte längre på tiden. Den slutliga sannolikheten för tillstånd S i kan förstås som den genomsnittliga relativa tiden som systemet förblir i detta tillstånd.

Till exempel, om system S har tre tillstånd S 1, S 2, S 3 och deras slutliga sannolikheter är 0,2; 0,3; 0,5 betyder detta att i det begränsande stationära läget tillbringar systemet i genomsnitt två tiondelar av tiden i S1-tillståndet, tre tiondelar i S2-tillståndet och halva tiden i S3-tillståndet.

Hur beräknar man de slutliga sannolikheterna? Om sannolikheterna P 1, P 2, ... är konstanta, så är deras derivator lika med noll. Detta betyder att för att hitta de slutliga sannolikheterna måste du sätta alla vänstersidor i Kolmogorovs ekvationer lika med noll och lösa det resulterande systemet med inte differentiala, utan linjära. algebraiska ekvationer. Du kan till och med omedelbart skriva ett system av algebraiska ekvationer med hjälp av tillståndsgrafen. Om vi flyttar den negativa termen för varje ekvation från höger sida till vänster får vi omedelbart ett ekvationssystem, där till vänster är den slutliga sannolikheten för ett givet tillstånd P i , multiplicerat med den totala intensiteten av alla flöden,leder ut ur detta tillstånd, och till höger är summan av produkterna av intensiteterna för alla flöden,ingår i i – e stat, på sannolikheterna för de tillstånd från vilka dessa flöden utgår.

Med hjälp av denna regel skriver vi linjära algebraiska ekvationer för de slutliga sannolikheterna för systemtillstånden tillståndsgrafen visas i Fig. 4.9:

(4.11)

Detta system med 4 ekvationer med 4 okända P 0 , P 1 , P 2 , P 3 kan lösas med hjälp av s.k. normaliseringstillstånd:

, (4.12)

i detta fall kan en (vilken som helst) av ekvationerna förkastas (det följer som en konsekvens av de andra).

Låt oss ställa in de numeriska värdena för intensiteterna λ 1 =1, λ 2 =2, μ 1 =2, μ 2 =3 och lösa systemet (4.11). Låt oss förkasta den fjärde ekvationen och istället lägga till normaliseringsvillkoret (4.12). Ekvationerna kommer att ha formen:

(4.13)

Att lösa dem får vi d.v.s. i det begränsande, stationära läget kommer systemet S att spendera i genomsnitt 40 % av tiden i S 0-tillståndet (båda noderna fungerar), 20 % i S 1-tillståndet (den första noden repareras, den andra fungerar ), 27 % i S 2-tillståndet (den andra noden repareras), den första fungerar) och 13 % är i tillstånd S 3 av fullständigt förfallna (båda enheterna repareras). Att känna till dessa begränsande sannolikheter kan hjälpa till att uppskatta systemets genomsnittliga effektivitet och arbetsbelastningen för reparationsorgan. Låt oss anta att systemet S i tillstånd S 0 ger inkomst 8 (konventionella enheter) per tidsenhet, i tillstånd S 1 - inkomst 3, i tillstånd S 2 - inkomst 5, och i tillstånd S 3 - ingen inkomst alls. Sedan, i det begränsande stationära läget, blir den genomsnittliga inkomsten per tidsenhet . Låt oss nu uppskatta arbetsbelastningen för reparationsorganen (arbetarna) som är upptagna med att reparera nod 1 och 2. Nod 1 repareras under en bråkdel av tiden lika med Nod 2 repareras en bråkdel av tiden
.

Här kan redan frågan om att optimera lösningen dyka upp. Låt oss säga att vi kan minska den genomsnittliga reparationstiden för en eller annan enhet (eller kanske båda), men det kommer att kosta oss lite pengar. Och det är nödvändigt att utvärdera om inkomstökningen i samband med att påskynda reparationer kommer att betala av de ökade kostnaderna för reparationer? (för detta måste du lösa ett system med 4 ekvationer med 4 okända).

Tänk på den matematiska beskrivningen Markov process med diskreta tillstånd och kontinuerlig tid med exemplet på en slumpmässig process från föregående exempel, vars graf visas i fig. 15. Vi kommer att anta att alla övergångar av systemet från staten S i V S j uppstå under påverkan av enkla strömmar av händelser med intensitet ( I j= 0, 1, 2, 3); Därmed övergår systemet från staten S 0 tum S 1 kommer att ske under påverkan av felflödet i den första noden och den omvända övergången från tillståndet S 1 tum S 0 - under påverkan av flödet av slutföranden av reparationer av den första noden, etc.

Grafen över systemets tillstånd med intensiteterna markerade vid pilarna kommer att kallas märkta (se fig. 3.1). System under övervägande S har fyra möjliga tillstånd: S 0 ,S 1 , S 2 , S 3 .

Sannolikheten för det i-te tillståndet är sannolikheten p i(t) vad för tillfället t systemet kommer att vara i ett tillstånd S,. Uppenbarligen, för vilket ögonblick som helst t summan av sannolikheterna för alla tillstånd är lika med ett:

Systemet differentialekvationer Kolmogorov för statliga sannolikheter:

(3.2.)

Låt oss formulera en regel för att komponera Kolmogorov-ekvationer. På vänster sida av var och en av dem är derivatan av sannolikheten i-e staten. På höger sida är summan av produkterna av sannolikheterna för alla tillstånd (från vilka pilar går till ett givet tillstånd) med intensiteten av motsvarande flöden av händelser, minus den totala intensiteten av alla flöden som leder systemet ut ur en givet tillstånd, multiplicerat med sannolikheten för ett givet (1:a tillstånd).

I system (3.2) finns en mindre oberoende ekvation Totala numret ekvationer. För att lösa systemet är det därför nödvändigt att lägga till ekvation (3.1).

Det speciella med att lösa differentialekvationer i allmänhet är att det är nödvändigt att sätta de så kallade initialvillkoren, d.v.s. i detta fall anger systemets sannolikheter i det initiala ögonblicket t= 0. Så, till exempel, är det naturligt att lösa ekvationssystemet (15.9) förutsatt att i det första ögonblicket är båda lagen fria och systemet var i tillståndet S 0, dvs. på initiala förhållanden sid 0 (0) = 1, sid 1 (0) = 0, sid 2 (0) = 0, sid 3 (0) = 0.

Kolmogorovs ekvationer gör det möjligt att hitta alla sannolikheter för tillstånd som en funktion av tiden. Av särskilt intresse är systemets sannolikheter p i(t) i det begränsande stationära läget, dvs. at , som kallas de begränsande (eller slutliga) sannolikheterna för tillstånd.

Begränsa sannolikheten för tillstånd S, har en tydlig innebörd: den visar den genomsnittliga relativa tiden som systemet förblir i detta tillstånd. Till exempel om den marginella sannolikheten för ett tillstånd S 0 dvs. R 0 = 0,5 betyder detta att i genomsnitt halva tiden systemet är i tillståndet S 0 .

Eftersom de begränsande sannolikheterna är konstanta och ersätter deras derivator i Kolmogorov-ekvationerna med nollvärden, får vi ett system av linjära algebraiska ekvationer som beskriver den stationära regimen. För system S med tillståndsdiagrammet som visas i fig. 3.2), har ett sådant ekvationssystem formen:

(3.3)

System (4.3) kan kompileras direkt från en märkt tillståndsgraf om man styrs av regeln att på vänster sida av ekvationerna finns marginalsannolikheten för ett givet tillstånd p„ multiplicerat med den totala intensiteten av alla flöden som leder från en given tillstånd, och till höger är summan av produkterna av intensiteterna för alla flöden som går in i det 1:a tillståndet, på sannolikheten för de tillstånd från vilka dessa flöden kommer.

Med tanke på Markov-processer med diskreta tillstånd och kontinuerlig tid, kommer det att vara bekvämt för oss att föreställa oss att alla övergångar av ett tillståndssystem till ett tillstånd sker under påverkan av något flöde av händelser (flöde av samtal, flöde av misslyckanden, flöde av återställanden, etc.). Om alla flöden av händelser som överför systemet S från tillstånd till tillstånd är de enklaste, kommer processen som inträffar i systemet att vara markovisk. Detta är naturligt, eftersom det enklaste flödet inte har en efterverkan: i det beror "framtiden" inte på "det förflutna".

Om systemet S är i något tillstånd från vilket det sker en direkt övergång till ett annat tillstånd (en pil som leder från på tillståndsgrafen), så kommer vi att föreställa oss detta som om systemet, medan det är i tillståndet, är föremål för enklaste flödet av händelser, flytta det längs pilen. Så snart den första händelsen av detta flöde uppträder, "hoppar" systemet från

För tydlighetens skull är det mycket bekvämt att indikera på tillståndsgrafen vid varje pil intensiteten av flödet av händelser som flyttar systemet längs denna pil. Låt oss beteckna intensiteten i flödet av händelser som överför systemet från staten

I fig. 17.1 det finns en graf över tillstånd med intensiteter markerade vid pilarna (vi kallar en sådan graf märkt.

Låt oss bygga en märkt tillståndsgraf för exemplet i § 15 (en teknisk anordning med två noder). Låt oss komma ihåg systemets tillstånd:

Båda noderna är bra

Den första enheten repareras, den andra fungerar,

Den andra enheten repareras, den första fungerar,

Båda enheterna repareras.

Vi kommer att beräkna intensiteterna för händelseflöden som överför systemet från tillstånd till tillstånd, förutsatt att den genomsnittliga reparationstiden för en nod inte beror på om en nod eller båda repareras samtidigt.

Detta kommer att vara exakt fallet om en separat specialist är engagerad i att reparera varje enhet. Låt oss hitta alla intensiteterna i de strömmar av händelser som överför systemet från stat till stat. Låt systemet vara i tillstånd. Vilken ström av händelser sätter den i tillstånd? Uppenbarligen felfrekvensen för den första noden. Dess intensitet är lika med en dividerad med den genomsnittliga drifttiden för den första noden. Vilken ström av händelser tar systemet tillbaka från? Uppenbarligen, flödet av "slutförande av reparationer" av den första noden. Dess intensitet är lika med en dividerad med den genomsnittliga reparationstiden för den första noden. På liknande sätt, intensiteten av händelseflöden som flyttar systemet längs alla pilar i grafen i fig. 17.2.

Genom att ha ett märkt tillståndsdiagram över systemet till ditt förfogande är det lätt att konstruera matematisk modell av denna process.

I själva verket, låt oss betrakta ett system S som har möjliga tillstånd. Låt oss kalla tillståndssannolikheten sannolikheten för att systemet vid tidpunkten t kommer att vara i tillstånd. Det är uppenbart att summan av alla tillståndsannolikheter för varje ögonblick är lika med en:

Med en märkt tillståndsgraf till ditt förfogande kan du hitta alla tillståndssannolikheter som en funktion av tiden. För detta ändamål sammanställs och löses de så kallade Kolmogorov-ekvationerna - en speciell typ av differentialekvationer där de okända funktionerna är sannolikheterna för tillstånd.

Låt oss visa med ett specifikt exempel hur dessa ekvationer är sammansatta. Låt systemet S ha fyra tillstånd: vars märkta graf visas i fig. 17.3. Låt oss betrakta ett av de probabilistiska tillstånden, till exempel. Detta är sannolikheten för att systemet i ögonblicket t kommer att vara i tillstånd S. Låt oss ge t en liten ökning och hitta sannolikheten för att systemet i ögonblicket t kommer att vara i tillståndet . Hur kan detta hända? Uppenbarligen på två sätt: antingen 1) i ögonblicket t var systemet redan i ett tillstånd och lämnade det inte under tiden; eller 2) i ögonblicket t var systemet i ett tillstånd och under den tid som övergått från det till

Låt oss hitta sannolikheten för det första alternativet. Sannolikheten att systemet vid ögonblicket t var i tillståndet är lika med . Denna sannolikhet måste multipliceras med sannolikheten för att systemet, när det är i tillståndet vid ögonblicket t, inte kommer att flytta från det vare sig till eller till . Det totala flödet av händelser som för systemet ut ur tillståndet kommer också att vara det enklaste, med intensitet (med superpositionen - superpositionen - av två enklaste flöden, erhålls det enklaste flödet igen, eftersom egenskaperna stationaritet, vanlighet och frånvaro av efterverkningar bevaras).

Det betyder att sannolikheten för att systemet kommer att lämna tillståndet med tiden är lika med sannolikheten att det inte kommer att göra det: Därför är sannolikheten för det första alternativet lika med .

Låt oss hitta sannolikheten för det andra alternativet. Det är lika med sannolikheten att systemet i ögonblicket t kommer att vara i ett tillstånd och kommer att flytta från det till ett tillstånd över tiden, dvs det är lika med

Lägger vi ihop sannolikheterna för båda alternativen (enligt regeln att lägga till sannolikheter), får vi:

Öppna hakparenteserna, flytta dem till vänster sida och dela båda delarna med

Låt oss sträva, som det bör vara i sådana fall, till noll; till vänster får vi i limiten derivatan av funktionen. Således skriver vi differentialekvationen för

eller, kort sagt, kassera argumentet t från funktioner (nu behöver vi det inte längre):

På samma sätt för alla andra tillstånd kommer vi att skriva ytterligare tre differentialekvationer. Genom att lägga till ekvation (17.2) till dem får vi ett system av differentialekvationer för tillståndssannolikheter:

Detta är ett system med fyra linjära differentialekvationer med fyra okända funktioner Observera att en av dem (vilken som helst) kan förkastas, genom att använda det faktum att vilken som helst av sannolikheterna kan uttryckas i termer av de andra, detta uttryck kan ersättas i (. 17.3), och motsvarande ekvation med derivatan kan förkastas.

Låt oss nu formulera en allmän regel för att komponera Kolmogorov-ekvationer. På vänster sida av var och en av dem är derivatan av sannolikheten för något tillstånd. På höger sida är summan av produkterna av sannolikheterna för alla tillstånd från vilka pilar går till ett givet tillstånd med intensiteten av motsvarande flöden av händelser, minus den totala intensiteten av alla flöden som leder systemet ut ur ett givet tillstånd , multiplicerat med sannolikheten för ett givet tillstånd.

Med hjälp av denna regel skriver vi Kolmogorov-ekvationerna för systemet S, vars märkta tillståndsgraf ges i fig. 17.2:

För att lösa Kolmogorov-ekvationerna och hitta sannolikheterna för tillstånd måste du först ställa in de initiala villkoren. Om vi vet exakt det initiala tillståndet för systemet , då i det initiala ögonblicket (at ) , och alla andra initiala sannolikheter är lika med noll. Så, till exempel, är det naturligt att lösa ekvationer (17.4) under initiala förhållanden (i det initiala ögonblicket är båda noderna i drift).

Hur löser man sådana ekvationer? Generellt sett linjära differentialekvationer med konstanta koefficienter kan lösas analytiskt, men detta är praktiskt endast när antalet ekvationer inte överstiger två (ibland tre).

Om det finns fler ekvationer löses de oftast numeriskt - manuellt eller på en dator.

Således gör Kolmogorov-ekvationerna det möjligt att hitta alla sannolikheter för tillstånd som en funktion av tiden.

Låt oss nu ställa frågan: vad kommer att hända med sannolikheterna för stater vid ? Kommer de att sträva efter några gränser? Om dessa gränser finns och inte beror på systemets initiala tillstånd, kallas de för sluttillståndssannolikheter. I teorin om slumpmässiga processer är det bevisat att om antalet tillstånd i ett system är ändligt och från vart och ett av dem är det möjligt (i ett ändligt antal steg) att gå till vilket som helst annat, så finns de slutliga sannolikheterna

Låt oss anta att detta villkor är uppfyllt och att de slutliga sannolikheterna finns:

Vi kommer att beteckna de slutliga sannolikheterna med samma bokstäver som sannolikheterna för tillstånden själva, men med dem menar vi inte längre variabler(tidsfunktioner), men konstanta tal. Självklart lägger de också till en:

Hur förstår man dessa slutliga sannolikheter? När en begränsande stationär regim etableras i systemet S, under vilken systemet slumpmässigt ändrar sina tillstånd, men deras sannolikheter beror inte längre på tiden. Den slutliga sannolikheten för ett tillstånd kan tolkas som den genomsnittliga relativa tiden som systemet förblir i detta tillstånd. Till exempel, om systemet S har tre tillstånd och deras slutliga sannolikheter är lika med 0,2, 0,3 och 0,5, betyder detta att i det begränsande, stationära läget tillbringar systemet i genomsnitt två tiondelar av sin tid i tillståndet tre tiondelar - i tillstånd och halvtid - kapabel

Hur beräknar man de slutliga sannolikheterna? Väldigt enkelt. Om sannolikheterna är konstanta är deras derivator lika med noll. Detta betyder att för att hitta de slutliga sannolikheterna måste vi lägga alla vänstersidor i Kolmogorovs ekvationer lika med noll och lösa det resulterande systemet av inte differentiala, utan linjära algebraiska ekvationer. Du behöver inte skriva Kolmogorovs ekvationer, utan skriva ett system av linjära algebraiska ekvationer direkt från tillståndsgrafen. Om vi flyttar den negativa termen för varje ekvation från höger sida till vänster får vi omedelbart ett ekvationssystem, där till vänster är den slutliga sannolikheten för ett givet tillstånd multiplicerat med den totala intensiteten av alla flöden som leder från ett givet tillstånd , och till höger är summan av produkterna av intensiteterna av alla flöden som kommer in i tillståndet, på sannolikheterna för de tillstånd från vilka dessa flöden kommer.

Låt oss överväga en matematisk beskrivning av en Markov-process med diskreta tillstånd och kontinuerlig tid med hjälp av exemplet på grafen som visas i figur 1. Vi antar att alla övergångar i systemet från tillstånd Si till Sj sker under påverkan av enkla strömmar av händelser med intensiteter ??ij (i, j=0, 1, 2, 3); Således kommer övergången av systemet från tillstånd S0 till S1 att ske under påverkan av flödet av fel i den första noden, och den omvända övergången från tillstånd S1 till S0 kommer att ske under påverkan av flödet av "slutförande av reparationer" av den första noden osv.

Grafen över tillstånden i ett system med intensiteter markerade vid pilarna kommer att kallas märkta. Systemet S som betraktas har fyra möjliga tillstånd: SO, S1, S2, S3.

Sannolikheten för det i:te tillståndet är sannolikheten pi(f) att systemet i ögonblicket t kommer att vara i tillstånd Si. Uppenbarligen, för varje ögonblick t är summan av sannolikheterna för alla tillstånd lika med ett:

Låt oss betrakta systemet vid tidpunkten t och, efter att ha specificerat ett litet intervall?t, hitta sannolikheten p0(t+?t) att systemet vid tidpunkten t+?t kommer att vara i tillstånd S0. Detta uppnås på olika sätt.

Systemet vid ögonblick t med sannolikhet p0(t) var i tillstånd S0, men lämnade det inte under tiden?t.

Systemet kan tas ur detta tillstånd med hjälp av det enklaste totalflödet med intensitet (l01+l02), dvs. i enlighet med formeln, med en sannolikhet ungefär lika med (l01+l02)?t. Och sannolikheten att systemet inte kommer att lämna tillstånd S0 är lika med . Sannolikheten att systemet kommer att vara i tillstånd S0 enligt den första metoden är lika, enligtn:

Systemet vid tidpunkten t med sannolikheterna pl(t) (eller p2(t)) var i tillstånd S1 eller S2 och övergick under tiden?t till tillstånd SO.

Med ett flöde av intensitet 110 kommer systemet att övergå till tillstånd SO med en sannolikhet ungefär lika med ??10?t (eller??20?t). Sannolikheten att systemet kommer att vara i tillstånd SO enligt denna metod är lika med p1(t)??10?t. Genom att tillämpa sannolikhetsadditionssatsen får vi

När vi passerar till gränsen vid?t>0 (ungefärliga likheter förknippade med tillämpningen av formeln kommer att bli exakta), får vi derivatan på vänster sida av ekvationen (vi betecknar det för enkelhetens skull):

Vi fick en första ordningens differentialekvation, dvs. en ekvation som innehåller både den okända funktionen i sig och dess första ordningens derivata.

Med liknande resonemang för andra tillstånd i systemet S, kan vi erhålla ett system av Kolmogorovs differentialekvationer för sannolikheterna för tillstånd:

Låt oss formulera en regel för att komponera Kolmogorov-ekvationer. På vänster sida av var och en av dem är derivatan av sannolikheten för det i-te tillståndet. På höger sida är summan av produkterna av sannolikheterna för alla tillstånd (från vilka pilar går till ett givet tillstånd) med intensiteten av motsvarande flöden av händelser, minus den totala intensiteten av alla flöden som leder systemet ut ur en givet tillstånd, multiplicerat med sannolikheten för ett givet (i:e tillstånd).

I system (14) finns det en oberoende ekvation mindre än det totala antalet ekvationer. Därför är det nödvändigt att lägga till en ekvation för att lösa systemet.

Du måste ställa in de initiala villkoren. Så till exempel är det naturligt att lösa ekvationssystemet (14) förutsatt att båda noderna i det initiala ögonblicket är i drift och systemet var i tillstånd S0, dvs. under initiala förhållanden p0(0)=1, pl(0)=p2(0)=p3(0)=0.

Kolmogorovs ekvationer gör det möjligt att hitta alla sannolikheter för tillstånd som en funktion av tiden. Av särskilt intresse är sannolikheterna för systemet pi(t) i den begränsande stationära moden, dvs. för t>?, som kallas begränsande (eller slutliga) sannolikheter för tillstånd.

Den begränsande sannolikheten för tillståndet Si har en tydlig betydelse: den visar den genomsnittliga relativa tiden som systemet förblir i detta tillstånd. Till exempel, om tillståndets marginella sannolikhet är S0, dvs. p0=0,5 betyder detta att i genomsnitt hälften av tiden är systemet i tillstånd S0.

Eftersom de begränsande sannolikheterna är konstanta och ersätter deras derivator i Kolmogorov-ekvationerna med nollvärden, får vi ett system av linjära algebraiska ekvationer som beskriver den stationära regimen. För ett system S med en tillståndsgraf som visas i figur 1 har ett sådant ekvationssystem formen:

System (15) kan kompileras direkt från en markerad tillståndsgraf om vi styrs av regeln att på vänster sida av ekvationerna finns den maximala sannolikheten för ett givet tillstånd pi, multiplicerat med den totala intensiteten av alla flöden som leder från en given tillstånd, och till höger är summan av produkterna av intensiteterna för alla flöden, inkluderade i i-e tillstånd, om sannolikheterna för de stater från vilka dessa flöden kommer.

Konstruera ett tillståndsdiagram för följande slumpmässiga process: systemet består av två biljettförsäljningsautomater, som var och en kan vara antingen upptagen eller ledig vid en slumpmässig tidpunkt.

Lösning:

Systemet kan vara i fyra tillstånd, eftersom varje biljettautomat har två tillstånd (upptagen eller ledig). Låt S 0 - båda enheterna är upptagna; S 1 - 1:a är upptagen, 2:a är ledig; S 2 - 1:a är ledig, 2:a är upptagen; S 3 - båda enheterna är gratis. Låt oss bygga en tillståndsgraf, markera alla möjliga tillstånd på den med cirklar, och beteckna möjliga övergångar från tillstånd till tillstånd med pilar. Vi finner att övergången från S 0 till S 3 är möjlig antingen genom S 1, eller genom S 2, eller direkt, som visas i figur 4.

Figur 4 - Statusdiagram över biljettautomater

Hitta de begränsande sannolikheterna för systemet S, vars graf visas i figuren.

Lösning:

I teorin om slumpmässiga processer är det bevisat att om antalet tillstånd i ett system är ändligt och från vart och ett av dem är det möjligt (i ett ändligt antal steg) att gå till vilket annat tillstånd som helst, så finns det begränsande sannolikheter. De kan hittas från Kolmogorovs ekvationer genom att komponera ett system baserat på en given märkt tillståndsgraf, enligt följande regel:

På vänster sida av ekvationen är den maximala sannolikheten för ett givet tillstånd p i , multiplicerat med den totala intensiteten av alla flöden som leder från ett givet tillstånd, och till höger - summan av produkterna av intensiteterna för alla flöden som går in i ett givet tillstånd och sannolikheterna för de tillstånd som dessa tillstånd lämnar.

Dessutom måste vi ta hänsyn till att summan av alla sannolikheter för ett givet ändligt system är lika med ett. Låt oss skapa ekvationer för tillstånd S 1 och S 2 (ekvationen för tillstånd S 0 är "extra"):