Struktura i klasifikacija sistema čekanja
Sistemi čekanja
Često postoji potreba za rješavanjem probabilističkih problema povezanih sa sistemima čekanja (QS), čiji primjeri mogu biti:
Biletarnice;
Radionice za popravke;
Trgovina, transport, energetski sistemi;
Komunikacijski sustavi;
Zajedničkost ovakvih sistema se otkriva u jedinstvu matematičkih metoda i modela koji se koriste u proučavanju njihovih aktivnosti.
Rice. 4.1. Glavna područja primjene TMT-a
Tok zahtjeva za uslugu stiže na ulaz u QS. Na primjer, klijenti ili pacijenti, kvarovi opreme, telefonski pozivi. Zahtjevi se primaju neredovno, u nasumično vrijeme. Trajanje usluge je također nasumično. To stvara nepravilnosti u radu QS-a, razlog je njegovih preopterećenja i podopterećenja.
Sistemi čekanja imaju različite strukture, ali se obično mogu razlikovati četiri glavna elementa:
1. Dolazni tok zahtjeva.
2. Akumulator (red).
3. Uređaji (uslužni kanali).
4. Odlazni tok.
Rice. 4.2. Opća shema sistema čekanja
Rice. 4.3. Model rada sistema
(strelice pokazuju trenutke prijema potraživanja u
sistem, pravokutnici - servisno vrijeme)
Slika 4.3a prikazuje model sistema sa redovnim tokom zahtjeva. Pošto je interval između pristizanja zahtjeva poznat, vrijeme servisa se bira tako da se sistem u potpunosti optereti. Za sistem sa stohastičkim protokom kupaca situacija je potpuno drugačija – kupci dolaze u različito vrijeme, a vrijeme usluge je takođe slučajna varijabla, koja se može opisati određenim zakonom distribucije (slika 4.3 b).
Ovisno o pravilima za formiranje reda, razlikuju se sljedeće CMO:
1) sistemi sa kvarovima , u kojem, kada su svi servisni kanali zauzeti, zahtjev ostavlja sistem neuslužen;
2) neograničeni sistemi čekanja u kojem zahtjev ulazi u red čekanja ako su u trenutku njegovog dolaska svi kanali usluga bili zauzeti;
3) sistemi sa čekanjem i ograničenim redom čekanja , u kojem je vrijeme čekanja ograničeno nekim uvjetima ili postoje ograničenja u broju prijava u redu čekanja.
Razmotrite karakteristike dolaznog toka zahtjeva.
Poziva se tok zahtjeva stacionarno , ako vjerovatnoća da određeni broj događaja padne na segment vremena određene dužine zavisi samo od dužine ovog segmenta.
Tok događaja se zove teče bez posledica ako broj događaja koji pada na određeni vremenski interval ne zavisi od broja događaja koji pada na druge.
Tok događaja se zove običan ako je nemoguć istovremeni dolazak dva ili više događaja.
Poziva se tok zahtjeva Poisson (ili najjednostavnije) ako ima tri svojstva: stacionarno, obično i nema posljedica. Naziv je nastao zbog činjenice da kada se ispune navedeni uslovi, broj događaja koji pada na bilo koji fiksni vremenski interval će biti raspoređen prema Poissonovom zakonu.
Intenzitet tok zahtjeva λ je prosječan broj zahtjeva koji pristižu iz toka u jedinici vremena.
Za stacionarni tok, intenzitet je konstantan. Ako je τ prosječna vrijednost vremenskog intervala između dva susjedna potrošača, tada je u slučaju Poissonovog toka vjerovatnoća dolaska na uslugu m zahtjeva za određeni vremenski period t definisan Poissonovim zakonom:
Vrijeme između susjednih tvrdnji je raspoređeno eksponencijalno s gustinom vjerovatnoće
Vrijeme usluge je slučajna varijabla i poštuje eksponencijalni zakon raspodjele sa gustinom vjerovatnoće gdje je μ intenzitet toka usluge, tj. prosječan broj usluženih zahtjeva u jedinici vremena,
Omjer intenziteta dolaznog toka prema intenzitetu toka usluge se naziva podizanje sistema
Sistem čekanja je sistem diskretnog tipa sa konačnim ili prebrojivim skupom stanja, a prelazak sistema iz jednog stanja u drugo se dešava skokom kada se dogodi neki događaj.
Proces se zove proces diskretnog stanja ako se njegova moguća stanja mogu unaprijed prenumerisati, a prijelaz sistema iz stanja u stanje se događa gotovo trenutno.
Takvi procesi su dva tipa: sa diskretnim ili kontinuiranim vremenom.
U slučaju diskretnog vremena, prijelazi iz stanja u stanje mogu se dogoditi u strogo definiranim vremenima. Procesi sa kontinuiranim vremenom razlikuju se po tome što je prelazak sistema u novo stanje moguć u bilo kom trenutku.
Slučajni proces je korespondencija u kojoj je svakoj vrijednosti argumenta (u ovom slučaju, trenutku iz vremenskog intervala eksperimenta) dodijeljena slučajna varijabla (u ovom slučaju, stanje QS). Nasumična vrijednost je veličina koja kao rezultat iskustva može uzeti jednu, ali unaprijed nepoznatu, numeričku vrijednost iz datog numeričkog skupa.
Stoga je za rješavanje problema teorije čekanja potrebno proučiti ovaj slučajni proces, tj. izgraditi i analizirati njegov matematički model.
Slučajni proces pozvao Markov ako za bilo koji trenutak vremena vjerovatnoće karakteristike procesa u budućnosti zavise samo od njegovog stanja u datom trenutku i ne zavise od toga kada i kako je sistem došao u ovo stanje.
Prelazi sistema iz stanja u stanje se dešavaju pod dejstvom nekih tokova (tok zahteva, tok odbijanja). Ako su svi tokovi događaja koji sistem dovode u novo stanje najjednostavniji Poissonovi, tada će proces koji se odvija u sistemu biti Markov, budući da najjednostavniji tok nema posljedicu: budućnost u njemu ne ovisi o prošlost. - grupa šahovskih figura. Stanje sistema karakteriše broj protivničkih figura preostalih na tabli u ovom trenutku. Verovatnoća da će u ovom trenutku materijalna prednost biti na strani nekog od protivnika zavisi prvenstveno od trenutnog stanja sistema, a ne od toga kada su i kojim redosledom figure nestale sa table do trenutka.
Slučajni proces X(t), tÎT pozvao Markov, ako iko t l< t 2< ... < t n, koji pripadaju regionu T, funkcija uslovne distribucije slučajne varijable X (t n) u odnosu na X (t 1),. ... ., X (t n -1) poklapa se sa funkcijom uslovne distribucije X (t n) relativno X (t n -1) u smislu da je za bilo koje x n OX jednakost
Razmatranje definicije (3.1.1) uz sukcesivno povećanje n omogućava nam da ustanovimo da se za Markovljeve slučajne procese n-dimenzionalna funkcija distribucije može predstaviti u obliku
Slično, Markovljevo svojstvo (3.1.1), (3.1.2) se može napisati za gustine vjerovatnoće
Dakle, za Markovljev proces, funkcija distribucije ili gustoća vjerovatnoće bilo koje dimenzije n može se naći ako je poznata njegova jednodimenzionalna gustina vjerovatnoće t = t 1 i niz uslovnih gustina za trenutke t i> t 1, i= Ova karakteristika u suštini određuje praktičnu pogodnost aparata Markovljevih slučajnih procesa.
Za Markovljeve procese, opšta klasifikacija data u Odjeljku 1.1 je potpuno važeća. U skladu s ovom klasifikacijom, obično se razlikuju četiri glavna tipa Markovljevih procesa:
- Markovski lanci- procesi u kojima, kao raspon vrijednosti X, i obim T- diskretni skupovi;
- Markovljeve sekvence- procesi u kojima je raspon vrijednosti X- kontinuirano, i domen definicije T-diskretni skup;
- diskretni Markovljevi procesi- procesi u kojima je raspon vrijednosti X- diskretno, i domen definicije T- kontinuirani set;
- Markovljevi procesi kontinuirane vrijednosti- procesi u kojima, kao raspon vrijednosti X, i obim T- kontinuirani setovi.
Mogući su i složeniji tipovi Markovljevih procesa, na primjer, diskretno-kontinuirani, kada je slučajni proces X (t) za neke vrijednosti argumenta t ima skokove, a u intervalima između njih ponaša se kao kontinuirano. Takvi procesi se nazivaju mješoviti. Slična situacija se dešava i za vektorske Markovljeve procese - pojedinačne komponente takvog procesa mogu biti različitih tipova. Procesi tako složenih tipova se dalje ne razmatraju.
Imajte na umu da je u proučavanju Markovljevih procesa tradicionalno prihvaćeno da se argument t razumije kao vrijeme. Budući da ova pretpostavka ne ograničava općenitost i doprinosi jasnoći prezentacije, takvo tumačenje fizičkog značenja argumenta t i usvojeno je u ovom poglavlju.
MARKOVSKI LANCI
Neka slučajni proces X (t) može uzeti finale (L< ) множество значений
(q l, l= } = C. Specifična vrijednost q l; Î SA, koje je proces usvojio X (t) u momentu t, definiše ga stanje za datu vrijednost argumenta. Na ovaj način,
u predmetu koji se razmatra, proces X (t) ima konačan skup mogućih stanja.
Naravno, vremenom se proces X (t)će nasumično promijeniti svoje stanje. Pretpostavimo da takva promjena nije moguća ni za koga t, i samo u nekim diskretnim vremenima t 0
Ove dvije karakteristike određuju niz diskretnih slučajnih varijabli X i - X (t i), i= 0.1, ... (diskretni slučajni niz u smislu Odjeljka 1.1), čiji je raspon vrijednosti diskretni konačni skup S = (q l, l = ], a domen definicije - diskretni beskonačan skup t i, i= 0,1, 2,...
Ako za ovako definisan diskretni slučajni niz, važi glavno svojstvo (3.1.1) Markovljevih procesa, koje u ovom slučaju ima oblik
onda se takav niz naziva jednostavnim Markovljevim lancem.
Imajte na umu da izraz (3.2.1) odmah implicira
ista jednakost za uslovne vjerovatnoće nalaženja
jednostavan Markov lanac u nekom stanju
P (x 1 / x 0, x 1, ..., x i -1) = Ρ (x i / x i -1), i= 1,2,....
Uvedena definicija dozvoljava neke generalizacije. Pretpostavimo da je vrijednost x i Î S proces koji se razmatra X (t) ne zavisi od jednog, već od m (l £ m< i) vrijednosti koje joj neposredno prethode. Onda je očigledno da
Poziva se proces definisan relacijom (3.2.2). složeni Markovljev lanac reda tzv Relacija (3.2.1) proizlazi iz (3.2.2) kao poseban slučaj. Zauzvrat, složeni Markovljev lanac reda T može se svesti na jednostavan Markovljev lanac za m-dimenzionalni vektor. Da bismo to pokazali, pretpostavljamo da je stanje procesa u ovom trenutku i i je opisan pomoću m-dimenzionalnog vektora.
(3.2.3)
U prethodnom koraku, sličan vektor će biti napisan kao
Poređenje (3.2.3) i (3.2.4) pokazuje da su "prosječne" komponente ovih vektora (osim X l u (3.2.3) i X l - m u (3.2.4)) poklapaju. Otuda slijedi da je uslovna vjerovatnoća pogađanja procesa X (t) u stanje `X i u trenutku t 1, ako je bio u stanju` X i -1 u ovom trenutku t i -1, može se napisati kao
U (3.2.5) simbol označava j-tu komponentu vektora ` x i;α (μ, ν) je Kroneckerov simbol: α (μ, ν) = 1 za ν = μ i α (μ, ν) = ϋ za μ ¹ν. Mogućnost ovih generalizacija omogućava nam da se dalje ograničimo na razmatranje samo jednostavnih Markovljevih lanaca.
Kao sistem diskretnih slučajnih varijabli, jednostavan Markovljev lanac X i, i = 0, 1, 2, ..., i, ... za bilo koji fiksni i može se iscrpno opisati i-dimenzionalnom zajedničkom vjerovatnoćom
ρ {θ 0 L, θ ίκ, ..., θ ί m,) = P ( X 0 =θ L, X 1 = θ k,…, X j = θ m}, (3.2.6)
gdje indeksi l, k, ..., t uzeti sve vrijednosti od 1 do L nezavisno jedno od drugog. Izraz (3.2.6) definira matricu sa L redova i i + 1 kolona, čiji su elementi vjerovatnoće koegzistencije sistema slučajnih varijabli Χ 0, Χ 1, ..., Χ ί u nekom određenom stanju. Ova matrica, po analogiji sa nizom distribucije skalarne diskretne slučajne varijable, može se nazvati matricom distribucije sistema diskretnih slučajnih varijabli
Χ 0, Χ 1, ..., Χ ί.
Na osnovu teoreme množenja vjerovatnoće, vjerovatnoća (3.2.6) se može predstaviti kao
Ali prema glavnom svojstvu (3.2.1) Markovljevog lanca
P (X l= m / X 0 = l, X 1 = k, ..., X i -1 = r) = P (X i = m / X i -1 = r)
Ponavljanje sličnog rezonovanja za vjerovatnoću uključenu u (3.2.8) 
r) omogućava vam da ovaj izraz svedete na oblik
Iz ovoga konačno dobijamo
(3.2.9)
Dakle, potpuni probabilistički opis jednostavnog Markovljevog lanca postiže se specificiranjem vjerovatnoća početnog stanja lanca u ovom trenutku t 0,Ρ{Θ 0 l,) = P (X 0 = Θ l}, l = i uslovne vjerovatnoće
Ρ (X l= Θ k / X i-1 = Θ m), i = 1, 2,. .. · k, m =
Imajte na umu da pošto su moguća stanja Θ l Î`C lancima X(t) su fiksne i poznate; za opisivanje njegovog stanja u bilo kom trenutku dovoljno je navesti broj l ovoj državi. Ovo nam omogućava da uvedemo bezuslovne vjerovatnoće pronalaženja lanca u l-to stanje u trenutku t i (at i-th step) pojednostavljena notacija
Ove vjerovatnoće očigledno imaju svojstva nenegativnosti i normalizacije na jedinstvo
P l(i)>0,l = , i = 0, 1,2,...; 
(3.2.11)
Kada se koristi matrična notacija, skup bezuslovnih vjerovatnoća se zapisuje u obliku matrice reda
(3.2.12)
Kao što slijedi iz prethodnog, fundamentalnu ulogu u teoriji Markovljevih lanaca (i Markovljevih procesa općenito) imaju uvjetne vjerovatnoće oblika. U skladu sa svojim fizičkim značenjem, obično se nazivaju vjerovatnoće tranzicije i označiti kao
Izraz (3.2.13) određuje vjerovatnoću da lanac dođe u stanje l, u trenutku t u ν - μ koraka, pod uslovom da je u trenutku t μ lanac bio u stanju A. Lako je vidjeti da vjerovatnoće prijelaza također imaju svojstva nenegativnosti i normalizacije, budući da će u bilo kojem koraku lanac uvijek biti u jednom od L moguća stanja
(3.2.14)
Uređeni skup vjerovatnoća tranzicije za bilo koji par može se predstaviti kao kvadratna matrica
(3.2.15)
Kao što slijedi iz izraza (3.2.14), svi elementi ove matrice su nenegativni i zbir elemenata svakog reda je jednak jedan. Poziva se kvadratna matrica sa naznačenim svojstvima stohastički.
Dakle, probabilistički opis Markovljevog lanca može se dati matricom reda (3.2.12) i stohastičkom matricom (3.2.15).
Koristeći uvedenu notaciju, rješavamo glavni problem teorije Markovljevih lanaca - definiramo bezuslovnu vjerovatnoću Ρ l(ί) činjenica da će u i -μ koracima proces doći u određeno stanje l, l=. Očigledno je da u trenutku t m proces može biti u bilo kojem od L mogućih stanja sa vjerovatnoćom P k (m), k= . Vjerovatnoća prijelaza iz k-th v l-to stanje je dato vjerovatnoćom tranzicije p k l (m, i)... Dakle, na osnovu teoreme ukupne vjerovatnoće, dobijamo
;
(3.2.16)
ili u matričnom obliku
P ( i) = P (m) P (m, i); (3.2.17)
Razmotrimo u odnosu (3.2.16) vjerovatnoću prijelaza π kl (m, i). Očigledno je da je tranzicija lanca iz stanja k u momentu t m u državi l u momentu t i u nekoliko koraka može se izvesti na različite načine (kroz različita međustanja). Hajde da uvedemo u razmatranje međuvremenski trenutak t m, t m
čiji je matrični oblik
P (m, ί) = P (μ, m) P (m, I); 0 £ m < m < I; (3.2.19)
Jednačine (3.2.18), (3.2.19) definišu svojstvo prelaznih verovatnoća karakterističnih za Markove lance, iako je validnost (3.2.18) još uvek nedovoljna da bi odgovarajući lanac bio Markov.
Zapisujući sukcesivno formulu (3.2.19), dobijamo
P (μ, i) = P (μ, ja - 1) P (i- 1, ί) = P (μ, μ + 1) ... P (ί - 1, i), (3.2.20)
gdje je p (ν, μ), μ -n = 1- jedan korak vjerovatnoća tranzicije. Sada postavljajući μ = 0 u izrazu (3.2.17), dobijamo
(3.2.21)
odakle sledi da se kompletan probabilistički opis jednostavnog Markovljevog lanca postiže specificiranjem verovatnoća početnog stanja i niza matrica verovatnoća jednostepenih prelaza.
Očigledno je da su svojstva Markovljevog lanca u velikoj mjeri određena svojstvima prijelaznih vjerovatnoća. Sa ove tačke gledišta, posebno, među jednostavnim Markovljevim lancima, može se razlikovati homogena, za koje vjerovatnoće tranzicije zavise samo od razlike argumenata
str kl(m, i) = str kl(i-m), i> m> 0; (3.2.22)
i ne zavise od broja koraka. Svi ostali tipovi jednostavnih Markovljevih lanaca koji ne zadovoljavaju uslov (3.2.22) pripadaju klasi heterogena,.
Budući da je za homogeni lanac vjerovatnoća prijelaza određena samo razlikom argumenata i ne ovisi o broju koraka, očito je da za proizvoljne parove (μ, m), ( j,i) ispunjava uslove T- μ = 1, ί- j = 1, m¹i, fer
str kl(m-m) = str kl(i-j) = str kl(1) = str kl;
Otuda slijedi da je za opisivanje homogenog Markovljevog lanca dovoljno specificirati, zajedno sa vjerovatnoćama početnog stanja, ne niz, već jednu stohastičku matricu vjerovatnoća prelaza u jednom koraku.
(3.2.23)
Štaviše, očigledno je da
(3.4.7)
pošto prvi faktor pod integralom ne zavisi od varijable integracije, a integral drugog je jednak jedinici. Oduzimanje jednačine (3.4.7) od (3.4.6) daje
Pretpostavimo da se gustina vjerovatnoće tranzicije procesa koji se razmatra može proširiti u Tejlorov red. Tada se izraz u uglastim zagradama ispod integrala u jednačini (3.4.8) može predstaviti kao
Zamjena izraza (3.4.9) u (3.4.8), dijeljenje obje strane rezultirajućeg izraza sa ∆ t i prelazeći na granicu kao Δt → 0, dobijamo
Jednačina (3.4.10) definira široku klasu kontinuiranih Markovljevih procesa i lako je vidjeti da skup koeficijenata A ν (x 0, t 0) određuje fizička svojstva svakog od njih. Dakle, koeficijent A 1 (x 0, t 0) može se tumačiti kao prosječna vrijednost lokalnog (u tački x(t 0)) brzina promjene procesa, koeficijent A 2 (x 0, t 0)- kao lokalna stopa promjene varijanse njenog prirasta, itd. Međutim, Markovljevi procesi ovog opšteg oblika se relativno rijetko razmatraju u aplikacijama. Podskup Markovljevih procesa koji zadovoljava uslov
A ν (x 0, t 0) ¹0; n = 1,2, A ν (x 0, t 0) = 0, n³3;(3.4.12)
U proučavanju Markovljevih procesa prvobitno je ustanovljeno da jednačina (3.4.10) pod uslovom (3.4.12) zadovoljava zakone kretanja (difuzije) Brownovskih čestica, zbog čega su odgovarajući Markovljevi procesi nazvani difuziju. Na osnovu toga, koeficijent A 1 (x 0, t 0) = a (x 0, t 0) imenovani koeficijent drifta, o A 2 (x 0, t 0) = b (x 0, t 0) - koeficijent difuzije. U okviru (3.4.12), jednačina (3.4.10) poprima konačni oblik
Ovo je jednadžba u kojoj su varijable x 0 i t 0, se zove prva (inverzna) Kolmogorovljeva jednačina.
Druga jednačina se može dobiti na sličan način
Ova jednačina, u čast naučnika koji su je prvi proučavali, zove se Fokkerova jednadžba,- Plank- Kolmogorov ili direktnu Kolmogorovljevu jednačinu(pošto sadrži derivaciju u odnosu na konačni vremenski trenutak t> t 0).
Na ovaj način; pokazano je da gustoće vjerovatnoće prijelaza difuzijskih Markovljevih procesa zadovoljavaju jednačine (3.4.13), (3.4.14), koje su glavni alat za njihovo proučavanje. U ovom slučaju, svojstva određenog procesa određuju se "koeficijentima" a (x, tί) i b (x, t) koji su, prema jednačini (3.4.11), jednaki
Iz izraza (3.4.15), (3.4.16) proizilazi da ovi "koeficijenti" imaju značenje uslovnih matematičkih očekivanja koja određuju prirodu promjena u realizaciji procesa u beskonačno malom vremenskom intervalu Δt. Dozvoljene su vrlo brze promjene procesa X (t), ali u suprotnim smjerovima, zbog čega je prosječni prirast procesa za kratko vrijeme Δt konačan i ima red veličine.
4. Modeliranje prema shemi Markovljevih stohastičkih procesa
Za izračunavanje numeričkih parametara koji karakterišu stohastičke objekte, potrebno je konstruisati određeni probabilistički model fenomena, uzimajući u obzir slučajne faktore koji ga prate. Za matematički opis mnogih pojava koje se razvijaju u obliku slučajnog procesa, može se uspješno primijeniti matematički aparat razvijen u teoriji vjerovatnoće za takozvane Markovljeve slučajne procese. Hajde da objasnimo ovaj koncept. Neka postoji neki fizički sistem S, čije se stanje mijenja tokom vremena (pod sistemom S sve se može razumjeti: tehnički uređaj, servisna radionica, kompjuter itd.). Ako država S promene u vremenu na nasumičan način, kažu da u sistemu S odvija se nasumični proces. Primeri: proces rada računara (primanje naloga za kompjuter, vrsta ovih naloga, slučajni kvarovi), proces navođenja vođene rakete (slučajni poremećaji (smetnje) u sistemu upravljanja raketom), proces korisničke usluge u frizerskom salonu ili radionici (nasumični tok prijava (zahtjeva) primljenih od klijenata).
Nasumični proces se naziva Markovljevim procesom (ili „procesom bez posljedica”) ako je za svaki trenutak vremena t0 vjerovatnoća bilo kojeg stanja sistema u budućnosti (za t> t0 ) zavisi samo od njegovog stanja u sadašnjosti (za t= t0 ) i ne zavisi od toga kada i kako je sistem ušao u ovo stanje (tj. kako se proces razvijao u prošlosti). Neka S tehnički uređaj karakteriziran određenim stepenom dotrajalosti S... Zanima nas kako će dalje funkcionirati. Kao prva aproksimacija, performanse sistema u budućnosti (stopa kvarova, potreba za popravkom) zavise od trenutnog stanja uređaja i ne zavise od toga kada i kako je uređaj dostigao svoje sadašnje stanje.
Teorija Markovljevih slučajnih procesa je opsežan dio teorije vjerovatnoće sa širokim spektrom primjena (fizičke pojave kao što su difuzija ili miješanje punjenja tokom topljenja u visokoj peći, procesi čekanja).
4.1. Klasifikacija Markovljevih procesa
Markovljevi stohastički procesi su podijeljeni u klase. Prva karakteristika klasifikacije je priroda spektra stanja. Slučajni proces (SP) naziva se proces sa diskretnim stanjima ako su moguća stanja sistema S1,S2,S3 ... može se nabrojati, a sam proces se sastoji u tome da s vremena na vrijeme sistem S skače (trenutačno) iz jednog stanja u drugo.
Primjer. Tehnički uređaj se sastoji od dva čvora I i II, od kojih svaki može pokvariti. države: S1- oba čvora rade; S2- prvi čvor je otkazao, drugi radi; S 3 - drugi čvor je otkazao, prvi radi; S4- oba čvora su otkazala.
Postoje procesi sa kontinuiranim stanjima (glatki prijelaz iz stanja u stanje), na primjer, promjena napona u rasvjetnoj mreži. Razmotrićemo samo SP sa diskretnim stanjima. U ovom slučaju, zgodno je koristiti graf stanja, u kojem su moguća stanja sistema označena čvorovima, a mogući prijelazi lukovima.
Druga klasifikacijska karakteristika je priroda funkcionisanja u vremenu. SP se naziva procesom s diskretnim vremenom ako su prijelazi sistema iz stanja u stanje mogući samo u strogo definiranim, unaprijed fiksiranim vremenima: t1,t2 ...... Ako je prijelaz sistema iz stanja u stanje moguć u bilo kojem ranije nepoznatom slučajnom trenutku, onda govorimo o SP sa kontinuiranim vremenom.
4.2. Proračun Markovljevog lanca s diskretnim vremenom
S diskretno stanje S1,S2, ...Sn i diskretno vrijeme t1,t2, ...,tk, ...(koraci, koraci procesa, SP se mogu posmatrati kao funkcija argumenta (broj koraka)). U opštem slučaju, SC je da se tranzicije dešavaju S1® S1® S2® S3® S4® S1® … u trenucima t1,t2,t3 ....
Događaj ćemo označiti nakon k- koraci u kojem je sistem u stanju Si... Za bilo koje k događaji https://pandia.ru/text/78/060/images/image004_39.gif "width =" 159 "height =" 25 src = ">.
Ovaj nasumični slijed događaja naziva se Markovljev lanac. Mi ćemo opisati Markovljev lanac (MC) koristeći vjerovatnoće stanja. Neka je vjerovatnoća da nakon k- koraci u kojem je sistem u stanju Si... Lako je to vidjeti " k DIV_ADBLOCK13 ">
.
Koristim gore predstavljene događaje https://pandia.ru/text/78/060/images/image008_34.gif "width =" 119 "height =" 27 src = ">. Zbroj pojmova u svakom redu matrica bi trebala biti jednaka 1. Umjesto matrice vjerovatnoće prijelaza često koriste označeni graf stanja (označite nenulte vjerovatnoće prijelaza na lukovima, vjerovatnoće kašnjenja nisu potrebne, jer se lako izračunavaju, npr. P11 = 1- (P12 +P13)). Imajući na raspolaganju označeni graf stanja (ili matricu vjerovatnoća tranzicije) i poznavajući početno stanje sistema, možemo pronaći vjerovatnoće stanja p1 (k),p2 (k), ...pn (k)" k.
Neka je početno stanje sistema Sm, onda
p1 (0) = 0 p2 (0) = 0 ...pm (0) = 1 ...pn (0) = 0.
Prvi korak:
p1 (1) = Pm1, p2 (1) = Pm2,… Pm (1) = Pmm,..., pn (1) = Pmn.
Nakon drugog koraka, koristeći formulu ukupne vjerovatnoće, dobijamo:
p1 (2) = p1 (1) P11 + p2 (1) P21 +… pn (1) Pn1,
pi (2) = p1 (1) P1i + p2 (1) P2i +… pn (1) Pni ilihttps://pandia.ru/text/78/060/images/image010_33.gif "width =" 149 "height =" 47 "> (i = 1,2, ..n).
Za heterogena MC
vjerovatnoće prijelaza zavise od broja koraka. Označavamo vjerovatnoće prijelaza za korak k kroz 
.
Tada formula za izračunavanje vjerovatnoća stanja poprima oblik:
.
4.3. Markovi lanci sa kontinuiranim vremenom
4.3.1. Kolmogorovljeve jednadžbe
U praksi su mnogo češće situacije kada se sistem prelazi iz stanja u stanje dešava u nasumičnim vremenima koja se ne mogu unaprijed naznačiti: na primjer, kvar bilo kojeg hardverskog elementa, završetak popravke (restauracije) ovog elementa. Za opisivanje takvih procesa, u brojnim slučajevima, može se uspješno primijeniti shema Markovljevog slučajnog procesa sa diskretnim stanjima i kontinuiranim vremenom, kontinuirani Markovljev lanac. Pokažimo kako se izražavaju vjerovatnoće stanja za takav proces. Neka S = (S1,S2, ...Sn). Označimo sa pi (t) je vjerovatnoća da u ovom trenutku t sistem Sće biti u državi). Ocigledno. Postavimo zadatak - odrediti za bilo koji tpi (t)... Umjesto vjerovatnoće tranzicije Pij uvodimo u razmatranje gustinu vjerovatnoće prijelaza
.
Ako ne zavisi od t, govore o homogenom lancu, inače - o nehomogenom. Obavijestite nas za sve parove stanja (dat je označeni graf stanja). Ispada da je poznavanjem označenog grafa stanja moguće odrediti p1 (t),p2 (t) ..pn (t) kao funkcija vremena. Ove vjerovatnoće zadovoljavaju određenu vrstu diferencijalnih jednačina (Kolmogorovljeve jednačine).
 |
Integracija ovih jednačina sa poznatim početnim stanjem sistema će dati željene vjerovatnoće stanja kao funkciju vremena. primeti, to p1 +p2 +p3 +p4 = 1 i možete proći sa tri jednačine.
Pravila za sastavljanje Kolmogorovljevih jednačina... Na lijevoj strani svake jednačine nalazi se izvod vjerovatnoće nekog stanja, a desna strana sadrži onoliko pojmova koliko ima strelica povezanih sa datim stanjem. Ako je strelica usmjerena iz stanja, odgovarajući član ima predznak minus, ako je prema stanju - znak plus. Svaki član je jednak proizvodu gustine vjerovatnoće prijelaza koji odgovara datoj strelici, pomnoženoj vjerovatnoćom stanja iz kojeg strelica potiče.
4.3.2. Tok događaja. Najjednostavniji tok i njegova svojstva
Kada se razmatraju procesi koji se dešavaju u sistemu sa diskretnim stanjima i kontinuiranim vremenom, često je zgodno zamisliti proces kao da se sistem prelazi iz stanja u stanje odvija pod uticajem nekih tokova događaja. Tok događaja je niz homogenih događaja koji slijede jedan za drugim u nekim, općenito govoreći, nasumičnim trenucima u vremenu. (Protok poziva na telefonskoj centrali; tok kvarova (kvarova) računara; tok teretnih vozova koji pristižu na stanicu; tok posetilaca; tok hitaca usmerenih na metu). Tok događaja ćemo predstaviti kao niz tačaka na vremenskoj osi ot... Položaj svake tačke na osi je slučajan. Tok događaja se zove redovno ako događaji slijede jedan za drugim u strogo određenim intervalima (rijetko se dešava u praksi). Razmotrimo posebnu vrstu tokova, za to uvodimo niz definicija. 1. Poziva se tok događaja stacionarno , ako vjerovatnoća da određeni broj događaja padne na vremenski dio dužine ovisi samo o dužini odsječka i ne ovisi o tome gdje se tačno ovaj odsjek nalazi na ot osi (homogenost u vremenu), onda su vjerovatnoća karakteristike takvog tok se ne bi trebao mijenjati s vremenom. Konkretno, takozvani intenzitet (ili gustina) toka događaja (prosečan broj događaja u jedinici vremena) je konstantan.
2. Poziva se tok događaja teče bez posljedica ako, za bilo koje vremenske segmente koji se ne preklapaju, broj događaja koji pada na jedan od njih ne zavisi od toga koliko je događaja palo na drugi (ili druge, ako se razmatra više od dva segmenta). Bez posljedica u toku znači da se događaji koji čine tok pojavljuju u uzastopnim vremenima nezavisno jedan od drugog.
3. Poziva se tok događaja običan ako je vjerovatnoća da će dva ili više događaja pogoditi elementarni segment zanemarljiva u poređenju sa vjerovatnoćom jednog događaja (događaji u toku dolaze jedan po jedan, a ne u parovima, trojkama, itd.).
Poziva se tok događaja koji ima sva tri svojstva najjednostavniji (ili stacionarni Poisson). Nestacionarni Poissonov tok ima samo svojstva 2 i 3. Poissonov tok događaja (i stacionarni i nestacionarni) usko je povezan sa dobro poznatom Poissonovom distribucijom. Naime, broj događaja u toku koji pada na bilo koju lokaciju distribuira se prema Poissonovom zakonu. Objasnimo ovo detaljnije.
Razmotrite na osi Ot, gdje se posmatra tok događaja, određeni segment dužine t, počevši od trenutka t0 i završava u ovom trenutku t0 + t. Nije teško dokazati (dokaz je dat u svim kursevima teorije vjerovatnoće) da je vjerovatnoća da će tačno m događaja pogoditi ovo područje izražena formulom:
(m=0,1…),
gdje a Je prosječan broj događaja po segmentu t.
Za stacionarni (najjednostavniji) Poissonov tok a =lt, tj. ne zavisi od toga gde je na osi ot dio t se uzima. Za nestacionarni Poissonov tok, količina a izraženo formulom
i stoga zavisi od toga u kom trenutku t0 počinje dio t.
Razmotrite na osi ot najjednostavniji tok događaja konstantnog intenziteta l. Nas će zanimati vremenski interval T između događaja u ovom toku. Neka je l intenzitet (prosečan broj događaja u jednom vremenu) protoka. Gustina distribucije f(t)
slučajna varijabla T(vremenski interval između susjednih događaja u streamu) f(t)=
le-
lt (t>
0)
... Zakon raspodjele s takvom gustinom naziva se eksponencijalni (eksponencijalni). Pronađite numeričke vrijednosti slučajne varijable T: matematičko očekivanje (srednja vrijednost) 
i varijansa lijevo ">
Vremenski interval T između susednih događaja u najjednostavnijem toku raspoređuje se prema eksponencijalnom zakonu; njegova srednja vrijednost i standardna devijacija su jednake, gdje je l brzina protoka. Za takav tok, vjerovatnoća pojave tačno jednog događaja protoka u elementarnom vremenskom intervalu ∆t izražava se kao. Ovu vjerovatnoću ćemo nazvati "element vjerovatnoće nastanka događaja".
Za nestacionarni Poissonov tok, zakon raspodjele intervala T više neće biti eksponencijalan. Forma ovog zakona će zavisiti, prvo, od toga gde je na osi ot prvi od događaja je lociran, a drugi, na vrstu zavisnosti. Međutim, ako se mijenja relativno sporo i njegova promjena tokom vremena između dva događaja je mala, onda se zakon raspodjele vremenskog intervala između događaja može smatrati približno indikativnim, uz pretpostavku da je u ovoj formuli vrijednost jednaka prosječnoj vrijednosti u području to nas zanima.
4.3.3. Poisson tokovi događaja i
kontinuiranih markovskih lanaca
Zamislite neki fizički sistem S = (S1,S2, ...sn), koji ide od stanja do stanja pod uticajem nekih nasumičnih događaja (pozivi, odbijanja, pucnjave). Zamislimo to kao da su događaji koji prenose sistem iz stanja u stanje neka vrsta tokova događaja.
Pustite sistem S trenutno t je u stanju Si i može preći od nje do države Sj pod uticajem nekog Poissonovog toka događaja sa intenzitetom lij: čim se pojavi prvi događaj ovog streama, sistem se trenutno prebacuje sa Si v Sj..gif "width =" 582 "height =" 290 src = ">
4.3.4. Granične vjerovatnoće stanja
Neka postoji fizički sistem S = (S1,S2, ...sn), u kojem se odvija Markovljev slučajni proces s kontinuiranim vremenom (kontinuirani Markovljev lanac). Pretvarajmo se to lij =konst, odnosno svi tokovi događaja su najjednostavniji (stacionarni Poisson). Zapisujući sistem Kolmogorovljevih diferencijalnih jednadžbi za vjerovatnoće stanja i integrišući ove jednačine za date početne uslove, dobijamo p1 (t),p2 (t), ...pn (t), za bilo koje t... Postavimo sljedeće pitanje, šta će se dogoditi sa sistemom S at t® ¥. Hoće li biti funkcija pi (t) težiti nekim granicama? Ove granice, ako postoje, nazivaju se granične vjerovatnoće stanja. Moguće je dokazati teoremu: ako je broj stanja S konačan i iz svakog stanja moguće je prijeći (u jednom ili drugom broju koraka) jedno do drugog, tada granične vjerovatnoće stanja postoje i ne zavise od početno stanje sistema. Pretpostavimo da je navedeni uslov zadovoljen i da postoje granične vjerovatnoće (i = 1,2, ...n),.
Dakle, za t® ¥ u sistemu S uspostavlja se određeni ograničavajući stacionarni režim. Značenje ove vjerovatnoće: nije ništa drugo do prosječno relativno vrijeme u kojem je sistem u datom stanju. Da izračunam pi u sistemu Kolmogorovljevih jednačina koje opisuju vjerovatnoće stanja, sve lijeve strane (derivati) moraju biti jednake 0. Sistem rezultirajućih linearnih algebarskih jednadžbi mora se riješiti zajedno sa jednačinom .
4.3.5. Shema smrti i reprodukcije
Znamo da imamo na raspolaganju označeni graf stanja, lako možemo napisati Kolmogorovljeve jednačine za vjerovatnoće stanja, kao i pisati i rješavati algebarske jednačine za konačne vjerovatnoće. U nekim slučajevima moguće je riješiti posljednje jednačine unaprijed, u obliku slova. To se posebno može učiniti ako je graf stanja sistema takozvana „šema smrti i reprodukcije“.
https://pandia.ru/text/78/060/images/image044_6.gif "width =" 73 "height =" 45 src = "> (4.4)
Od drugog, uzimajući u obzir (4.4), dobijamo:
https://pandia.ru/text/78/060/images/image046_5.gif "width =" 116 "height =" 45 src = "> (4.6)
i općenito, za bilo koji k (od 1 do N):
https://pandia.ru/text/78/060/images/image048_4.gif "width =" 267 "height =" 48 src = ">
iz ovoga dobijamo izraz za p0.
(4. 8)
(podigli smo zagradu na stepen -1 da ne bismo pisali razlomke na dva sprata). Sve ostale vjerovatnoće su izražene u terminima p0 (vidi formule (4.4) - (4.7)). Imajte na umu da koeficijenti p0 u svakom od njih nisu ništa drugo do uzastopni članovi niza nakon jedinice u formuli (4.8). Dakle, računajući p0, već smo našli sve ove koeficijente.
Dobijene formule su vrlo korisne u rješavanju najjednostavnijih problema teorije čekanja.
Među raznim vrstama sistema koji nas okružuju: tehničkim, informacionim, društvenim itd., zanimaće nas sistemi koji nastaju u uslužnim procesima, u uslužnim procesima. U primijenjenoj matematici nazivaju se tako - sistemi čekanja (QS). Matematički aparat za proučavanje ovih sistema je dugo razvijen i omogućava konstruisanje modela takvih sistema za opisivanje uslužnih procesa i izračunavanje glavnih karakteristika funkcionisanja sistema kako bi se utvrdila njegova efikasnost. Ovaj aparat se zasniva na teoriji vjerovatnoće i teoriji stohastičkih procesa. Razmotrimo glavne ideje i koncepte.
2.1. Elementi teorije Markovljevih stohastičkih procesa koji se koriste u modeliranju sistema
Poziva se funkcija X (t). nasumično ako je njegova vrijednost za bilo koji argument t slučajna varijabla.
Poziva se slučajna funkcija X (t), čiji je argument vrijeme slučajni proces.
Markovljevi procesi su posebna vrsta slučajnih procesa. Posebno mjesto Markovljevih procesa među ostalim klasama slučajnih procesa je zbog sljedećih okolnosti: za Markovljeve procese, matematički aparat je dobro razvijen, što omogućava rješavanje mnogih praktičnih problema; pomoću Markovljevih procesa moguće je opisati ( tačno ili približno) ponašanje prilično složenih sistema.
Definicija. Nasumični proces koji se dešava u sistemu S, pozvao Markov, ili proces bez naknadnog dejstva, ako ima sljedeće svojstvo: za bilo koji trenutak vremena t 0, vjerovatnoća bilo kojeg stanja sistema u budućnosti zavisi samo od njegovog stanja u sadašnjosti i ne zavisi od toga kada i kako sistem S došao u ovo stanje.
Klasifikacija Markovljevih procesa. Klasifikacija Markovljevih slučajnih procesa vrši se u zavisnosti od kontinuiteta ili diskretnosti skupa vrednosti funkcije X (t) i parametra t.
Postoje sljedeće glavne vrste Markovljevih slučajnih procesa:
sa diskretnim stanjima i diskretnim vremenom (Markovljev lanac);
sa kontinuiranim stanjima i diskretnim vremenom (Markovljeve sekvence);
sa diskretnim stanjima i kontinuiranim vremenom (kontinuirani Markovljev lanac);
sa kontinuiranim stanjem i kontinuiranim vremenom.
Razmotrićemo samo Markovljeve procese sa diskretnim stanjima S 1 , S 2 , ..., S n .
Grafikon stanja. Pogodno je ilustrirati Markovljeve procese sa diskretnim stanjima koristeći tzv. graf stanja ( pirinač. 2.1), gdje krugovi označavaju stanja S 1, S 2 , ... sistemi S, i strelice - mogući prijelazi iz stanja u stanje.
Rice. 2.1. Primjer grafa stanja sistemaS
Na grafu su označeni samo direktni prelazi, a ne prelazi kroz druga stanja. Moguća kašnjenja u prethodnom stanju su prikazana kao "petlja", odnosno strelica usmjerena iz datog stanja prema njemu. Broj stanja sistema može biti ili konačan ili beskonačan (neprebrojiv).
MARKOV PROCES
Proces bez naknadnih efekata, - slučajni proces,čija evolucija nakon bilo koje date vrijednosti vremenskog parametra t ne ovisi o evoluciji koja je prethodila t, pod uslovom da je vrijednost procesa u ovome fiksna (ukratko: "budućnost" i "prošlost" procesa ne zavise jedno od drugog za poznatu "sadašnjost").
Definirajuće svojstvo M. p. se smatra nazivanim. Markov; prvi ga je formulisao A.A. Markov. Međutim, već u radu L. Bacheliera uočava se pokušaj tumačenja Browniana kao M. p., pokušaj koji je potkrijepljen nakon istraživanja N. Wienera (N. Wiener, 1923). A. N. Kolmogorov je postavio temelje za opću teoriju metrike kontinuiranog vremena.
Markov property. Postoje suštinski različite definicije M. predmeta.Jedna od najraširenijih je sljedeća. Neka je slučajni proces dat na prostoru vjerovatnoće sa vrijednostima iz mjerljivog prostora gdje T - podskup realne ose Let N t(odnosno N t) postoji s-algebra u
generiran količinama X (s).
gdje
Drugim riječima, N t(odnosno N t) je skup događaja povezanih s evolucijom procesa do vremena t (počevši od t) .
Proces X (t). Markovljev proces ako je (gotovo sigurno) Markovsko svojstvo zadovoljeno za sve:
ili, što je isto, ako postoji
M. p., za koje je T sadržano u skupu prirodnih brojeva, naziva se. Markov lanac(međutim, potonji termin se najčešće povezuje sa slučajem najviše prebrojivog E) .
Ako je T interval u i Ene je više nego prebrojiv, poziva se M. p. Markov lanac sa kontinuiranim vremenom. Primjeri metrike kontinuiranog vremena daju difuzijski procesi i procesi sa nezavisnim priraštajima, uključujući Poissonove i Wienerove procese.
U nastavku ćemo, radi definicije, govoriti samo o slučaju 
Formule (1) i (2) daju jasnu interpretaciju principa nezavisnosti "prošlosti" i "budućnosti" sa poznatom "sadašnjošću", ali se definicija matematičke formule zasnovane na njima pokazala nedovoljno fleksibilnom u one brojne situacije kada je potrebno razmotriti ne jedan, već skup uslova tipa (1) ili (2), koji odgovaraju različitim, iako na određeni način dogovorenim mjerama. Takva razmatranja su dovela do usvajanja sljedeće definicije (vidi,).
Neka dato:
a) gdje s-algebra sadrži sve skupove u jednoj tački u E;
b) mjerljiva opremljena porodicom s-algebri tako da je ako
v) (" ") x t = xt(w) ,
definiranje za bilo koje mjerljivo preslikavanje
d) za svaku i mjeru vjerovatnoće na s-algebri takvu da je funkcija 
mjerljivo relativno ako i
Skup se zove. (bez prekida) Markovljev proces dat u if -gotovo siguran
šta god da je Ovdje je prostor elementarnih događaja, je li fazni prostor ili prostor stanja, P ( s, x, t, B)- prolazna funkcija ili vjerovatnoća prijelaza procesa X (t) .
Ako je En obdaren topologijom i predstavlja kolekciju Borel skupova E, tada je uobičajeno reći da je M. p E. Obično definicija M.p. uključuje zahtjev da se onda tumači kao vjerovatnoća, pod uslovom da x s = x.
Postavlja se pitanje: da li je bilo koja Markovljeva prelazna funkcija P ( s, x;t, V),
dat u mjerljivom prostoru može se smatrati prijelaznom funkcijom određenog M. p. Odgovor je potvrdan ako je, na primjer, E odvojivi lokalno kompaktni prostor i kolekcija Borelovih skupova u E.Štaviše, neka E - puna metrika prostor i neka
za bilo gde a je dopuna e-susjedstva tačke X. Tada se može pretpostaviti da je odgovarajući linearni prostor kontinuiran na desnoj strani i da ima granice na lijevoj strani (to jest, može se izabrati njegove putanje kao takve). Postojanje kontinuiranog linearnog prostora je osigurano uslovom za (vidi,). U teoriji metafora, glavna pažnja se poklanja procesima koji su homogeni (u vremenu). Odgovarajuća definicija pretpostavlja dati sistem objekata a) - d) s tom razlikom što je za parametre s i u koji su se pojavili u njegovom opisu sada dozvoljena samo vrijednost 0. Oznaka je također pojednostavljena:
Nadalje, postulira se homogenost prostora W, tj. zahtijeva se da za bilo koji 
postojalo je to 
(w) za Zbog toga, na s-algebri N, najmanja s-algebra u W koja sadrži bilo koji događaj u obliku 
Operatori vremenskog pomaka q t, koje čuvaju operacije ujedinjenja, presjeka i oduzimanja skupova i za koje
Skup se zove. (nezavršni) homogeni Markovljev proces definiran u if -gotovo siguran
za prolaznu funkciju procesa X (t). P ( t, x, B); osim toga, ako ne postoje posebne rezerve, one dodatno zahtijevaju da je korisno imati na umu da je prilikom provjere (4) dovoljno uzeti u obzir samo skupove oblika gdje je 
i to u (4) uvijek F t može se zamijeniti s-algebrom jednakom presjeku kompletiranja F t po svim mogućim mjerama. Često je mjera vjerovatnoće m ("početna") fiksna i uzima se u obzir Markovljeva slučajna funkcija 
gdje je mjera data jednakošću
M. n. Pozvan. progresivno mjerljiv ako, za svaki t> 0, funkcija inducira mjerljiv u gdje je s-algebra
Borel podskupovi u . Desni kontinuirani linearni prostori su progresivno mjerljivi. Postoji način da se nehomogen slučaj svede na homogen (vidi), a u nastavku ćemo govoriti o homogenom M. str.
Strogo. Neka je M. p. dat u mjerljivom prostoru.
Funkcija se poziva. Markov trenutak, ako 
za sve
U ovom slučaju, oni se odnose na porodicu F t ako je at (najčešće se F t tumači kao skup događaja povezanih sa evolucijom X (t). Do trenutka t). Za vjerovanje
Progresivno mjerljiv M. p. Xnaz. strogo Markovljev proces (s.m.p.) ako je za bilo koji Markovljev trenutak m i sve 
i omjer
(strogo Markovljevo svojstvo) gotovo sigurno vrijedi na skupu W t. Prilikom provjere (5) dovoljno je uzeti u obzir samo skupove oblika gdje 
u ovom slučaju, prostor točka-zarez je, na primjer, bilo koji desno kontinuirani Fellerov prostor u topološkom prostoru. svemir E. M. n. Pozvan. Feller Markov proces ako je funkcija
je kontinuirano kad god je f kontinuirano i ograničeno.
U razredu sa. m. n. određene podklase su dodijeljene. Neka je Markov P ( t, x, B),
dat u metričkom lokalno kompaktnom prostoru E, stohastički kontinuirano:
za bilo koju okolinu U svake tačke. Tada ako operatori uzmu kontinuirane funkcije koje beskonačno nestaju u sebe, tada će funkcije P ( t, x, B) odgovara standardnom M. str. X, tj. kontinuirano na desnoj s. m., za koje
- gotovo sigurno na setu 
a - neopadajući pmarkov momenti sa povećanjem. Prekidanje Markovljevog procesa.Često fizički. Preporučljivo je opisivati sisteme uz pomoć neograničenog linearnog prostora, ali samo na vremenskom intervalu slučajne dužine. Osim toga, čak i jednostavne transformacije linearnog prostora mogu dovesti do procesa s putanjama datim na slučajnom intervalu (vidi odjeljak. Funkcionalni iz Markovljevog procesa). Vođeni ovim razmatranjima, oni uvode koncept prestanka M. p.
Neka je homogeni linearni prostor u faznom prostoru s prijelaznom funkcijom 
i neka postoje tačka i funkcija 
tako da na i inače (ako nema posebnih rezervi, razmotrite). Nova putanja x t(w) je dato samo za) pomoću jednakosti 
a F t definisano kao u setu
Postavite gdje 
pozvao završavajući Markov proces (o.m.p.) dobijen od prekida (ili ubijanja) u vremenu z. Količina z se zove. trenutak loma, ili životni vijek, oh. m.s. Fazni prostor novog procesa je gdje je trag s-algebre u E. Prijelazna funkcija o. m.p. je suženje na skup 
Proces X (t). striktno Markovljev proces, ili standardni Markovljev proces, ako odgovarajuće svojstvo posjeduje ne-terminirajući M. p., može se smatrati a. m od trenutka pauze Heterogeno oko. m. određuje se na sličan način. M.
Markov procesi i. Matematički sistemi tipa Brownovog kretanja usko su povezani sa diferencijalnim jednadžbama paraboličkog. tip. Prijelazni p (s, x, t, y procesa difuzije zadovoljava, pod određenim dodatnim pretpostavkama, inverznu i direktnu diferencijalnu Kolmogorovljevu jednačinu:
Funkcija p ( s, x, t, y Za jednačine (6) - (7) postoji Greenova funkcija, a prve poznate metode konstruisanja difuzijskih procesa bile su zasnovane na teoremama postojanja za ovu funkciju za diferencijalne jednadžbe (6) - (7). Za vremenski homogen proces L ( s, x)= L(x) na glatkim funkcijama poklapa se sa karakteristikom. operater M. str (vidi. Polugrupa operatora tranzicije).
Matematički. očekivanja različitih funkcionala od difuzijskih procesa služe kao rješenja odgovarajućih graničnih problema za diferencijalnu jednadžbu (1). Neka bude matematički. očekivanje u mjeri Tada funkcija zadovoljava za s
Slično, funkcija
zadovoljava za s
i uslov i 2 ( T, x) = 0.
Neka tt bude trenutak prvog dolaska na granicu dD oblasti
putanja procesa
Zatim pod određenim uslovima funkcija
zadovoljava jednačinu
i uzima vrijednosti cp na skupu
Rješenje 1. graničnog problema za opću linearnu paraboliku. Jednačine 2. reda
pod prilično opštim pretpostavkama može biti zapisano u obliku
U slučaju kada L i funkcije s, f ne zavisi od s, moguć je i prikaz sličan (9) za rješenje linearne eliptike. jednačine. Tačnije, funkcija
pod određenim pretpostavkama postoje problemi
U slučaju kada operator L degeneriše (del b ( s, x) = 0
).ili dD nije dovoljno "dobro", granične vrijednosti možda neće biti prihvaćene od strane funkcija (9), (10) u zasebnim tačkama ili na cijelim skupovima. Koncept regularne granične tačke za operator L ima probabilističko tumačenje. U pravilnim tačkama granice, granične vrijednosti se postižu funkcijama (9), (10). Rješenje zadataka (8), (11) omogućava proučavanje svojstava odgovarajućih difuzijskih procesa i njihovih funkcija.
Postoje metode za konstruisanje linearne jednačine koje se ne zasnivaju na konstrukciji rješenja jednadžbi (6), (7), na primjer. metoda stohastičke diferencijalne jednadžbe, apsolutno kontinuirana promjena mjere, itd. Ova okolnost, zajedno sa formulama (9), (10), omogućava probabilistički način da se konstruišu i proučavaju svojstva graničnih problema za jednačinu (8), kao i svojstva rješenja odgovarajuće eliptike. jednačine.
Budući da je rješenje stohastičke diferencijalne jednadžbe neosjetljivo na degeneraciju matrice b ( s, x), onda korišćene su probabilističke metode za konstruisanje rešenja degenerisanih eliptičkih i paraboličkih diferencijalnih jednačina. Proširenje principa usrednjavanja N.M.Krylova i N.N.Bogolyubova na stohastičke diferencijalne jednačine omogućilo je dobijanje odgovarajućih rezultata za eliptičke i paraboličke diferencijalne jednadžbe koristeći (9). Neki teški problemi proučavanja svojstava rješenja ovakvih jednačina sa malim parametrom na najvišoj derivaciji ispostavilo se da je moguće riješiti uz pomoć probabilističkih razmatranja. Rješenje 2. graničnog problema za jednačinu (6) također ima vjerovatnoća značenja. Izjava graničnih problema za neograničeni domen usko je povezana sa ponavljanjem odgovarajućeg procesa difuzije.
U slučaju vremenski homogenog procesa (L ne zavisi od s), pozitivno rješenje jednadžbe, do multiplikativne konstante, poklapa se, pod određenim pretpostavkama, sa stacionarnom gustinom raspodjele M. p. Vjerovatna razmatranja također se pokazalo korisnim u razmatranju problema graničnih vrijednosti za nelinearne parabolike. jednačine. R. 3. Khasminsky.
Lit.: Markov A. A., "Izv. Fiz.-math. Ob-v Kazan. Un-ta", 1906, v. 15, br. 4, str. 135-56; B a s h e lier L., "Ann. Scient. Ecole norm, super.", 1900, v. 17, str. 21-86; Kolmogorov AN, "Math. Ann.", 1931, Bd 104, S. 415-458; ruski per .- "Uspekhi Matem. Nauk", 1938, c. 5, str. 5-41; Ch zhun Kai-lai, Homogeni Markovski lanci, trans. s engleskog, M., 1964; P e 1 1 er W., "Ann. Math.", 1954, v. 60, str. 417-36; Dynkin E.B., Yushkevich A.A., "Teorija verovatnoće. I njena primena", 1956, vol. 1, str. 149-55; X ant J.-A., Markovljevi procesi i potencijali, trans. s engleskog, M., 1962; Dellasher i K., Kapaciteti i slučajni procesi, trans. s franc., M., 1975; D y N to i E. V. N., Osnove teorije Markovljevih procesa, M., 1959; njegov, Markovljevi procesi, M., 1963; G i xm i I. I. N., S do oko r oko x oko d A. V., Teorija slučajnih procesa, t. 2, M., 1973; Freidlin M.I., u knjizi: Rezultati nauke. Teorija vjerovatnoće je važna posebna vrsta slučajnih procesa. Primer Markovljevog procesa je raspad radioaktivne supstance, pri čemu verovatnoća raspada datog atoma u kratkom vremenskom periodu ne zavisi od toka procesa u prethodnom periodu. Veliki enciklopedijski rječnik
Markovljev proces je slučajni proces, čija evolucija nakon bilo koje vrijednosti vremenskog parametra ne ovisi o prethodnoj evoluciji, pod uvjetom da je vrijednost procesa u ovom trenutku fiksna ("budućnost" procesa nije . .. ... Wikipedia
Markov proces- 36. Markovljev proces Napomene: 1. Uslovna gustina vjerovatnoće naziva se gustina vjerovatnoće prijelaza iz stanja xn 1 u trenutku tn 1 u stanje xn u trenutku tn. Kroz njega se gustoće vjerovatnoće proizvoljnog ... ... Rječnik-priručnik pojmova normativne i tehničke dokumentacije
Markov proces- Markovo procesas statusas T sritis automatika atitikmenys: angl. Markovprocess vok. Markovprozeß, m rus. Markov proces, m; Markov proces, m pranc. processus markovien, m ... Automatikos terminų žodynas
Markov proces- Markovo vyksmas statusas T sritis fizika atitikmenys: angl. Markov proces; Markovi proces vok. Markow Prozeß, m; Markowscher Prozeß, m rus. Markov proces, m; Markov proces, m pranc. processus de Markoff, m; processus marcovien, m;…… Fizikos terminų žodynas
Važna posebna vrsta slučajnih procesa. Primer Markovljevog procesa je raspad radioaktivne supstance, gde verovatnoća raspada datog atoma u kratkom vremenskom periodu ne zavisi od toka procesa u prethodnom periodu. enciklopedijski rječnik
Važan poseban tip stohastičkih procesa (videti. Stohastički proces), koji su od velikog značaja u primeni teorije verovatnoće na različite grane prirodnih nauka i tehnologije. Raspad radioaktivne supstance može poslužiti kao primjer magnetskog polja. Velika sovjetska enciklopedija
Izvanredno otkriće u oblasti matematike, koje je 1906. godine napravio ruski naučnik A.A. Markov.