Jakie procesy można przypisać procesom Markowa. Procesy Markowa: przykłady

Struktura i klasyfikacja systemów kolejkowych

Systemy kolejkowe

Często istnieje potrzeba rozwiązania problemów probabilistycznych związanych z systemami kolejkowania (QS), których przykładami mogą być:

Kasy biletowe;

Warsztaty naprawcze;

Handel, transport, systemy energetyczne;

Systemy porozumiewania się;

Wspólność takich systemów ujawnia się w jedności metod matematycznych i modeli wykorzystywanych w badaniu ich działań.

Ryż. 4.1. Główne obszary zastosowania TMT

Strumień zgłoszeń serwisowych dociera do wejścia do QS. Na przykład klienci lub pacjenci, awarie sprzętu, rozmowy telefoniczne. Żądania są odbierane nieregularnie, w losowych momentach. Czas trwania usługi również jest losowy. Stwarza to nieprawidłowości w pracy QS, jest przyczyną jego przeciążeń i niedociążeń.

Systemy kolejkowe mają różne struktury, ale zazwyczaj można je rozróżnić cztery główne elementy:

1. Przychodzący strumień wniosków.

2. Akumulator (kolejka).

3. Urządzenia (kanały serwisowe).

4. Strumień wychodzący.

Ryż. 4.2. Ogólny schemat systemów kolejkowych

Ryż. 4.3. Model działania systemu

(strzałki pokazują momenty wpłynięcia reklamacji w

system, prostokąty - czas obsługi)

Rysunek 4.3a przedstawia model systemu z regularnym przepływem żądań. Ponieważ znany jest odstęp czasu między nadejściem zgłoszeń, czas obsługi dobierany jest tak, aby w pełni załadować system. Dla systemu ze stochastycznym przepływem klientów sytuacja jest zupełnie inna – klienci przybywają w różnym czasie, a czas obsługi jest również zmienną losową, którą można opisać pewnym prawem dystrybucji (rysunek 4.3 b).

W zależności od zasad tworzenia kolejki rozróżnia się następujące CMO:

1) systemy z awariami , w którym, gdy wszystkie kanały obsługi są zajęte, żądanie pozostawia system bez obsługi;

2) nielimitowane systemy kolejkowe w którym żądanie trafia do kolejki, jeśli w momencie jego nadejścia wszystkie kanały obsługi były zajęte;

3) systemy z oczekiwaniem i limitowaną kolejką , w którym czas oczekiwania jest ograniczony pewnymi warunkami lub występują ograniczenia dotyczące liczby wniosków w kolejce.

Rozważ cechy przychodzącego przepływu żądań.

Strumień żądań nazywa się stacjonarny , jeżeli prawdopodobieństwo, że określona liczba zdarzeń przypada na odcinek czasu o określonej długości zależy tylko od długości tego odcinka.

Strumień wydarzeń nazywa się przepływ bez konsekwencji jeśli liczba zdarzeń przypadających na pewien przedział czasu nie zależy od liczby zdarzeń przypadających na inne.

Strumień wydarzeń nazywa się zwyczajny jeśli jednoczesne przybycie dwóch lub więcej wydarzeń jest niemożliwe.

Strumień żądań nazywa się Poissona (lub najprostsze), jeśli ma trzy właściwości: stacjonarną, zwyczajną i nie ma konsekwencji. Nazwa wynika z faktu, że po spełnieniu określonych warunków liczba zdarzeń przypadających na dowolny ustalony przedział czasu zostanie rozłożona zgodnie z prawem Poissona.

Intensywność przepływ szkód λ to średnia liczba szkód pochodzących ze strumienia w jednostce czasu.

Dla przepływu stacjonarnego intensywność jest stała. Jeżeli τ jest średnią wartością odstępu czasu pomiędzy dwoma sąsiednimi klientami, to w przypadku przepływu Poissona prawdopodobieństwo przybycia usługi wynosi m prośby na określony czas T zdefiniowane przez prawo Poissona:

Czas między sąsiednimi roszczeniami rozkłada się wykładniczo z gęstością prawdopodobieństwa

Czas obsługi jest zmienną losową i jest zgodny z rozkładem wykładniczym z gęstością prawdopodobieństwa, gdzie μ jest natężeniem przepływu usługi, tj. średnia liczba żądań obsługiwanych w jednostce czasu,

Stosunek natężenia przepływu przychodzącego do natężenia przepływu usługi nazywamy rozruch systemu

System kolejkowy jest systemem typu dyskretnego ze skończonym lub przeliczalnym zbiorem stanów, a przejście systemu z jednego stanu do drugiego następuje skokowo w momencie wystąpienia zdarzenia.

Proces nazywa się proces stanu dyskretnego jeśli możliwe stany można z góry przenumerować, a przejście systemu ze stanu do stanu następuje niemal natychmiast.

Takie procesy są dwojakiego rodzaju: z czasem dyskretnym lub ciągłym.

W przypadku czasu dyskretnego przejścia ze stanu do stanu mogą następować w ściśle określonych godzinach. Procesy o czasie ciągłym różnią się tym, że przejście systemu do nowego stanu jest możliwe w każdej chwili.

Proces losowy to korespondencja, w której każdej wartości argumentu (w tym przypadku momentowi z przedziału czasu eksperymentu) przypisana jest zmienna losowa (w tym przypadku stan QS). Losowa wartość jest wielkością, która w wyniku doświadczenia może przyjąć jedną, z góry nieznaną, jaką, z danego zbioru liczbowego wartość liczbową.

Dlatego, aby rozwiązać problemy teorii kolejek, konieczne jest zbadanie tego losowego procesu, tj. zbudować i przeanalizować jego model matematyczny.

Proces losowy nazywa Markowa jeśli w dowolnym momencie probabilistyczna charakterystyka procesu w przyszłości zależy tylko od jego stanu w danym momencie, a nie od tego, kiedy i jak układ doszedł do tego stanu.

Przejścia systemu ze stanu do stanu następują pod wpływem działania niektórych przepływów (przepływ żądań, przepływ odmów). Jeśli wszystkie strumienie zdarzeń, które wprowadzają system w nowy stan, są najprostszymi strumieniami Poissona, to procesem zachodzącym w systemie będzie Markow, ponieważ najprostszy strumień nie ma konsekwencji: przyszłość w nim nie zależy od po. - grupa figur szachowych. Stan układu charakteryzuje się liczbą pionków przeciwnika pozostających w danej chwili na planszy. Prawdopodobieństwo, że w danej chwili przewaga materialna będzie po stronie któregoś z przeciwników, zależy przede wszystkim od stanu układu w danym momencie, a nie od tego, kiedy iw jakiej kolejności pionki zniknęły z planszy do chwili.

Proces losowy x(T), cycek nazywa Markowa, Jeśli w ogóle t ja< t 2< ... < t n, należący do regionu T, rozkład warunkowy zmiennej losowej X (t n) w odniesieniu do X (t 1),. ... ., X (t n -1) pokrywa się z funkcją warunkowego rozkładu X (t n) stosunkowo X (t n -1) w tym sensie, że dla dowolnego x n ОX równość

Rozpatrzenie definicji (3.1.1) z sukcesywnie rosnącym n pozwala ustalić, że dla procesów losowych Markowa n-wymiarową dystrybuantę można przedstawić w postaci

Podobnie własność Markowa (3.1.1), (3.1.2) można zapisać dla gęstości prawdopodobieństwa

Zatem dla procesu Markowa funkcja rozkładu lub gęstość prawdopodobieństwa dowolnego wymiaru n można znaleźć, jeśli znana jest jego jednowymiarowa gęstość prawdopodobieństwa t = t 1 i sekwencja warunkowych gęstości dla momentów t i> t 1, i= Ta cecha zasadniczo determinuje praktyczną wygodę aparatu procesów losowych Markowa.

W przypadku procesów Markowa ogólna klasyfikacja podana w sekcji 1.1 jest całkowicie ważna. Zgodnie z tą klasyfikacją zwykle rozróżnia się cztery główne typy procesów Markowa:

- Łańcuchy Markowa- procesy, w których jako przedział wartości X, i zakres T- zestawy dyskretne;

- Sekwencje Markowa- procesy, w których zakres wartości x- ciągła i dziedzina definicji T-zestaw dyskretny;

- dyskretne procesy Markowa- procesy, w których zakres wartości x- dyskretny, a domena definicji T- zestaw ciągły;

- procesy Markowa o wartości ciągłej- procesy, w których jako przedział wartości X, i zakres T- zestawy ciągłe.

Możliwe są również bardziej złożone typy procesów Markowa, na przykład dyskretno-ciągłe, gdy losowy proces X(t) dla niektórych wartości argumentu t ma skoki, a w odstępach między nimi zachowuje się jak wartość ciągła. Takie procesy nazywane są mieszanymi. Podobna sytuacja ma miejsce w przypadku wektorowych procesów Markowa – poszczególne składniki takiego procesu mogą być różnego typu. Procesy tego typu złożonego nie są dalej rozważane.

Należy zauważyć, że w badaniu procesów Markowa tradycyjnie przyjmuje się, że argument t jest rozumiany jako czas. Ponieważ założenie to nie ogranicza ogólności i przyczynia się do jasności prezentacji, taka interpretacja fizycznego znaczenia argumentu T i została przyjęta w niniejszym rozdziale.

SIECI MARKOWA

Niech losowy proces X(t) może wziąć udział w finale (L< ) множество значений

(Q ja, ja= } = C. Wartość konkretna q ja; Î Z, który proces przyjął X(t) W tym momencie T, definiuje to stan: schorzenie dla danej wartości argumentu. W ten sposób,

w rozpatrywanym przypadku proces X(t) ma skończony zbiór możliwych stanów.

Oczywiście z biegiem czasu proces X(t) losowo zmieni swój stan. Załóżmy, że taka zmiana nie jest możliwa dla nikogo t, i tylko w niektórych dyskretnych momentach t 0 X(t) nagle zmienia swój stan. Innymi słowy, w chwilach czasu t t odbywać się przejścia X (t 0) ®X (t 1) ®... oraz X (t) C, i= 0,1,2,…

Te dwie cechy określają sekwencję dyskretnych zmiennych losowych X i - X (t i), i= 0,1, ... (dyskretny ciąg losowy w rozumieniu sekcji 1.1), którego zakres wartości jest zbiorem dyskretnym skończonym С = (q l, l = ], a dziedzina definicji - zbiór dyskretny nieskończony ja, ja= 0,1, 2,...

Jeżeli dla tak zdefiniowanego dyskretnego ciągu losowego obowiązuje główna własność (3.1.1) procesów Markowa, która w tym przypadku przyjmuje postać

wtedy taka sekwencja nazywa się prostym łańcuchem Markowa.

Zauważ, że wyrażenie (3.2.1) od razu implikuje:

ta sama równość dla warunkowych prawdopodobieństw znalezienia

prosty łańcuch Markowa w pewnym stanie

P (x 1 / x 0, x 1, ..., x i -1) = Ρ (x i / x i -1), i= 1,2,....

Wprowadzona definicja pozwala na pewną generalizację. Załóżmy, że wartość x i Î С rozważany proces X(t) zależy nie od jednego, ale od m (l £ m< i) wartości bezpośrednio go poprzedzające. Wtedy jest oczywiste, że

Proces określony relacją (3.2.2) nazywa się złożony łańcuch Markowa rzędu tzw Relacja (3.2.1) wynika z (3.2.2) jako przypadku szczególnego. Z kolei złożony łańcuch zamówień Markowa T można zredukować do prostego łańcucha Markowa dla m-wymiarowego wektora. Aby to pokazać, zakładamy, że stan procesu w chwili obecnej ja ja jest opisany za pomocą m-wymiarowego wektora.

(3.2.3)

W poprzednim kroku podobny wektor zostanie zapisany jako

Porównanie (3.2.3) i (3.2.4) pokazuje, że „średnie” składowe tych wektorów (z wyjątkiem X l w (3.2.3) i X l - m w (3.2.4)) pokrywają się. Z tego wynika, że warunkowe prawdopodobieństwo trafienia w proces X(t) do stanu `X i w chwili t 1, gdyby był w stanie` X i -1 w chwili ti -1, można zapisać jako

W (3.2.5) symbol oznacza j-tą składową wektora ` xi;α (μ, ν) to symbol Kroneckera: α (μ, ν) = 1 dla ν = μ i α (μ, ν) = ϋ dla μ ¹ν. Możliwość tych uogólnień pozwala nam ograniczyć się dalej do rozważania tylko prostych łańcuchów Markowa.

Jako system dyskretnych zmiennych losowych, prosty łańcuch Markowa X i, i = 0, 1, 2, ..., i, ... dla dowolnego ustalonego i może być wyczerpująco opisany przez i-wymiarowe prawdopodobieństwo łączne

ρ {0 L, , ..., ί m,) = P ( X 0 =θ L, X 1 = θ k,…, X j = θ m}, (3.2.6)

gdzie indeksy ja, k, ..., t weź wszystkie wartości od 1 do L niezależnie od siebie. Wyrażenie (3.2.6) definiuje macierz z L wiersze i kolumny i+1, których elementami są prawdopodobieństwa współistnienia układu zmiennych losowych Χ 0, Χ 1, ..., Χ ί w jakimś konkretnym stanie. Macierz tę, przez analogię z szeregiem dystrybucyjnym skalarnej dyskretnej zmiennej losowej, można nazwać macierzą dystrybucyjną układu dyskretnych zmiennych losowych

0, 1, ..., .

Na podstawie twierdzenia o mnożeniu prawdopodobieństwa prawdopodobieństwo (3.2.6) można przedstawić jako

Ale zgodnie z główną właściwością (3.2.1) łańcucha Markowa

P (X l= m / X 0 = l, X 1 = k, ..., X i -1 = r) = P (X i = m / X i -1 = r)

Powtórzenie podobnego rozumowania dla prawdopodobieństwa zawartego w (3.2.8) r) pozwala zredukować to wyrażenie do postaci

Z tego w końcu otrzymujemy

(3.2.9)

Tak więc pełny opis probabilistyczny prostego łańcucha Markowa uzyskuje się poprzez określenie prawdopodobieństw stanu początkowego łańcucha w chwili t 0,Ρ{Θ 0 ja,) = P (X 0 = l}, l = i prawdopodobieństw warunkowych

(X ja= Θ k / X i-1 = Θ m), i = 1, 2,. .. · k, m =

Zauważ, że ponieważ możliwe stany Θ l „C” więzy x(t) są ustalone i znane, aby opisać ich stan w dowolnym momencie wystarczy wskazać liczbę ja ten stan. Pozwala to na wprowadzenie dla bezwarunkowych prawdopodobieństw znalezienia łańcucha w ja-ty stan w czasie t i (w i-ty krok) notacja uproszczona

Prawdopodobieństwa te mają oczywiście właściwości nieujemności i normalizacji do jedności

P ja(i)>0,ja = , i = 0, 1,2,...; (3.2.11)

W przypadku zapisu macierzowego zbiór prawdopodobieństw bezwarunkowych zapisywany jest w postaci macierzy wierszy

(3.2.12)

Jak wynika z powyższego, fundamentalną rolę w teorii łańcuchów Markowa (i ogólnie procesów Markowa) odgrywają prawdopodobieństwa warunkowe formy. Zgodnie z ich fizycznym znaczeniem są one zwykle nazywane prawdopodobieństwa przejścia i oznacz jako

Wyrażenie (3.2.13) określa prawdopodobieństwo dojścia łańcucha do stanu ja, w czasie t w krokach ν - μ, pod warunkiem, że w czasie t μ łańcuch był w stanie A. Łatwo zauważyć, że prawdopodobieństwa przejścia mają również właściwości nieujemności i normalizacji, ponieważ na każdym etapie łańcuch zawsze będzie znajdował się w jednym z L możliwe stany

(3.2.14)

Uporządkowany zbiór prawdopodobieństw przejścia dla dowolnej pary można przedstawić jako macierz kwadratową

(3.2.15)

Jak wynika z wyrażenia (3.2.14), wszystkie elementy tej macierzy są nieujemne, a suma elementów każdego wiersza jest równa jeden. Macierz kwadratowa o wskazanych właściwościach nazywa się stochastyczny.

Zatem probabilistyczny opis łańcucha Markowa może być podany przez macierz wierszy (3.2.12) i macierz stochastyczną (3.2.15).

Korzystając z wprowadzonej notacji rozwiązujemy główny problem teorii łańcuchów Markowa - definiujemy prawdopodobieństwo bezwarunkowe Ρ ja(ί) fakt, że w krokach i -μ proces dojdzie do pewnego stanu ja, ja=. Jest oczywiste, że w chwili t m proces może znajdować się w dowolnym z L możliwych stanów z prawdopodobieństwem Pk (m), k= . Prawdopodobieństwo przejścia z k-ty v ja-ty stan określa prawdopodobieństwo przejścia p k l (m, ja)... Stąd na podstawie twierdzenia o całkowitym prawdopodobieństwie otrzymujemy

; (3.2.16)

lub w formie macierzowej

P ( i) = P (m) P (m, i); (3.2.17)

Rozważmy w związku (3.2.16) prawdopodobieństwo przejścia π kl (m, i). Oczywiste jest, że przejście łańcucha ze stanu k W tym momencie t m w stanie ja W tym momencie t ja w kilku krokach można przeprowadzić na różne sposoby (poprzez różne stany pośrednie). Weźmy pod uwagę pośredni moment czasowy t m, t m Β w tym momencie proces może przebiegać w dowolnym z L możliwych stanów i prawdopodobieństwa jego wpadnięcia w stan r-ty w danym momencie t m pod warunkiem, że w tej chwili t m on był w stanie k, jest równe π kr (μ, m). Z kolei od państwa r w stanie ja proces przebiega z prawdopodobieństwem π rl(m , i). Stąd, korzystając z twierdzenia o prawdopodobieństwie całkowitym, otrzymujemy równanie Markowa dla prawdopodobieństw przejścia

którego forma macierzowa to

P (m, ί) = P (μ, m) P (m, ja); 0 zł mln < m < I; (3.2.19)

Równania (3.2.18), (3.2.19) określają własność prawdopodobieństw przejścia charakterystycznych dla łańcuchów Markowa, chociaż ważność (3.2.18) jest nadal niewystarczająca, aby odpowiadający łańcuch był Markowa.

Wypisując kolejno wzór (3.2.19) otrzymujemy

П (μ, i) = (μ, i - 1) P (i- 1, ί) = П (μ, μ + 1) ... П (ί - 1, i), (3.2.20)

gdzie p (ν, μ), μ -n = 1- jeden krok prawdopodobieństwo przejścia. Teraz ustawiając μ = 0 w wyrażeniu (3.2.17), otrzymujemy

(3.2.21)

stąd wynika, że pełny opis probabilistyczny prostego łańcucha Markowa uzyskuje się przez określenie prawdopodobieństw stanu początkowego i sekwencji macierzy prawdopodobieństwa przejść jednoetapowych.

Oczywiście właściwości łańcucha Markowa są w dużej mierze zdeterminowane przez właściwości prawdopodobieństw przejścia. Z tego punktu widzenia, w szczególności, wśród prostych łańcuchów Markowa można wyróżnić jednorodny, dla których prawdopodobieństwa przejścia zależą tylko od różnicy argumentów

P kl(m, i) = p kl(i-m), i> m> 0; (3.2.22)

i nie zależą od numeru kroku. Wszystkie inne typy prostych łańcuchów Markowa, które nie spełniają warunku (3.2.22) należą do klasy heterogeniczny ,.

Ponieważ dla łańcucha jednorodnego prawdopodobieństwo przejścia zależy tylko od różnicy argumentów i nie zależy od numeru kroku, oczywiste jest, że dla dowolnych par (μ, m), ( J,i) spełniające warunki T- μ = 1, ί- j = 1, mi, sprawiedliwy

P kl(m-m) = p kl(i-j) = p kl(1) = p kl;

Wynika z tego, że aby opisać jednorodny łańcuch Markowa wystarczy podać wraz z prawdopodobieństwami stanu początkowego nie ciąg, ale jedną macierz stochastyczną jednostopniowych prawdopodobieństw przejścia

(3.2.23)

Co więcej, oczywiste jest, że

(3.4.7)

ponieważ pierwszy czynnik pod całką nie zależy od zmiennej całkowania, a całka drugiego jest równa jedności. Odjęcie równania (3.4.7) od (3.4.6) daje

Załóżmy, że gęstość prawdopodobieństwa przejścia rozważanego procesu można rozszerzyć w szereg Taylora. Wtedy wyrażenie w nawiasach kwadratowych pod całką w równaniu (3.4.8) można przedstawić jako

Podstawiając wyrażenie (3.4.9) do (3.4.8), dzieląc obie strony wynikowego wyrażenia przez ∆ T i przechodząc do granicy jako Δt → 0, otrzymujemy

Równanie (3.4.10) definiuje szeroką klasę ciągłych procesów Markowa i łatwo zauważyć, że zbiór współczynników A ν (x 0, t 0) określa właściwości fizyczne każdego z nich. Tak więc współczynnik A 1 (x 0, t 0) można interpretować jako średnią wartość lokalną (w punkcie x(t 0)) szybkość zmian procesu, współczynnik A 2 (x 0, t 0)- jako lokalna szybkość zmian w wariancji jej przyrostu itp. Jednak procesy Markowa o tej ogólnej postaci są stosunkowo rzadko uwzględniane w zastosowaniach. Podzbiór procesów Markowa spełniających warunek

Av (x 0, t 0) ¹0; n = 1,2, AV (x 0, t 0) = 0, n³3;(3.4.12)

W badaniu procesów Markowa początkowo ustalono, że równanie (3.4.10) pod warunkiem (3.4.12) spełnia prawa ruchu (dyfuzji) cząstek Browna, w wyniku czego nazwano odpowiednie procesy Markowa dyfuzja. Na tej podstawie współczynnik A 1 (x 0, t 0) = a (x 0, t 0) o imieniu współczynnik dryfu, о A 2 (x 0, t 0) = b (x 0, t 0) - współczynnik dyfuzji. W ramach (3.4.12) równanie (3.4.10) przybiera postać ostateczną

To jest równanie, w którym zmienne są x 0 a t 0 nazywa się pierwsze (odwrotne) równanie Kołmogorowa.

Drugie równanie można otrzymać w podobny sposób

To równanie, na cześć naukowców, którzy jako pierwsi je badali, nazywa się równanie Fokkera,- Deska- Kołmogorów lub bezpośrednie równanie Kołmogorowa(ponieważ zawiera pochodną względem chwili końcowej czasu t>t 0).

W ten sposób; wykazano, że gęstości prawdopodobieństwa przejścia procesów dyfuzyjnych Markowa spełniają równania (3.4.13), (3.4.14), które są głównym narzędziem ich badania. W tym przypadku właściwości konkretnego procesu są określane przez „współczynniki” a (x, tί) oraz b (x, t) które zgodnie z równaniem (3.4.11) są równe

Z wyrażeń (3.4.15), (3.4.16) wynika, że te „współczynniki” mają znaczenie warunkowych oczekiwań matematycznych, które określają charakter zmian w realizacji procesu w nieskończenie małym przedziale czasu Δt. Dozwolone są bardzo szybkie zmiany procesu X(t), ale w przeciwnych kierunkach, w wyniku czego średni przyrost procesu w krótkim czasie Δt jest skończony i ma rząd wielkości.

4. Modelowanie według schematu procesów stochastycznych Markowa

Do obliczenia parametrów numerycznych charakteryzujących obiekty stochastyczne konieczne jest zbudowanie pewnego modelu probabilistycznego zjawiska, uwzględniającego towarzyszące mu czynniki losowe. Do matematycznego opisu wielu zjawisk rozwijających się w postaci procesu losowego można z powodzeniem zastosować aparat matematyczny opracowany w teorii prawdopodobieństwa dla tzw. procesów losowych Markowa. Wyjaśnijmy tę koncepcję. Niech będzie jakiś system fizyczny S, którego stan zmienia się w czasie (w ramach systemu) S wszystko można zrozumieć: urządzenie techniczne, warsztat, komputer itp.). Jeśli stan S zmienia się w czasie w sposób losowy, mówią, że w systemie S ma miejsce losowy proces. Przykłady: proces działania komputera (przyjmowanie poleceń do komputera, rodzaj tych poleceń, przypadkowe awarie), proces celowania pocisku kierowanego (przypadkowe zakłócenia (ingerencja) w system sterowania pociskiem), proces obsługi klienta w salonie fryzjerskim lub naprawczym (losowy przepływ zgłoszeń (reklamacji) otrzymywanych od klientów).

Proces losowy nazywamy procesem Markowa (lub „procesem bez konsekwencji”), jeśli dla każdej chwili czasu t0 prawdopodobieństwo dowolnego stanu układu w przyszłości (dla T> T0 ) zależy tylko od jego stanu w teraźniejszości (dla T= T0 ) i nie zależy od tego, kiedy i jak system wszedł w ten stan (tj. jak proces rozwijał się w przeszłości). Pozwalać S urządzenie techniczne charakteryzujące się pewnym stopniem pogorszenia, S... Jesteśmy ciekawi, jak to będzie dalej działać. W pierwszym przybliżeniu, wydajność systemu w przyszłości (awarie, konieczność naprawy) zależy od stanu urządzenia w chwili obecnej i nie zależy od tego, kiedy i w jaki sposób urządzenie osiągnęło swój obecny stan.

Teoria procesów losowych Markowa to obszerny dział teorii prawdopodobieństwa o szerokim zakresie zastosowań (zjawiska fizyczne takie jak dyfuzja czy mieszanie wsadu podczas topienia w wielkim piecu, procesy kolejkowania).

4.1. Klasyfikacja procesów Markowa

Procesy stochastyczne Markowa dzielą się na klasy. Pierwszą cechą klasyfikacyjną jest charakter spektrum stanów. Proces losowy (SP) nazywamy procesem ze stanami dyskretnymi, jeśli możliwe stany układu S1,S2,S3... można wymienić, a sam proces polega na tym, że od czasu do czasu układ S przeskakuje (natychmiastowo) z jednego stanu do drugiego.

Przykład. Urządzenie techniczne składa się z dwóch węzłów I i II, z których każdy może ulec awarii. Stany: S1- oba węzły działają; S2- pierwszy węzeł uległ awarii, drugi działa; S 3 - drugi węzeł uległ awarii, pierwszy działa; S4- oba węzły uległy awarii.

Istnieją procesy ze stanami ciągłymi (płynne przejście ze stanu do stanu), np. zmiana napięcia w sieci oświetleniowej. Rozważymy tylko SP ze stanami dyskretnymi. W takim przypadku wygodnie jest skorzystać z grafu stanów, w którym możliwe stany układu oznaczono węzłami, a ewentualne przejścia łukami.

Drugą cechą klasyfikacyjną jest charakter funkcjonowania w czasie. SP nazywamy procesem z czasem dyskretnym, jeśli przejście systemu ze stanu do stanu jest możliwe tylko w ściśle określonych, z góry ustalonych czasach: t1,t2 ...... Jeżeli przejście układu ze stanu do stanu jest możliwe w dowolnym wcześniej nieznanym momencie losowym, to mówimy o SP o czasie ciągłym.

4.2. Obliczanie dyskretnego łańcucha Markowa

S stan dyskretny S1,S2, ...Sn i dyskretny czas t1,t2, ...,tk, ...(kroki, kroki procesu, SP mogą być postrzegane jako funkcja argumentu (numer kroku)). W ogólnym przypadku SC polega na tym, że występują przejścia S1® S1® S2® S3® S4® S1® … w kilka chwil t1,t2,t3 ....

Będziemy oznaczać wydarzenie, które po k- kroki, w których system jest w stanie Si... Dla każdego k wydarzenia https://pandia.ru/text/78/060/images/image004_39.gif "width =" 159 "height =" 25 src = ">.

Ta losowa sekwencja zdarzeń nazywana jest łańcuchem Markowa. Opiszemy łańcuch Markowa (MC) za pomocą prawdopodobieństw stanów. Niech będzie prawdopodobieństwo, że po k- kroki, w których system jest w stanie Si... Łatwo to zauważyć " k DIV_ADBLOCK13 ">

.

Używam wydarzeń przedstawionych powyżej https://pandia.ru/text/78/060/images/image008_34.gif "width =" 119 "height =" 27 src = ">. Suma terminów w każdym wierszu macierz powinna być równa 1. Zamiast tego macierze prawdopodobieństwa przejścia często używają oznaczonego grafu stanu (oznaczają niezerowe prawdopodobieństwa przejścia na łukach, prawdopodobieństwa opóźnień nie są wymagane, ponieważ można je łatwo obliczyć, na przykład P11 = 1- (P12 +P13)). Dysponując oznaczonym grafem stanów (lub macierzą prawdopodobieństw przejść) i znając stan początkowy układu, możemy znaleźć prawdopodobieństwa stanów p1 (k),p2 (k), ...pn (k)" k.

Niech stan początkowy systemu Sm, następnie

p1 (0) = 0 p2 (0) = 0...pm (0) = 1 ...pn (0) = 0.

Pierwszy krok:

p1 (1) = Pm1, p2 (1) = Pm2,… Pm (1) = Pmm,..., pn (1) = Pmn.

Po drugim kroku, korzystając z wzoru na prawdopodobieństwo całkowite, otrzymujemy:

p1 (2) = p1 (1) P11 + p2 (1) P21 +… pn (1) Pn1,

pi (2) = p1 (1) P1i + p2 (1) P2i +… pn (1) Pni lubhttps://pandia.ru/text/78/060/images/image010_33.gif "width =" 149 "height =" 47 "> (ja = 1,2, ..n).

Do heterogeniczne MC prawdopodobieństwa przejścia zależą od numeru kroku. Oznaczamy prawdopodobieństwa przejścia dla kroku k przez .

Wtedy wzór na obliczanie prawdopodobieństw stanów przyjmuje postać:

.

4.3. Łańcuchy Markowa z ciągłym czasem

4.3.1. równania Kołmogorowa

W praktyce znacznie częściej zdarzają się sytuacje, gdy przejście systemu ze stanu do stanu następuje w losowych momentach, których nie da się z góry wskazać: np. awaria dowolnego elementu sprzętowego, zakończenie naprawy (przywrócenia) tego elementu. Do opisu takich procesów w wielu przypadkach można z powodzeniem zastosować schemat losowego procesu Markowa ze stanami dyskretnymi i ciągłym czasem, ciągły łańcuch Markowa. Pokażmy, jak wyrażane są prawdopodobieństwa stanów dla takiego procesu. Pozwalać S = (S1,S2, ...Sn). Oznaczmy przez Liczba Pi (T) jest prawdopodobieństwo, że w tej chwili T system S będzie w stanie). Oczywiście . Ustawmy zadanie - do ustalenia dla każdego TLiczba Pi (T)... Zamiast prawdopodobieństw przejścia Pidżi uwzględniamy gęstość prawdopodobieństwa przejścia

.

Jeśli nie jest zależny od T, mów o łańcuchu jednorodnym, w przeciwnym razie - o niejednorodnym. Daj nam znać dla wszystkich par stanów (podany jest oznaczony graf stanów). Okazuje się, że znając znakowany graf stanów można określić: p1 (T),p2 (T) ..pn (T) w funkcji czasu. Prawdopodobieństwa te spełniają pewien rodzaj równań różniczkowych (równania Kołmogorowa).

Całkowanie tych równań ze znanym stanem początkowym układu da pożądane prawdopodobieństwa stanu w funkcji czasu. Zauważ, że p1 +p2 +p3 +p4 = 1 i możesz sobie poradzić z trzema równaniami.

Zasady sporządzania równań Kołmogorowa... Po lewej stronie każdego równania znajduje się pochodna prawdopodobieństwa stanu, a prawa strona zawiera tyle wyrazów, ile jest strzałek powiązanych z danym stanem. Jeśli strzałka jest skierowana od państwa, odpowiedni członek ma znak minus, jeśli do państwa - znak plus. Każdy wyraz jest równy iloczynowi gęstości prawdopodobieństwa przejścia odpowiadającego danej strzałce pomnożonemu przez prawdopodobieństwo stanu, z którego pochodzi strzałka.

4.3.2. Strumień wydarzeń. Najprostszy strumień i jego właściwości

Rozważając procesy zachodzące w systemie o stanach dyskretnych i czasie ciągłym, często wygodnie jest wyobrazić sobie ten proces tak, jakby przejście systemu ze stanu do stanu następowało pod wpływem pewnych strumieni zdarzeń. Strumień wydarzeń to ciąg jednorodnych wydarzeń następujących po sobie w pewnych, ogólnie rzecz biorąc, przypadkowych momentach w czasie. (Przepływ połączeń do centrali telefonicznej; przepływ usterek (awarii) komputera; przepływ pociągów towarowych przyjeżdżających na stację; przepływ odwiedzających; przepływ strzałów wymierzonych w cel). Przebieg zdarzeń przedstawimy jako ciąg punktów na osi czasu ot... Pozycja każdego punktu na osi jest losowa. Strumień wydarzeń nazywa się regularny jeśli zdarzenia następują po sobie w ściśle określonych odstępach czasu (w praktyce zdarza się to rzadko). Rozważ specjalny rodzaj strumieni, w tym celu wprowadzamy szereg definicji. 1. Strumień wydarzeń nazywa się stacjonarny , jeżeli prawdopodobieństwo padania określonej liczby zdarzeń na odcinek czasu zależy tylko od długości odcinka i nie zależy od tego, gdzie dokładnie ten odcinek znajduje się na osi ot (jednorodność w czasie), to probabilistyczna charakterystyka takiego przepływ nie powinien się zmieniać z czasem. W szczególności tak zwana intensywność (lub gęstość) przepływu zdarzeń (średnia liczba zdarzeń w jednostce czasu) jest stała.

2. Strumień wydarzeń nazywa się przepływ bez konsekwencji jeżeli, dla dowolnych nienakładających się segmentów czasu, liczba zdarzeń przypadających na jeden z nich nie zależy od tego, ile zdarzeń przypadło na drugi (lub innych, jeśli brane są pod uwagę więcej niż dwa segmenty). Brak konsekwencji w strumieniu oznacza, że zdarzenia składające się na strumień pojawiają się w kolejnych momentach niezależnie od siebie.

3. Strumień wydarzeń nazywa się zwyczajny jeśli prawdopodobieństwo trafienia dwóch lub więcej zdarzeń w elementarny segment jest znikome w porównaniu z prawdopodobieństwem trafienia jednego zdarzenia (zdarzenia w strumieniu przychodzą jedno po drugim, a nie parami, trojaczkami itp.).

Strumień zdarzeń, który ma wszystkie trzy właściwości, nazywa się najprostszy (lub stacjonarny Poisson). Niestacjonarny przepływ Poissona ma tylko właściwości 2 i 3. Przepływ Poissona zdarzeń (zarówno stacjonarnych, jak i niestacjonarnych) jest ściśle powiązany z dobrze znanym rozkładem Poissona. Mianowicie liczba zdarzeń w strumieniu przypadających na dowolne miejsce jest rozłożona zgodnie z prawem Poissona. Wyjaśnijmy to bardziej szczegółowo.

Rozważ na osi OT, gdzie obserwowany jest strumień zdarzeń, pewien odcinek o długości t, rozpoczynający się w chwili T0 i kończące się w tej chwili T0 + T. Nietrudno udowodnić (dowód ten podaje się we wszystkich kursach z teorii prawdopodobieństwa), że prawdopodobieństwo trafienia dokładnie m zdarzeń w ten obszar wyraża się wzorem:

(m=0,1…),

gdzie a Jest to średnia liczba zdarzeń na segment t.

Dla stacjonarnego (najprostszego) przepływu Poissona a =jaT, czyli nie zależy od tego, gdzie na osi ot sekcja t jest zajęta. Dla niestacjonarnego przepływu Poissona, ilość a wyrażona wzorem

i dlatego zależy od tego, w którym momencie T0 zaczyna się sekcja t.

Rozważ na osi ot najprostszy strumień zdarzeń o stałym natężeniu l. Interesuje nas odstęp czasu T między zdarzeniami w tym strumieniu. Niech l będzie intensywnością (średnią liczbą zdarzeń w jednym czasie) przepływu. Gęstość dystrybucji F(T) zmienna losowa T(przedział czasu między sąsiadującymi zdarzeniami w strumieniu) F(T)= jami- jaT (T> 0) ... Prawo dystrybucji o takiej gęstości nazywa się wykładniczym (wykładniczym). Znajdź wartości liczbowe zmiennej losowej T: oczekiwanie matematyczne (średnia) i wariancja w lewo ">

Przedział czasowy T między sąsiednimi zdarzeniami w najprostszym przepływie rozkłada się zgodnie z prawem wykładniczym; jego wartość średnia i odchylenie standardowe są równe, gdzie l jest natężeniem przepływu. Dla takiego przepływu prawdopodobieństwo wystąpienia dokładnie jednego zdarzenia przepływu w elementarnym przedziale czasu ∆t wyraża się jako. Prawdopodobieństwo to nazwiemy „elementem prawdopodobieństwa wystąpienia zdarzenia”.

Dla niestacjonarnego przepływu Poissona, prawo rozkładu przedziału T nie będzie już wykładnicze. Forma tego prawa będzie zależeć po pierwsze od tego, gdzie na osi ot pierwsze ze zdarzeń jest umiejscowione, a drugie od rodzaju zależności. Jeżeli jednak zmienia się ona stosunkowo wolno, a jej zmiana w czasie między dwoma zdarzeniami jest niewielka, to prawo rozkładu odstępu czasu między zdarzeniami można w przybliżeniu uznać za orientacyjne, przyjmując w tym wzorze wartość równą średniej wartości w obszarze to nas interesuje.

4.3.3. Strumienie zdarzeń Poissona i

ciągłe łańcuchy markowa

Rozważ jakiś system fizyczny S = (S1,S2, ...Sn), który przechodzi od stanu do stanu pod wpływem zdarzeń losowych (wezwania, odmowy, strzały). Wyobraźmy sobie, że zdarzenia przenoszące system ze stanu do stanu są jakimś strumieniem zdarzeń.

Niech system S w tym momencie T jest w stanie Si i może przejść z tego do stanu Sj pod wpływem jakiegoś strumienia Poissona zdarzeń o intensywności jaij: jak tylko pojawi się pierwsze zdarzenie tego strumienia, system natychmiast przełączy się z Si v Sj..gif "width =" 582 "height =" 290 src = ">

4.3.4. Prawdopodobieństwa graniczne stanów

Niech będzie system fizyczny S = (S1,S2, ...Sn), w którym zachodzi losowy proces Markowa o ciągłym czasie (ciągły łańcuch Markowa). Udawajmy, że jaij =stały, czyli wszystkie strumienie zdarzeń są najprostsze (poisson stacjonarny). Zapisując układ równań różniczkowych Kołmogorowa dla prawdopodobieństw stanów i całkując te równania dla danych warunków początkowych, otrzymujemy p1 (T),p2 (T), ...pn (t), dla każdego T... Zadajmy kolejne pytanie, co się stanie z systemem S w T® ¥. Czy będą funkcje? Liczba Pi (T) dążyć do pewnych granic? Te granice, jeśli istnieją, nazywane są prawdopodobieństwami granicznymi stanów. Można udowodnić twierdzenie: jeśli liczba stanów S jest skończona i z każdego stanu można przejść (w jednej lub drugiej liczbie kroków) do siebie, to prawdopodobieństwa graniczne stanów istnieją i nie zależą na początkowym stanie systemu. Załóżmy, że podany warunek jest spełniony i istnieją graniczne prawdopodobieństwa (i = 1,2, ...n),.

Tak więc dla T® ¥ w systemie S ustala się pewien ograniczający reżim stacjonarny. Znaczenie tego prawdopodobieństwa: to nic innego jak średni względny czas, w którym system znajduje się w danym stanie. Liczyć Liczba Pi w układzie równań Kołmogorowa opisujących prawdopodobieństwa stanów wszystkie lewe strony (pochodne) muszą być równe 0. Układ otrzymanych liniowych równań algebraicznych należy rozwiązać razem z równaniem .

4.3.5. Schemat śmierci i reprodukcji

Wiemy, że mając do dyspozycji oznaczony etykietą graf stanu, możemy z łatwością napisać równania Kołmogorowa dla prawdopodobieństw stanów, a także pisać i rozwiązywać równania algebraiczne dla ostatecznych prawdopodobieństw. W niektórych przypadkach możliwe jest wcześniejsze rozwiązanie ostatnich równań w formie literowej. W szczególności można to zrobić, jeśli wykres stanu systemu jest tak zwanym „schematem śmierci i reprodukcji”.

https://pandia.ru/text/78/060/images/image044_6.gif "width =" 73 "height =" 45 src = "> (4.4)

Z drugiego, biorąc pod uwagę (4.4), otrzymujemy:

https://pandia.ru/text/78/060/images/image046_5.gif "width =" 116 "height =" 45 src = "> (4.6)

i ogólnie dla dowolnego k (od 1 do N):

https://pandia.ru/text/78/060/images/image048_4.gif "width =" 267 "height =" 48 src = ">

z tego otrzymujemy wyrażenie na p0.

(4. 8)

(podnieśliśmy nawias do potęgi -1, aby nie pisać ułamków dwupiętrowych). Wszystkie inne prawdopodobieństwa są wyrażone w postaci p0 (patrz wzory (4.4) - (4.7)). Zauważmy, że współczynniki p0 w każdym z nich są niczym innym jak kolejnymi wyrazami szeregu po jednostce we wzorze (4.8). Stąd obliczając p0, znaleźliśmy już wszystkie te współczynniki.

Otrzymane wzory są bardzo przydatne w rozwiązywaniu najprostszych problemów teorii kolejek.

Wśród różnych typów systemów, które nas otaczają: technicznych, informacyjnych, społecznościowych itp. interesują nas systemy powstające w procesach usługowych, w procesach usługowych. W matematyce stosowanej nazywa się je tak - systemy kolejkowe (QS). Aparat matematyczny do badania tych systemów jest od dawna rozwijany i umożliwia konstruowanie modeli takich systemów do opisu procesów usługowych oraz obliczania głównych cech funkcjonowania systemu w celu określenia jego sprawności. Aparat ten opiera się na teorii prawdopodobieństwa i teorii procesów stochastycznych. Rozważmy główne idee i koncepcje.
2.1. Elementy teorii procesów stochastycznych Markowa stosowane w modelowaniu systemów
Funkcja X(t) nazywa się losowy jeśli jego wartość dla dowolnego argumentu t jest zmienną losową.
Funkcja losowa X(t), której argumentem jest czas, nazywa się losowy proces.
Procesy Markowa są szczególnym rodzajem procesów losowych. Szczególne miejsce procesów Markowa wśród innych klas procesów losowych wynika z następujących okoliczności: dla procesów Markowa aparat matematyczny jest dobrze rozwinięty, co umożliwia rozwiązanie wielu problemów praktycznych, za pomocą procesów Markowa można opisać ( dokładnie lub w przybliżeniu) zachowanie raczej złożonych systemów.
Definicja. Losowy proces zachodzący w systemie S, nazywa Markowa, lub proces bez następstw, jeśli ma następującą właściwość: dla dowolnego momentu czasu t 0, prawdopodobieństwo dowolnego stanu układu w przyszłości zależy tylko od jego stanu w teraźniejszości i nie zależy od tego, kiedy i jak układ S wszedł w ten stan.
Klasyfikacja procesów Markowa. Klasyfikacja procesów losowych Markowa odbywa się w zależności od ciągłości lub dyskretności zbioru wartości funkcji X(t) i parametru t.
Istnieją następujące główne typy procesów losowych Markowa:
ze stanami dyskretnymi i czasem dyskretnym (łańcuch Markowa);
ze stanami ciągłymi i czasem dyskretnym (ciągi Markowa);
ze stanami dyskretnymi i ciągłym czasem (ciągły łańcuch Markowa);
ze stanem ciągłym i czasem ciągłym.

Rozważymy tylko procesy Markowa ze stanami dyskretnymi S 1 , S 2 , ..., S n .
Wykres stanu. Wygodnie jest zilustrować procesy Markowa stanami dyskretnymi za pomocą tzw. grafu stanów ( Ryż. 2,1), gdzie kółka oznaczają stany S 1, S 2 , ... systemy S, i strzałki - możliwe przejścia ze stanu do stanu.

Ryż. 2.1. Przykładowy wykres stanu systemuS
Na wykresie zaznaczone są tylko przejścia bezpośrednie, a nie przejścia przez inne stany. Ewentualne opóźnienia w poprzednim stanie są przedstawiane jako „pętla”, czyli strzałka skierowana z danego stanu do niego. Liczba stanów systemu może być skończona lub nieskończona (niepoliczalna).

PROCES MARKOWA
Proces bez następstw, - proces losowy, którego ewolucja po dowolnej wartości parametru czasu t nie zależy od ewolucji, która ją poprzedzała T, pod warunkiem, że wartość procesu w tym jest stała (w skrócie: „przyszłość” i „przeszłość” procesu nie zależą od siebie w przypadku znanej „teraźniejszości”).

Przyjmuje się, że definiująca właściwość M. p. jest nazywana. Markowa; po raz pierwszy został sformułowany przez AA Markowa. Jednak już w pracy L. Bacheliera można dostrzec próbę interpretacji Browniana jako M. p., Próbę, która została uzasadniona po badaniach N. Wienera (N. Wiener, 1923). A. N. Kolmogorov położył podwaliny pod ogólną teorię metryk czasu ciągłego.

Własność Markowa. Istnieją zasadniczo różne definicje M. przedmiotu, z których jedna z najbardziej rozpowszechnionych jest następująca. Niech losowy proces zostanie podany na przestrzeni prawdopodobieństwa z wartościami z mierzalnej przestrzeni gdzie T - podzbiór osi rzeczywistej Let N t(odpowiednio N t). istnieje s-algebra w generowane przez wielkości X (s). for gdzie Innymi słowy, N t(odpowiednio N t) to zbiór zdarzeń związanych z ewolucją procesu do czasu t (począwszy od t) . Proces X(t). Proces Markowa, jeśli (prawie na pewno) właściwość Markowa jest spełniona dla wszystkich:

lub, co jest takie samo, jeśli w ogóle

M. p., dla którego T jest zawarte w zbiorze liczb naturalnych, nazywa się. Łańcuch Markowa(jednak to drugie określenie najczęściej kojarzy się z przypadkiem co najwyżej policzalnego E) . Jeśli T jest przedziałem w, a Ene jest więcej niż policzalne, wywoływana jest M.p. Łańcuch Markowa z czasem ciągłym. Przykładami metryk czasu ciągłego są procesy dyfuzji i procesy z niezależnymi przyrostami, w tym procesy Poissona i Wienera.

Poniżej, dla jasności, omówimy tylko przypadek Wzory (1) i (2) dają jasną interpretację zasady niezależności „przeszłości” i „przyszłości” ze znaną „teraźniejszością”, ale definicja formuły matematycznej na ich podstawie okazała się niewystarczająco elastyczna w te liczne sytuacje, w których konieczne jest uwzględnienie nie jednego, ale zestawu warunków typu (1) lub (2), odpowiadających różnym, choć w pewien sposób uzgodnionym środkom. Takie rozważania doprowadziły do przyjęcia następującej definicji (zobaczyć,).

Niech podane:

a) gdzie s-algebra zawiera wszystkie zbiory jednopunktowe w E;

b) mierzalne wyposażone w rodzinę s-algebr tak, że jeśli

v) (" ") x t = xT(w) , definiowanie dla dowolnego mierzalnego mapowania

d) dla każdego i miarę prawdopodobieństwa na s-algebrze taką, że funkcja mierzalne względnie jeśli i

W zestawie jest tzw. (niekończący się) proces Markowa podany w if -prawie pewny

cokolwiek jest Oto przestrzeń zdarzeń elementarnych, czy przestrzeń fazowa czy przestrzeń stanów, P ( s, x, t, B)- funkcja przejściowa lub prawdopodobieństwo przejścia procesu X (t) . Jeśli En jest wyposażony w topologię i jest zbiorem Borel zestawia się w MI, wtedy zwyczajowo mówi się, że M. p. jest podane w MI. Zwykle definicja M.p. zawiera wymaganie, które należy interpretować jako prawdopodobieństwo, pod warunkiem, że: xs = x.

Powstaje pytanie: czy jakakolwiek funkcja przejścia Markowa P ( s, x;telewizja), dane w przestrzeni mierzalnej można traktować jako funkcję przejścia pewnego M. p. Odpowiedź jest twierdząca, jeśli np. E jest separowalną lokalnie zwartą przestrzenią i jest zbiorem zbiorów borelowskich w MI. Ponadto niech E - pełna metryka przestrzeń i niech
dla każdego gdzie
a jest dopełnieniem e-sąsiedztwa punktu X. Wtedy można przyjąć, że odpowiadająca jej przestrzeń liniowa jest ciągła po prawej stronie i mająca granice po lewej stronie (czyli można wybrać jej trajektorie jako takie). Istnienie ciągłej przestrzeni liniowej zapewnia warunek (patrz). W teorii metafor główny nacisk kładzie się na procesy jednorodne (w czasie). Odpowiednia definicja zakłada dany system przedmioty a) - d) z tą różnicą, że dla parametrów s i u, które pojawiły się w jego opisie, dozwolona jest teraz tylko wartość 0. Notacja jest również uproszczona:
Ponadto postuluje się jednorodność przestrzeni W, tj. wymagane jest, aby dla dowolnego było takie, że (w) dla Z tego powodu na s-algebrze N, najmniejsza z s-algebr w W zawierająca dowolne zdarzenie postaci operatory przesunięcia w czasie q T, które zachowują operacje sumowania, przecinania i odejmowania zbiorów i dla których

W zestawie jest tzw. (niekończący się) jednorodny proces Markowa zdefiniowany w jeśli -prawie na pewno

dla funkcji przejściowej procesu X (t) P ( t, x, B), ponadto jeśli nie ma specjalnych zastrzeżeń, dodatkowo wymagają, aby pamiętać, że przy sprawdzaniu (4) wystarczy brać pod uwagę tylko zestawy postaci, w których i że w (4) zawsze F t można zastąpić s-algebrą równą przecięciu uzupełnień F t przez wszystkie możliwe miary. Często miara prawdopodobieństwa m ("początkowa") jest ustalona i rozważana jest losowa funkcja Markowa gdzie jest miara podana przez równość?

M. n. Called. mierzalne progresywnie, jeśli dla każdego t> 0 funkcja indukuje mierzalne w gdzie jest s-algebrą

Podzbiory borelowskie w . Prawe ciągłe przestrzenie liniowe są mierzalne progresywnie. Istnieje sposób na zredukowanie przypadku niejednorodnego do jednorodnego (patrz), a następnie będziemy mówić o jednorodnym M. s.

Rygorystycznie. Niech M. p. będzie podane w mierzalnej przestrzeni.

Funkcja jest wywoływana. moment Markowa, Jeśli dla wszystkich W tym przypadku są one odnoszone do rodziny F t if w (najczęściej F t jest interpretowane jako zbiór zdarzeń związanych z ewolucją X (t). Do momentu t). Aby uwierzyć

Progresywnie mierzalny M. p. Xnaz. ściśle proces Markowa (s.m.p.) jeśli dla dowolnego momentu Markowa m i wszystkie i stosunek

(własność stricte Markowa) trzyma się prawie na pewno na zbiorze W t. Przy sprawdzaniu (5) wystarczy wziąć pod uwagę tylko zbiory postaci, w których w tym przypadku przestrzenią średnika jest na przykład dowolna prawa ciągła przestrzeń Fellera w przestrzeni topologicznej. przestrzeń MI. M. n. Called. Proces Fellera Markowa, jeśli funkcja

jest ciągła, gdy f jest ciągła i ograniczona.

W klasie z. m. n. przydzielane są pewne podklasy. Niech Markow P ( t, x, B), podane w metrycznej lokalnie zwartej przestrzeni MI, stochastycznie ciągły:

dla dowolnego sąsiedztwa U każdego punktu Następnie, jeśli operatory przyjmują funkcje ciągłe, które zanikają w nieskończoności w sobie, to funkcje P ( t, x, B) odpowiada standardowa M.p. X, tj. ciągła po prawej stronie s. m., dla którego
oraz - prawie na pewno na planie a - nie malejące momenty pmarkowa ze wzrostem.
Przerwanie procesu Markowa. Często fizyczne. Wskazane jest opisanie układów za pomocą niekończącej się przestrzeni liniowej, ale tylko w przedziale czasu o losowej długości. Ponadto nawet proste przekształcenia przestrzeni liniowej mogą prowadzić do procesu o trajektoriach podanych na losowym przedziale (patrz rozdz. Funkcjonalny z procesu Markowa). Kierując się tymi rozważaniami, wprowadzają pojęcie kończącego M.p.

Niech będzie jednorodną przestrzenią liniową w przestrzeni fazowej z funkcją przejścia i niech będzie punkt i funkcja tak, że na i inaczej (jeśli nie ma specjalnych zastrzeżeń, rozważ). Nowa trajektoria x t(w) jest podane tylko dla) za pomocą równości a F t zdefiniowany jak w zestawie

Ustaw gdzie nazywa kończący proces Markowa (omp) uzyskany przez zakończenie (lub zabicie) w czasie z. Wielkość z jest nazywana. moment złamania, czyli czas życia, oh. m.s. Przestrzeń fazowa nowego procesu to miejsce, w którym znajduje się ślad s-algebry w MI. Funkcja przejściowa o. m.p. to zawężenie do zbioru Proces X(t). ściśle proces Markowa lub standardowy proces Markowa, jeśli odpowiadającą mu właściwość posiada niekończący M. p. można uznać za a. m. od momentu przerwy.Niejednorodny o. m. określa się w podobny sposób. M.

Procesy Markowa i. Układy matematyczne typu ruchu Browna są ściśle związane z równaniami różniczkowymi parabolizmu. rodzaj. Przejściowe p (s, x, t, y procesu dyfuzji spełnia, przy pewnych dodatkowych założeniach, równania różniczkowe odwrotne i różniczkowe proste Kołmogorowa:

Funkcja p ( s, x, t, y Istnieje funkcja Greena dla równań (6) - (7), a pierwsze znane metody konstruowania procesów dyfuzji opierały się na twierdzeniach o istnieniu tej funkcji dla równań różniczkowych (6) - (7). Dla procesu jednorodnego w czasie L ( s, x)= L(x) na gładkich funkcjach pokrywa się z charakterystyką. operator M. p. (patrz. Półgrupa operatorów przejścia).

Matematyczny. oczekiwania różnych funkcjonałów z procesów dyfuzji służą jako rozwiązania odpowiednich problemów z wartościami brzegowymi dla równania różniczkowego (1). Niech to będzie matematyczne. oczekiwanie w mierze Wtedy funkcja spełnia s równanie (6) i warunek

Podobnie funkcja

spełnia s równanie

i warunek i 2 ( T, x) = 0.

Niech to będzie moment pierwszego dotarcia do granicy dD obszary trajektoria procesu Następnie pod pewnymi warunkami funkcja

spełnia równanie

i pobiera wartości cp na zestawie

Rozwiązanie pierwszego zagadnienia brzegowego dla ogólnej paraboli liniowej. Równania drugiego rzędu

przy dość ogólnych założeniach można zapisać w postaci

W przypadku, gdy L i funkcje s, f nie polegaj na s, reprezentacja podobna do (9) jest również możliwa dla rozwiązania liniowej eliptyki. równania. Dokładniej, funkcja

przy pewnych założeniach pojawiają się problemy

W przypadku, gdy operator L ulega degeneracji (del b ( s, x) = 0 ).lub dD niewystarczająco „dobre”, wartości brzegowe mogą nie być akceptowane przez funkcje (9), (10) w oddzielnych punktach lub na całych zbiorach. Pojęcie regularnego punktu granicznego dla operatora L ma interpretację probabilistyczną. W regularnych punktach granicy wartości brzegowe osiągają funkcje (9), (10). Rozwiązanie problemów (8), (11) pozwala na badanie właściwości odpowiednich procesów dyfuzji i ich funkcjonałów.

Istnieją metody konstruowania równania liniowego, które nie są oparte na konstrukcji rozwiązań równań (6), (7), na przykład. metoda stochastyczne równania różniczkowe, absolutnie ciągła zmiana miary itp. Ta okoliczność, wraz ze wzorami (9), (10), pozwala na probabilistyczny sposób konstruowania i badania własności zagadnień brzegowych dla równania (8), a także własności rozwiązania odpowiedniej eliptyki. równania.

Ponieważ rozwiązanie stochastycznego równania różniczkowego jest niewrażliwe na degenerację macierzy b ( s, x), następnie Do konstrukcji zdegenerowanych równań różniczkowych eliptycznych i parabolicznych wykorzystano metody probabilistyczne. Rozszerzenie zasady uśredniania N.M. Kryłowa i N.N.Bogolyubova na stochastyczne równania różniczkowe umożliwiło uzyskanie odpowiednich wyników dla równań różniczkowych eliptycznych i parabolicznych za pomocą (9). Niektóre trudne problemy badania własności rozwiązań tego typu równań z małym parametrem przy największej pochodnej okazały się możliwe do rozwiązania za pomocą rozważań probabilistycznych. Znaczenie probabilistyczne ma również rozwiązanie drugiego zagadnienia brzegowego dla równania (6). Stwierdzenie problemów z wartościami brzegowymi dla domeny nieograniczonej jest ściśle związane z powtarzaniem się odpowiedniego procesu dyfuzji.

W przypadku procesu jednorodnego w czasie (L nie zależy od s) dodatnie rozwiązanie równania, aż do stałej multiplikatywnej, pokrywa się, przy pewnych założeniach, z gęstością rozkładu stacjonarnego M. p. Rozważania probabilistyczne okazują się również przydatne w rozważaniu problemów z wartościami brzegowymi dla nieliniowych parabolicznych. równania. R. 3. Chasminsky.

Oświetlony.: Markov A. A., „Izv. Fiz.-math. Ob-v Kazan. Un-ta”, 1906, t. 15, nr 4, s. 135-56; B a z he lier L., "Ann. Scient. Ecole norma, super.", 1900, v. 17, s. 21-86; Kołmogorowa AN, "Mat. Ann.", 1931, Bd 104, S. 415-458; Rosyjski per .- "Uspekhi Matem. Nauk", 1938, c. 5, s. 5-41; Ch zhun Kai-lai, Jednorodne łańcuchy Markowa, przeł. z ang., M., 1964; P e 1 1 er W., "Ann. Math.", 1954, s. 60, s. 417-36; Dynkin E.B., Yushkevich A.A., "Teoria probabil. I jej zastosowanie", 1956, t. 1, s. 149-55; X ant J.-A., Procesy i potencjały Markowa, przeł. z ang., M., 1962; Dellasher i K., Możliwości i procesy losowe, przeł. z francuskim., M., 1975; D y N to i E. V. N., Podstawy teorii procesów Markowa, M., 1959; jego, procesy Markowa, M., 1963; G i xm oraz I.I.N., Z do około r około x około d A.V., Teoria procesów losowych, t. 2, M., 1973; Freidlin MI, w książce: Results of Science. Teoria prawdopodobieństwa jest ważnym szczególnym rodzajem procesów losowych. Przykładem procesu Markowa jest rozpad substancji promieniotwórczej, gdzie prawdopodobieństwo rozpadu danego atomu w krótkim czasie nie zależy od przebiegu procesu w okresie poprzednim.... ... Wielki słownik encyklopedyczny

Proces Markowa jest procesem losowym, którego ewolucja po dowolnej wartości parametru czasu nie zależy od ewolucji, która go poprzedzała, pod warunkiem, że wartość procesu w tym momencie jest stała („przyszłość” procesu jest nie ... ... Wikipedia

Proces Markowa- 36. Proces Markowa Uwagi: 1. Gęstość prawdopodobieństwa warunkowego nazywamy gęstością prawdopodobieństwa przejścia ze stanu xn 1 w chwili tn 1 do stanu xn w chwili tn. Dzięki temu gęstości prawdopodobieństwa arbitralnego ... ... Słownik-odnośnik terminów dokumentacji normatywnej i technicznej

Proces Markowa- Markovo procesas statusas T sritis automatika atitikmenys: angl. Markowaprocesu vok. Markovprozeß, m rus. proces Markowa, m; Proces Markowa, m pranc. processus markovien, m ... Automatikos terminų žodynas

Proces Markowa- Markovo vyksmas statusas T sritis fizika atitikmenys: angl. proces Markowa; Proces Markowski vok. Marków Prozeß, m; Markowscher Prozeß, m rus. proces Markowa, m; Proces Markowa, m pranc. Processus de Markoff, m; processus marcovien, m;…… Fizikos terminų žodynas

Ważny szczególny rodzaj procesów losowych. Przykładem procesu Markowa jest rozpad substancji promieniotwórczej, gdzie prawdopodobieństwo rozpadu danego atomu w krótkim czasie nie zależy od przebiegu procesu w okresie poprzednim.... ... słownik encyklopedyczny

Ważny szczególny rodzaj procesów stochastycznych (patrz. Proces stochastyczny), które mają duże znaczenie w zastosowaniach rachunku prawdopodobieństwa w różnych dziedzinach nauk przyrodniczych i techniki. Przykładem pola magnetycznego może być rozpad substancji radioaktywnej.... ... Wielka radziecka encyklopedia

Wybitne odkrycie w dziedzinie matematyki, dokonane w 1906 roku przez rosyjskiego naukowca A.A. Markowa.