Struktur dan klasifikasi sistem antrian
Sistem antrian
Seringkali ada kebutuhan untuk memecahkan masalah probabilistik yang terkait dengan sistem antrian (QS), contohnya adalah:
Kantor tiket;
Bengkel;
Perdagangan, transportasi, sistem energi;
Sistem komunikasi;
Kesamaan sistem tersebut terungkap dalam kesatuan metode dan model matematika yang digunakan dalam mempelajari aktivitasnya.
Beras. 4.1. Area utama penerapan TMO
Masukan ke QS menerima aliran permintaan layanan. Misalnya klien atau pasien, kerusakan peralatan, panggilan telepon. Permintaan datang secara tidak teratur, pada waktu yang acak. Durasi layanan juga acak. Hal ini menciptakan ketidakteraturan dalam kerja QS dan menyebabkan kelebihan beban dan kekurangan beban.
Sistem antrian mempunyai struktur yang berbeda-beda, namun biasanya dapat dibedakan empat elemen dasar:
1. Aliran persyaratan yang masuk.
2. Penyimpanan (antrian).
3. Perangkat (saluran layanan).
4. Arus keluar.
Beras. 4.2. Skema umum sistem antrian
Beras. 4.3. Model operasi sistem
(panah menunjukkan saat diterimanya persyaratan dalam
sistem, persegi panjang – waktu layanan)
Gambar 4.3 a menunjukkan model pengoperasian sistem dengan aliran kebutuhan yang teratur. Karena interval antara kedatangan permintaan diketahui, waktu layanan dipilih agar sistem dapat memuat sepenuhnya. Untuk sistem dengan aliran permintaan stokastik, situasinya sangat berbeda - permintaan tiba pada waktu yang berbeda dan waktu pelayanan juga merupakan variabel acak, yang dapat dijelaskan dengan hukum distribusi tertentu (Gbr. 4.3 b).
Tergantung pada aturan antrian, QS berikut dibedakan:
1) sistem dengan kegagalan , di mana, ketika semua saluran layanan sibuk, permintaan tidak terlayani oleh sistem;
2) sistem dengan antrian tidak terbatas , di mana permintaan memasuki antrian jika pada saat diterimanya semua saluran layanan sedang sibuk;
3) sistem dengan menunggu dan antrian terbatas , dimana waktu tunggu dibatasi oleh beberapa kondisi atau terdapat batasan jumlah lamaran dalam antrian.
Mari kita pertimbangkan karakteristik aliran persyaratan yang masuk.
Alur persyaratan disebut tidak bergerak , jika peluang sejumlah kejadian tertentu yang terjadi dalam suatu segmen waktu dengan jangka waktu tertentu hanya bergantung pada panjang segmen tersebut.
Alur peristiwa disebut mengalir tanpa konsekuensi , jika banyaknya kejadian yang terjadi pada suatu kurun waktu tertentu tidak bergantung pada banyaknya kejadian yang terjadi pada kurun waktu lain.
Alur peristiwa disebut biasa , jika dua peristiwa atau lebih tidak mungkin terjadi secara bersamaan.
Alur persyaratan disebut racun (atau yang paling sederhana) jika mempunyai tiga sifat: stasioner, biasa dan tidak mempunyai akibat. Nama tersebut disebabkan oleh fakta bahwa jika kondisi yang ditentukan terpenuhi, jumlah kejadian yang terjadi pada interval waktu tertentu akan didistribusikan menurut hukum Poisson.
Intensitas aliran aplikasi λ adalah jumlah rata-rata aplikasi yang datang dari aliran per satuan waktu.
Untuk aliran stasioner, intensitasnya konstan. Jika τ adalah nilai rata-rata selang waktu antara dua permintaan yang bertetangga, maka dalam kasus aliran Poisson, probabilitas kedatangan layanan M lamaran untuk jangka waktu tertentu T ditentukan oleh hukum Poisson:
Waktu antara permintaan yang berdekatan didistribusikan menurut hukum eksponensial dengan kepadatan probabilitas
Waktu pelayanan merupakan variabel acak dan mengikuti hukum distribusi eksponensial dengan kepadatan probabilitas dimana μ adalah intensitas aliran pelayanan, yaitu. jumlah rata-rata permintaan yang dilayani per satuan waktu,
Perbandingan intensitas arus masuk dengan intensitas arus pelayanan disebut boot sistem
Sistem antrian adalah sistem bertipe diskrit dengan himpunan keadaan yang terbatas atau dapat dihitung, dan transisi sistem dari satu keadaan ke keadaan lainnya terjadi secara tiba-tiba ketika suatu peristiwa terjadi.
Prosesnya disebut proses dengan keadaan diskrit , jika kemungkinan keadaannya dapat dinomori ulang terlebih dahulu, dan transisi sistem dari satu negara bagian ke negara bagian lain terjadi hampir seketika.
Ada dua jenis proses tersebut: waktu diskrit atau kontinu.
Dalam kasus waktu diskrit, transisi dari satu negara ke negara lain dapat terjadi pada titik waktu yang ditentukan secara ketat. Proses waktu berkelanjutan dibedakan oleh fakta bahwa sistem dapat bertransisi ke keadaan baru kapan saja.
Proses acak adalah korespondensi di mana setiap nilai argumen (dalam hal ini, momen dari periode waktu percobaan) dikaitkan dengan variabel acak (dalam hal ini, keadaan QS). Variabel acak adalah besaran yang, sebagai hasil percobaan, dapat mengambil suatu, tetapi tidak diketahui sebelumnya, nilai numerik yang mana dari himpunan numerik tertentu.
Oleh karena itu, untuk menyelesaikan permasalahan teori antrian perlu dipelajari proses acak tersebut, yaitu. membangun dan menganalisis model matematikanya.
Proses acak ditelepon Markovian , jika suatu saat karakteristik probabilistik dari proses di masa depan hanya bergantung pada keadaannya saat ini dan tidak bergantung pada kapan dan bagaimana sistem sampai pada keadaan ini.
Transisi sistem dari satu negara ke negara lain terjadi di bawah pengaruh beberapa aliran (aliran aplikasi, aliran penolakan). Jika semua aliran peristiwa yang membawa sistem ke keadaan baru adalah Poisson paling sederhana, maka proses yang terjadi dalam sistem adalah Markov, karena aliran paling sederhana tidak memiliki konsekuensi: di dalamnya masa depan tidak bergantung pada masa lalu. . - sekelompok bidak catur. Keadaan sistem ditandai dengan jumlah bidak musuh yang tersisa di papan saat ini. Kemungkinan bahwa pada saat itu keuntungan materi akan berada di pihak salah satu lawan terutama bergantung pada keadaan sistem pada saat itu, dan bukan pada kapan dan dalam urutan apa bidak-bidak tersebut menghilang dari papan sebelum momen tersebut.
Proses acak X(T), dada ditelepon Markovsky, jika ada tl< t 2< ... < tn, milik wilayah tersebut T, fungsi distribusi bersyarat dari variabel acak X(tn) relatif terhadap X(t 1), . . ., X(tn -1) bertepatan dengan fungsi distribusi bersyarat X(tn) relatif X(tn -1) dalam arti bahwa untuk setiap x n ОX persamaannya
Pertimbangan definisi (3.1.1) untuk peningkatan berturut-turut N memungkinkan kita untuk menetapkan bahwa untuk proses acak Markov, fungsi distribusi n-dimensi dapat direpresentasikan sebagai
Demikian pula, properti Markov (3.1.1), (3.1.2) dapat ditulis untuk kepadatan probabilitas
Jadi, untuk proses Markov, fungsi distribusi atau kepadatan probabilitas dimensi apa pun N dapat ditemukan jika kepadatan probabilitas satu dimensinya diketahui di t = t 1 dan urutan kepadatan bersyarat untuk momen saya >t 1 , saya= .Fitur ini pada dasarnya menentukan kenyamanan praktis peralatan proses acak Markov.
Untuk proses Markov, klasifikasi umum yang diberikan pada Bagian 1.1 sepenuhnya valid. Sesuai dengan klasifikasi ini, empat jenis utama proses Markov biasanya dibedakan:
- rantai Markov- proses yang kedua rentang nilainya X, dan domain definisi T- set diskrit;
- Urutan Markov- proses yang rentang nilainya X kontinu, dan domain definisi T-kumpulan diskrit;
- proses Markov diskrit- proses yang rentang nilainya X- diskrit, dan domain definisi T- set terus menerus;
- proses Markov yang bernilai berkelanjutan- proses yang kedua rentang nilainya X, dan domain definisi T- set terus menerus.
Jenis proses Markov yang lebih kompleks juga dimungkinkan, misalnya diskrit-kontinyu, bila merupakan proses acak X(t) untuk beberapa nilai argumen t memiliki lompatan, dan dalam interval di antara keduanya ia berperilaku bernilai kontinu. Proses seperti ini disebut campuran. Situasi serupa terjadi untuk proses vektor Markov - masing-masing komponen dari proses tersebut dapat berasal dari tipe yang berbeda. Proses-proses kompleks seperti itu tidak dibahas lebih lanjut.
Perhatikan bahwa ketika mempelajari proses Markov, secara tradisional diterima untuk memahami waktu dengan argumen t. Karena asumsi ini tidak membatasi keumuman dan berkontribusi pada kejelasan penyajian, penafsiran makna fisik argumen ini T dan diadopsi dalam bab ini.
RANTAI MARKOV
Biarkan proses acak X(t) dapat mengambil terbatas (L< ) множество значений
(Q aku, aku= } = C. Nilai spesifikq aku; Î DENGAN, yang proses diterima X(t) pada saat ini T, mendefinisikannya negara untuk nilai argumen tertentu. Dengan demikian,
dalam hal ini prosesnya X(t) mempunyai himpunan kemungkinan keadaan yang terbatas.
Wajar saja seiring berjalannya waktu prosesnya X(t) akan mengubah statusnya secara acak. Mari kita asumsikan bahwa perubahan seperti itu tidak mungkin dilakukan oleh siapa pun t, sebuah hanya pada beberapa momen waktu diskrit t 0
Kedua karakteristik yang ditunjukkan menentukan urutan variabel acak diskrit X saya - X (t saya), saya= 0,1, ... (deretan acak diskrit menurut paragraf 1.1), yang rentang nilainya merupakan himpunan berhingga diskrit =(q aku , aku = ], A domain definisi - himpunan tak terbatas diskrit itu aku, aku= 0,1, 2,...
Jika untuk barisan acak diskrit yang didefinisikan dengan cara ini sifat utama (3.1.1) dari proses Markov adalah benar, yang dalam hal ini berbentuk
maka barisan seperti itu disebut rantai Markov sederhana.
Perhatikan bahwa ini mengikuti langsung dari ekspresi (3.2.1)
persamaan yang sama untuk probabilitas bersyarat untuk menemukan
rantai Markov sederhana di beberapa negara bagian
P(x 1 /x 0,x 1, ...,x i -1) = Ρ(x i /x i -1), i= 1,2,....
Definisi yang diperkenalkan memungkinkan adanya beberapa generalisasi. Mari kita berasumsi bahwa nilainya x saya tentang C proses yang sedang dipertimbangkan X(t) tidak bergantung pada satu hal, tetapi pada m(aku£ M< Saya) tepat sebelum nilai. Maka jelaslah bahwa
Proses yang didefinisikan oleh relasi (3.2.2) disebut rantai keteraturan Markov yang kompleks m. Relasi (3.2.1) mengikuti dari (3.2.2) sebagai kasus khusus. Pada gilirannya, rantai keteraturan Markov yang kompleks T dapat direduksi menjadi rantai Markov sederhana untuk vektor berdimensi m. Untuk menunjukkan hal ini, mari kita asumsikan keadaan proses saat ini saya saya dijelaskan menggunakan vektor berdimensi m.
(3.2.3)
Pada langkah sebelumnya, vektor serupa akan ditulis sebagai
Perbandingan (3.2.3) dan (3.2.4) menunjukkan bahwa komponen “rata-rata” dari vektor-vektor ini (kecuali Xl dalam (3.2.3) dan X aku - m di (3.2.4)) bertepatan. Oleh karena itu probabilitas bersyarat dari proses tersebut berhasil X(t) ke keadaan `X i pada waktu t 1 jika berada pada keadaan `X i -1 pada waktu aku -1 , dapat ditulis sebagai
Dalam (3.2.5) simbol menunjukkan komponen ke-j dari vektor ` x saya ;α (μ, ν) adalah simbol Kronecker: α(μ, ν) = 1 untuk ν = μ dan α(μ, ν) = ϋ untuk μ ¹ν. Kemungkinan generalisasi ini memungkinkan kita membatasi diri kita di masa depan dengan hanya mempertimbangkan rantai Markov sederhana.
Sebagai sistem variabel acak diskrit, rantai Markov sederhana X i, i = 0, 1, 2, ... ,i, ... untuk setiap i tetap dapat dijelaskan secara mendalam dengan probabilitas gabungan berdimensi-i
ρ {θ 0 L , θ ίκ ,..., θ ί m,) = P( X 0 =θ L ,X 1 =θ k ,…,X j =θ m}, (3.2.6)
di mana indeksnya aku, k,...,t ambil semua nilai dari 1 hingga L secara independen satu sama lain. Ekspresi (3.2.6) mendefinisikan matriks dengan L baris dan i+1 kolom, yang elemen-elemennya merupakan probabilitas kemunculan bersama suatu sistem variabel acak Χ 0 ,Χ 1 ,...,Χ ί dalam beberapa keadaan tertentu. Matriks ini, jika dianalogikan dengan deret distribusi suatu variabel acak diskrit skalar, dapat disebut matriks distribusi suatu sistem variabel acak diskrit.
Χ 0 ,Χ 1 ,...,Χ ί .
Berdasarkan teorema perkalian probabilitas, probabilitas (3.2.6) dapat direpresentasikan sebagai
Namun menurut properti utama (3.2.1) dari rantai Markov
P (Xl= m/X 0 = l ,X 1 = k ,…,X i -1 = r )=P(X i = m /X i -1 = r )
Pengulangan alasan serupa untuk probabilitas yang termasuk dalam (3.2.8) 
r ) memungkinkan kita untuk mereduksi ekspresi ini menjadi bentuk
Dari sini kita akhirnya sampai
(3.2.9)
Dengan demikian, deskripsi probabilistik lengkap dari rantai Markov sederhana dicapai dengan menentukan probabilitas keadaan awal rantai saat ini. t0,Ρ{Θ 0 aku,) = P(X 0 = Θl}, aku= dan probabilitas bersyarat
(X aku= Θ k /X saya-1 = Θ m ), saya = 1 , 2, . .. · k, m =
Perhatikan bahwa karena kemungkinan keadaan Θ lÎ`C rantai X(t) bersifat tetap dan diketahui, untuk menggambarkan keadaannya setiap saat cukup dengan menunjukkan nomornya aku keadaan ini. Hal ini memungkinkan kita untuk memperkenalkan probabilitas tanpa syarat untuk menemukan rantai aku-menyatakan saat ini t i (pada Saya langkah ke-th) notasi yang disederhanakan
Probabilitas ini jelas memiliki sifat non-negatif dan normalisasi terhadap kesatuan
P aku(Saya)>0,aku = , Saya = 0, 1,2,...; 
(3.2.11)
Saat menggunakan notasi matriks, himpunan probabilitas tak bersyarat ditulis sebagai matriks baris
(3.2.12)
Sebagai berikut dari apa yang dinyatakan sebelumnya, peran mendasar dalam teori rantai Markov (dan proses Markov secara umum) dimainkan oleh probabilitas bersyarat dari bentuk Sesuai dengan makna fisiknya, biasanya disebut probabilitas transisi dan dilambangkan sebagai
Ekspresi (3.2.13) menentukan probabilitas rangkaian memasuki keadaan aku, pada saat t dalam langkah ν - μ, dengan syarat pada saat t μ rangkaian berada dalam keadaan A. Sangat mudah untuk melihat bahwa probabilitas transisi juga memiliki sifat non-negatif dan normalisasi, karena pada setiap langkah rantai akan selalu berada di salah satu dari L negara bagian yang memungkinkan
(3.2.14)
Himpunan probabilitas transisi yang terurut untuk pasangan mana pun dapat direpresentasikan sebagai matriks persegi
(3.2.15)
Sebagai berikut dari ekspresi (3.2.14), semua elemen matriks ini non-negatif dan jumlah elemen setiap baris sama dengan satu. Matriks persegi yang mempunyai sifat-sifat tersebut disebut stokastik.
Jadi, deskripsi probabilistik rantai Markov dapat diberikan oleh matriks baris (3.2.12) dan matriks stokastik (3.2.15).
Dengan menggunakan notasi yang diperkenalkan, kita akan memecahkan masalah utama teori rantai Markov - kita akan menentukan probabilitas tanpa syarat P aku(ί) bahwa pada langkah i -μ proses akan mencapai keadaan tertentu aku, aku= . Jelasnya, pada saat t m prosesnya dapat berada pada salah satu dari L keadaan yang mungkin dengan probabilitas P k (m), k= . Kemungkinan transisi dari kth V aku Keadaan ke- ditentukan oleh probabilitas transisi p k aku (m,i). Dari sini, berdasarkan teorema probabilitas total, kita peroleh
;
(3.2.16)
atau dalam bentuk matriks
P( Saya)=P(m)P(m, Saya); (3.2.17)
Mari kita perhatikan dalam hubungan (3.2.16) probabilitas transisi π kl (m, Saya). Jelas sekali bahwa peralihan rangkaian dari keadaan k pada saat ini tm dalam sebuah keadaan aku pada saat ini itu saya dalam beberapa langkah dapat dilakukan dengan cara yang berbeda (melalui berbagai keadaan peralihan). Mari kita mempertimbangkan momen waktu peralihan tm, tm
yang bentuk matriksnya adalah
П(m, ί) = П(μ, m) П (saya, saya) ; 0£m < m < I; (3.2.19)
Persamaan (3.2.18), (3.2.19) menentukan sifat karakteristik probabilitas transisi untuk rantai Markov, meskipun validitas (3.2.18) belum cukup untuk membuat rantai yang bersesuaian menjadi Markov.
Dengan menuliskan rumus (3.2.19) secara berurutan, kita peroleh
P(μ, Saya) = P (μ, Saya - 1) hal (Saya- 1, ί) = P (μ, μ + 1) ... P (ί - 1, Saya), (3.2.20)
dimana p(ν, μ), μ -n= 1- satu langkah probabilitas transisi. Sekarang dengan memasukkan μ =0 ke dalam ekspresi (3.2.17), kita peroleh
(3.2.21)
dari sini deskripsi probabilistik lengkap dari rantai Markov sederhana dicapai dengan menentukan probabilitas keadaan awal dan urutan matriks probabilitas transisi satu langkah.
Jelas sekali bahwa sifat-sifat rantai Markov sangat ditentukan oleh sifat-sifat probabilitas transisi. Dari sudut pandang ini, khususnya, di antara rantai Markov sederhana terdapat homogen, yang probabilitas transisinya hanya bergantung pada perbedaan di antara argumen-argumennya
P kl(M, Saya) = hal kl(saya) ,i>m>0; (3.2.22)
dan tidak bergantung pada nomor langkah. Semua jenis rantai Markov sederhana lainnya yang tidak memenuhi kondisi (3.2.22) termasuk dalam kelas tersebut heterogen.
Karena untuk rantai homogen probabilitas transisi hanya ditentukan oleh perbedaan argumen dan tidak bergantung pada nomor langkah, jelas bahwa untuk pasangan sembarang (μ,m), ( J,Saya), memenuhi persyaratan T- μ = 1, ί- j = 1, m¹i, adil
P kl(m-m) =p kl(i-j)= hal kl(1) = hal kl;
Oleh karena itu, untuk mendeskripsikan rantai Markov yang homogen, cukup dengan menentukan, bersama dengan probabilitas keadaan awal, bukan suatu barisan, tetapi satu matriks stokastik dari probabilitas transisi satu langkah.
(3.2.23)
Terlebih lagi, sudah jelas bahwa
(3.4.7)
karena faktor pertama di bawah integral tidak bergantung pada variabel integrasi, dan integral kedua sama dengan satu. Mengurangi persamaan (3.4.7) dari (3.4.6) menghasilkan
Mari kita asumsikan bahwa kepadatan probabilitas transisi dari proses yang dipertimbangkan dapat diperluas menjadi deret Taylor. Maka ekspresi dalam tanda kurung siku di bawah integral pada persamaan (3.4.8) dapat direpresentasikan sebagai
Mengganti ekspresi (3.4.9) menjadi (3.4.8), membagi kedua sisi ekspresi yang dihasilkan dengan ∆ T dan melewati batas sebagai Δt → 0, kita peroleh
Persamaan (3.4.10) mendefinisikan kelas luas proses Markov kontinu, dan mudah untuk melihat bahwa himpunan koefisien A ν (x 0 ,t 0) menentukan sifat fisik masing-masing proses tersebut. Jadi, koefisiennya SEBUAH 1 (x 0 , t 0) dapat diartikan sebagai nilai rata-rata lokal (pada titik X(t 0)) laju perubahan proses, koefisien SEBUAH 2 (x 0 , t 0)- sebagai laju perubahan lokal dalam dispersi kenaikannya, dll. Namun, proses Markov dalam bentuk umum ini relatif jarang dipertimbangkan dalam aplikasi. Yang paling penting secara praktis adalah bagian dari proses Markov yang memenuhi kondisi tersebut
SEBUAH ν (x 0 , t 0)¹0; n=1,2, A ν (x 0 , t 0)=0, n³3;(3.4.12)
Ketika mempelajari proses Markov, pada awalnya ditetapkan bahwa persamaan (3.4.10) pada kondisi (3.4.12) dipenuhi oleh hukum gerak (difusi) partikel Brown, sebagai akibatnya proses Markov yang sesuai disebut difusi. Berdasarkan hal ini, koefisien SEBUAH 1 (x 0 , t 0)=Sebuah (x 0 , t 0) bernama koefisien penyimpangan, o A 2 (x 0 , t 0) = b (x 0 , t 0) - koefisien difusi. Dalam kerangka (3.4.12), persamaan (3.4.10) mengambil bentuk akhir
Ini adalah persamaan di mana variabelnya berada x 0 dan t 0 disebut persamaan Kolmogorov (terbalik) pertama.
Persamaan kedua dapat diperoleh dengan cara serupa
Persamaan ini, untuk menghormati para ilmuwan yang pertama kali mempelajarinya, disebut persamaan Fokker,- Papan- Kolmogorov atau persamaan Kolmogorov langsung(karena melibatkan turunan terhadap momen waktu akhir t>t 0).
Dengan demikian; Terlihat bahwa kepadatan probabilitas transisi dari proses difusi Markov memenuhi persamaan (3.4.13), (3.4.14), yang merupakan alat utama untuk mempelajarinya. Dalam hal ini, sifat-sifat suatu proses tertentu ditentukan oleh “koefisien” a(x,tί) Dan b(x,t) yang menurut persamaan (3.4.11) adalah sama
Dari ekspresi (3.4.15), (3.4.16) dapat disimpulkan bahwa “koefisien” ini mempunyai arti ekspektasi matematis bersyarat yang menentukan sifat perubahan dalam implementasi proses selama periode waktu yang sangat kecil Δt. Perubahan proses yang sangat cepat diperbolehkan X (t) , tetapi dalam arah yang berlawanan, sehingga kenaikan rata-rata proses dalam waktu singkat Δt adalah berhingga dan teratur.
4. Pemodelan menurut skema proses acak Markov
Untuk menghitung parameter numerik yang mengkarakterisasi objek stokastik, perlu dibangun beberapa model probabilistik dari fenomena tersebut, dengan mempertimbangkan faktor acak yang menyertainya. Untuk deskripsi matematis dari banyak fenomena yang berkembang dalam bentuk proses acak, peralatan matematika yang dikembangkan dalam teori probabilitas untuk apa yang disebut proses acak Markov dapat berhasil diterapkan. Mari kita jelaskan konsep ini. Biarlah ada sistem fisik S, yang keadaannya berubah seiring waktu (di bawah sistem S bisa berarti apa saja: perangkat teknis, bengkel, komputer, dll.). Jika kondisinya S berubah secara acak dari waktu ke waktu, kata mereka di dalam sistem S terjadi proses acak. Contoh: proses berfungsinya komputer (penerimaan perintah di komputer, jenis perintah tersebut, kegagalan acak), proses mengarahkan peluru kendali ke suatu sasaran (gangguan acak (interferensi) pada sistem kendali peluru kendali), proses melayani pelanggan di penata rambut atau bengkel (aliran aplikasi (persyaratan) yang bersifat acak yang diterima dari klien).
Suatu proses acak disebut proses Markov (atau “proses tanpa konsekuensi”) jika untuk setiap momen waktu t0 probabilitas keadaan sistem mana pun di masa depan (dengan T> T0 ) hanya bergantung pada keadaannya saat ini (dengan T= T0 ) dan tidak bergantung pada kapan dan bagaimana sistem sampai pada keadaan ini (yaitu bagaimana proses berkembang di masa lalu). Membiarkan S perangkat teknis yang ditandai dengan tingkat keausan tertentu S. Kami tertarik pada cara kerjanya lebih jauh. Sebagai perkiraan pertama, kinerja sistem di masa depan (tingkat kegagalan, perlunya perbaikan) bergantung pada kondisi perangkat saat ini dan tidak bergantung pada kapan dan bagaimana perangkat mencapai kondisi saat ini.
Teori proses acak Markov adalah cabang luas dari teori probabilitas dengan berbagai aplikasi (fenomena fisik seperti difusi atau pencampuran muatan selama peleburan dalam tanur tinggi, proses pembentukan antrian).
4.1. Klasifikasi proses Markov
Proses acak Markov dibagi menjadi beberapa kelas. Ciri klasifikasi pertama adalah sifat spektrum negara. Proses acak (RP) disebut proses dengan keadaan diskrit jika keadaan sistem memungkinkan S1,S2,S3… dapat dihitung, dan prosesnya sendiri terdiri dari fakta bahwa dari waktu ke waktu sistem S berpindah (secara instan) dari satu keadaan ke keadaan lainnya.
Contoh. Perangkat teknis terdiri dari dua unit I dan II yang masing-masing bisa rusak. menyatakan: S1– kedua node berfungsi; S2– node pertama gagal, node kedua berfungsi; S 3 – node kedua gagal, node pertama berfungsi; S4- kedua node gagal.
Ada proses dengan keadaan kontinu (transisi mulus dari satu keadaan ke keadaan lain), misalnya, perubahan tegangan pada jaringan penerangan. Kami hanya akan mempertimbangkan SP dengan status diskrit. Dalam hal ini, akan lebih mudah untuk menggunakan grafik keadaan, di mana kemungkinan keadaan sistem dilambangkan dengan node, dan kemungkinan transisi dengan busur.
Ciri klasifikasi kedua adalah sifat fungsinya dari waktu ke waktu. SP disebut proses dengan waktu diskrit jika transisi sistem dari satu keadaan ke keadaan lain hanya mungkin dilakukan pada saat-saat waktu yang telah ditentukan sebelumnya dan ditentukan secara ketat: t1,t2…. Jika transisi suatu sistem dari satu keadaan ke keadaan lain dimungkinkan pada momen acak yang sebelumnya tidak diketahui, maka kita berbicara tentang SP waktu kontinu.
4.2. Perhitungan rantai Markov waktu diskrit
S dengan keadaan diskrit S1,S2, ...sn dan waktu diskrit t1,t2, … ,karena,…(langkah-langkah, tahapan proses, SP dapat dianggap sebagai fungsi argumen (nomor langkah)). Secara umum SP adalah terjadinya transisi S1® S1® S2® S3® S4® S1® … dalam beberapa saat t1,t2,t3....
Kami akan menunjukkan peristiwa setelahnya k– langkah-langkah sistem dalam keadaan Ya. Untuk apa pun k acara https://pandia.ru/text/78/060/images/image004_39.gif" width="159" height="25 src=">.
Rangkaian kejadian acak ini disebut rantai Markov. Kami akan mendeskripsikan rantai Markov (MC) menggunakan probabilitas keadaan. Biarkan menjadi kemungkinan setelahnya k- langkah-langkah sistem dalam keadaan Ya. Sangat mudah untuk melihatnya " k DIV_ADBLOCK13">
.
Saya menggunakan acara yang diperkenalkan di atas https://pandia.ru/text/78/060/images/image008_34.gif" width="119" height="27 src=">. Jumlah suku di setiap baris matriks harus sama dengan 1. Sebaliknya matriks probabilitas transisi sering menggunakan grafik keadaan berlabel (tunjukkan pada busur probabilitas transisi bukan nol; probabilitas penundaan tidak diperlukan karena mudah dihitung, misalnya P11=1-(P12+Hlm.13)). Dengan memiliki grafik keadaan berlabel (atau matriks probabilitas transisi) dan mengetahui keadaan awal sistem, Anda dapat menemukan probabilitas keadaan hal1(k),hal2(k),…hal(k)" k.
Biarkan keadaan awal sistem Sm, Kemudian
p1(0)=0 p2(0)=0…sore(0)=1…pn(0)=0.
Langkah pertama:
p1(1)=Pm1, p2(1)=Pm2,…pm(1)=Hmm,… ,pn(1)=Pmn.
Setelah langkah kedua, dengan menggunakan rumus probabilitas total, kita memperoleh:
p1(2)=p1(1)P11+p2(1)P21+…pn(1)Pn1,
pi(2)=p1(1)P1i+p2(1)P2i+…pn(1)Pni atauhttps://pandia.ru/text/78/060/images/image010_33.gif" width="149" height="47"> (saya=1,2,..N).
Untuk MC heterogen
probabilitas transisi bergantung pada nomor langkah. Mari kita nyatakan probabilitas transisi untuk langkah k dengan 
.
Maka rumus untuk menghitung probabilitas keadaan berbentuk:
.
4.3. Rantai Markov waktu berkelanjutan
4.3.1. Persamaan Kolmogorov
Dalam praktiknya, lebih sering terdapat situasi ketika transisi sistem dari satu keadaan ke keadaan lain terjadi pada waktu yang acak, yang tidak dapat ditentukan sebelumnya: misalnya, kegagalan suatu elemen peralatan, berakhirnya perbaikan (restorasi) dari elemen ini. Untuk menggambarkan proses seperti itu dalam sejumlah kasus, skema proses acak Markov dengan keadaan diskrit dan waktu kontinu – rantai Markov kontinu – dapat diterapkan dengan sukses. Mari kita tunjukkan bagaimana probabilitas keadaan untuk proses tersebut dinyatakan. Membiarkan S=(S1,S2,…layar). Mari kita nyatakan dengan pi(T)- kemungkinan itu saat ini T sistem S akan berada di negara bagian). Jelas sekali . Mari kita tetapkan tugas - untuk menentukan apa pun Tpi(T). Alih-alih probabilitas transisi Pij Mari kita pertimbangkan kepadatan probabilitas transisi
.
Jika tidak bergantung pada T, mereka berbicara tentang rantai yang homogen, sebaliknya - tentang rantai yang heterogen. Beri tahu kami untuk semua pasangan negara bagian (dengan diberi label grafik negara bagian). Ternyata dengan mengetahui grafik keadaan berlabel kita dapat menentukannya hal1(T),hal2(T)..hal(T) sebagai fungsi waktu. Probabilitas ini memenuhi jenis persamaan diferensial tertentu (persamaan Kolmogorov).
 |
Mengintegrasikan persamaan ini dengan keadaan awal sistem yang diketahui akan menghasilkan probabilitas keadaan yang diinginkan sebagai fungsi waktu. perhatikan itu hal1+p2+hal3+p4=1 dan Anda bisa bertahan dengan tiga persamaan.
Aturan untuk menyusun persamaan Kolmogorov. Ruas kiri setiap persamaan berisi turunan probabilitas suatu keadaan, dan ruas kanan berisi suku sebanyak jumlah anak panah yang terkait dengan keadaan tertentu. Jika tanda panah mengarah menjauhi suatu negara bagian, maka suku yang bersangkutan mempunyai tanda minus; jika panah mengarah ke suatu negara bagian, maka suku tersebut mempunyai tanda plus. Setiap suku sama dengan hasil kali kepadatan probabilitas transisi yang berhubungan dengan panah tertentu dikalikan dengan probabilitas keadaan asal panah tersebut.
4.3.2. Alur peristiwa. Aliran paling sederhana dan sifat-sifatnya
Ketika mempertimbangkan proses yang terjadi dalam suatu sistem dengan keadaan diskrit dan waktu kontinu, seringkali lebih mudah untuk membayangkan proses tersebut seolah-olah transisi sistem dari keadaan ke keadaan terjadi di bawah pengaruh beberapa aliran peristiwa. Aliran peristiwa adalah rangkaian peristiwa homogen yang mengikuti satu demi satu pada beberapa waktu, secara umum, momen acak dalam waktu. (Alur panggilan di sentral telepon; arus komputer tidak berfungsi (kegagalan); arus kereta barang yang tiba di stasiun; arus pengunjung; arus tembakan yang ditujukan ke sasaran). Kami akan menggambarkan aliran peristiwa sebagai rangkaian titik-titik pada sumbu waktu atau. Posisi setiap titik pada sumbu bersifat acak. Alur peristiwa disebut reguler , jika peristiwa mengikuti satu sama lain pada interval yang ditentukan secara ketat (jarang ditemui dalam praktik). Mari kita pertimbangkan jenis aliran khusus; untuk ini kami memperkenalkan sejumlah definisi. 1. Alur peristiwa disebut tidak bergerak , jika peluang sejumlah kejadian tertentu yang termasuk dalam suatu segmen waktu hanya bergantung pada panjang segmen tersebut dan tidak bergantung pada di mana tepatnya pada sumbu ot segmen tersebut berada (keseragaman waktu) - karakteristik probabilistik dari aliran seperti itu seharusnya tidak berubah seiring waktu. Secara khusus, apa yang disebut intensitas (atau kepadatan) aliran peristiwa (jumlah rata-rata peristiwa per satuan waktu) adalah konstan.
2. Alur peristiwa disebut mengalir tanpa konsekuensi, jika untuk segmen waktu yang tidak tumpang tindih, jumlah peristiwa yang terjadi pada salah satu segmen tersebut tidak bergantung pada berapa banyak peristiwa yang terjadi pada segmen waktu lainnya (atau lainnya, jika dipertimbangkan lebih dari dua segmen). Ketidakberakibatan dalam suatu aliran berarti bahwa peristiwa-peristiwa yang membentuk aliran itu terjadi pada waktu-waktu yang berurutan secara independen satu sama lain.
3. Alur peristiwa disebut biasa , jika peluang terjadinya dua atau lebih kejadian pada suatu bagian dasar dapat diabaikan dibandingkan dengan peluang terjadinya satu kejadian (kejadian dalam suatu aliran datang satu per satu, dan tidak berpasangan, kembar tiga, dll.).
Aliran peristiwa yang memiliki ketiga sifat tersebut disebut yang paling sederhana (atau Poisson stasioner). Aliran Poisson non-stasioner hanya mempunyai sifat 2 dan 3. Aliran peristiwa Poisson (baik stasioner maupun non-stasioner) berkaitan erat dengan distribusi Poisson yang terkenal. Yakni, banyaknya kejadian aliran yang terjadi pada suatu bagian didistribusikan menurut hukum Poisson. Mari kita jelaskan ini lebih terinci.
Pertimbangkan pada porosnya HAIT, di mana aliran peristiwa diamati, bagian tertentu dengan panjang t, dimulai pada saat ini T0 dan berakhir pada saat ini T0 + T. Tidak sulit untuk membuktikan (pembuktiannya diberikan di semua mata kuliah teori probabilitas) bahwa peluang tepat m kejadian yang termasuk dalam area ini dinyatakan dengan rumus:
(M=0,1…),
Di mana A– jumlah rata-rata kejadian per segmen t.
Untuk aliran Poisson yang stasioner (paling sederhana). sebuah=akuT, yaitu tidak bergantung pada posisi sumbunya atau bagian t diambil. Untuk aliran Poisson tak tunak, kuantitasnya A dinyatakan dengan rumus
dan itu artinya tergantung pada titik mana T0 bagian t dimulai.
Pertimbangkan pada porosnya atau aliran peristiwa paling sederhana dengan intensitas konstan l. Kami akan tertarik pada interval waktu T antara peristiwa-peristiwa dalam aliran ini. Misalkan l adalah intensitas (jumlah rata-rata kejadian dalam 1 waktu) aliran. Kepadatan distribusi F(T)
variabel acak T(interval waktu antara peristiwa yang berdekatan dalam suatu aliran) F(T)=
akue-
akuT (T>
0)
. Hukum distribusi dengan kepadatan seperti itu disebut eksponensial. Mari kita cari nilai numerik dari variabel acak T: ekspektasi matematis (nilai rata-rata) 
dan varians tersisa">
Jarak waktu T antara peristiwa-peristiwa yang berdekatan dalam aliran paling sederhana didistribusikan menurut hukum eksponensial; nilai rata-rata dan simpangan bakunya sama dengan, dimana l adalah intensitas aliran. Untuk aliran seperti itu, peluang terjadinya tepat satu peristiwa aliran dalam selang waktu dasar ∆t dinyatakan sebagai . Kita akan menyebut probabilitas ini sebagai “elemen probabilitas terjadinya suatu peristiwa”.
Untuk aliran Poisson tak tunak, hukum distribusi interval T tidak lagi bersifat indikatif. Bentuk hukum ini akan bergantung, pertama, pada letak sumbunya atau Lokasi kejadian pertama, kejadian kedua, tergantung pada jenis ketergantungannya. Akan tetapi, jika perubahannya relatif lambat dan perubahannya dalam waktu antara dua peristiwa kecil, maka hukum distribusi selang waktu antar peristiwa kira-kira dapat dianggap indikatif, dengan asumsi dalam rumus ini nilainya sama dengan nilai rata-rata di daerah tersebut. yang menarik minat kita.
4.3.3. Aliran peristiwa Poisson dan
rantai Markov yang kontinyu
Pertimbangkan beberapa sistem fisik S=(S1,S2,…layar), yang berpindah dari satu negara bagian ke negara bagian lain di bawah pengaruh beberapa peristiwa acak (panggilan, penolakan, tembakan). Mari kita bayangkan seolah-olah peristiwa yang memindahkan sistem dari satu negara ke negara lain adalah semacam aliran peristiwa.
Biarkan sistem S pada suatu saat T sedang dalam keadaan Ya dan dapat beralih dari itu ke negara bagian Sj di bawah pengaruh beberapa aliran peristiwa Poisson dengan intensitas akuaku j: Segera setelah peristiwa pertama dari thread ini terjadi, sistem segera keluar Ya V Sj..gif" lebar = "582" tinggi = "290 src = ">
4.3.4. Batasi probabilitas negara bagian
Biarlah ada sistem fisik S=(S1,S2,…layar), di mana terjadi proses acak Markov dengan waktu berkelanjutan (rantai Markov berkelanjutan). Mari kita berpura-pura seperti itu akusayaj=konstanta, yaitu semua aliran peristiwa adalah yang paling sederhana (Poisson stasioner). Setelah menuliskan sistem persamaan diferensial Kolmogorov untuk probabilitas keadaan dan mengintegrasikan persamaan ini pada kondisi awal tertentu, kita memperoleh hal1(T),hal2(T),…hal(t), untuk apa pun T. Mari kita ajukan pertanyaan berikut: apa yang akan terjadi pada sistem? S pada T® ¥. Apakah akan ada fiturnya? pi(T) berusaha mencapai batasan tertentu? Batasan ini, jika ada, disebut membatasi probabilitas suatu keadaan. Kita dapat membuktikan teorema: jika jumlah keadaan S terbatas dan seseorang dapat berpindah dari setiap keadaan (dalam sejumlah langkah tertentu) satu sama lain, maka probabilitas pembatas dari keadaan tersebut ada dan tidak bergantung pada keadaan awal. sistem. Mari kita asumsikan bahwa kondisi yang disebutkan terpenuhi dan ada probabilitas pembatas (saya=1,2,…N), .
Jadi, kapan T® ¥ dalam sistem S rezim stasioner pembatas tertentu telah ditetapkan. Arti dari probabilitas ini: ini tidak lebih dari waktu relatif rata-rata sistem tetap berada dalam keadaan tertentu. Menghitung pi dalam sistem persamaan Kolmogorov yang menjelaskan probabilitas keadaan, Anda perlu mengatur semua ruas kiri (turunan) sama dengan 0. Sistem persamaan aljabar linier yang dihasilkan harus diselesaikan bersama dengan persamaan tersebut .
4.3.5. Skema kematian dan reproduksi
Kita tahu bahwa dengan grafik keadaan berlabel, kita dapat dengan mudah menulis persamaan Kolmogorov untuk probabilitas keadaan, dan juga menulis dan menyelesaikan persamaan aljabar untuk probabilitas akhir. Untuk beberapa kasus, persamaan terakhir dapat diselesaikan terlebih dahulu, dalam bentuk huruf. Secara khusus, hal ini dapat dilakukan jika grafik keadaan sistem adalah apa yang disebut “skema kematian dan reproduksi”.
https://pandia.ru/text/78/060/images/image044_6.gif" width="73" height="45 src="> (4.4)
Dari persamaan kedua, dengan mempertimbangkan (4.4), kita memperoleh:
https://pandia.ru/text/78/060/images/image046_5.gif" width="116" height="45 src="> (4.6)
dan secara umum, untuk k apa pun (dari 1 hingga N):
https://pandia.ru/text/78/060/images/image048_4.gif" width="267" height="48 src=">
dari sini kita memperoleh ekspresi untuk p0.
(4. 8)
(kami menaikkan tanda kurung ke pangkat -1 agar tidak menulis pecahan dua tingkat). Semua probabilitas lainnya dinyatakan melalui p0 (lihat rumus (4.4) - (4.7)). Perhatikan bahwa koefisien p0 pada masing-masingnya tidak lebih dari suku-suku berurutan dari deret setelah satu dalam rumus (4.8). Artinya dengan menghitung p0, kita telah menemukan semua koefisien tersebut.
Rumus yang dihasilkan sangat berguna dalam menyelesaikan permasalahan teori antrian yang paling sederhana.
Di antara berbagai jenis sistem yang ada di sekitar kita: teknis, informasi, sosial, dll., kita akan tertarik pada sistem yang muncul dalam proses pelayanan, dalam proses pemeliharaan. Dalam matematika terapan mereka disebut - sistem antrian (QS). Peralatan matematika untuk mempelajari sistem ini telah lama dikembangkan dan memungkinkan untuk membangun model sistem tersebut untuk menggambarkan proses layanan dan menghitung karakteristik utama dari fungsi sistem untuk menentukan efektivitasnya. Peralatan ini didasarkan pada teori probabilitas dan teori proses acak. Mari kita lihat ide dan konsep utama.
2.1. Elemen teori proses acak Markov yang digunakan dalam pemodelan sistem
Fungsi X(t) dipanggil acak, jika nilainya untuk argumen apa pun t adalah variabel acak.
Fungsi acak X(t) yang argumennya adalah waktu disebut proses acak.
Proses Markov adalah jenis proses acak khusus. Tempat khusus proses Markov di antara kelas-kelas proses acak lainnya disebabkan oleh keadaan berikut: peralatan matematika telah dikembangkan dengan baik untuk proses Markov, yang memungkinkan pemecahan banyak masalah praktis; dengan bantuan proses Markov, dimungkinkan untuk menggambarkan (tepatnya atau kira-kira) perilaku sistem yang cukup kompleks.
Definisi. Proses acak yang terjadi dalam suatu sistem S, ditelepon Markovsky, atau proses tanpa efek samping, jika mempunyai sifat berikut: untuk setiap saat waktu t 0, probabilitas suatu keadaan sistem di masa depan hanya bergantung pada keadaannya saat ini dan tidak bergantung pada kapan dan bagaimana sistem tersebut S datang ke negara bagian ini.
Klasifikasi proses Markov. Klasifikasi proses acak Markov dilakukan tergantung pada kontinuitas atau keleluasaan himpunan nilai fungsi X (t) dan parameter t.
Ada jenis utama proses acak Markov berikut ini:
dengan keadaan diskrit dan waktu diskrit (rantai Markov);
dengan keadaan kontinu dan waktu diskrit (urutan Markov);
dengan keadaan diskrit dan waktu kontinu (rantai Markov kontinu);
dengan keadaan kontinyu dan waktu kontinyu.
Kami hanya akan mempertimbangkan proses Markov dengan status diskrit S 1 , S 2 , ..., S N .
Grafik keadaan. Proses Markov dengan keadaan diskrit diilustrasikan dengan mudah menggunakan apa yang disebut grafik keadaan ( beras. 2.1), dimana lingkaran menunjukkan keadaan S 1, S 2 , ... sistem S, dan panah menunjukkan kemungkinan transisi dari satu negara bagian ke negara bagian lainnya.
Beras. 2.1. Contoh grafik keadaan sistemS
Grafik hanya menandai transisi langsung, dan bukan transisi melalui negara bagian lain. Kemungkinan penundaan pada keadaan sebelumnya digambarkan sebagai “lingkaran”, yaitu panah yang diarahkan dari keadaan tertentu ke keadaan yang sama. Jumlah keadaan suatu sistem dapat terbatas atau tidak terbatas (tidak terhitung).
PROSES MARKOV
Proses tanpa efek samping - proses acak, evolusi yang setelah nilai parameter waktu t tertentu tidak bergantung pada evolusi yang mendahuluinya T, asalkan nilai proses dalam hal ini tetap (singkatnya: “masa depan” dan “masa lalu” dari proses tersebut tidak bergantung satu sama lain dengan “masa kini” yang diketahui).
Sifat yang menentukan medan magnet biasanya disebut Markovian; ini pertama kali dirumuskan oleh A. A. Markov. Namun, dalam karya L. Bachelier kita dapat melihat upaya untuk menafsirkan Brownian sebagai M., sebuah upaya yang mendapat pembenaran setelah penelitian N. Wiener (N. Wiener, 1923). Fondasi teori umum proses magnetik waktu kontinu diletakkan oleh A. N. Kolmogorov.
Properti Markov. Ada definisi M. yang sangat berbeda satu sama lain, salah satu yang paling umum adalah sebagai berikut. Biarkan proses acak dengan nilai dari ruang terukur diberikan pada ruang probabilitas di mana T - bagian dari sumbu nyata Let tidak(masing-masing tidak).ada aljabar s di dalamnya
dihasilkan oleh besaran X(s).at
Di mana
Dengan kata lain, tidak(masing-masing tidak) adalah sekumpulan peristiwa yang berhubungan dengan evolusi proses sampai dengan momen t (dimulai dari t) .
Proses X(t).dipanggil Proses Markov jika (hampir pasti) properti Markov berlaku untuk semua:
atau, apa yang sama, jika ada
M. p., yang T terkandung dalam himpunan bilangan asli, disebut. rantai Markov(namun, istilah terakhir paling sering dikaitkan dengan kasus E yang paling banyak dapat dihitung) .
Jika Apakah suatu interval lebih dari yang dapat dihitung, M. disebut. rantai Markov waktu kontinu. Contoh proses magnetik waktu kontinu disediakan oleh proses difusi dan proses dengan peningkatan independen, termasuk proses Poisson dan Wiener.
Berikut ini, untuk lebih pastinya, kita hanya akan membicarakan kasusnya saja 
Rumus (1) dan (2) memberikan interpretasi yang jelas tentang prinsip independensi “masa lalu” dan “masa depan” mengingat “masa kini” yang diketahui, namun definisi M. berdasarkan rumusan tersebut ternyata kurang fleksibel dalam hal berbagai situasi di mana perlu untuk mempertimbangkan bukan hanya satu, tetapi serangkaian kondisi seperti (1) atau (2), yang berhubungan dengan tindakan-tindakan yang berbeda, meskipun disepakati dengan cara tertentu. definisi berikut (lihat,).
Biarkan yang berikut ini diberikan:
a) dimana aljabar s memuat semua himpunan satu titik di E;
b) terukur dilengkapi dengan keluarga s-aljabar sedemikian rupa sehingga jika
DI DALAM) (" ") xt =xT(w) ,
menentukan pemetaan yang terukur
d) untuk masing-masing dan ukuran probabilitas pada aljabar s sedemikian rupa sehingga fungsinya 
terukur relatif terhadap jika dan
Kumpulan nama (non-terminating) Proses Markov didefinisikan dalam if -hampir pasti
apa pun yang ada di Sini - ruang peristiwa dasar, - ruang fase atau ruang keadaan, P( s, x, t, V)- fungsi transisi atau probabilitas transisi dari proses X(t) .
Jika E diberkahi dengan topologi, dan merupakan kumpulan set Borel E, maka sudah menjadi kebiasaan untuk mengatakan bahwa M. p. diberikan dalam E. Biasanya definisi M. p mencakup persyaratan bahwa dan kemudian ditafsirkan sebagai suatu probabilitas, dengan ketentuan bahwa xs =x.
Timbul pertanyaan: apakah setiap fungsi transisi Markov P( s, x;t, v),
diberikan dalam ruang terukur dapat dianggap sebagai fungsi transisi dari ruang M. Jawabannya positif jika, misalnya, E adalah ruang kompak lokal yang dapat dipisahkan, dan merupakan himpunan Borel di E. Apalagi biarkan E - metrik penuh ruang dan biarkan
untuk siapa pun di mana pun a adalah komplemen dari e-neighbourhood suatu titik X. Kemudian medan magnet yang bersangkutan dapat dianggap kontinu di sebelah kanan dan mempunyai batas di sebelah kiri (yaitu, lintasannya dapat dipilih seperti itu). Keberadaan medan magnet kontinu dijamin oleh kondisi di (lihat, ). Dalam teori proses mekanis, perhatian utama diberikan pada proses yang homogen (dalam waktu). Definisi yang sesuai mengasumsikan sistem tertentu objek a) - d) Bedanya, untuk parameter s dan u yang muncul pada deskripsinya, kini hanya diperbolehkan nilai 0. Notasinya juga disederhanakan:
Selanjutnya, homogenitas ruang W dipostulasikan, yaitu diperlukan bahwa untuk sembarang 
ada hal seperti itu 
(w) untuk Karena ini, pada aljabar s N, aljabar s terkecil di W yang memuat kejadian apa pun dalam bentuk apa pun 
operator shift waktu q ditentukan T, yang melestarikan operasi penyatuan, perpotongan dan pengurangan himpunan dan untuk itu
Kumpulan nama Proses Markov homogen (tidak berakhir) didefinisikan dalam if -hampir pasti
untuk fungsi Transisi dari proses X(t).dianggap P( t, x, V), dan, kecuali ada ketentuan khusus, ketentuan tersebut juga mensyaratkan bahwa Perlu diingat bahwa ketika memeriksa (4) cukup mempertimbangkan hanya kumpulan formulir di mana 
dan itu di (4) selalu kaki dapat diganti dengan aljabar s yang sama dengan perpotongan penyelesaian kaki untuk semua ukuran yang mungkin.Seringkali, ukuran probabilitas m ("awal") ditetapkan dan fungsi acak Markov dipertimbangkan 
di mana ukuran yang diberikan oleh persamaan
MP dipanggil. terukur secara progresif jika untuk setiap t>0 fungsi tersebut menginduksi terukur di mana adalah s-aljabar
Borel tersubset di . Anggota parlemen sayap kanan semakin terukur. Ada cara untuk mereduksi kasus yang heterogen menjadi kasus yang homogen (lihat), dan selanjutnya kita akan membahas tentang anggota parlemen yang homogen.
Dengan ketat. Biarkan ruang terukur diberikan oleh m.
Fungsinya disebut momen Markov, Jika 
untuk semua
Dalam hal ini, mereka termasuk dalam keluarga F t jika pada (paling sering F t diartikan sebagai sekumpulan peristiwa yang terkait dengan evolusi X(t) hingga saat t). Untuk percaya
M. p. Xnaz yang dapat diukur secara progresif. ketatnya proses Markov (s.m.p.), jika untuk momen Markov apa pun m dan semuanya 
dan rasio
(hanya properti Markov) hampir pasti berlaku di himpunan W t . Saat memeriksa (5), cukup dengan mempertimbangkan kumpulan formulir di mana saja 
dalam hal ini, ruang S. m, misalnya, adalah ruang Feller M. kontinu kanan mana pun dalam suatu topologi. ruang angkasa E. MP dipanggil. Proses Feller Markov jika fungsinya
kontinu bila f kontinu dan terbatas.
Di kelas dengan. mp subkelas tertentu dibedakan. Biarkan Markovian P( t, x, V),
didefinisikan dalam ruang kompak lokal metrik E, kontinu secara stokastik:
untuk setiap lingkungan U di setiap titik. Kemudian jika operator mengambil fungsi kontinu dan hilang di tak terhingga, maka fungsi P( t, x, V) memenuhi standar M. p. X, yaitu terus menerus di sebelah kanan dengan. mp, untuk itu
- hampir mungkin pada banyak orang 
a adalah momen Pmarkov yang tidak berkurang seiring pertumbuhan. Menghentikan proses Markov. Seringkali secara fisik Disarankan untuk mendeskripsikan sistem menggunakan medan magnet yang tidak berakhir, tetapi hanya pada interval waktu yang panjangnya acak. Selain itu, bahkan transformasi sederhana dari proses magnetik dapat menghasilkan proses dengan lintasan yang ditentukan pada interval acak (lihat. Fungsional dari proses Markov). Dipandu oleh pertimbangan-pertimbangan ini, konsep MP yang rusak diperkenalkan.
Misalkan MP homogen dalam ruang fase yang mempunyai fungsi transisi 
dan biarkan ada titik dan fungsi 
sedemikian rupa sehingga jika dan sebaliknya (jika tidak ada klausa khusus, pertimbangkan ). Lintasan baru xt(w) ditentukan hanya untuk ) melalui persamaan 
A kaki didefinisikan seperti pada himpunan
Tetapkan di mana 
ditelepon dengan mengakhiri proses Markov (o.m.p.), diperoleh dari proses tersebut dengan mengakhiri (atau mematikan) pada waktu z. Nilai z disebut saat istirahat, atau waktu hidup, o. mp Ruang fase dari proses baru adalah tempat terdapatnya jejak aljabar s di dalamnya E. Fungsi transisi o. mp adalah batasan suatu himpunan 
Proses X(t).dipanggil proses Markov yang ketat, atau proses Markov standar, jika memiliki properti yang sesuai.MP yang tidak dapat dihentikan dapat dianggap sebagai o. mp dengan momen putus Heterogen o. mp ditentukan dengan cara yang sama. M.
Proses Markov dan . Anggota parlemen jenis gerak Brown erat kaitannya dengan persamaan diferensial parabola. jenis. Transisi p(s, x, t, kamu) dari proses difusi memenuhi, dengan asumsi tambahan tertentu, persamaan diferensial terbalik dan langsung Kolmogorov:
Fungsi p( s, x, t, y).adalah fungsi Green dari persamaan (6) - (7), dan metode pertama yang diketahui untuk membangun proses difusi didasarkan pada teorema keberadaan fungsi ini untuk persamaan diferensial (6) - (7). Untuk proses yang seragam waktu L( s, x)= L(x).pada fungsi halus bertepatan dengan karakteristiknya. operator M.p.(lihat Semigrup operator transisi).
Matematika. ekspektasi berbagai fungsi dari proses difusi berfungsi sebagai solusi terhadap masalah nilai batas yang sesuai untuk persamaan diferensial (1). Biarkan itu matematis. ekspektasi pada ukuran Maka fungsinya memenuhi pada S
Begitu pula fungsinya
memuaskan dengan S
dan kondisi dan 2 ( T,x) = 0.
Biarkan itu menjadi momen pertama kali mencapai batas DD wilayah
lintasan proses
Kemudian, dalam kondisi tertentu, fungsinya
memenuhi persamaan
dan mengambil nilai cp di set
Penyelesaian masalah nilai batas ke-1 untuk parabola linier umum. persamaan orde ke-2
berdasarkan asumsi yang cukup umum dapat ditulis dalam bentuk
Dalam kasus ketika L dan berfungsi s, f tidak bergantung pada S, Representasi yang mirip dengan (9) juga dimungkinkan untuk menyelesaikan elips linier. persamaan Lebih tepatnya fungsinya
dalam asumsi tertentu ada masalah
Dalam kasus ketika operator L mengalami degenerasi (del b( s, x) = 0
).atau DD tidak cukup “baik”; nilai batas mungkin tidak diterima oleh fungsi (9), (10) pada titik individual atau pada keseluruhan himpunan. Konsep titik batas beraturan bagi seorang operator L memiliki interpretasi probabilistik. Pada titik batas beraturan, nilai batas dicapai melalui fungsi (9), (10). Memecahkan masalah (8), (11) memungkinkan kita mempelajari sifat-sifat proses difusi yang sesuai dan fungsinya.
Ada metode untuk membangun anggota parlemen yang tidak bergantung pada membangun solusi persamaan (6), (7), misalnya. metode persamaan diferensial stokastik, perubahan ukuran yang benar-benar terus menerus, dll. Keadaan ini, bersama dengan rumus (9), (10), memungkinkan kita untuk membangun dan mempelajari secara probabilistik sifat-sifat masalah nilai batas persamaan (8), serta sifat-sifat solusi dari elips yang sesuai. persamaan
Karena penyelesaian persamaan diferensial stokastik tidak sensitif terhadap degenerasi matriks b( s, x), Itu metode probabilistik digunakan untuk membangun solusi untuk mendegenerasi persamaan diferensial elips dan parabola. Perpanjangan prinsip rata-rata N. M. Krylov dan N. N. Bogolyubov ke persamaan diferensial stokastik memungkinkan, dengan menggunakan (9), untuk memperoleh hasil yang sesuai untuk persamaan diferensial elips dan parabola. Ternyata masalah-masalah sulit tertentu dalam mempelajari sifat-sifat solusi persamaan jenis ini dengan parameter kecil pada turunan tertinggi dapat diselesaikan dengan menggunakan pertimbangan probabilistik. Penyelesaian masalah nilai batas ke-2 persamaan (6) juga mempunyai arti probabilistik. Perumusan masalah nilai batas untuk domain tak terbatas berkaitan erat dengan terulangnya proses difusi terkait.
Dalam kasus proses homogen waktu (L tidak bergantung pada s), solusi positif dari persamaan tersebut, hingga konstanta perkalian, sesuai dengan asumsi tertentu dengan kerapatan distribusi stasioner MP. Pertimbangan probabilistik juga berlaku untuk berguna ketika mempertimbangkan masalah nilai batas untuk parabola nonlinier. persamaan. R.3. Khasminsky.
menyala.: Markov A. A., "Izvestia. Phys.-Mathematics Society of Kazan University", 1906, vol.15, No.4, hal. 135-56; V a s h e l i e r L., "Ann. ilmiah. Norma ecole, super.", 1900, v. 17, hal. 21-86; Kolmogorov A.N., "Matematika. Ann.", 1931, Bd 104, S. 415-458; Rusia. Terjemahan - "Uspekhi Matematicheskikh Nauk", 1938, abad. 5, hal. 5-41; Zhun Kai-lai, Rantai Markov Homogen, trans. dari bahasa Inggris, M., 1964; R e 1 1 e r W., "Ann. Matematika.", 1954, v. 60, hal. 417-36; Dynkin E.B., Yushkevich A.A., “Teori probabilitas dan penerapannya,” 1956, jilid 1, abad. 1, hal. 149-55; Xant J.-A., Proses dan potensi Markov, trans. dari bahasa Inggris, M., 1962; D e llas h e r i K., Kapasitas dan proses acak, trans. dari Perancis, M., 1975; Dynk dan E.V., Landasan teori proses Markov, M., 1959; dia, Proses Markov, M., 1963; G dan h man I. I., S k o r o x o d A. V., Teori proses acak, vol.2, M., 1973; Freidlin M.I., dalam buku: Hasil Ilmu Pengetahuan. Teori probabilitas adalah jenis proses acak khusus yang penting. Contoh proses Markov adalah peluruhan suatu zat radioaktif, dimana peluang peluruhan suatu atom tertentu dalam waktu singkat tidak bergantung pada jalannya proses pada periode sebelumnya.... ... Kamus Ensiklopedis Besar
Proses Markov adalah proses acak, yang evolusinya setelah nilai parameter waktu tertentu tidak bergantung pada evolusi yang mendahuluinya, asalkan nilai proses pada saat ini tetap (“masa depan” dari proses tersebut. bukan ... ... Wikipedia
proses Markov- 36. Proses Markov Catatan: 1. Kepadatan probabilitas bersyarat disebut kepadatan probabilitas transisi dari keadaan xn 1 pada waktu tn 1 ke keadaan xn pada waktu tn. Kepadatan probabilitas dari suatu sembarang... ... dinyatakan melaluinya. Buku referensi kamus istilah dokumentasi normatif dan teknis
proses Markov- Status proses Markovo sebagai T sritis automatika atitikmenys: engl. Proses Markov vok. Markovprozeß, m rus. Proses Markov, m; Proses Markov, m pranc. processus markovien, m … Automatikos terminų žodynas
proses Markov- Markovo vyksmas statusas T sritis fizika atitikmenys: engl. proses Markov; Proses Markovian vok. Markow Prozeß, m; Markowscher Prozeß, m rus. Proses Markov, m; Proses Markov, m pranc. prosesus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas
Jenis proses acak khusus yang penting. Contoh proses Markov adalah peluruhan suatu zat radioaktif, dimana peluang peluruhan suatu atom tertentu dalam waktu singkat tidak bergantung pada jalannya proses pada periode sebelumnya.... ... kamus ensiklopedis
Jenis proses acak khusus yang penting (Lihat Proses acak), yang sangat penting dalam penerapan teori probabilitas ke berbagai cabang ilmu pengetahuan dan teknologi alam. Contoh proses magnet adalah peluruhan zat radioaktif.… … Ensiklopedia Besar Soviet
Penemuan luar biasa di bidang matematika dilakukan pada tahun 1906 oleh ilmuwan Rusia A.A. Markov.