Структура и классификация систем массового обслуживания
Системы массового обслуживания
Нередко возникает необходимость в решении вероятностных задач, связанных с системами массового обслуживания (СМО), примерами которых могут быть:
Билетные кассы;
Ремонтные мастерские;
Торговые, транспортные, энергетические системы;
Системы связи;
Общность таких систем выявляется в единстве математических методов и моделей, применяемых при исследовании их деятельности.
Рис. 4.1. Основные сферы применения ТМО
На вход в СМО поступает поток требований на обслуживание. Например, клиенты или пациенты, поломки в оборудовании, телефонные вызовы. Требования поступают нерегулярно, в случайные моменты времени. Случайный характер носит и продолжительность обслуживания. Это создает нерегулярность в работе СМО, служит причиной ее перегрузок и недогрузок.
Системы массового обслуживания обладают различной структурой, но обычно в них можно выделить четыре основных элемента :
1. Входящий поток требований.
2. Накопитель (очередь).
3. Приборы (каналы обслуживания).
4. Выходящий поток.
Рис. 4.2. Общая схема систем массового обслуживания
Рис. 4.3. Модель работы системы
(стрелками показаны моменты поступления требований в
систему, прямоугольниками – время обслуживания)
На рис.4.3 а представлена модель работы системы с регулярным потоком требований. Поскольку известен промежуток между поступлениями требований, то время обслуживания выбрано так, чтобы полностью загрузить систему. Для системы со стохастическим потоком требований ситуация совершенно иная – требования приходят в различные моменты времени и время обслуживания тоже является случайной величиной, которое может быть описано неким законом распределения (рис.4.3 б).
В зависимости от правил образования очереди различают следующие СМО:
1) системы с отказами , в которых при занятости всех каналов обслуживания заявка покидает систему необслуженной;
2) системы с неограниченной очередью , в которых заявка встает в очередь, если в момент ее поступления все каналы обслуживания были заняты;
3) системы с ожиданием и ограниченной очередью , в которых время ожидания ограниченно какими-либо условиями или существуют ограничения на число заявок, стоящих в очереди.
Рассмотрим характеристики входящего потока требований.
Поток требований называется стационарным , если вероятность попадания того или иного числа событий на участок времени определенной длины зависит только от длины этого участка.
Поток событий называется потоком без последствий , если число событий, попадающих на некоторый участок времени, не зависит от числа событий, попадающих на другие.
Поток событий называется ординарным , если невозможно одновременное поступление двух или более событий.
Поток требований называется пуассоновским (или простейшим), если он обладает тремя свойствами: стационарен, ординарен и не имеет последствий. Название связано с тем, что при выполнении указанных условий число событий, попадающих на любой фиксированный интервал времени, будет распределен по закону Пуассона.
Интенсивностью потока заявок λ называется среднее число заявок, поступающих из потока за единицу времени.
Для стационарного потока интенсивность постоянна. Если τ – среднее значение интервала времени между двумя соседними заявками, то В случае пуассоновского потока вероятность поступления на обслуживание m заявок за промежуток времени t определяется по закону Пуассона:
Время между соседними заявками распределено по экспоненциальному закону с плотностью вероятности
Время обслуживания является случайной величиной и подчиняется показательному закону распределения с плотностью вероятности где μ – интенсивность потока обслуживания, т.е. среднее число заявок, обслуживаемых в единицу времени,
Отношение интенсивности входящего потока к интенсивности потока обслуживания называется загрузкой системы
Система массового обслуживания представляет собой систему дискретного типа с конечным или счетным множеством состояний, а переход системы из одного состояния в другое происходит скачком, когда осуществляется какое-нибудь событие.
Процесс называется процессом с дискретными состояниями , если его возможные состояния можно заранее перенумеровать, и переход системы из состояния в состояние происходит практически мгновенно.
Такие процессы бывают двух типов: с дискретным или непрерывным временем.
В случае дискретного времени переходы из состояния в состояние могут происходить в строго определенные моменты времени. Процессы с непрерывным временем отличаются тем, что переход системы в новое состояние возможен в любой момент времени.
Случайным процессом называется соответствие, при котором каждому значению аргумента (в данном случае – моменту из промежутка времени проводимого опыта) ставится в соответствие случайная величина (в данном случае – состояние СМО). Случайной величиной называется величина, которая в результате опыта может принять одно, но неизвестное заранее, какое именно, числовое значение из данного числового множества.
Поэтому для решения задач теории массового обслуживания необходимо этот случайный процесс изучить, т.е. построить и проанализировать его математическую модель.
Случайный процесс называется марковским , если для любого момента времени вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент и не зависят от того, когда и как система пришла в это состояние.
Переходы системы из состояния в состояние происходит под действием каких-то потоков (поток заявок, поток отказов). Если все потоки событий, приводящие систему в новое состояние, – простейшие пуассоновские, то процесс, протекающий в системе, будет марковским, так как простейший поток не обладает последствием: в нем будущее не зависит от прошлого. – группа шахматных фигур. Состояние системы характеризуется числом фигур противника, сохранившихся на доске в момент . Вероятность того, что в момент материальный перевес будет на стороне одного из противников, зависит в первую очередь от того, в каком состоянии находится система в данный момент , а не от того, когда и в какой последовательности исчезли фигуры с доски до момента .
Случайный процесс X (t), tÎT называется марковским, если любых t l < t 2 < ... < t n , принадлежащих области Т, условная функция распределения случайной величины X(t n) относительно X(t 1), . . ., X(t n -1) совпадает с условной функцией распределения X(t n) относительно X(t n -1) в том смысле, что для любого x n ÎX справедливо равенство
Рассмотрение определения (3.1.1) при последовательно увеличивающихся n позволяет установить, что для марковских случайных процессов n-мерная функция распределения может быть представлена в виде
Аналогично свойство марковости (3.1.1), (3.1.2) может быть записано и для плотностей вероятности
Таким образом, для марковского процесса функция распределения или плотность вероятности любой мерности n может быть найдена, если известна его одномерная плотность вероятности при t = t 1 и последовательность условных плотностей для моментов t i >t 1 , i = .Эта особенность по существу и определяет практическое удобство аппарата марковских случайных процессов.
Для марковских процессов полностью справедлива общая классификация, приведенная в параграфе 1.1. В соответствии с этой классификацией обычно выделяется четыре основных вида процессов Маркова :
- цепи Маркова - процессы, у которых как область значений X, так и область определения Т - дискретные множества;
- марковские последовательности - процессы, у которых область значений X - непрерывное, а область определения Т -дискретное множество;
- дискретные марковские процессы - процессы, у которых область значений X - дискретное, а область определения Т - непрерывное множество;
- непрерывнозначные марковские процессы - процессы, у которых как область значений X, так и область определения Т - непрерывные множества.
Возможны и более сложные виды марковских процессов, например дискретно-непрерывные, когда случайный процесс X (t) при некоторых значениях аргумента t имеет скачки, а в промежутках между ними ведет себя как непрерывнозначный. Подобные процессы называются смешанными. Похожая ситуация имеет место и для векторных процессов Маркова - отдельные составляющие такого процесса могут относиться к разным типам. Процессы таких сложных видов в дальнейшем не рассматриваются.
Отметим, что при изучении марковских процессов традиционно принято под аргументом t понимать время. Поскольку это предположение не ограничивает общности и способствует наглядности изложения, такая трактовка физического смысла аргумента t и принята в данной главе.
ЦЕПИ МАРКОВА
Пусть случайный процесс X (t) может принимать конечное (L < ) множество значений
{q l , l = } = С. Конкретное значениеq l ; Î С, которое принял процесс X (t) в момент t, определяет его состояние при данном значении аргумента. Таким образом,
в рассматриваемом случае процесс X (t) имеет конечное множество возможных состояний.
Естественно, что с течением времени процесс X (t)
будет случайным образом изменять свое состояние. Допустим, что такое изменение возможно не при любом t, а
лишь в некоторые дискретные моменты времени t 0
Два указанных признака определяют последовательность дискретных случайных величин X i - X (t i), i = 0.1, ... (дискретную случайную последовательность в терминах, параграфа 1.1), у которой область значений представляет собой дискретное конечное множество С ={q l , l = ], а область определения - дискретное бесконечное множество t i , i = 0,1, 2,...
Если для определенной таким образом дискретной случайной последовательности справедливо основное свойство (3.1.1) процессов Маркова, приобретающее в данном случае вид
то такая последовательность называется простой цепью Маркова.
Отметим, что из выражения (3.2.1) непосредственно вытекает
такое же равенство и для условных вероятностей нахождения
простой цепи Маркова в некотором состоянии
Р{х 1 /х 0 ,х 1 , ...,x i -1 } = Ρ{x i /x i -1 }, i = 1,2,....
Введенное определение допускает некоторое обобщение. Положим, что значение х i Î С рассматриваемого процесса X (t) зависит не от одного, а от m(l£ m < i ) непосредственно предшествующих ему значений. Тогда, очевидно, что
Процесс, определяемый соотношением (3.2.2), называется сложной цепью Маркова порядка т. Соотношение (3.2.1) вытекает из (3.2.2) как частный случай. В свою очередь, сложная цепь Маркова порядка т может быть сведена к простой цепи Маркова для m-мерного вектора. Для того чтобы показать это, положим, что состояние процесса в момент i i описывается с помощью m-мерного вектора.
(3.2.3)
На предыдущем шаге аналогичный вектор запишется как
Сравнение (3.2.3) и (3.2.4) показывает, что «средние» компоненты этих векторов (кроме X l в (3.2.3) и Х l - m в (3.2.4)) совпадают. Отсюда следует, что условная вероятность попадания процесса X (t) в состояние `X i в момент t 1 , если он находился в состоянии `X i -1 в момент t i -1 , может быть записана в виде
В (3.2.5) символ обозначает j-ю компоненту вектора `x i ; α (μ, ν) - символ Кронекера: α(μ, ν) = 1 при ν = μ и α(μ, ν) = ϋ при μ ¹ν. Возможность указанных обобщений позволяет ограничиться в дальнейшем рассмотрением только простых цепей Маркова.
Как система дискретных случайных величин простая цепь Маркова X i , i = 0, 1, 2, ... ,i, ... при любом фиксированном i может быть исчерпывающим образом описана i-мерной совместной вероятностью
ρ {θ 0 L , θ ίκ ,... , θ ί m ,} = P{Х 0 =θ L ,X 1 =θ k ,…,X j =θ m }, (3.2.6)
где индексы l , k,..., т принимают все значения от 1 до L независимо друг от друга. Выражение (3.2.6) определяет матрицу с L строками и i+1 столбцом, элементами которой являются вероятности совместного пребывания системы случайных величин Χ 0 ,Χ 1 ,...,Χ ί в некотором конкретном состоянии. Данная матрица по аналогии с рядом распределения скалярной дискретной случайной величины может быть названа матрицей распределения системы дискретных случайных величин
Χ 0 ,Χ 1 ,...,Χ ί .
На основании теоремы умножения вероятностей вероятность (3.2.6) может быть представлена в виде
Но согласно основному свойству (3.2.1) цепи Маркова
P{X l = m/X 0 = l ,X 1 = k ,…,X i -1 = r }=P{X i = m /X i -1 = r }
Повторение аналогичных рассуждений для входящей в (3.2.8) вероятности 
r } позволяет привести это выражение к виду
Отсюда окончательно получаем
(3.2.9)
Таким образом, полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состояния цепи в момент t 0 , Ρ{Θ 0 l ,} = Р{Х 0 = Θ l }, l= и условных вероятностей
Ρ {X l = Θ k /X i-1 = Θ m }, i = 1 , 2, . .. · k, m =
Отметим, что поскольку возможные состояния Θ l Î`C цепи X (t) фиксированы и известны, для описания ее состояния в любой момент времени достаточно указать номер l этого состояния. Это позволяет ввести для безусловных вероятностей нахождения цепи в l -м состоянии в момент t i (на i -м шаге) упрощенное обозначение
Для этих вероятностей, очевидно, имеют место свойства неотрицательности и нормированности к единице
P l
(i
)>0,l
= , i
= 0, 1,2,...; 
(3.2.11)
При использовании матричных обозначений совокупность безусловных вероятностей записывается в виде матрицы-строки
(3.2.12)
Как следует из ранее изложенного, фундаментальную роль в теории цепей Маркова (и процессов Маркова вообще) играют условные вероятности вида В соответствии с физическим смыслом их принято называть вероятностями перехода и обозначать как
Выражение (3.2.13) определяет вероятность прихода цепи в состояние l , в момент t за ν - μ шагов при условии, что в момент t μ цепь находилась в состоянии A . Нетрудно видеть, что для вероятностей перехода также имеют место свойства неотрицательности и нормированности, поскольку на любом шаге цепь всегда будет находиться в одном из L возможных состояний
(3.2.14)
Упорядоченная совокупность вероятностей перехода для любой пары может быть представлена в виде квадратной матрицы
(3.2.15)
Как следует из выражения (3.2.14), все элементы этой матрицы неотрицательны и сумма элементов каждой строки равна единице. Квадратная матрица, обладающая указанными свойствами, называется стохастической.
Таким образом, вероятностное описание цепи Маркова может быть задано матрицей-строкой (3.2.12) и стохастической матрицей (3.2.15).
С использованием введенных обозначений решим основную задачу теории цепей Маркова - определим безусловную вероятность Ρ l (ί) того, что за i -μ шагов процесс придет в некоторое состояние l , l = . Очевидно, что в момент t m процесс может находиться в любом из L возможных состояний с вероятностью P k (m), k = . Вероятность же перехода из k-гo в l -е состояние задается вероятностью перехода p k l (m,i) . Отсюда на основании теоремы о полной вероятности получаем
;
(3.2.16)
или в матричной форме
P(i )=P(m)P(m,i ); (3.2.17)
Рассмотрим в соотношении (3.2.16) вероятность перехода π kl (m,i
). Очевидно, что переход цепи из состояния k
в момент t m
в состояние l
в момент t i
за несколько шагов может осуществляться различными путями (через различные промежуточные состояния). Введем в рассмотрение промежуточный момент времени t m , t m
матричная форма которого имеет вид
П(m, ί) = П(μ, m) П(m,I) ; 0£m < m < I; (3.2.19)
Уравнения (3.2.18), (3.2.19) определяют характерное для цепей Маркова свойство вероятностей перехода, хотя справедливости (3.2.18) еще недостаточно, чтобы соответствующая цепь была марковской.
Расписывая последовательно формулу (3.2.19), получаем
П(μ, i ) = П (μ, i - 1) П (i - 1, ί) = П (μ, μ + 1) ... П (ί - 1, i ), (3.2.20)
где p(ν, μ), μ -n= 1- одношаговая вероятность перехода. Полагая теперь в выражении (3.2.17) μ =0, получаем
(3.2.21)
откуда следует, что полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состояния и последовательности матриц вероятностей одношаговых переходов.
Очевидно, что свойства цепи Маркова в значительной мере определяются свойствами вероятностей перехода. С этой точки зрения, в частности, среди простых цепей Маркова выделяют однородные, для которых вероятности перехода зависят только от разности аргументов
p kl (m,i ) =p kl (i-m) ,i>m>0; (3.2.22)
и не зависят от номера шага. Все остальные виды простых цепей Маркова, не удовлетворяющие условию (3.2.22), относятся к классу неоднородных,.
Поскольку для однородной цепи вероятность перехода определяется лишь разностью аргументов и не зависит от номера шага, очевидно, что для произвольных пар (μ,m), (j ,i ), удовлетворяющих условиям т - μ = 1, ί- j = 1, m¹i, справедливо
p kl (m-m) =p kl (i-j)= p kl (1) =p kl ;
Отсюда следует, что для описания однородной марковской цепи достаточно задать вместе с вероятностями начального состояния не последовательность, а одну стохастическую матрицу одношаговых вероятностей перехода
(3.2.23)
Кроме того, очевидно, что
(3.4.7)
поскольку первый сомножитель под интегралом не зависит от переменной интегрирования, а интеграл от второго равен единице. Вычитание уравнения (3.4.7) из (3.4,6) дает
Предположим, что плотность вероятности перехода рассматриваемого процесса может быть разложена в ряд Тейлора. Тогда выражение в квадратных скобках под интегралом в уравнении (3.4.8) может быть представлено в виде
Подставив выражение (3.4.9) в (3.4.8), разделив обе части полученного выражения на ∆t и перейдя к пределу при Δt → 0, получим
Уравнение (3.4.10) определяет широкий класс непрерывных марковских процессов, причем нетрудно видеть, что совокупность коэффициентов А ν (x 0 ,t 0) определяет физические свойства каждого из них. Так, коэффициент A 1 (x 0 , t 0) может трактоваться как среднее значение локальной (в точке x (t 0)) скорости изменения процесса, коэффициент A 2 (x 0 , t 0) - как локальная скорость изменения дисперсии его приращения и т. д. Однако марковские процессы такого общего вида сравнительно редко рассматриваются в приложениях. Наибольшее практическое значение имеет подмножество марковских процессов, удовлетворяющее условию
A ν (x 0 , t 0)¹0; n=1,2, A ν (x 0 , t 0)=0, n³3; (3.4.12)
При исследовании марковских процессов первоначально было установлено, что уравнению (3.4.10) при условии (3.4.12) удовлетворяют законы движения (диффузии) броуновских частиц, вследствие чего соответствующие марковские процессы назвали диффузионными. Исходя из этого, коэффициент A 1 (x 0 , t 0)=a (x 0 , t 0) назвали коэффициентом сноса, о A 2 (x 0 , t 0)=b(x 0 , t 0) -- коэффициентом диффузии. В рамках (3.4.12) уравнение (3.4.10) приобретает окончательный вид
Это уравнение, в котором переменными являются х 0 и t 0 , носит название первого (обратного) уравнения Колмогорова.
Аналогичным образом может быть получено и второе уравнение
Это уравнение, в честь впервые исследовавших его ученых, называется уравнением Фоккера, - Планка - Колмогорова или прямым уравнением Колмогорова (поскольку в нем фигурирует производная по конечному моменту времени t>t 0).
Таким образом; показано, что плотности вероятности перехода диффузионных марковских процессов удовлетворяют уравнениям (3.4.13), (3.4.14), которые и являются основным инструментом их исследования. При этом- свойства конкретного процесса определяются «коэффициентами» a(x,tί) и b(x,t) которые, согласно уравнения (3.4.11), равны
Из выражений (3.4.15), (3.4.16) следует, что эти «коэффициенты» имеют смысл условных математических ожиданий, определяющих характер изменений реализаций процесса за бесконечно малый промежуток времени Δt. Допускаются весьма быстрые изменения процесса X (t) , но в противоположных направлениях, в результате чего среднее приращение процесса за малое время Δt конечно и имеет порядок .
4. Моделирование по схеме марковских случайных процессов
Для вычисления числовых параметров, характеризующих стохастические объекты, нужно построить некоторую вероятностную модель явления, учитывающую сопровождающие его случайные факторы. Для математического описания многих явлений, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов. Поясним это понятие. Пусть имеется некоторая физическая система S , состояние которой меняется с течением времени (под системой S может пониматься что угодно: техническое устройство, ремонтная мастерская, вычислительная машина и т. д.). Если состояние S меняется по времени случайным образом, говорят, что в системе S протекает случайный процесс. Примеры: процесс функционирования ЭВМ (поступление заказов на ЭВМ, вид этих заказов, случайные выходы из строя), процесс наведения на цель управляемой ракеты (случайные возмущения (помехи) в системе управления ракетой), процесс обслуживания клиентов в парикмахерской или ремонтной мастерской (случайный характер потока заявок (требований), поступивших со стороны клиентов).
Случайный процесс называется марковским процессом (или «процессом без последствия»), если для каждого момента времени t0 вероятность любого состояния системы в будущем (при t > t 0 ) зависит только от её состояния в настоящем (при t = t 0 ) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом). Пусть S техническое устройство, которое характеризуется некоторой степенью изношенности S . Нас интересует, как оно будет работать дальше. В первом приближении характеристики работы системы в будущем (частота отказов, потребность в ремонте) зависят от состояния устройства в настоящий момент и не зависят от того, когда и как устройство достигло своего настоящего состояния.
Теория марковских случайных процессов – обширный раздел теории вероятности с широким спектром приложений (физические явления типа диффузии или перемешивания шихта во время плавки в доменной печи, процессы образования очередей).
4.1. Классификация марковских процессов
Марковские случайные процессы делятся на классы. Первый классификационный признак – характер спектра состояний. Случайный процесс (СП) называется процессом с дискретными состояниями, если возможные состояния системы S1, S2, S3… можно перечислить, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое.
Пример. Техническое устройство состоит из двух узлов I и II, каждый из которых может выйти из строя. Состояния: S1 – оба узла работают; S2 – первый узел отказал, второй рабочий; S 3 – второй узел отказал, первый рабочий; S4 – оба узла отказали.
Существуют процессы с непрерывными состояниями (плавный переход из состояния в состояние), например, изменение напряжения в осветительной сети. Будем рассматривать только СП с дискретными состояниями. В этом случае удобно пользоваться графом состояний, в котором возможные состояния системы обозначаются узлами, а возможные переходы - дугами.
Второй классификационный признак – характер функционирования во времени. СП называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: t1, t2… . Если переход системы из состояния в состояние возможен в любой наперед неизвестный случайный момент, то говорят о СП с непрерывным временем.
4.2. Расчет марковской цепи с дискретным временем
S с дискретными состояниями S1, S2, … Sn и дискретным временем t1, t2, … , tk, … (шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S1 ® S1 ® S2 ® S3 ® S4 ® S1 ® … в моменты t1, t2, t3 … .
Будем обозначать событие, состоящее в том, что после k – шагов система находится в состоянии Si . При любом k события https://pandia.ru/text/78/060/images/image004_39.gif" width="159" height="25 src=">.
Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть – вероятность того, что после k - шагов система находится в состоянии Si . Легко видеть, что " k DIV_ADBLOCK13">
.
Пользуюсь введенными выше событиями https://pandia.ru/text/78/060/images/image008_34.gif" width="119" height="27 src=">. Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P11=1-(P12+ P13) ). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p1(k), p2(k),… pn(k) " k.
Пусть начальное состояние системы Sm , тогда
p1(0)=0 p2(0)=0… pm(0)=1… pn(0)=0.
Первый шаг:
p1(1)=Pm1 , p2(1)=Pm2 ,…pm(1)=Pmm ,… ,pn(1)=Pmn .
После второго шага по формуле полной вероятности получим:
p1(2)=p1(1)P11+p2(1)P21+…pn(1)Pn1,
pi(2)=p1(1)P1i+p2(1)P2i+…pn(1)Pni или https://pandia.ru/text/78/060/images/image010_33.gif" width="149" height="47"> (i=1,2,.. n).
Для неоднородной МЦ
переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через
.
Тогда формула для расчета вероятностей состояний приобретает вид:
.
4.3. Марковские цепи с непрерывным временем
4.3.1. Уравнения Колмогорова
На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем – непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={ S1, S2,… Sn}. Обозначим через pi(t) - вероятность того, что в момент t система S будет находиться в состоянии ). Очевидно . Поставим задачу – определить для любого t pi(t) . Вместо переходных вероятностей Pij введем в рассмотрение плотности вероятностей перехода
.
Если не зависит от t , говорят об однородной цепи, иначе - о неоднородной. Пусть нам известны для всех пар состояний (задан размеченный граф состояний). Оказывается, зная размеченный граф состояний можно определить p1(t), p2(t).. pn(t) как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, (уравнения Колмогорова).
 |
Интегрирование этих уравнений при известном начальном состоянии системы даст искомые вероятности состояний как функции времени. Заметим, что p1+ p2+ p3+ p4=1 и можно обойтись тремя уравнениями.
Правила составления уравнений Колмогорова . В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.
4.3.2. Поток событий. Простейший поток и его свойства
При рассмотрении процессов, протекающих в системе с дискретными состояниями и непрерывным временем, часто бывает удобно представить себе процесс так, как будто переходы системы из состояния в состояние происходят под действием каких-то потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим в какие-то, вообще говоря, случайные моменты времени. (Поток вызовов на телефонной станции; поток неисправностей (сбоев) ЭВМ; поток грузовых составов, поступающих на станцию; поток посетителей; поток выстрелов, направленных на цель). Будем изображать поток событий последовательностью точек на оси времени ot . Положение каждой точки на оси случайно. Поток событий называется регулярным , если события следуют одно за другим через строго определенные промежутки времени (редко встречается на практике). Рассмотрим специального типа потоки, для этого введем ряд определений. 1. Поток событий называется стационарным , если вероятность попадания того или иного числа событий на участок времени длиной зависит только от длины участка и не зависит от того, где именно на оси ot расположен этот участок (однородность по времени) – вероятностные характеристики такого потока не должны меняться от времени. В частности, так называемая интенсивность (или плотность) потока событий (среднее число событий в единицу времени) постоянна.
2. Поток событий называется потоком без последствия , если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой (или другие, если рассматривается больше двух участков). Отсутствие последствия в потоке означает, что события, образующие поток, появляются в последовательные моменты времени независимо друг от друга.
3. Поток событий называется ординарным , если вероятность попадания на элементарный участок двух или более событий пренебрежительно мала по сравнению с вероятностью попадания одного события (события в потоке приходят поодиночке, а не парами, тройками и т. д.).
Поток событий, обладающий всеми тремя свойствами, называется простейшим (или стационарным пуассоновским ). Нестационарный пуассоновский поток обладает только свойствами 2 и 3. Пуассоновский поток событий (как стационарный, так и нестационарный) тесно связан с известным распределением Пуассона. А именно, число событий потока, попадающих на любой участок, распределено по закону Пуассона. Поясним это подробнее.
Рассмотрим на оси о t , где наблюдается поток событий, некоторый участок длины t, начинающийся в момент t 0 и заканчивающийся в момент t 0 + t. Нетрудно доказать (доказательство дается во всех курсах теории вероятности), что вероятность попадания на этот участок ровно m событий выражается формулой:
(m =0,1…),
где а – среднее число событий, приходящееся на участок t.
Для стационарного (простейшего) пуассоновского потока а= l t , т. е. не зависит от того, где на оси ot взят участок t. Для нестационарного пуассоновского потока величина а выражается формулой
и значит, зависит от того, в какой точке t 0 начинается участок t.
Рассмотрим на оси ot
простейший поток событий с постоянной интенсивностью l. Нас будет интересовать интервал времени T между событиями в этом потоке. Пусть l - интенсивность (среднее число событий в 1 времени) потока. Плотность распределения f
(t
)
случайной величины Т
(интервал времени между соседними событиями в потоке) f
(t
)=
l
e
-
l
t
(t
>
0)
. Закон распределения с такой плотностью называется показательным (экспоненциальным). Найдем численные значения случайной величины Т
: математическое ожидание (среднее значение) 
и дисперсию left">
Промежуток времени Т между соседними событиями в простейшем потоке распределен по показательному закону; его среднее значение и среднее квадратичное отклонение равны , где l - интенсивность потока. Для такого потока вероятность появления на элементарном участке времени ∆t ровно одного события потока выражается как . Эту вероятность мы будем называть «элементом вероятности появления события».
Для нестационарного пуассоновского потока закон распределения промежутка Т уже не будет показательным. Вид этого закона будет зависеть, во первых, от того, где на оси ot расположено первое из событий, во вторых, от вида зависимости . Однако, если меняется сравнительно медленно и его изменение за время между двумя событиями невелико, то закон распределения промежутка времени между событиями можно приближенно считать показательным, полагая в этой формуле величину равной среднему значению на том участке, который нас интересует.
4.3.3. Пуассоновские потоки событий и
непрерывные марковские цепи
Рассмотрим некоторую физическую систему S={ S1, S2,… Sn} , которая переходит из состояния в состояние под влиянием каких-то случайных событий (вызовы, отказы, выстрелы). Будем себе это представлять так, будто события, переводящие систему из состояния в состояние, представляют собой какие-то потоки событий.
Пусть система S в момент времени t находится в состоянии Si и может перейти из него в состояние Sj под влиянием какого-то пуассоновского потока событий с интенсивностью l ij : как только появляется первое событие этого потока, система мгновенно переходит из Si в Sj ..gif" width="582" height="290 src=">
4.3.4. Предельные вероятности состояний
Пусть имеется физическая система S={ S1, S2,… Sn} , в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Предположим, что l ij= const , т. е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим p1(t), p2(t),… pn(t), при любом t . Поставим следующий вопрос, что будет происходить с системой S при t ® ¥. Будут ли функции pi(t ) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными вероятностями состояний. Можно доказать теорему: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы. Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,… n), .
Таким образом, при t ® ¥ в системе S устанавливается некоторый предельный стационарный режим. Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Для вычисления pi в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0. Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .
4.3.5. Схема гибели и размножения
Мы знаем, что имея в распоряжении размеченный граф состояний, можно легко написать уравнения Колмогорова для вероятностей состояний, а также написать и решить алгебраические уравнения для финальных вероятностей. Для некоторых случаев удается последние уравнения решить заранее, в буквенном виде. В частности, это удается сделать, если граф состояний системы представляет собой так называемую «схему гибели и размножения».
https://pandia.ru/text/78/060/images/image044_6.gif" width="73" height="45 src="> (4.4)
Из второго, с учетом (4.4), получим:
https://pandia.ru/text/78/060/images/image046_5.gif" width="116" height="45 src="> (4.6)
и вообще, для любого k (от 1 до N):
https://pandia.ru/text/78/060/images/image048_4.gif" width="267" height="48 src=">
отсюда получим выражение для р0.
(4. 8)
(скобку мы возвели в степень -1, чтобы не писать двухэтажных дробей). Все остальные вероятности выражены через р0 (см. формулы (4.4) - (4.7)). Заметим, что коэффициенты при p0 в каждой из них представляют собой не что иное, как последовательные члены ряда, стоящего после единицы в формуле (4.8). Значит, вычисляя р0, мы уже нашли все эти коэффициенты.
Полученные формулы очень полезны при решении простейших задач теории массового обслуживания.
Среди различных видов систем, окружающих нас: технических, информационных, социальных и т. д. нас будут интересовать системы, которые возникают в сервисных процессах, в процессах обслуживания. В прикладной математике они так и называются – системы массового обслуживания (СМО). Математический аппарат изучения этих систем давно разработан и позволяет построить модели таких систем для описания процессов обслуживания и вычислить основные характеристики функционирования системы с целью определения её эффективности . Этот аппарат основывается на теории вероятностей и теории случайных процессов. Рассмотрим основные идеи и понятия.
2.1. Элементы теории марковских случайных процессов, используемые при моделировании систем
Функция X(t) называется случайной , если её значение при любом аргументе t является случайной величиной.
Случайная функция X(t), аргументом которой является время, называется случайным процессом .
Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи, с помощью марковских процессов можно описать (точно или приближённо) поведение достаточно сложных систем.
Определение. Случайный процесс, протекающий в какой-либо системе S, называется марковским, или процессом без последействия , если он обладает следующим свойством: для любого момента времени t 0 вероятность любого состояния системы в будущем зависит только от её состояния в настоящем и не зависит от того, когда и каким образом система S пришла в это состояние.
Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X (t) и параметра t.
Различают следующие основные виды марковских случайных процессов:
с дискретными состояниями и дискретным временем (цепь Маркова);
с непрерывными состояниями и дискретным временем (марковские последовательности);
с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);
с непрерывным состоянием и непрерывным временем.
Мы будем рассматривать только марковские процессы с дискретными состояниями S 1 , S 2 , ..., S n .
Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 2.1 ), где кружками обозначены состояния S 1 , S 2 , ... системы S, а стрелками – возможные переходы из состояния в состояние.
Рис. 2.1. Пример графа состояний системы S
На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлёй», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (несчётным).
МАРКОВСКИЙ ПРОЦЕСС
Процесс без последействия, - случайный процесс ,
эволюция к-рого после любого заданного значения временного параметра tне зависит от эволюции, предшествовавшей t,
при условии, что значение процесса в этот фиксировано (короче: "будущее" н "прошлое" процесса не зависят друг от друга при известном "настоящем").
Определяющее М. п. свойство принято наз. марковским; впервые оно было сформулировано А. А. Марковым . Однако уже в работе Л. Башелье можно усмотреть попытку трактовать броуновское как М. п., попытку, получившую обоснование после исследований Н. Винера (N. Wiener, 1923). Основы общей теории М. п. с непрерывным временем были заложены А. Н. Колмогоровым .
Марковское свойство. Имеются существенно отличающиеся друг от друга определения М. п. Одним из наиболее распространенных является следующее. Пусть на вероятностном пространстве задан случайный процесс со значениями из измеримого пространства где Т -
подмножество действительной оси Пусть N t
(соответственно N t
).есть s-алгебра в
порожденная величинами X(s).при
где
Другими словами, N t
(соответственно N t
) - это совокупность событий, связанных с эволюцией процесса до момента t(начиная с t).
Процесс X(t).наз.
марковским процессом, если (почти наверное) для всех выполняется марковское свойство:
или, что то же самое, если для любых
М. п., для к-рого Тсодержится в множестве натуральных чисел, наз. Маркова цепью
(впрочем, последний термин чаще всего ассоциируется со случаем не более чем счетного Е).
Если Тявляется интервалом в а Ене более чем счетно, М. п. наз. цепью Маркова с непрерывным временем. Примеры М. п. с непрерывным временем доставляются диффузионными процессами и процессами с независимыми приращениями, в том числе пуассоновским и винеровским.
В дальнейшем для определенности речь будет идти только о случае 
Формулы (1) и (2) дают ясную интерпретацию принципа независимости "прошлого" и "будущего" при известном "настоящем", но основанное на них определение М. п. оказалось недостаточно гибким в тех многочисленных ситуациях, когда приходится рассматривать не одно, а набор условий типа (1) или (2), отвечающих различным, хотя и согласованным определенным образом, мерам Такого рода соображения привели к принятию следующего определения (см. , ).
Пусть заданы:
а) где s-алгебра содержит все одноточечные множества в Е;
б) измеримое снабженное семейством s-алгебр таких, что если
в) (" ") x t =x
t
(w),
определяющая при любых измеримое отображение
г) для каждых и вероятностная мера на s-алгебре такая, что функция 
измерима относительно если и
Набор наз. (необрывающимся) марковским процессом, заданным в если -почти наверное
каковы бы ни были Здесь - пространство элементарных событий, - фазовое пространство или пространство состояний, Р(s, x, t, В
) - переходная функция
или вероятность перехода процесса X(t).
Если Енаделено топологией, а - совокупность борелевских множеств в Е,
то принято говорить, что М. п. задан в Е.
Обычно в определение М. п. включают требование, чтобы и тогда истолковывается как вероятность при условии, что x s =x.
Возникает вопрос: всякую ли марковскую переходную функцию Р(s, x
; t, В
),
заданную в измеримом пространстве можно рассматривать как переходную функцию нек-рого М. п. Ответ положителен, если, напр., Еявляется сепарабельным локально компактным пространством, а - совокупностью борелевских множеств в Е.
Более того, пусть Е -
полное метрич. пространство и пусть
для любого где а - дополнение e-окрестности точки х. Тогда соответствующий М. п. можно считать непрерывным справа и имеющим пределы слева (т. е. таковыми можно выбрать его траектории). Существование же непрерывного М. п. обеспечивается условием при (см. , ). В теории М. п. основное внимание уделяется однородным (по времени) процессам. Соответствующее определение предполагает заданной систему объектов а) - г) с той разницей, что для фигурировавших в ее описании параметров sи u теперь допускается лишь значение 0. Упрощаются и обозначения:
Далее, постулируется однородность пространства W, т. е. требуется, чтобы для любых 
существовало такое что 
(w) при Благодаря этому на s-алгебре N,
наименьшей из s-алгебр в W, содержащих любое событие вида 
задаются операторы временного сдвига q t
, к-рые сохраняют операции объединения, пересечения и вычитания множеств и для к-рых
Набор наз. (необрывающимся) однородным марковским процессом, заданным в если -почти наверное
для Переходной функцией процесса X(t).считается Р(t, x, В
), причем, если нет специальных оговорок, дополнительно требуют, чтобы Полезно иметь в виду, что при проверке (4) достаточно рассматривать лишь множества вида где 
и что в (4) всегда F t
можно заменить s-алгеброй , равной пересечению пополнений F t
по всевозможным мерам Нередко в фиксируют вероятностную меру m ("начальное ") и рассматривают марковскую случайную функцию 
где - мера на заданная равенством
М. п. наз. прогрессивно измеримым, если при каждом t>0 функция индуцирует измеримое в где есть s-алгебра
борелевских подмножеств в . Непрерывные справа М. п. прогрессивно измеримы. Существует способ сводить неоднородный случай к однородному (см. ), и в дальнейшем речь будет идти об однородных М. п.
Строго .
Пусть в измеримом пространстве задан М. п.
Функция наз. марковским моментом,
если 
для всех
При этом относят к семейству F t , если при (чаще всего F t интерпретируют как совокупность событий, связанных с эволюцией X(t).до момента т). Для полагают
Прогрессивно измеримый М. п. Xназ. строго марковским процессом (с. м. п.), если для любого марковского момента т и всех 
и соотношение
(строго марковское свойство) выполняется -почти наверное на множестве W t . При проверке (5) достаточно рассматривать лишь множества вида где 
в этом случае С. м. п. является, напр., любой непрерывный справа феллеровский М. п. в топологич. пространстве Е.
М. п. наз. феллеровским марковским процессом, если функция
непрерывна всякий раз, когда f непрерывна и ограничена.
В классе с. м. п. выделяются те или иные подклассы. Пусть марковская Р(t, x, В
),
заданная в метрическом локально компактном пространстве Е,
стохастически непрерывна:
для любой окрестности Uкаждой точки Тогда если операторы переводят в себя непрерывных и обращающихся в 0 в бесконечности функций, то функции Р(t, х, В
).отвечает стандартный М. п. X,
т. е. непрерывный справа с. м. п., для к-рого
- почти наверное на множестве 
а - неубывающие с ростом пмарковские моменты. Обрывающийся марковский процесс.
Нередко физич. системы целесообразно описывать с помощью необрывающегося М. п., но лишь на временном интервале случайной длины. Кроме того, даже простые преобразования М. п. могут привести к процессу с траекториями, заданными на случайном интервале (см. Функционал
от марковского процесса). Руководствуясь этими соображениями, вводят понятие обрывающегося М. п.
Пусть - однородный М. п. в фазовом пространстве имеющий переходную функцию 
и пусть существуют точка и функция 
такие, что при и в противном случае (если нет специальных оговорок, считают ). Новая траектория x t
(w) задается лишь для ) посредством равенства 
a F t
определяется как в множестве
Набор где 
наз. обрывающимся марковским процессом (о. м. п.), полученным из с помощью обрыва (или убивания) в момент z. Величина z наз. моментом обрыва, или временем жизни, о. м. п. Фазовым пространством нового процесса служит где есть след s-алгебры в Е.
Переходная функция о. м. п.- это сужение на множество 
Процесс X(t).наз. строго марковским процессом, или стандартным марковским процессом, если соответствующим свойством обладает Необрывающийся М. п. можно рассматривать как о. м. п. с моментом обрыва Неоднородный о. м. п. определяется аналогичным образом. М.
Марковские процессы и .
М. п. типа броуновского движения тесно связаны с дифференциальными уравнениями параболич. типа. Переходная р(s, x, t, у
).диффузионного процесса удовлетворяет при нек-рых дополнительных предположениях обратному и прямому дифференциальным уравнениям Колмогорова:
Функция р(s, x, t, у
).есть функция Грина уравнений (6) - (7), и первые известные способы построения диффузионных процессов были основаны на теоремах существования этой функции для дифференциальных уравнений (6) - (7). Для однородного по времени процесса L(s, x
) = L
(x).на гладких функциях совпадает с характеристич. оператором М. п. (см. Переходных операторов полугруппа
).
Математич. ожидания различных функционалов от диффузионных процессов служат решениями соответствующих краевых задач для дифференциального уравнения (1). Пусть - математич. ожидание по мере Тогда функция удовлетворяет при s
Аналогично, функция
удовлетворяет при s
и условию и 2 ( Т, x
) = 0.
Пусть тt - момент первого достижения границы дD
области
траекторией процесса
Тогда при нек-рых условиях функция
удовлетворяет уравнению
и принимает значения ср на множестве
Решение 1-й краевой задачи для общего линейного параболич. уравнения 2-го порядка
при довольно общих предположениях может быть записано в виде
В случае, когда Lи функции с, f
не зависят от s,
аналогичное (9) представление возможно и для решения линейного эллиптич. уравнения. Точнее, функция
при нек-рых предположениях есть задачи
В случае, когдгг оператор Lвырождается (del b(s, х
) = 0
).или дD
недостаточно "хорошая", граничные значения могут и не приниматься функциями (9), (10) в отдельных точках или на целых множествах. Понятие регулярной граничной точки для оператора L
имеет вероятностную интерпретацию. В регулярных точках границы граничные значения достигаются функциями (9), (10). Решение задач (8), (11) позволяет изучать свойства соответствующих диффузионных процессов и функционалов от них.
Существуют методы построения М. п., не опирающиеся на построение решений уравнений (6), (7), напр. метод стохастических дифференциальных уравнений,
абсолютно непрерывная замена меры и др. Это обстоятельство вместе с формулами (9), (10) позволяет вероятностным путем строить и изучать свойства краевых задач для уравнения (8), а также свойства решении соответствующего эллиптич. уравнения.
Так как решение стохастического дифференциального уравнения нечувствительно к вырождению матрицы b(s, x
), то
вероятностные методы применялись для построения решений вырождающихся эллиптических и параболических дифференциальных уравнений. Распространение принципа усреднения Н. М. Крылова и Н. Н. Боголюбова на стохастические дифференциальные уравнения позволило с помощью (9) получить соответствующие результаты для эллиптических и параболических дифференциальных уравнений. Нек-рые трудные задачи исследования свойств решений уравнений такого типа с малым параметром при старшей производной оказалось возможным решить с помощью вероятностных соображений. Вероятностный смысл имеет и решение 2-й краевой задачи для уравнения (6). Постановка краевых задач для неограниченной области тесно связана с возвратностью соответствующего диффузионного процесса.
В случае однородного по времени процесса (Lне зависит от s) положительное решение уравнения с точностью до мультипликативной постоянной совпадает при нек-рых предположениях со стационарной плотностью распределения М. п. Вероятностные соображения оказываются полезными и при рассмотрении краевых задач для нелинейных параболич. уравнений. Р. 3. Хасьминский.
Лит. : Марков А. А., "Изв. физ.-мат. об-ва Казан. ун-та", 1906, т. 15, №4, с. 135-56; В а с h e l i е r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, p. 21-86; Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415- 458; рус. пер.-"Успехи матем. наук", 1938, в. 5, с. 5-41; Ч ж у н К а й - л а й, Однородные цепи Маркова, пер. с англ., М., 1964; Р е 1 1 е r W., "Ann. Math.", 1954, v. 60, p. 417-36; Д ы н к и н Е. Б., Ю ш к е в и ч А. А., "Теория вероятн. и ее примен.", 1956, т. 1, в. 1, с. 149-55; X а н т Дж.-А., Марковские процессы и потенциалы, пер. с англ., М., 1962; Д е л л а ш е р и К., Емкости и случайные процессы, пер. с франц., М., 1975; Д ы н к и н Е. В., Основания теории марковских процессов, М., 1959; его же, Марковские процессы, М., 1963; Г и х м а н И. И., С к о р о х о д А. В., Теория случайных процессов, т. 2, М., 1973; Фрейдлин М. И., в кн.: Итоги науки. Теория вероятностей, - важный специальный вид случайных процессов. Примером марковского процесса может служить распад радиоактивного вещества, где вероятность распада данного атома за малый промежуток времени не зависит от течения процесса в предшествующий период.… … Большой Энциклопедический словарь
Марковский процесс случайный процесс, эволюция которого после любого заданного значения временного параметра не зависит от эволюции, предшествовавшей, при условии, что значение процесса в этот момент фиксировано («будущее» процесса не… … Википедия
Марковский процесс - 36. Марковский процесс Примечания: 1. Условную плотность вероятности называют плотностью вероятности перехода из состояния xn 1в момент времени tn 1 в состояние хпв момент времени tn. Через нее выражаются плотности вероятностей произвольного… … Словарь-справочник терминов нормативно-технической документации
марковский процесс - Markovo procesas statusas T sritis automatika atitikmenys: angl. Markovprocess vok. Markovprozeß, m rus. марковский процесс, m; процесс Маркова, m pranc. processus markovien, m … Automatikos terminų žodynas
марковский процесс - Markovo vyksmas statusas T sritis fizika atitikmenys: angl. Markov process; Markovian process vok. Markow Prozeß, m; Markowscher Prozeß, m rus. марковский процесс, m; процесс Маркова, m pranc. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas
Важный специальный вид случайных процессов. Примером Марковского процесса может служить распад радиоактивного вещества, где вероятность распада данного атома за малый промежуток времени не зависит от течения процесса в предшествующий период.… … Энциклопедический словарь
Важный специальный вид случайных процессов (См. Случайный процесс), имеющих большое значение в приложениях теории вероятностей к различным разделам естествознания и техники. Примером М. п. может служить распад радиоактивного вещества.… … Большая советская энциклопедия
Выдающееся открытие в области математики, сделанное в 1906 русским ученым А.А. Марковым.