Динамическое программирование - Программирование, компьютеры и кибернетика курсовая работа

Достижения математики в теории полумарковских процессов. Связь управляемых полумарковских процессов и динамического программирования. Разработка программы модели управляемого полумарковского процесса, реализованной на языке программирования СИ++.


посмотреть текст работы


скачать работу можно здесь


полная информация о работе


весь список подобных работ


Нужна помощь с учёбой? Наши эксперты готовы помочь!
Нажимая на кнопку, вы соглашаетесь с
политикой обработки персональных данных

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
· Случайный процесс X(t) называется процессом с дискретным временем , если он изменяет свои состояния только в моменты времени , число которых может быть конечно или счетно.
· Случайный процесс X(t) называется процессом с непрерывным временем , если он переходит в иное состояние в любой момент времени.
· Случайный процесс X(t) называется процессом с непрерывными состояниями , если исследуемая случайная величина является непрерывной.
· Случайный процесс X(t) называется процессом с дискретными состояниями , если исследуемая случайная величина является дискретной.
· Случайный процесс X(t) называется стационарным в узком (строгом) смысле , если его функция распределения любого порядка не изменяется при замене последовательности на при любом временном сдвиге
· Случайные процесс X(t) называется стационарным в широком смысле, если его среднее значение, дисперсия не зависят от времени, а корреляционная функция зависит от разности времен .
· Случайный процесс X(t) называется процессом с н езависимыми приращениями , если для являются независимыми.
· Случайный процесс X(t) называется Марковским , если для каждого момента времени вероятность нахождения в состоянии в будущем зависит от того, где процесс находится в настоящем и не зависит от поведения в прошлом.
Частыми примерами случайных процессов, которые описываются в научной литературе, являются цепи Маркова.
Цепью Маркова называют Марковский случайный процесс с дискретным временем и конечным или счетным множеством состояний. Цепь Маркова можно задать переходными вероятностями или матрицей переходных вероятностей P и начальным распределением, иначе распределением вероятностей процесса в нулевой момент времени. Матрица переходных вероятностей P должна быть стохастической, то есть матрица должна иметь неотрицательные элементы, сумма элементов по строке равна 1.
Переходные вероятности цепи Маркова описываются следующими выражениями:
справедливо для неоднородной цепи, в которой вероятность перехода зависит от номера шага n.
выполняется для однородной цепи, для которой характерно отсутствие зависимости вероятности от номера шага - условная вероятность перехода из состояния i в состояние j за единицу времени.
Теперь можно дать точное определение цепи Маркова как последовательность случайных величин { с конечным или счетным множеством значений с дискретным временем, начальным распределением и матрицей перехода P.
Одно из важнейших свойств, которым обладают марковские цепи - марковское свойство.
Для случайного процесса X(t) свойство заключается в том, что для любого набора моментов времени вероятность преобразуется в выражение вида
то есть условное распределение состояний в будущих моментах времени зависит только от состояния в настоящий момент.
Классификация состояний цепи Маркова:
· Состояние k достижимо из j, если вероятность того, что процесс через конечное число шагов будет находиться в состоянии k, при условии, что процесс стартовал из j, положительна, то есть
· Два состояния i и j называются сообщающимися , если они достижимы друг из друга , обозначают
· Состояние называется несущественным, если . Иначе - существенное.
вероятность того, что на n шаге процесс впервые попадет в состояние I, стартуя из состояния i.
· Состояние называется положительным , если M(v)<, где М(v) есть условное математическое ожидание времени первого достижения состояния i, при условии, что процесс стартует из состояния i
· Состояние называется нулевым, если М(v)=.
· Состояние называется поглощающим , если процесс сможет выйти из него с нулевой вероятностью.
Понятия случайный процесс и цепь Маркова находят применения во многих сферах, не только в теории вероятностей, а так же в экономике, теории связи, теории надежности и естествознании.
В настоящее время большой интерес вызывают управляемые процессы, в которых присутствует стратегия управления в каждом состоянии, которые принимает процесс.
Стратегией управления называют некоторое правило выбора решений из заданного множества допустимых управлений, а так же правило выбора моментов принятия решения.
Стратегия управления называется рандомизированной стратегией, если в процесс принятия того или иного управления введен случайный эксперимент, который определяется некоторой вероятностной мерой.
Стратегия управления называется детерминированной или нерандомезированной стратегией, если вероятностная мера является вырожденной. 3
Более того, стратегия может быть неупреждающей, марковской, однородной.
В этой работе используются понятия рандомезированной и вырожденной стратегии.
1) Определение марковских моментов и множество состояний E;
2) Определение множества управлений и стратегий;
3) Нахождение полумарковского ядра и построение полумарковской матрицы;
4) Построение функционала накопления , как математическое ожидание накопленного эффекта;
5) Определение математического ожидания времени непрерывного пребывания процесса в состоянии;
6) Определение математического ожидания дохода ;
7) Нахождения стационарных вероятностей состояний вложенной цепи Маркова;
8) Построение функционала качества и нахождения экстремума целевого функционала и выбор оптимальной стратегии управления.
Введем некоторые определения, обозначения и теоремы:
- семейство вероятностных мер, для которых выполнено
Функционал качества, удовлетворяющий системе интегральных уравнений
По теореме о структуре функционала накопления 8
имеет дробно-линейную структуру и зависит от всех вероятностных мер , то есть
Построение оптимальной стратегии заключается в том, чтобы определить вероятностные меры , - множество допустимых стратегий, для которых
«Если максимум целевого функционала по множеству допустимых стратегий управления существует, если множество вырожденных стратегий является подмножеством множества допустимых стратегий, то:
Равенство означает, что множество стратегий, на которых достигается экстремум дробно-линейного функционала, пересекается с множеством вырожденных стратегий.»
Кроме функционала накопления, в стохастических моделях часто используются функционалы достижения. Физический смысл их довольно прост. Пусть имеются два непересекающихся множества , назовем их подмножество «плохих» состояния и «хороших состояний» соответственно, причем , то есть, объединение дает все множество состояний E. Таким образом, функционал достижения описывает математическое ожидание стоимости (затраченного времени) до момента первого попадания в множество «плохих состояний», при условии, что процесс стартовал из множества «хороших состояний». Строится он аналогично функционалу качества, нахождением математических ожиданий стоимости переходов или затраченного времени пребывания процесса в состоянии, в зависимости от критерия, по которому строится функционал.
Эти функционалы удовлетворяют следующим системам алгебраических уравнений
Решение этих систем также являются дробно-линейными функционалами, экстремум которых достигается на вырожденных распределениях.
Данная работа опирается на труды, относящиеся к приложениям теории случайных процессов, в частности полумарковских, для теории надежности, массового обслуживания и др. Приведенные примеры работ выбраны по причине схожести подходов решения поставленных задач.
Теория надежности - наука, изучающая закономерности распределения отказов технических устройств и конструкций, причины их возникновения.
Математическая теория надежности-«общая научная дисциплина, изучающая общие методы и приемы, которых следует придерживаться при проектировании, приемке, транспортировке и эксплуатации изделий для обеспечения максимальной их эффективности в процессе использования, а также разрабатывающая общие методы расчета качества устройств по известным качествам составляющих их частей».7
Надежность-свойство изучаемого объекта сохранять в течении времени способность выполнять требуемые функции. Надежность - важный показатель качества объекта. 4
Множество работ направлены на изучении времени безотказной работы, его математического ожидания для достаточно сложных систем.
Безотказность-свойство объекта находиться в течении некоторого времени в работоспособном состоянии до частичного или полного отказа системы.
Примером использования цепей Маркова для анализа характеристик безотказности может служить работа 2.
Авторами была исследована система из n приборов, соединенных последовательно, и m приборов, находящихся в резерве, каждый из которых имеет собственные характеристики работоспособности. Более того, порядок основных приборов (начавших работу в начальный момент времени) и приборов в резерве (последовательность их подключения в работу на место основных после их отказа) в начальный момент времени фиксирован, то есть каждый прибор в начальный момент пронумерован, и ему присвоен номер k, . Отказ очередного прибора проявляется мгновенно и с вероятностью, равной единице, на его место подключают резервный элемент, при наличии работоспособных. Отказ системы происходит в момент, когда отказал элемент на месте основного, а в резерве нет работоспособных. Необходимо заметить, что элементы, которые находятся в резерве, могут отказать с положительной вероятностью, не побывав на месте основного, то есть резерв облегченный. Поэтому при расчете для k-го элемента его времени безотказной работы необходимо учитывать случайные величины - случайное время, которое данный элемент провел в резерве, другими словами, старение данного элемента.
Цель работы состоит в определении функции распределения момента отказа системы, обозначаемого через Х, F(t)=P{X0 не потребуется включать элемент с номером (n+m+1) при условии, что начальный момент на основных местах находятся элементы с номерами , которые были подключены в моменты .
Далее вероятность (1) расписывают по формуле полной вероятности при Полученное выражение при произвольной s является искомой функцией распределения момента отказа системы.
Алгоритм завершается при s=0 по формуле P(t,(1,0),(2,0),…, (n,0))=1-F(t) поиском искомой функции.
Математическое ожидание положительной случайной величины c функцией распределения F(x) имеет вид
Таким образом, искомое математическое ожидание времени безотказной работы можно получить интегрированием функции распределения, полученной ранее.
Особый подход, который использовали авторы этой работы, состоит в том, что анализируется марковская цепь, а время безотказной работы рассматривается как функционал, построенный на траекториях этой цепи.
В целом, вопросы резервирования возникают в моменты, когда появляется желание увеличить надежность исследуемой системы. С этой целью резервировать можно как всю систему в целом, так и отдельные ее части: блоки и элементы.
Кроме структуры наблюдаются различия в типах резервирования: горячее, холодное и облегченное резервирование. Облегченное резервирование является промежуточным между холодным и горячим.
Каштанов В.А. 4 рассматривает задачу облегченного резервирования системы, состоящей из (n+1) элементов. В отличие от 2 в данной работе только 1 элемент находится в основном рабочем состоянии, а остальные n приборов являются резервными. Резервные элементы могут отказывать, не начиная работать на основном месте, но вероятность отказа в резерве меньше, чем вероятность безотказной работы, следовательно, резервные элементы находятся в облегченном режиме.
Введем некоторые обозначения, p(x) - надежность элемента в резерве; P(t,x) - вероятность, что элемент проработает на основном месте время до момента t при условии, что он начал работать в момент x.
Цель работы заключается в нахождении оптимального порядка подключения резерва для обеспечения максимального среднего времени безотказной работы системы.
Для функции распределения времени работы системы, имеющей (n+1) прибор, верно соотношение
По формуле (2) можно вычислить функцию распределения времени работы системы, для этого необходимо решить n раз интеграл свертки.
Для сравнительного анализа облегченного и холодного резервирования были предложены функции распределения времени работы при холодном способе резервирования.
Основная цель работы - это нахождение математического ожидания (среднего)
После расчётов и сравнительного анализа получилось, что относительный проигрыш облегченного резервирования по сравнению с холодным в среднем времени равен , где -интенсивности отказа в резерве и в рабочем состоянии соответственно.
Можно утверждать, что порядок включения элементов играет роль в системах, у которых есть различия в надежностях в рабочем и резервном состояниях. Приведем некоторые примеры:
1) Функция надежности одинакова у всех элементов в рабочем состоянии, но положим ее произвольной функцией P(x), в то время как в резервном состоянии функции надежности у всех элементов в резерве различны и равны p(x). Если для какого-то i и j выполняется , где , значит, что надежность элемента с номером I выше, чем у элемента с номером j. Таким образом, установив цепь элементов с различными надежностями в порядке увеличения, получается, что надо сначала подключать элементы с меньшей надежностью, чтобы как можно меньше элементов выходила из строя в резерве.
2) Функции надежности в резерве и в рабочем состоянии у каждого элемента различны. Для упрощения ситуации, рассмотрим при n=1. Существует только два возможных варианта: либо 0 элемент поставить на рабочее место, а 1 в резерв, либо наоборот.
3) Первый вариант будет наилучшим при
Управление вводится в задачи, чтобы по возможности усложнить рассматриваемые модели и сделать их приближенными к реальным жизненным ситуациям. Управлять можно как структурой, так и техническим обслуживанием. Задачи управления структурой имеют дело с порядком подключения того или иного прибора. Задачи управление обслуживанием описываются следующие типы работ:
Постановка задачи оптимизации технического обслуживания: «в заданном множестве разрешенных стратегий технического обслуживания определить оптимальную стратегию, для которой достигается экстремум функционала эффективности, определенного на траекториях случайного процесса, описывающего эволюцию технической системы во времени.» 8
Случайные процессы и управляемые случайные процессы используется не только в инженерии и задачах надежности, но и в задачах динамического характера, который основывается на методе динамического программирования, из-за схожести методик построения искомого функционала, используемых динамическим программированием. Управляемые полумарковские процессы можно рассматривать как последовательность шагов принятия решения в некоторые моменты времени, в то время как, принцип динамического программирования, иначе говоря, это многошаговый процесс решения сложной задачи, путем разбиения ее на более простые, решая которые необходимо определить оптимальное поведение. 9
Появление метода связано с американским ученым Ричардом Беллманом в начале 50-х годов 20 столетия, который применил к ряду прикладных задач принцип максимума (оптимальности), который позже был назван его именем.
Классические задачи динамического программирования - управление запасами некоторого предприятия, распределения ресурсов, задача о «ранце», задача распределения капиталовложений и др.
Введем некоторые основные формулы и термины:
Принцип оптимальности Беллмана говорит, «что на каждом шаге следует стремиться не к изолированной оптимизации функции , а выбирать оптимальное управление , в предположении об оптимальности всех последующих шагов.» 9
Перейдем к общей постановке задачи динамического программирования:
Рассматривается управляемая система, которая в ходе переходов меняет свое состояние из начального в конечное через промежуточные состояния . Последовательное изменение шагов происходит под действием управлений где - управление на k-м шаге. Управление на каждом шаге состоит в выборе одного управления на данном шаге из множества возможных , k=1…m. Так же предполагается, что управление на k-м шаге зависит только от предыдущего состояния k-1. Такое свойство получило название “отсутствие последействия”.
Рис. 2 Схема решения задачи динамического программирования
Задача оптимизации состоит в максимизации или минимизации показателя эффективности.
- условно оптимальный показатель оптимальности на k-м шаге.
Для построения модели динамического программирования необходимо:
1) Выбрать способ деления процесса на шаги.
2) Определить состояния и управления .
4) Вывести показатель эффективности на каждом шаге (3).
5) Записать уравнения Беллмана (4) и решить систему.
6) Определить условно оптимальные управления .
Метод динамического программирования, как итерационный метод, нередко используется для решений задач , основанных на случайных процессах.
Ховард Р.А. 12 описывает связь между последовательными итерационными методами решения задач и моделями управляемых марковских процессов.
«Случайный процесс с непрерывным временем и дискретным множеством состояний E называется марковским, если для любого целого n>0, любого набора моментов и любого набора состояний ( для условных вероятностей справедливо равенство
Автор предлагает разные подходы для нахождения оптимального управления для систем, описываемых марковскими процессами и непрерывным и дискретным временем. В данной работе представлены аналитические модели принятия оптимального решения на примерах задач управляемых и неуправляемых марковских процессов с доходами. Вводя стратегии управления, автором были предложены решения задач итерационным и рекуррентным методом.
Как можно увидеть, многие бытовые проблемы, с которыми люди сталкиваются ежедневно, можно представить в виде модели управляемого марковского процесса и применить к ним один из методов решения, и динамическое программирование используется во многих случаях.
Еще один пример использования методов динамического программирования в решении задач, основанных на марковском процессе. Подробнее обратимся к задаче о «выборе транспорта», которая решается методом динамического программирования.11
Пусть существует некоторый человек, который хочет добраться из пункта А в пункт В, и у него есть три возможности: дойти пешком, доехать на автобусе или трамвае.
Цель задачи - добраться до конечного пункта, затратив минимальное время.
Интервалы между соседними моментами прихода автобуса есть независимые, одинаково распределенные случайные величины, имеющие показательное распределение, то есть, в любое время, когда бы пассажир не пришел на остановку, вероятность прихода автобуса равна , а ждать придется время не меньше Аналогичная ситуация для трамваев, интервалы распределены по показательному закону с параметром d. Состояние В называется “поглощающим”.
Состояние в начальный момент времени обозначим через “0”, множество управлений для этого состояния состоит из элементов: “идти пешком” или “ждать” транспорт, если путник выберем управление «ждать», то уйти уже будет нельзя.
При переходе к неоднородному случаю необходимо зафиксировать число шагов n , а также, фиксировать финальную плату в состояниях 0, С, В и D. Плата в состоянии B принимает значение 0, в остальных точках берем достаточно крупное положительное число.
Для того, чтобы выписать уравнения оптимальности, введем управления: на t-ом шаге: -“идти пешком”, -“ автобус”, -“ трамвай”, -“ждать”, где t=1..n.
Далее решение зависит от того, чему равен x. Рассмотрены 3 случая: при x, при x.
Пропуская выкладки, осуществляется поиск простой оптимальной стратегии. Для этого необходимо задать эту стратеги только в состоянии 0 и .
Таким образом, при следует идти пешком, при следует ехать на первом попавшемся транспорте, . Данный ответ показывает, что авторы доказали «пороговость» решения данной задачи, то есть существование некоторых значений, при которые необходимо принимать только 1 конкретное управление.
Дан абстрактный управляемый полумарковский процесс, обладающий следующими свойствами: множество состояний разбиты на подмножества, которые могут быть рассмотрены как слои, и особое подмножество поглощающих состояний, находящееся вне слоев.
Цель задачи определить максимальное время до первого попадания системы в поглощающее состояние, строя функционал достижения и находя его экстремум.
Слои пронумерованы от 0 до n+1, n-конечно. Каждый слой состоит из двух отдельных, не пересекающихся подмножеств, из каждого с разной вероятностью можно попасть в поглощающее состояния. Подмножества будут называться А и В соответственно. Множество поглощающих состояний обозначим через С.
Для каждого подмножества определено множество управлений.
Множество управлений на каждом слое:
· для нулевого слоя: , - переход в поглощающее состояние, -переход в любое из подмножеств первого слоя;
· для первого слоя: , - переход в поглощающее состояние, -переход на второй слой;
Для состояния из подмножества В (рис.4) существует только одно решение-переход в поглощающее состояние. Для состояния из подмножества А существует два решения- перейти на следующий слоев в одно их два подмножеств или перейти в поглощающее состояние.
Вероятностная мера, соответствующая каждому решению, дискретна. Вероятности принятия решения обладают стохастическим свойством, то есть =1, где i-номер слоя, j-индекс принимаемого решения. Введем следующие обозначения вероятности для каждого слоя: для нулевого слоя вероятность принятия решения вероятность принятия решения для подмножества А первого слоя вероятности аналогичны для 0 и любого другого слоя; для подмножества А i-го слоя вероятности принимают вид . Иначе выглядит вероятность для подмножества В любого уровня, так как для него множество управлений состоит только из одно управления, поэтому вероятность принятия решения равна 1. Далее предлагается схема работы этой системы.
Рис. 4 Граф переходов полумарковского процесса
Для описания модели необходимо ввести переходные вероятности или полумарковские ядра По определению, полумарковское ядро - это условная вероятность перехода в состояние j за время, меньшее времени t, при условии, что процесс стартовал из состояния I и было принято решение u.
Для данного специфического полумарковского процесса существует следующие переходы и соответствующие полумарковские ядра:
Из любого состояния слоя «0» существуют переходы в состояние из множества поглощающих при выборе управления , С - подмножество поглощающих состояний. Запишем ядро в вероятностных терминах:
Пусть процесс пронимает на некотором шаге k случайную величину , тогда вероятность будет иметь следующий вид
Кроме того, также существуют переходы из любого состояния из «0» в два подмножества А и В слоя «1» при выборе управления со следующими переходными вероятностями: , -подмножество А слоя «1», либо ;
Из подмножества существуют и возможны переходы в поглощающее состояние при выборе управления c ядром , . Следовательно, при выборе управления процесс может перейти в одно из состояний следующего слоя, принадлежащего либо подмножеству либо , а ядро принимает вид , .
Аналогично строятся остальные полумарковские ядра для всех слоев, так как множества управлений и возможные переходы однотипны для остальных слоев.
Строки матрицы можно представить в виде таблицы:
Следующий шаг алгоритма построения модели -функционал , а именно, условного математического ожидания накопленного эффекта между соседними моментами изменения состояния, при условии, что процесс прибывал в состоянии i, перешел в состояние j, время перехода равно t, было принято решение u.
Для приближения задачи к реальной, можно дополнительно ввести параметры, отвечающие за стоимость перехода из одного состояния в другое:
· Если достигается состояние подмножества поглощающих состояний из подмножества А, то система платит eд./ в ед. времени;
· Если достигается состояние подмножества поглощающих состояний из подмножества В, то система платит eд./ в ед. времени;
· Если достигается состояние подмножества А из подмножества А предыдущего слоя, то система платит eд./ в ед. времени;
· Если достигается состояние подмножества В из подмножества А предыдущего слоя, то система платит eд./ в ед. времени;
· Если достигается состояние подмножества поглощающих состояний из подмножества «0» слоя, то система платит eд./ в ед. времени;
Далее записываем функционал. Пусть - случайная величина длительности перехода из состояния «0» слоя в состояние подмножества А первого слоя при выборе управления , - случайная величина длительности перехода из состояния «0» слоя в состояния подмножества В первого слоя, - случайная величина длительности перехода из состояния слоя «0» в подмножество поглощающих состояний. Тогда функционал, описывающий переход из состояния «0» слоя в состояние подмножества А первого слоя, принимает вид
По определению математическое ожидание непрерывной величины записывается в виде: .
Функционал, описывающий переход из состояния «0» слоя в состояние подмножества В первого слоя, принимает вид
Для функционала, описывающего переход в поглощающее состояние справедливо
Для остальных слоев функционалы будут записываться аналогично. Осталось только записать функционалы для перехода в поглощающие состояния.
Пусть - случайная величина длительности перехода из состояния подмножества А в поглощающее состояние, - случайная величина длительности перехода из состояния подмножества В в поглощающее состояние.
Функционал накопленного эффекта за время перехода из состояния подмножества А любого слоя в поглощающее состояние можно записать
Функционал накопленного эффекта за время перехода из состояния подмножества В любого слоя в поглощающее состояние можно записать
Функционал достижения определяется как математического ожидание стоимости процесса до первого попадания в поглощающее состояние, при условии, что процесс стартует из любого состояния j любого слоя.
Функционал достижения описывает математическое ожидание времени до первого попадания в поглощающее состояние, при условии, что процесс стартует из любого состояния j нулевого слоя.
Найдя данный функционал и используя теоремы, описанные в гл. 1.2., появляется возможность нахождения max или min данного функционала, а затем определить оптимальные управления, на которых доставляют экстремум функционала.
Для построения функционала необходимо еще определить переходные вероятности, которые определяются по следующему правилу:
Принимая допущение, что функционал достигает максимума на вырожденных распределениях, тогда переходные вероятности принимают вид
Из этой формулы определяем все вероятности, находя предел соответствующего полумарковского ядра, устремляя время к бесконечности.
Для получения итогового выражения для функционала достижения не хватает только математического ожидания дохода, для которого верно
И благодаря формулам (1)-(7), появилась возможность определить функционал достижения
,-множество всех состояний, исключая поглощающие.
Для понимания процесса можно с легкостью утверждать, что функционал достижение по критерию стоимости имеет такой же физический смысл, как и функционал достижения по критерию времени, поэтому функционал строится аналогично.
Для построения функционала достижения, найденному по критерию времени, необходимо знать следующие значения: математического ожидания непрерывного пребывания процесса в фиксированном состоянии, для которого справедлива формула
Тогда функционал достижения по критерию времени принимает вид
Для использования теоремы о достижении максимума дробно-линейного функционала на вырожденных распределениях необходимо доказать, что найденный функционал достижения имеет дробно-линейную структуру. Для этой цели привлекаем теоретические основы линейной алгебры и применяем метод Крамара для решения системы линейных уравнений. Решение данной системы очень трудоемкое, даже при маленьком числе слоев: необходимо перебирать все возможные вырожденные распределения для поиска максимума, но использование принципа динамического программирования как метод решения системы линейных уравнений заметно облегчает задачу. Как показывает теория, решать систему функционалов принято с последнего слоя, где i=n+1, для которого функционал имеет только одно слагаемое и может быть легко найден, далее подставляется значение найденного функционала в предпоследнее уравнение для i=n и продолжаем, доходя до слоя с номером «0». Такие операции стоит проделать для всех возможных распределений на каждом слое и дойти до нахождения максимума.
Построенную модель полумарковского процесса можно проиллюстрировать на примере, рассмотренном в гл.1.3.
Вернемся к задаче о выборе транспорта. Можно рассмотреть очередной трамвай как слой полумарковского процесса. Следовательно, появляется возможность для построение системы функционала достижения, используя весь теоретический материал, описанный в прошлом пункте. В отличии от рассмотренной задачи, описанной Дынкиным и Юшкевичем, задача, которая будет рассчитываться тут, будет иметь другие параметры, а именно, интервалы времени между соседними приездами трамвая будут иметь произвольную функцию распределения, обозначенную G(x), для сохранение марковских свойств интервалы времени между соседними автобусами распределены по экспоненциальному закону с параметром время, затраченное на поездку на каждом виде транспорта, обозначаются .
Множество состояний состоит из слоев, которые совпадают с номером пришедшего трамвая, более того, каждый слой разбит на два непересекающихся подмножества, которые могут быть рассмотрены, как подмножество, отвечающее приезду трамвая, и подмножество, отвечающее приезду автобуса. Из каждого подмножества любого слоя существует вероятность перехода в поглощающее состояние. Состояния можно записать иначе: «0» - состояние в начальный момент време
Динамическое программирование курсовая работа. Программирование, компьютеры и кибернетика.
Реферат: Государственное управление социальными системами в Российской Федерации
Курсовая работа по теме Конфигурация программного комплекса '1С: Предприятие версии 7.7' на предприятии ООО 'Умный ребенок'
Методика Написания Итогового Сочинения 2022
Производственный План Проекта Курсовая Работа
Жизнь Есть Увеличение Своей Души Сочинение
Дипломная работа: Послуга охорони як особливий вид господарської діяльності
Сочинение На Тему Счастье 9 3
Отчет по практике: Организация контроля за персоналом в учреждении
Реферат по теме Значение методов социологии в развитии науки об государственно-административном управлении
Курсовая работа по теме Модернизация платформы 13-9004
Курсовая работа: Кредитна система і проблеми її функціонування в Україні
Реферат: Медицина в системе знаний о человеке. Скачать бесплатно и без регистрации
Контрольная работа по теме Налог на добавленную стоимость
Итоговая Контрольная Работа Право
Сказка Из Моего Детства Эссе
Реферат по теме Представления о человеке и его потребностях в период Возрождения и Нового времени. Биологические и с...
Реферат по теме Происхождение, основные этапы развития и специфика культуры в Украине
Практическое задание по теме Административное право (шпоры)
Дипломная работа: Региональные займы
Курсовая работа по теме Деятельность акционерного коммерческого банка в современных условиях
Верховный суд Российской Федерации в системе судов общей юрисдикции - Государство и право курсовая работа
Малапропизмы в аспекте перевода - Иностранные языки и языкознание дипломная работа
Правовое положение акционерного общества - Государство и право курсовая работа