Выбор оптимальной стратегии замены оборудования как задача динамического программирования. Задача о замене оборудования. Методика расчета стратегии сохранения или замены оборудования

После того как выполнены пункты 1-7, и математическая модель составлена, приступают к ее расчету.

Основные этапы решения задачи динамического программирования:

  • 1. Определение множества возможных состояний Sm для последнего шага.
  • 2. Проведение условной оптимизации для каждого состояния s€ Sm на последнем m-м шаге по формуле (1.3) и определение условного оптимального управления x(s), s€ Sm
  • 3. Определение множества возможных состояний Si для i-го шага, i=2,3…,m-1.
  • 4. Проведение условной оптимизации i-го шага, i=2,3…,m-1 для каждого состояния s€ S m по формуле (1.4) и определение условного оптимального управления x i (s), s€ S m , i=2,3…,m-1.
  • 5. Определение начального состояния системы s 1 , оптимального выигрыша W1(S1) и оптимального управления x1(S1) по формуле (1.4) при i=1. Это есть оптимальный выигрыш для всей задачи W* =W 1 (x 1 *).
  • 6. Проведение безусловной оптимизации управления. Для проведения безусловной оптимизации необходимо найденное на первом шаге оптимальное управление x 1 *=x 1 (s 1) подставить в формулу (1.2) и определить следующее состояние системы s 1 =f 1 (s 1 ,x 1). Для измененного состояния найти оптимальное управление x 2 *=x 2 (s 2), подставить в формулу (1.2) и т.д. Для i-го состояния s 1 найти s i+1 =f i+1 (s i ,x i *) и x* i+1 (s i+1) и т.д.

Динамическое программирование обычно придерживается двух подходов к решению задач:

  • · нисходящее динамическое программирование: задача разбивается на подзадачи меньшего размера, они решаются и затем комбинируются для решения исходной задачи. Используется запоминание для решений часто встречающихся подзадач;
  • · восходящее динамическое программирование: все подзадачи, которые впоследствии понадобятся для решения исходной задачи просчитываются заранее и затем используются для построения решения исходной задачи.

Этот способ лучше нисходящего программирования в смысле размера необходимого стека и количества вызова функций, но иногда бывает нелегко заранее выяснить, решение каких подзадач нам потребуется в дальнейшем.

Задача о замене оборудования состоит в определении оптимальных сроков замены старого оборудования. Критерием оптимальности являются либо доход от эксплуатации оборудования (задача максимизации), либо суммарные затраты на эксплуатацию (задача минимизации) в течение планируемого периода. Мы будем рассматривать задачу максимизации, и критерием оптимальности будет доход от эксплуатации оборудования.

Принцип оптимальности Беллмана -- важнейшее положение динамического программирования, которое гласит: оптимальное поведение в задачах динамического программирования обладает тем свойством, что каковы бы ни были первоначальное состояние и решение (т. е. “управление”), последующие решения должны составлять оптимальное поведение относительно состояния, получающегося в результате первого решения. Этот принцип можно выразить и рассуждая от противного: если не использовать наилучшим образом то, чем мы располагаем сейчас, то и в дальнейшем не удастся наилучшим образом распорядиться тем, что мы могли бы иметь.

Следовательно, если имеется оптимальная траектория, то и любой ее участок представляет собой оптимальную траекторию.

Этот принцип позволяет сформулировать эффективный метод решения широкого класса многошаговых задач.

Под функцией Беллмана в текущий момент времени понимаем минимальное значение критерия качества в текущий момент времени: Если t=0, то

Таким образом, значение функции Беллмана S(x,t) определяет минимальную величину функционала для любого начального состояния x(t) в любой момент времени t . С другой стороны, значение функции Беллмана совпадает со значением, так называемых текущих потерь на управление:

Эксплуатация оборудования планируется в течение n лет, но оборудование имеет тенденцию с течением времени стареть и приносить все меньшую годовую прибыль r(t) , где t - возраст оборудования. При этом есть выбор: либо в начале любого года продать устаревшее оборудование за цену S(t) , которая также зависит от возраста, и купить новое оборудование за цену P , либо оставить оборудование в эксплуатации. Требуется найти оптимальный план замены оборудования с тем, чтобы суммарная прибыль за все n лет была максимальной, учитывая, что к началу эксплуатационного периода возраст оборудования составляет t 0 лет.

Входными данными к этой задаче являются:

r(t) - доход от эксплуатации в течение одного года оборудования возраста t лет;

S(t) - остаточная стоимость оборудования;

P - цена нового оборудования;

t 0 - начальный возраст оборудования.

Переменной управления на k -м шаге является логическая переменная, которая может принимать два значения: С - сохранить , З - заменить оборудование в начале k -го года. Переменной состояния системы на k -м шаге является переменная t .

Функцию Беллмана F k (t) определим как максимально возможную прибыль от эксплуатации оборудования за годы с k -го по n -й, если к началу k -го года возраст оборудования составлял t лет. Применяя то или иное управление, мы переводим систему в некоторое новое состояние, а именно, если в начале k -го года мы оборудование сохраняем, то к началу следующего (k+1) -го года его возраст увеличится на 1 (состояние системы станет равно t +1), за год оно принесет прибыль r(t) , и максимально возможная прибыль за оставшиеся годы (с (k+1) -го по n -й) составит F k+1 (t+1) . Если же в начале k -го года принимаем решение на замену оборудования, то мы продаем старое оборудование возраста t лет за цену S(t) , покупаем новое оборудование за цену P и эксплуатируем его в течение k -го года, что приносит за этот год прибыль r(0) . К началу следующего года возраст оборудования составит 1 год, и за все годы с (k+1) -го по n -й максимально возможная прибыль будет F k+1 (1) .

Из этих двух вариантов управления выбираем тот, который приносит большую прибыль. Уравнение Беллмана на каждом шаге имеет вид:

Функцию Беллмана для первого шага (k=n ) легко вычислить - это максимально возможная прибыль только за последний n -й год:

Вычислив значение функции F n (t) по формуле (2), далее можно посчитать F n-1 (t) , затем F n-2 (t) и так далее до F 1 (t 0 ) . Функция F 1 (t 0 ) представляет собой максимально возможную прибыль за все годы (с 1-го по n -й). Этот максимум достигается при некотором управлении, применяя которое в течение первого года, мы определяем возраст оборудования к началу второго года (в зависимости от того, какое управление является для первого года оптимальным, это будет 1 или t 0 +1). Для данного возраста оборудования по результатам, полученным на этапе условной оптимизации , мы смотрим, при каком управлении достигается максимум прибыли за годы со 2-го по n -й и так далее. На этапе безусловной оптимизации отыскиваются годы, в начале которых следует произвести замену оборудования.

В процессе эксплуатации оборудование подвергается физическому и моральному износу. Существует два способа восстановления оборудования - полное и частичное. При полном восстановлении оборудование меняется на новое, при частичном оборудование ремонтируется. Для оптимального использования оборудования нужно найти возраст, при котором его необходимо заменить, чтобы доход от машины был максимальным или, если доход подсчитать не удается, издержки на ремонтно-эксплуатационные нужды были минимальными. Данный подход рассматривается с позиции экономических интересов потребителя.

Для оптимизации ремонта и замены оборудования требуется разработать на плановый период стратегию по замене машины. В качестве экономических интересов может быть использован один из двух подходов:

1. Максимум дохода от машины за определенный промежуток времени.

2. Минимум затрат на ремонтно-эксплуатационный нужды, если доход подсчитать не удается.

Данная задача решается методом динамического программирования. Основная идея этого метода заключается в замене одновременного выбора большего количества параметров поочередным их выбором. Этим методом могут быть решены самые различные задачи оптимизации. Общность подхода к решению самых различных задач является одним из достоинств этого метода.

Рассмотрим механизм оптимизации ремонта и замены оборудования. Для решения задачи введем следующие обозначения:

t - возраст оборудования;

d(t) - чистый годовой доход от оборудования возраста t;

U(t) - издержки на ремонтно-эксплуатационные нужды машины возраста t;

С - цена нового оборудования.

Для решения этой задачи введем функцию fn(t) , которая показывает величину максимального дохода за последние n - лет при условии, что в начале периода из n - лет у нас была машина возраста t - лет.

Алгоритм решения задачи следующий:

1) f1(t) = max d(0) - С

) fn(t) = max fn-1(t+1) + d(t)

fn-1(1) + d(0) - С

Увеличение издержек приведет к снижению чистого дохода, который рассчитывается так:

d(t) = r(t) - u(t)

r(t) - годовой объем дохода от оборудования возраста t;

u(t) - годовые затраты на ремонтно - эксплуатационные нужды

оборудования возраста t.

Подход максимизации дохода

Для решения этой задачи введем функцию fn(t) , которая показывает величину максимального дохода за последние n - лет при условии, что в начале периода из n-лет у нас было оборудование возраста t-лет.

Если до конца периода остался 1 год

Если до конца периода осталось n лет

(t) = max

где t - возраст оборудования;

d (t) - чистый годовой доход от оборудования возраста t;

C - цена нового оборудования.

Увеличение издержек приведет к снижению чистого дохода, который рассчитывается так

(t) = r(t) - u(t)

где r (t) - годовой объем дохода от оборудования возраста t;

u(t) - годовые затраты на ремонтно-экплуатационные нужды оборудования возраста t.

Рассчитаем чистый доход по формуле, зная динамику поступления дохода и роста издержек на ремонт.

Таблица 2. Чистый доход от оборудования по годам

Определить оптимальную стратегию использования оборудования в период времени длительностью т лет, причем прибыль за каждые i лет, i = от использования оборудования возраста t лет должна быть максимальной.

Известны

r (t )выручка от реализации продукции, произведенной за год на оборудовании возраста t лет;

l (t ) – годовые затраты, зависящие от возраста оборудования t;

с (t ) – остаточная стоимость оборудования возраста t лет;

Р – стоимость нового оборудования.

Под возрастом оборудования понимается период эксплуатации оборудования после последней замены, выраженный в годах.

Воспользуемся приведенными выше этапами составления математической модели задачи.

1. Определение числа шагов. Число шагов равно числу лет, в течение которого эксплуатировалось это оборудование.

2. Определние состояний системы. Состояние системы характеризуется возрастом оборудования t , t= .

3. Определение уравнений. В начале i -го шага, i = может быть выбрано одно из двух управлений: заменять или не заменять оборудование. Каждому варианту управления приписывается число

4. Определение функции выигрыша на i -ом шаге. Функция выигрыша на i -ом шаге – это прибыль от использования оборудования к концу i -го года эксплуатации, t= , i = . Таким образом, если оборудование не продается, то прибыль от его использования – это разность между стоимостью произведенной продукции и эксплуатационными издержками. При замене оборудования прибыль составляет разность между остаточной стоимостью оборудования и стоимостью нового оборудования, к которой прибавляется разность между стоимостью продукции и эксплуатационными издержками для нового оборудования, возраст которого в начале i -го шага составляет 0 лет.

5. Определение функции изменения состояния

(9.7)

Таким образом, если оборудование не меняется х i =0, то возраст оборудования увеличивается на один год t +1, если же оборудование меняется х i =1, то оборудование будет годовалым.

6. Составление функционального уравнения для i =т

Верхняя строка функционального уравнения соответствует ситуации, при которой в последний год оборудование не меняется и предприятие получает выигрыш в размере разницы между выручкой r (t ) и годовыми затратами l (t ).

7. Составление основного функционального уравнения

где W i (t t лет с i -го шага (с конца i -го года) до конца периода эксплуатации;

W i + 1 (t ) – прибыль от использования оборудования возраста t+ 1год с (i +1)-го шага до конца периода эксплуатации.

Математическая модель задачи построена.

Пример

т =12, р= 10, с (t )=0, r (t ) – l (t )=φ (t ).

Значения φ (t ) даны в таблице 9.1.

Таблица 9.1.

t
φ (t )

Для данного примера функциональные уравнения будут иметь вид

Рассмотрим заполнение таблицы для нескольких шагов.

Условная оптимизация начинается с последнего 12-го шага. Для i =12 рассматриваются возможные состояния системы t= 0, 1, 2, …, 12. Функциональное уравнение на 12-ом шаге имеет вид

1) t= 0 х 12 (0)=0.

2) t= 1 х 12 (1)=0.

10) t= 9 х 12 (9)=0.

11) t= 10 х 12 (10)=0; х 12 (10)=1.

13) t= 12 х 12 (12)=0; х 12 (12)=1.

Таким образом, на 12-ом шаге оборудование возраста 0 – 9 лет заменять не надо. Оборудование возраста 10 – 12 лет можно заменить или продолжить его эксплуатировать, так как для t= 10, 11, 12 имеется два условных оптимизационных управления 1 и 0.

По результатам расчетов заполняются два столбца таблицы 9.2, соответствующие i= 12.

Условная оптимизация 11-го шага.

Для i =11 рассматриваются все возможные состояния системы t =0, 1, 2, …, 12. Функциональное уравнение на 11-м шаге имеет вид

1) t= 0 х 11 (0)=0.

2) t= 1 х 11 (1)=0.

6) t= 5 х 11 (5)=0; х 11 (5)=1.

7) t= 6 х 11 (6)=1.

13) t= 12 х 11 (12)=1.

Таким образом на 11-ом шаге не следует заменять оборудование возраста 0 – 4 года. Для оборудования возраста 5 лет возможны две стратегии использования: заменить или продолжать эксплуатировать.

Начиная с 6-го года оборудование следует заменять. По результатам расчетов заполняются два столбца таблицы 9.2, соответствующие i =11.

1) t= 0 х 10 (0)=0.

2) t= 1 х 10 (1)=0.

3) t= 2 х 10 (2)=0.

4) t= 3 х 10 (3)=0.

5) t= 4 х 10 (4)=1.

13) t= 12 х 10 (12)=1.

На 10-ом шаге не следует заменять оборудование возраста 0 – 3 года. Начиная с 4-го года, оборудование следует заменять, так как новое оборудование приносит бóльшую прибыль.

По результатам расчетов заполняются два столбца в 9.2, соответствующие i =10.

Аналогичным образом заполняются остальные девять столбцов таблицы 9.2. При расчетах W i + 1 (t ) на каждом шаге значения φ (t ) для каждого t =0, 1, 2, …, 12 берутся из таблицы 9.1 исходных данных, приведенной в условии задачи, а значения W i (t ) – из последнего, заполненного на предыдущем шаге столбца в 9.2.

Этап условной оптимизации заканчивается после заполнения таблицы 9.2.

Безусловная оптимизация начинается с первого шага.

Предположим, что на первом шаге i =1 имеется новое оборудование, возраст которого 0 лет.

Для t=t 1 =0 оптимальный выигрыш составляет W 1 (0)=82. Это значение соответствует максимальной прибыли от использования нового оборудования в течение 12 лет.

W*=W 1 (0)=82.

Выигрышу W 1 (0)=82 соответствует х 1 (0)=0.

Для i =2 по формуле (9.7) t 2 =t 1 +1=1.

Безусловное оптимальное управление х 2 (1)=0.

Для i =3 по формуле (9.7) t 3 =t 2 +1=2.

Безусловное оптимальное управление х 3 (2)=0.

i =4 t 4 =t 3 +1=3 х 4 (3)=0
i =5 t 5 =t 4 +1=4 х 5 (4)=1
i =6 t 6 = 1 х 6 (1)=0
i =7 t 7 =t 6 +1=2 х 7 (2)=0
i =8 t 8 =t 7 +1=3 х 8 (3)=0
i =9 t 9 =t 8 +1=4 x 9 (4)=1
i =10 t 10 = 1 х 10 (1)=0
i =11 t 11 =t 10 +1=2 х 11 (2)=0
i =12 t 12 =t 11 +1=3 х 12 (3)=0

В рамках данной задачи оптимальная стратегия заключается в замене оборудования при достижении им возраста 4-х лет. Аналогичным образом можно определить оптимальную стратегию использования оборудования любого возраста.

В левой колонке таблицы 9.2 записываются возможные случаи системы t = , в верхней строке – номера шагов i = . Для каждого шага определяются условные оптимальные управления х i (t ) и условный оптимальный выигрыш W i (t ) c i -го шага и до конца для оборудования возраста t лет.

Управления, составляющие оптимальную стратегию использования оборудования, выделены в таблице 9.2 жирным шрифтом.


Таблица 9.2.

t i =12 i =11 i =10 i =9 i =8 i =7 i =6 i =5 i =4 i =3 i =2 i =1
x 12 W 12 x 11 W 11 x 10 W 10 x 9 W 9 x 8 W 8 x 7 W 7 x 6 W 6 x 5 W 5 x 4 W 4 x 3 W 3 x 2 W 2 x 1 W 1
0/1 0/1
0/1 0/1 0/1 0/1
0/1 0/1 0/1
0/1
0/1
0/1

Задача замены оборудования состоит в определении оптимальных сроков замены старого оборудования (станков, производственных зданий и т.п.) в процессе его эксплуатации. С течением времени растут производственные затраты на текущий и капитальный ремонт и обслуживание, снижаются производительность труда, ликвидная стоимость.

Поэтому в определенный момент времени возникает необходимость (экономическая целесообразность) замены старого оборудования на новое. Критерием оптимальности являются, как правило, либо прибыль от эксплуатации оборудования (задача максимизации), либо суммарные затраты на эксплуатацию в течение планируемого периода (задача минимизации).

Таким образом, задача состоит в нахождении плана-графика замены старого оборудования на новое в течение планируемого периода эксплуатации.

Основная характеристика оборудования – параметр состояния – его возраст .

При составлении динамической модели замены процесс замены рассматривают как – шаговый, разбивая весь период эксплуатации на n шагов. Возможное управление на каждом шаге характеризуется качественными признаками, например,
(сохранить оборудование),
(заменить оборудование).

При решении задачи замены оборудования используются следующие исходные данные:

–период планирования;

–ликвидная стоимость оборудования (
);

–стоимость содержания оборудования (
);

–первоначальная стоимость оборудования ().

Уравнения состояний системы зависят от управления:

В самом деле, если к -ому шагу
, то при сохранении оборудования
через год возраст оборудования увеличится на 1. Если оборудование заменяется новым
, то это означает, что к началу-ого шага её возраст=0, а после года эксплуатации=1, т.е.
.

Показатель эффективности -ого шага:

.

Пусть
– условные оптимальные затраты на эксплуатацию оборудования, начиная с-ого шага до конца, при условии, что к началу-ого шага оборудование имеет возрастлет.

Тогда уравнения Беллмана будут иметь вид:

Геометрическое решение задачи замены оборудования. Схема расчетов при решении задачи замены оборудования может быть представлена в виде двухкоординатной диаграммы (графа). На оси абсцисс будем откладывать номер шага , на оси ординат – возраст оборудования. Точка
на плоскости соответствует началу-го года эксплуатации оборудования возрасталет. Перемещение на графике в зависимости от принятого управления на-м шаге показано на рисунке.

Над каждым отрезком, соединяющим точки
и
, записываются соответствующие управлению
затраты на сохранение оборудования, а над отрезком, соединяющим точки
и
, запишем затраты, соответствующие замене оборудования – управлению
. Таким образом, будут размечены все отрезки, соединяющие точки на графике, соответствующие переходам из любого состояния
в состояние.

Решение типового примера

Задание 4

На производственном предприятии «ТИТАН» оборудование эксплуатируется в течение
лет, после чего продается (считается, что послелет оборудование в результате морального износа не способно обеспечить выпуск конкурентоспособной продукции). В начале каждого года руководство предприятия принимает решение сохранить оборудование или заменить его новым аналогичным (при этом старое оборудование продается, а вырученные средства направляются на покрытие части стоимости нового оборудования). Первоначальная стоимость нового оборудования составляет
тыс. руб., затраты на содержание оборудования –
тыс. руб., и ликвидная стоимость оборудования –
тыс. руб. приведены в табл. 11.

Таблица 11

Исходные данные задачи замены оборудования

Необходимо:

1. Определить минимальные суммарные затраты производственного предприятия «ТИТАН» на эксплуатацию оборудования в течение рассматриваемого периода .

2. Определить оптимальную стратегию (план-график) эксплуатации оборудования, обеспечивающую минимальные суммарные затраты производственного предприятия «ТИТАН» на эксплуатацию в течение рассматриваемого периода в условиях текущих цен.

3. Дать экономическую интерпретацию полученного решения.

1. Определим минимальные суммарные затраты производственного предприятия «ТИТАН» на эксплуатацию оборудования в течение 5 лет. Проведем на размеченном графе (рис. 28) условную оптимизацию.

5 шаг. В состояниях (5, ) оборудование продается, условный оптимальный доход от продажи равен ликвидной стоимости
, но поскольку целевая функция связана с затратами, то в кружках точек (5,) ставим величину дохода со знаком «–».

Состояние (4,1).

Таким образом, если система к последнему шагу находилась в точке (4,1), то следует идти в точку (5,2) (укажем это направление пунктирной линией).

Состояние (4,2).

Одной из важных экономических проблем является определение оптимальной стратегии замены старых станков, aipcraTOB и машин на новые. Старение оборудования означает его физический и моральный износ, в результате чего увеличиваются затраты на ремонт и обслуживание, возрастают производственные затраты по выпуску продукции, снижаются

производительность и ликвидная стоимость. Наступает время, когда старое оборудование выгоднее продать, заменить новым, чем эксплуатировать ценой больших затрат; причем его можно заменить новым оборудованием того же вида или новым, более совершенным. Оптимальная стратегия замены оборудования состоит в определении ее оптимальных сроков. Критерием оптимальности при этом может служить прибыль от эксплуатации оборудования, которую следует оптимизировать, или суммарные затраты на эксплуатацию в течение рассматриваемого промежутка времени, подлежащие минимизации.

Введем обозначения:

r(t) - ежегодные затраты на обслуживание оборудования возраста t лег;

g(t) - остаточная стоимость оборудования возраста t лег;

Р 0 - покупная цена оборудования.

Рассмотрим период N лет, в пределах которого требуется определить оптимальный цикл замены оборудования.

Обозначим через Л*(/) - оптимальные затраты, получаемые от

оборудования возраста t лет за оставшиеся N лет цикла использования оборудования при условии оптимальной стратегии.

Возраст оборудования отсчитывается в направлении течения процесса. Так, / = 0 соответствует случаю использования нового оборудования. На каждом этапе /V-стадийного процесса должно быть принято решение о сохранении, замене или проведении ремонта оборудования. Выбранный вариант должен обеспечивать получение минимизации суммарных затрат на эксплуатацию в течение рассматриваемого промежутка времени.

Предполагается, что переход от работы на оборудовании возраста t лег к работе на новом оборудовании совершается мгновенно, то есть замена старого оборудования и переход к работе на новом оборудовании укладываются в один период.

Пример 4.2

Оборудование эксплуатируется в течение пяти лет и после этого продается. В начале каждого года можно принять решение о сохранении оборудования или его замене новым. Стоимость нового оборудования Р 0 = 4000 руб. После t лет эксплуатации (1 g(t) = Р 0 2~‘ руб. (ликвидная стоимость). Затраты на содержание в течение года зависят от возраста оборудования t и равны r(t) = 600(/ + 1).

Определить оптимальную стратегию эксплуатации оборудования, чтобы суммарные затраты с учетом начальной покупки и заключительной продажи были минимальными.

Решение. Способ деления управления на шаги естественный - но годам, п = 5. Параметр состояния - возраст машины лу= t, ,v 0 = 0 - машина новая в начале первого года эксплуатации. Управление на каждом шаге зависит от двух переменных If и If.

Уравнения состояний зависят от управления:

Показатель эффективности А"-го шага:

(при If затраты только на эксплуатацию машины возраста t, при If машина продается (-4000 2~"), покупается новая (4000) и эксплуатируется в течение первого года (600), общие затраты равны (-4000 2 " + 4000 + 600)).

Пусть л’ (?) - условные оптимальные затраты на эксплуатацию машины, начиная с А"-го шага до конца, при условии, что к началу А"-го шага машина имеет возраст / лег. Запишем для функций Л"(г) уравнения Веллмана, заменив задачу максимизации задачей минимизации:

Величина 4000 2 0+11 - стоимость машины возраста t лет (по условию машина после пяти лет эксплуатации продается):

Из определения функций Л* (/) следует A min = Л*(0).

Представим геометрическое решение этой задачи. Отложим по оси абсцисс номер шага к, а по оси ординат - возраст машины /. Точка (к - 1, /) на плоскости соответствует началу А - -го года эксплуатации машины возраста / лет. Перемещение на графике в зависимости от принятого управления на /о-м шаге показано на рис. 4.3.


Рис. 4.3

Состояние начала эксплуатации машины соответствует точке,v‘(0, 0), конец - точкам.5(5,/). Любая траектория, переводящая точку ДА-1, /) из в.5, состоит из отрезков - шагов, соответствующих годам эксплуатации. Необходимо выбрать такую траекторию, при которой затраты на эксплуатацию машины окажутся минимальными.

Над каждым отрезком, соединяющим точки (А’ - 1, /) и (А, / + 1), записываются соответствующие управлению If затраты (600(/ + 1)), а над отрезком, соединяющим точки - 1, /) и (к , /), - затраты, соответствующие управлению If (4600 - 4000 2 "). Таким образом размещаются все отрезки, соединяющие точки на 1рафикс, соответствующие переходам из любого состояния лд_| в состояние s k (см. рис. 4.3).

Далее на размеченном фафе производится условная оптимизация. В состояниях (5, /) машина продается, условный оптимальный доход от продажи равен 4000 2~‘, но поскольку целевая функция связана с затратами, то в кружках точек (5, /) ставится величина дохода со знаком минус. Далее на последующих этапах выбираются минимальные затраты среди двух возможных переходов, записываются в кружок данной точки, а соответствующие управления на этом шаге помечаются пунктирной стрелкой. При этом на каждом шаге трафически решаются уравнения Веллмана (рис. 4.4).

После проведения условной оптимизации получим в точке (0, 0) минимальные затраты на эксплуатацию машины в тсченШ пяти лет с последующей продажей: A min = 11 900. Далее строится оптимальная траектория, перемещаясь из точки So(0, 0) по пунктирным стрелкам в.?. Получаем набор точек: {(0, 0), (1, 1), (2, 2), (3, 1), (4, 2), (5, 3)}, который соответствует оптимальному управлению U"(u c , U‘, U U c , U c). Оптимальный режим

эксплуатации состоит в том, чтобы заменить машину новой в начале третьего года.

Таким образом, размеченный график (сеть) позволяет наглядно интерпретировать расчетную схему и решить задачу методом динамического программирования.

Модели и вычислительные процедуры динамического программирования очень гибки в смысле возможностей включения различных модификаций задачи. Например, аналогичная задача может быть рассмотрена для большого числа вариантов управления, «ремонт», «капитальный ремонт» и г.д. Все эти факторы могут быть учтены вычислительной схемой динамического программирования.