Основные условия и область применения.

где X - область допустимых управлений.

Oптимальное управление x^* определяется последовательностью оптимальных шаговых управлений: x^* = (x₁^*, x₂^*, ..., x_i^*, ..., x_m^*).

þ В основе метода динамического программирования лежит принцип оптимальности Беллмана, формулирующийся следующим образом: управление на каждом шаге надо выбирать так, чтобы оптимальной была сумма выигрышей на всех оставшихся до конца процесса шагах, включая выигрыш на данном шаге.

Поясним это правило. При решении задач динамического программирования на каждом шаге выбирается управление, которое должно привести к оптимальному выигрышу. если считать все шаги независимыми друг от друга, то оптимальным шаговым управлением будет то управление, которое приносит максимальный выигрыш именно на данном шаге. Но, например, при покупке новой техники взамен устаревшей, на ее приобретение затрачиваются определенные средства. Поэтому прибыль от ее эксплуатации вначале может быть небольшой. Однако в следующие годы новая техника будет приносить большую прибыль. И наоборот, если руководитель примет решение оставить старую технику для получения прибыли в текущем году, то в дальнейшем это приведет к значительным убыткам. Данный пример демонстрирует следующий факт: в многошаговых процессах все шаги зависят друг от друга, и, следовательно, управление на каждом конкретном шаге надо выбирать, с учетом его будущих воздействий на весь процесс.

Другой момент, который следует учитывать при выборе управления на данном шаге, - это возможные варианты окончания предыдущего шага. Эти варианты определяют состояние процесса. Например, при определении количества средств в i-ом году, необходимо знать, сколько средств осталось в наличии к этому году, и какая прибыль получена в предыдущем (i-1)-ом году.

Таким образом, при выборе шагового управления необходимо учитывать:

Àвозможные исходы предыдущего шага.

Áвлияние управления на все оставшиеся до конца процесса шаги.

В задачах динамическою программирования первый пункт учитывают, делая на каждом шаге условные предположения о возможных вариантах окончания предыдущего шага, и проводя для каждого из вариантов условную оптимизацию. Выполнение второго пункта обеспечивается тем, что в задачах динамического программирования условная оптимизация проводится от конца процесса к началу. Сперва оптимизируется последний m-й шаг, на котором не надо учитывать возможные воздействия выбранного управления х_m, на все последующие шаги, так как эти шаги просто отсутствуют. Делая предположения об условиях окончания (m-1)-го шага, для каждого из них проводят условную оптимизацию m-го шага и определяют условное оптимальное управление х_m. Аналогично поступают для (m-1)-го шага, делая предположение об исходах окончания (m-2)-го шага, и, определяя условное оптимальное управление на (m-1)-ом шаге, приносящее оптимальный выигрыш на двух последних шагах - (m-1)-ом и m-ом. Так же действуют на всех остальных шагах до первого. На первом шаге, как правило, не надо делать условных предположений, т.к. состояние системы перед первым шагом обычно известно. Для этого состояния выбирают оптимальное шаговое управление, обеспечивающее оптимальный выигрыш на первом и всех последующих шагах. Это управление является, безусловно, оптимальным управлением на первом шаге и, зная его, определяются оптимальное значение выигрыша и безусловные оптимальные управления на всех ее шагах.