6 Ф 6.5 ———————————————————————————| А 75 УД К 62-52 OPTIMIZATION OF STOCHASTIC SYSTEMS TOPICS IN DISCRETE-TIME SYSTEMS MASANAO AOKI Department of Engineering University of California Los Angeles, California 1967 ACADEMIC PRESS NEW YORK LONDON Оптимизация стохастических систем. М. А о к и. Переводе английского. Изд-во «Наука», Главная редакция физико-матема- тической литературы, М., 1971, 424 стр. Рассматриваются вопросы синтеза оптимальных систем с непол- ной информацией методами теории статистических решений. Вывод основных соотношений опирается па рекуррентные формулы, связывающие достаточные статистики распределений на соседних тактах. Задачи решаются в дискретном времени. Изучаются вопросы стохастической наблюдаемости и сходимости байесовских методов оптимизации. Значительное внимание уделено вопросам синтеза субоптимальпых алгоритмов. Обсуждаются вопросы устойчивости стохастических систем. Илл. 31. Библ. 143 назв. Масанао Аоки Оптимизация стохастических систем М., 1971 г., 424 стр. с илл. Редактор Д. С. фурманов Техн. редактор К. Ф Брудио Корректор Л. Н. Боровина Сдано в набор 16/Х 1970 г. Подписано к печати 15/11-1971 г. Бумага 84xlOS'/a, Физ. печ. л. 13,25 Условн. печ. л. 22,26. Уч.-изд. л. 19,52. Тираж 6700 экз. Цена книги 1 р. 65 к.____Заказ 12ВД__________ Издательство «Наука» Главная редакция физико-математической литературы Москва В-71, Ленинский проспект, 15______________________ 2-я типография издательства «Наука», Москва Г-99, Шубинскии пер. 10. 3-3-14 122-71 ОГЛАВЛЕНИЕ Предисловие к русскому переводу ........... 7 Предисловие ..................... 9 Глава I. Введение ................. . . 13 1. Предварительные замечания ......... 13 2. Некоторые примеры . ............ 16 А. Операции с условными плотностями (17). Б. Пример 1. Детерминированная система управле- ния (19). В. Пример 2. Стохастическая система управления: постоянная времени случайна (20). Г. Пример 3. Стохастическая система управления: шум в канале наблюдений (24). Д. Пример 4. Сто- хастическая система управления: аддитивный шум в объекте (27). Е. Пример 5. Стохастическая система управления: постоянная времени неизвестна (28). Ж. Пример 6. Стохастическая система управления: коэффициент усиления неизвестен (31). 3. Пример 7. Стохастическая система управления: постоянная времени случайна, ее математическое ожидание неиз- вестно (33). И. Пример 8. Система с неизвестными шумами (34). Глава II. Оптимальное байесовское управление стохасти- ческими динамическими системами общего ви- да .................... 37 1. Формулировка задач оптимального управления. А. Предварительные замечания (38). Б. Синтез оптимальных стратегий управления (44). В. Вы- числение некоторых условных плотностей вероятно- стей (53). 2. Пример. Линейные системы управления с неза- висимыми изменениями параметров . . ..... 57 А. Введение (57). Б. Постановка задачи (63). В. Одномерный случай (64). Г. Оптимальная стра- тегия управления (67). Д. Принцип эквивалент- ности (74). Е. Гауссовские случайные величины (76). 3. Достаточные статистики. ... ......... 77 I* 4 ОГЛАВЛЕНИЕ А. Одномерный случай. Пример 1 (77). Б. Одно- мерный случай. Пример 2 (83). В. Пример 3. Не- коррелированные гауссовские шумы (85). Г. Про- порционально-интегральный закон управления (91). Д. Пример 4. Коррелированные гауссовские шумы (96). 4. Обсуждение ... .............. 99 Приложение А. Минимизация квадратичной формы 101 Приложение Б. Применение псевдоинверсии при ми- нимизации квадратичной формы ... ...... 103 Приложение В. Вычисление достаточных статистик 105 Приложение Г. Матричные тождества . . ..... 108 Глава III. Адаптивные системы и оптимальные байесовские стратегии управления .. ......... 110 1. Общая постановка задачи (метод исследования) 111 2. Системы с неизвестными характеристиками шу- ма. .... ................... 113 А. Введение (113). Б. Оптимальная стратегия управ- ления (114). В. Вычисление условных плотностей вероятности (119). Г. Примеры (124). 3. Системы с неизвестными параметрами объекта . 136 А. Оптимальная стратегия управления (136). Б. Примеры (137). 4. Системы с неизвестными параметрами объекта и характеристиками шума. .... ......"... 149 5. Достаточные статистики. .... ........ 150 6. Метод, основанный на вычислении совместной плотности. .... ................ 153 А. Системы с неизвестными характеристиками шума (154). Б. Оптимальная стратегия управления (157). В. Системы с неизвестными параметрами объекта (158). 7. Обсуждение. .... ............. 159 Глава IV. Оптимальное байесовское управление частично наблюдаемыми марковскими системами.' . . 162 1. Введение. ...... .............. 162 2. Марковские свойства. ... .......... 166 А. Введение (166). Б. Задачи с достаточными ста- тистиками (170). 3. Оптимальные стратегии управления. ... ... 176 4. Вычисление условных плотностей вероятности . 178 5. Примеры. ... ............... 179 А. Система с неизвестной случайной постоянной вре- мени (179). Б. Система с марковским коэффициен- том усиления (182). В. Стохастическая система с диск- ретным числом состояний (188). Глава V. Задача об оценках. . . .......... 191 1. Метод наименьших квадратов. ... ...... 192 А. Введение (192). Б. Статическая система (193). ОГЛАВЛЕНИЕ 5 В. Линейные динамические системы (197). Г. Ли- нейный шумящий объект (202). Д. Нелинейные си- стемы (203). Е. Линейные системы управления (208). 2. Метод максимального правдоподобия. ... ... 210 А. Введение (210). Б. Статические системы (211). В. Динамические системы (214). 3. Оптимальные байесовские оценки. ... .... 215 А. Наилучшие оценки (215). Б. Статические систе- мы (217). В. Динамические системы (219). Г. При- мер. Рекуррентный фильтр (фильтр Калмана) (221). Д. Системы управления (222). Е. Фильтр, Калмана для линеаризированной нелинейной системы (223). Ж. Субоптимдльные байесовские оценки состояния нелинейных систем (234). Приложение. Дополнение до полного квадрата . . 240 Глава VI. Вопросы сходимости для задач байесовской оп- тимизации. .... ............. 242 1. Введение. ... ............... 242 2. Проблема сходимости. Простейший случай. . . 244 3. Мартингалы. ... .............. 248 4. Проблема сходимости. Общий случай. . . ... 251 А. Постановка задачи (251). Б. Теоремы о сходимо- сти мартингалов (253). В. Сходимость (254). Г. Чувствительность к выбору априорного распределе- ния (254). 5. Стохастические управляемость и наблюдаемость 257 А. Введение (257). Б. Наблюдаемость системы без помех (260). В. Стохастическая наблюдаемость де- терминированного объекта с шумящим каналом наблю- дений (261). Г. Стохастическая наблюдаемость дина- мической системы общего вида (265). Д. Управляе- мость 'стохастических систем (267). Е. Стохастиче- ская наблюдаемость системы общего вида (267). Ж. Идентифицируемость стохастических систем (272). Глава VII. Субоптимальные системы. ... ....... 274 1. Субоптимальные стратегии управления для адап- тивных систем. ... .............. 275 А. Введение (275). Б. Одномерный пример (276). В. Вывод приближенных уравнений для оптималь- ных стратегий управления в адаптивных и стохасти- ческих системах (280). Г. Примеры (291). 2. Субоптимальное управление, основанное на стра- тегиях управления разомкнутого типа. ... ... 297 3. Чувствительность и точность фильтров Калмана А. Введение (302). Б. Влияние изменения коэффи- циента усиления (305). В. Изменения матрицы пе- рехода (306). Г- Ошибки в корреляционных матрицах помех (307). Д. Влияние упрощений (308). 4. Оценка вектора состояния в системе наблюдения минимального порядка. ... ......... 30° 6 ОГЛАВЛЕНИЕ А. Введение (309). Б. Определение вектора состо- яния детерминированной системы (311). В. Оценка вектора состояния стохастической системы (313). Г. Пример. Наблюдаемая система (321). 5. Субоптимальные линейные оценки, построенные по методу декомпозиции вектора состояния. Теория. 326 А. Пocтpoeниe: субоптимального фильтра (326). Б. Корреляционные матрицы ошибди субоптималь- ного фильтра (330). 6. Субоптимальная оценка по методу декомпозиции вектора состояния. Пример. ... ........ 331 А. Введение (331). Б. Субоптимальный фильтр (334). В. Корреляционная матрица ошибки субоп- тимального фильтра (334). Приложение А. Вывод рекуррентных формул для стратегий управления разомкнутого типа: . .... 339 Приложение Б. Вывод матричных уравнений для § 4. 341 Приложение В. Вычисление ДГ (i) для § 6 .... 343 Глава VIII. Стохастическая устойчивость. ... ..... 345 1. Введение. ..... .............. 345 2. Стохастические функции Ляпунова как супермар- тингалы. .... ................ 348 3. Примеры. ..... .............. 353 Приложение. Основное неравенство теории полумар- тингалов. .... ................ 355 Глава IX. Разные вопросы. .... .......... 356 1. Вероятность в качестве критерия оптимальности 356 А. Постановка задачи (356). Б. Вывод уравнения для оптимальной стратегии управления (358). В. Обобщения (363). 2. Минимаксные стратегии управления. . . ... 365 А. Уравнивающая стратегия управления (366). 3. Обобщения и нерешенные задачи. . . ..... 368 А. Системы с параметрами, меняющимися случай- ным образом в случайные моменты времени (370). Б. Системы оптимального управления со случайным временем остановки (373). Приложение I. Некоторые полезные определения, фак- ты и теоремы теории вероятностей . . 379 Приложение II. Псевдообратные матрицы. ... .... 388 Приложение III. Многомерное нормальное распределение 396 Приложение IV. Достаточные статистики. .... .... 404 Библиография. ..... ................ 412 Цитированная литература. ... ............ 412 ПРЕДИСЛОВИЕ К РУССКОМУ ПЕРЕВОДУ Проблема оптимальности занимает сейчас центральное место в теории автоматического управления. И если можно говорить о достижении зрелости того направления, кото- рое предполагает наличие достаточно полной априорной информации об управляемом объекте и высших воздейст- виях, то направление, связанное с рассмотрением управ- ления объекта при неполной информации, находится еще в юношеском возрасте: столь испытанные методы, как принцип максимума Понтрягина, динамическое про- граммирование Беллмана, методы Колмогорова — Вине- ра, непосредственно не приспособлены для решения задач управления при неполной информации. Первые важные работы в этой области принадлежали выдающемуся советскому ученому, доктору технических наук, профессору А. А. Фельдбауму, создавшему теорию дуального управления, в которой статистическая теория решений играет основную роль. Важный вклад в эту об- ласть был внесен Р. Л. Стратонзвичем на основе развитого им математического аппарата теории условных марковских процессов. Предлагаемый перевод книги американского ученого представляет собой изложение и дальнейшее развитие синтеза оптимальных байесовских стратегий управ- ления стохастическими дискретными системами. Книга охватывает широкий круг задач, связанных с управле- нием замкнутыми дискретными системами в условиях 8 ПРЕДИСЛОВИЕ К РУССКОМУ ПЕРЕВОДУ различной степени неопределенности. Рассматриваются также вопросы оценок параметров линейных и нелинейных систем, построения субоптимальных систем, которые пред- ставляют собой большой интерес при построении адап- тивных систем. Приведены полезные сведения по стоха- стической устойчивости и изложены важные для прило- жений понятия теории вероятностей и статистики. Автор книги принимал непосредственное участие в развитии теории оптимальных стохастических систем, и сиу удалось основные результаты этой теории изложить в компактной и доступной форме. При подготовке русского издания книги были учтены уточнения и исправления, любезно присланные автором. Книга, несомненно, окажется полезной для научных работников, инженеров, работающих в области автомати- ческого управления, а также аспирантов и студентов. Я. Цыпкин ПРЕДИСЛОВИЕ Материал настоящей книги представляет собой содер- жание лекций, прочитанных инженерам на семинаре по оптимизации стохастических систем. Основная часть ма- териала впервые была изложена в течение весеннего се- местра 1965 г., во время посещения автором отдела элект- рических исследований Калифорнийского университета (Беркли). После ряда исправлений и] дополнений этот материал был прочитан еще раз, в течение осеннего се- местра, в отделе инженерных исследований Калифорний- ского университета (Лос-Анжелос). В книге в основном рассматриваются дискретно-непре- рывные системы, фазовые координаты которых принадле- жат некоторым подмножествам евклидовых пространств. Существует еще один класс дискретных систем, у ко- торых фазовые координаты принимают не более, чем счет- ное множество значений (так называемые дискретно-диск- ретные системы). Задачи, связанные с этим классом систем, многочисленны и разнообразны, а такие вопросы, как предельное поведение фазовых координат при стремлении времени к бесконечности, требуют глубокого исследова- ния. Тем не менее этот класс систем в настоящей книге не рассматривается главным образом, потому что он изучен в ряде других превосходных книг, и отчасти потому, что его включение привело бы к увеличению объема книги вдвое. Читателям рекомендуется обратиться к работам [47а, 52, 58, 63а, 74а], а также к книгам К. Л.^Чанга, 10 ПРЕДИСЛОВИЙ Дж. Дж. Кемени и др., Р. С. Варги, приведенных в биб- лиографии. Книга открывается вводными замечаниями и про- стейшими одномерными примерами, которые помогают уяснить суть рассматриваемых проблем. Далее, в главах II—IV, описывается систематизированная процедура синтеза оптимальных байесовских стратегий для дискрет- ных стохастических систем. Тем читателям, которые знакомятся с кругом проблем по примерам главы I, мы рекомендуем при первом их чте- нии не вдаваться в подробности того, как были получены оптимальные управления, а вернуться к этим примерам после изучения глав I и III. В главе II рассматривается некоторый класс стохасти- ческих систем с полной информацией *) о случайных пере- менных, содержащейся в соответствующих совместных функциях распределения. Такие системы называются чис- то стохастическими. В главе III изучается класс адап- тивных параметрических систем. Под этим названием фигурируют стохастические системы со случайными па- раметрами, функции распределения которых зависят от неизвестных величин, принимающих значения в извест- ных параметрических пространствах. Глава IV служит обобщением глав II и III и содержит наиболее общую постановку задачи синтеза оптимальных байесовских систем. Подготовленные читатели могут непосредственно переходить к главе IV. Материал глав II и III введен в основном в педагогических целях. При синтезе оптимальных управлений приходится сталкиваться с простыми и сложными вычислительными задачами. Так как последние представляют и самостоя- тельный интерес, то в главу V включены вопросы, свя- *) По терминологии А, А. Фельдбаума, ПРЕДИСЛОВИЕ 11 занные с оценкой характеристик линейных и нелинейных систем. В главе VI рассматриваются вопросы стохастической наблюдаемости систем и сходимости байесовских методов оптимизации. Часть содержания главы посвящена обу- чающимся системам. В главе VII рассматриваются приближенные методы ре- шения задач управления и оценки, а также смежные вопросы типа синтеза субоптимальных оценок и построения су- боптимальных стратегий управления для адаптивных систем. В книге главным образом рассматривается управление процессами конечной длительности N. Поведение систем при N —>- оо изучается вкратце в главах VIII и IX. В главе VIII обсуждаются вопросы устойчивости сто- хастических систем. В этой главе и в последнем параграфе главы VI изучаются количественные аспекты поведения дискретных систем. Естественно, что понятие оптималь- ного управления имеет смысл лишь в том случае, когда синтезированная система устойчива. При этом неявно подразумевается, что существует, по крайней мере, одна стратегия управления, обеспечивающая конечность мате- матического ожидания критерия качества. Хотя эти воп- росы особенно важны при управлении процессами беско- нечной длительности, проблемы устойчивости обсужда- ются в основном в приложении к мартингалам, рассмот- ренным в гл. VI. Эти и другие не затронутые в предыдущих главах во- просы изучаются в главе IX. Здесь же формулируются некоторые задачи, подлежащие разрешению в будущем. Все мои работы по теории стохастических систем, ре- зультаты которых изложены з/'есь, проводились при под- держке отдела исследований ВМС. Я выражаю глубокую признательность профессору Дж. Эстрину за его много- летнюю поддержку и поощрение моих работ в этой обла- сти'; профессору Р. Беллману, познакомившему меня с 12 ПРЕДИСЛОВИЕ проблемами оптимизации и предложившему мне написать эту книгу; профессорам Задо и Дезоеру, предоставившим мне возможность посетить Калифорнийский университет (Беркли) и провести там семинар; профессорам А. В. Балакришнану и К. Т. Леондесу за их поддержку на семинаре в Калифорнийском университете (Лос-Анжелес). Содержание этой книги было существенно улучшено в ре- зультате дискуссий с Д. Д. Суордером, Р. Е. Мортенсеном, А. Р. Стабберудом и Дж. Р. Хаддлом. Я хотел бы принести искреннюю благодарность моим учителям, коллегам и студентам за помощь при подготовке книги. Следующая схема послужит путеводителем для тех читателей, которые хотели бы ознакомиться с отдельными интересующими их разделами. Оптимальное байесовское Оценка Устойчивость управление ] I 11.3 v1-0 v vi.< ш vn.3-6 vi IV VI _________ 13'C VIII VII.2 VII.'l Приближенные методы Использование достаточных оценки и управления статистик при управлении ,, и оценке | Приложение IV II III I____! ^———————| .—————' VII.1,2 VII.3-6 IIL5 v-3 IV.2 Лос-Анжелес, Калифорния, Масанао Аоки декабрь 1966 Глава 1 ВВЕДЕНИЕ 1. Предварительные замечания Обширная область технических задач связана с управ- лением отдельными физическими установками или целы- ми комплексами оборудования. Границы этой области простираются от сравнительно простой задачи регули- рования отдельного агрегата (например, двигателя) до весьма сложной задачи управления целым химическим за- водом. Более того, при выбранном критерии оптимально- сти управление желательно вести наилучшим или близ- ким к нему образом. Эти критерии оптимальности обычно называются показателями качества, функционалами и т. д. В каждой из задач управления считаются заданными объ- ект, т. е. некоторая физическая система, не подлежащая изменению, а также определенное количество информации о ней. Кроме того, указываются требования к управлению. Вся информация в задачах управления может быть условно разбита на четыре до некоторой степени взаимо- связанные группы [57]. 1. Требования, предъявляемые к синтезируемым си- стемам в целом. 2. Характеристики объектов. 3. Характеристики предполагаемых регуляторов. 4. Допустимые взаимодействия между регуляторами и объектами. К информации первой группы относятся сведения о требуемой реакции всей системы в целом. Эта информа- ция может быть задана косвенно — с помощью критери- ев качества — или непосредственно — в терминах вы- ходных сигналов системы. Например, можно потребовать, чтобы выходные сигналы объекта в точности воспроизво- дили его входные сигналы. Вторая группа содержит информацию о динамических свойствах объектов. Поведение объектов может описываться, 14 ГЛ. I. ВВЕДЕНИЕ например, линейными или нелинейными обыкновенными дифференциальными уравнениями, разностными урав- нениями, дифференциальными уравнениями в частных производных. Последнее описание относится к системам с распределенными параметрами. J В информацию этой группы могут включаться сведения о параметрах объекта и о случайных возмущениях его режима, например, о постоянных времени объекта, о виде функций распреде- ления случайных шумов на его выходе, о случайных от- клонениях некоторых характеристик и т. д. Сведения о регуляторах образуют третью группу. При- меняемые регуляторы могут иметь ограничения на вели- чину и суммарную энергию управления. Возможно, что они могут запоминать лишь определенное количество ин- формации или иметь ограниченную сложность. Например, по ряду причин может оказаться желательным приме- нять лишь линейные регуляторы или ограничить их струк- туру определенным числом блоков, скажем интеграторов и т. д. Наконец, в четвертую группу могут включаться све- дения о допустимых измерениях на объекте и о воздейст- виях исполнительных устройств на объект. Сюда же от- носят характеристику способа, с помощью которого ин- формация о состоянии объекта поступает на вход регуля- тора, описание класса предполагаемых входных сигналов и т. д. В зависимости от характера информации, имеющейся в каждой из четырех групп, сущность задач оптимального управления и трудности их решения меняются в широких пределах. Теория оптимального управления достигла определен- ного уровня развития. Она располагает такими теорети- ческими методами, как принцип максимума Понтрягина [114], динамическое программирование [20—22], теория оптимальной в среднеквадратическом смысле фильтра- ции и прогноза [44, 98], функциональный анализ [91] и т. д. В сочетании с классической теорией регулирования эти методы позволяют синтезировать оптимальные систе- мы, если имеется необходимая информация. Однако все эти методы имеют и существенный недостаток. Их приме- нение требует полной информации в решаемых задачах, 1. ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 15 Для их приложения необходимо знать уравнение управ- ляемой системы, структуру механизма наблюдения, статистические свойства внутренних и внешних шумов, влияющих на работу системы, критерий качества и т. д. Иными словами, если вся информация о структурах систем, их параметрах и (или) характере случайных помех их работе известна, то задача оптимального управления может быть в принципе решена. Соответствующая теория может быть названа теорией оптимального управления при полной информации. В действительности полная ин- формация никогда не бывает доступна. Поэтому необхо- димо создать такую теорию регулирования, которая обес- печила бы синтез систем даже в отсутствие одной или не- скольких составляющих, необходимых в теории оптималь- ного управления с полной информацией. Настоящая книга является попыткой восполнить неко- торые пробелы теории оптимального управления с полной информацией. В ней в основном рассматриваются задачи оптимального управления при изменяющемся характере информации в группах 2 и 4 и относительно стандартных предположениях о группах 1 и 3. Основная цель книги сводится к исследованию, с единой точки зрения, опти- мальных стохастических систем, включая и те из них, в которых отсутствует часть информации, необходимой для синтеза оптимального регулятора. Эта часть информации должна быть восстановлена в процессе управления систе- мой. Основное внимание в книге уделяется оптимальным стратегиям управления в замкнутых стохастических и адаптивных системах. Природа этих управлений подроб- но рассматривается в § 1 главы II. В детерминированном случае стратегии управления в замкнутых и разомкнутых системах совпадают. Однако в том случае, когда системы содержат различные случай- ные параметры, эти стратегии существенно отличны. Элементарное изложение этого вопроса содержится в ра- боте С. Дрейфуса [49]. Дальнейшее обсуждение мы отло- жим до раздела 1. А главы II. Любой алгоритм накопления информации должен быть оценен с точки зрения его влияния на качество управле- ния. Эта оценка выражается через выбранный критерий 16 ГЛ. I. ВВЕДЕНИИ качества или в терминах, связанных с целями управле ния. При синтезе оптимальных регуляторов значитель ную роль играет теория статистических решений [29] Статьи, связанные с теоретическими и вычислительным! аспектами задач оптимального стохастического и адап тивного управления, начали появляться около 1960 г [3, 21, 55, 60, 61]. В частности, А. А. Фельдбаумом в серш из четырех статей по теории дуального управления был; подчеркнута важность теории статистических решенш [55]. Основное содержание книги посвящено синтезу опти- мальных байесовских стратегий управления дискретным! системами. Метод синтеза несколько отличается от под- хода, предложенного А. А. Фельдбаумом, и опирается ча- стично на метод Р. Л. Стратоновича ИЗО]. Аналогичньк или сходные идеи изложены в работах [2, 54, 105а, 124 132, 133, 141]. 2. Некоторые примеры Здесь мы рассмотрим простейшие задачи оптимальной управления. Мы делаем это для того, чтобы ознакомит! читателя с тематикой следующих трех глав и проиллюст рировать характер встречающихся там примеров. Подроб- ности синтеза оптимальных управлений, детализирован ные постановки задач и методы их решений опускаются Предлагаемые примеры удобны и тем, что позволяют one нить влияние различных предположений о системе не сложность оптимальных законов управления. Читателям рекомендуется проверить оптимальность найденных, уп- равлений после изучения глав II и III. В рассматриваемых примерах изучается объект, опи- сываемый одномерным разностным уравнением первого порядка a-;+i == aXi + Ъщ, и, (= (— оо, оо), 0 < i < N — 1, (1) где a, b, х, и — скаляры. Пусть критерий качества имее! вид г 2 J == X[f. 2. НЕКОТОРЫЕ ПРИМЕРЫ 17 Таким образом, мы решаем терминальную задачу управ- ления *) системой первого порядка. В предлагаемых ниже примерах используются лишь регулярные стратегии уп- равления. Соотношение между рандомизированными и регулярными стратегиями обсуждается в следующей главе. Для целей сравнения в примере 1 рассматривается детерминированная система. Предполагается, что парамет- ры а и b объекта известны и постоянны. Далее это пред- положение опускается, и оптимальное управление систе- мой (1) ищется при случайных параметрах а и (или) b,—см. примеры 2, 5—7. Влияние случайных возмущений и оши- бок наблюдений на закон управления рассматривается в примерах 3 и 4. Во всех задачах ограничение на управление и отсутст- вует. Задачи оптимизации при ограниченных управлени- ях весьма сложны. Они рассматриваются, например, в работе [45]. А. Операции с условными плотностями Прежде чем переходить к примерам, рассмотрим ряд свойств условных вероятностей [58] (или плотностей веро- ятности, если последние существуют). Эти свойства ис- пользуются далее на протяжении всей книги. Мы приве- дем здесь свойства плотностей вероятности. Аналогич- ные соотношения имеют место и для вероятностей. Более подробно эти свойства математических ожиданий (услов- ных и безусловных), а также другие полезные факты, опре- деления и теоремы теории вероятностей обсуждаются в конце книги, в Приложении 1. К условным плотностям вероятности постоянно при- меняются три основные операции. Первую из них назы- вают правилом умножения плотностей вероятности: р(а, b с) = p(b\c)p(a\b, с). (2) Соотношение (2) следует из определения условных плот- ностей вероятности. *) То есть такую задачу, в которой критерий качества опреде- ляется значением процесса в одной конечной точке. (Прим, ред.) БИБЛИОГРАФИЯ А г is В., Discrete Dynamic Programming, Random House (Blais- dell), New York, 1964, [Русский перевод: А р и с Р., Дискретное динамическое программирование. Введение в оптимизацию многошаговых процессов, изд-во «Мир», 19(59.] Bellman R., Introduction to Matrix Analysis, McGraw-Hill, New York, 1960. [Русский перевод: Б е л л м а н Р., Введе- ние в теорию матриц, изд-во «Наука», 1969.] С h u n g К. L., Markov Chains with Stationary Transition Probabi- lities, Springer-Verlag, Berlin, 1960. ФельдбаумА.А., Основы теории оптимальных автоматиче- ских систем, изд. 2-е изд-во «Наука», 1966. Н а 1 m о s P., Finite Dimensional Vector Spaces, Van Nostrand, Princeton, New Jersey, 1958. [Русский перевод: X а л м о ш П., Конечномерные векторные пгостранства, Физматгиз, 1963.] KemenyJ.G., SnellJ.L. and К n a p p A. W., Denume- rable Markov Chains, Van Nostrand, Princeton, New Jersey, 1966. Т о u J. Т., Modern Control Theory, McGraw-Hill, New York, 1965. V а г g a R. S., Matrix Iterative Analysis, Prentice-Hall, Englewood Cliffs, New Jersey, 1962. W i 1 d e D. J., Optimum Seeking Methods, Prentice-Hall, Engle- wood Cliffs, New Jersey, 1964. [Русский перевод: У а и л д Д. Дж., Методы поиска экстремума, изд-во «Наука», 1967.] ЦИТИРОВАННАЯ ЛИТЕРАТУРА 1. Aitchison J. and Brown J. А. С., The Lognormal Dist- ribution, Cambridge Univ. Press, London and New York, 1957. 2. A s t г о m К. J., Optimal control of Markov processes with incomplete state information, J. Math. Anal. Appl. 10, 174—205 (1965). 3. А о k i M., On the application of dynamic programming and numerical experimentation as applied to adaptive control systems, Tech. Rep. No. 60—16, Dep. of Eng., Univ. of California, Los Angeles (November 1959). 4. А о k i M., On the optimal and suboptimal policies in the choice of control variables for final value control systems, IRE Intern. Conv. Record, Part IV, 15—22 (1960). ЦИТИРОВАННАЯ ЛИТЕРАТУРА 4l3 5. А о k i M., Dynamic programming approach to the final value control system with a random variable having an unknown dist- ribution function, IRE Trans. Auto. Control 5, No. 4, 270—282 (1960). 6. А о k i M., Stochastic time-optimal control systems, Trans. Amer. Inst. Eles. Engrs. 80, Part II, 41—46 (1961). 7. А о k i M., On minimum of maximum expected deviation from an unstable equilibrium position of a randomly perturbed cont- rol system, IRE PGAC, AC-7, 1—12 (1962). 8. А о k i M., Successive approximations in solving some control system optimization problems, II. J. Math. Anal. Appl. 5, No. 3, 418—434 (December 1962). 9. А о k i M., On a successive approximation technique in solving some control system optimization problems, I. Trans. ASME Ser. D. J. Basic Eng. 85, 177—180 (June 1963). 10. А о k i M., On the approximation of trajectories and its appli- cation to control systems optimization problems, J. Math. Anal. Appl. 9, No. 1, 23—41 (August 1964). 11. Aoki M., On optimal and suboptimal control policies in cont- rol systems, Advances in Control Systems, vol. 1, Chap. 1, С. Т. Leondes, ed. Academic Press, New York, 1964. 12. Aoki M., On performance losses in some adaptive control sys- tems, I. Trans. ASME Ser. D. J. Basic Eng. 87, No. 1, 90—94 (March 1965). 13. Aoki M., On some convergence questions in Bayesian opti- mization problems, IEEE Trans. Auto. Control 10, No. 2, 180— 182 (April 1965). 14. Aoki M., Optimal Bayesian and min.-max. control of class of stochastic and adaptive dynamic systems, Proc. IFAC Sympo- sium System Engineering for Control System Design, 77—84, Tokyo (August 1965). 15. Aoki M., Optimal control of partially observable Markovian control systems, J. Franklin Inst. 280, No. 5, 367—386 (Novem- ber 1965). 16. Aoki M., Optimal control policies for dynamical systems who- se characteristics change randomly at random times, Presented at Third Congress IFAC, London (June 1966). 17. Aoki M. and Huddle J. R., Estimation of the state vector of a linear stochastic system with a constrained estimator, IEEE Trans. Aut. Control, AC—12, No 4, pp. 432—433 (August 1967). 18. BalakrishnanA. V., A general theory of nonlinear esti- mation problems in control systems, J. Math. Anal. Appl. 8, No. 1, 4—30 (February 1964). 19. В a u m Е. К., Optimal control of long running stochastic sys- tems, Res. Rep. No. PIBMRI-1220-1964, Polytech. Inst. of Brooklyn (June 1964). 20. Bellman R., Dynamic Programming, Princeton Univ. Press, Princeton, New Jersey, 1957. [Русский перевод: Б е л л- м а н Р., Динамическое программирование, ИЛ, I960.] 414 ЦИТИРОВАННАЯ ЛИТЕРАТУРА 21. Bellman R. and К a 1 a b a R., Dynamic programming and adaptive processes, mathematical foundation, IRE Trans. Auto. Control 5, 5—10 (January 1960). 22. Bellman R., Adaptive Control Processes: A Guided Tour, Princeton Univ. Press, Princeton, New Jersey, 1961. [Русский перевод: Б е л л м а н Р., Процессы регулирования с адапта- цией, изд-во «Наука», 1964.] 23. В е 1 1 m a n R. and Dreyfus S., Applied Dynamic Prog- ramming, Princeton Univ. Press, Princeton, New Jersey, 1962. [Русский перевод: Б е л л м а н Р., Д р е и ф у с С., Прик- ладные задачи динамического программирования, изд-во «На- ука», 1965.] 24. В ellman R. Е., К a g i w a d а Н. Н., К al ab a R. E. and Sridhar R., Invariant imbedding and nonlinear filte- ring Theory, RAND, RM-4374-PR (December 1964). 25. Bertram J. E. and Sarachik P. E., On the stability of circuits with randomly varying parameters, IRE Trans. Inform. Theory 5, 260—270 (1959). 26. Bertram J. E., Control by stochastic adjustment, Amer. Inst. Elec. Engrs. Paper 59-1156, Application and Industry (1959). 27. BeutlerF.J., The operator theory of the pseudo-inverse; 1, Bounded operators, J. Math. Anal. Appl. 10, 1—11 (1965). 28. Bharucha-Reid А. Т., On the theory of random equa- tions, Proc. Sympl. Appl. Math. 14, 40—69 (1964). 29. В 1 а с k w е 1 1 D. and G i r s h i с k M. A., Theory of Ga- mes and Statistical Decisions, Wiley, New York, 1954. [Русский перевод: Блекуэлл Д., Г и р ш и к М., Теория игр и статистических решений, ИЛ, 1958.] 30. Blackwell D., On the functional equation of dynamic programming, J. Math. Anal. Appl. 2, 273—276 (1961). 31. Blackwell D. and D u b i n s L., Merging of opinions with increasing information, Ann. Math. Statist. 33, No. 3, 882—886 (September 1962). 32.^B 1 а с k w e 1 1 D., Discounted dynamic programming, Ann. Math. Statist. 36, 226—235 (1965). 33. B^r e a k w е 1 1 J. V., A doubly singular problem in optimal interplanetary guidance, J. Soc., Ind. Appl. Math., Ser. A. Cont- rol 3, No. 1, 71—77 (1965). ЗЗа. В г у s о n A. E. and Jonansen D. E., Linear filtering for timevarying systems using measurements containing colo- red noise, IEEE Trans. Auto. Control 10, No. 1, 4—10 (January 1965). 34. Bogdanoff J. L. and К о z i n F., Moments of the output of linear random systems, J. Acoust. Soc. Amer. 34, No. 8, 1063— 1066 (1962). 35. В u с у R. S., Nonlinear filtering theory, IEEE Trans. PGAC, 10, No. 2, 198 (April 1965). 36. В u с у R. S., Stability and positive supermartingale, J. Differential Equations 1, No. 2, 151—155 (April 1965). ЦИТИРОВАННАЯ ЛИТЕРАТУРА 415 37. С a u g n e у Т. К., Commets on: On the Stability of Random Systems, J. Acoust. Soc. Amer. 32, No. 10, 1356 (1960). 38. С a u g n e у Т. К. and D i e n e s J. K., The behavior of systems with random parametric excitation, J. Math. Phys. 41, No. 4, 300—318 (1962). 39. Cramer H., Mathematical Method of Statistics, Princeton Univ. Press, Princeton, New Jersey, 1946; [Русский перевод: Крамер Г., Математические методы статистики, ИЛ, 1948.] 40. Сох Н., On the estimation of state variables and parameters for noisy dynamic systems, IEEE Trans. Auto. Control 9, No. 1, 15—12 (January 1964). 41. Сох Н., Estimation of state variables via dynamic program- ming, Conference Paper, Proc. Joint. Auto. Control Conf., 376—381, Stanford, California (1964). 42. D a 1 у R. F., Adaptive binary detectors, Tech. Rep. No. 2003— 2, Stanford Electronics Labs., Stanford, California (June 1961). 43. D aly R. F., The adaptive binary-detection problem on the real line, Tech. Rep. No. 2003—3. Stanford Electronics Labs., Stanford, California (February 1962). 44. D a v e n р о r t W. В., Jr., and R о о t W. L., An Introducti- on to the Theory of Random Signals and Noise, McGraw-Hill, New York, 1958. [Русский перевод: Давенпорт В. Б., Рут В. Л., Введение в теорию случайных сигналов и шумов, ИЛ, I960.] 45. D е 1 е у G. W., and F r a n k I i n G. F., Optimal bounded control of linear sampled-data systems with quadratic loss, Trans. ASME, Ser. D. J. Basic Eng. 87, No. 1, 135—141 (March 1965). 46. D e t с h m e n d у D. M. and Sridhar R., Sequential es- timation of states and parameters in noisy nonlinear dynamical systems, Proc. Joint Auto. Control Conf., 56—63, Troy, New York (1965). 47. D e s о e r С. A. and W h a 1 е n В. Н., A note on pseudo-in- verses, J. Soc. Anal. Appl. Math. 11, No. 2, 442—447 (June 1963). 47a. Doob J. L., Stochastic Processes, Wiley, New York, 1953. [Русский перевод: Дуб Д. Л., Вероятностные процессы, ИЛ, 1956.] 't8. Drenick B.F. and Shaw L., Optimal control of linear plants with random parameters, IEEE Trans. Auto. Control 9, No. 3, 236—244 (July 1964). 4!1. Dreyfus S. E., Some types of optimal control of stochastic systems, J. Soc. Ind. Appl. Math. Ser. A. Control 2, No. 1, 120— 134 (1964). 50. D u b i n s L. E. and Savage L.J., How to Gamble if You Must, Inequalities for Stochastic Processes, McGraw-Hill, New York, 1965. 51. Dvoretzky A., On stochastic approximation, Proc. Third Berkeley Symposium on Mathematical Statistics and Probabi- lity 1, 39—55, Univ. of California Press, Berkeley, California (1956), 416 ЦИТИРОВАННАЯ ЛИТЕРАТУРА 51а. Д ы н к и н Е. Б., Управляемые случайные последовательно- сти, Теория вероятностей и ее применение, т. 10, № 1, 1965. 52. E a t о n J. Н. and Z a d e h L. A., Optimal pursuit strategies in discrete state probabilistic systems, Trans. ASME Ser. D. J. Basic Eng. 84, 23—29 (1961). 53. Eaton J. H., Discrete-time interrupted stochastic control processes, J. Math. Anal. Appl. 5, 287—305 (1962). 54. F a r r i s о n J. В., Identification and control of random-para- meter discrete systems, Tech. Вер. No. 6302-4, System Theory Lab., Stanford Electronics Labs., Stanford, California (Ja- nuary 1964). 55. Фельдбаум А. А., Теория дуального управления, I—IV. Автоматика и телемеханика, т. 21, №№ 9, 11, 1960; т. 22, №№ 1, 3, 1961. 56. Фельдбаум А. А., Об оптимальном управлении марков- скими объектами. Автоматика и телемеханика, т. 23, № 8, 1962. 57. F e 1 d b a u m A. A., Optimal systems. Disciplines and Tech- niques of System Control, Chap. VII, J. Peschon, ed. Random House (Blaisdell), New York, 1965. 58. Feller W., An Introduction to Probability Theory and its Application, vol. 1, 2nd ed., Wiley, New York, 1957. [Русский перевод: Ф e л л e р В., Введение в теорию вероятностей и ее приложения, т. 1, изд. 2-е, изд-во «Мир», 1967.] 58а. Ferguson Т., Statistical Inference, Academic Press, New York, to appear in 1966. 59. Fitzgerald R.J., A gradient method for optimizing sto- chastic systems, Paper presented at IEEE-OSA Symposium on Recent Advances in Optimization Techniques, Carnegie Inst. Tech., Pittsburgh. Pennsylvania (April 1965). 60. Florentin J.J., Optimal control of continuous time Mar- kov stochastic systems, J. Electron. Control 10, No. 6, 473— 488 (1961). 61. Florentin J. J., Partial Observability and Optimal Control, J. Electron. Control 11, 263—279 (1962). 61a. Fri edi and В., Т h a n F. E., and S a r а с h i k P. E., Stability problems in randomly excited dynamic systems, Proc. Joint Auto. Control Conf. 848—861, Univ. Washington, Seattle (August 1966). 62. F u k а о Т., Some fundamental properties of adaptive control processes, I. Bull. Electrotech. Lab. 28, No. 1, 1—19 (in Japane- se) (January 1964) (Tokyo). 62a. Fukao Т., System identification by Bayesian learning pro- cesses, I and II. Bull. Electrotech. Lab. 29, No. 5, 364—380 (1960). 63. G a 1 t i e r i C. A., Problems of estimation in discrete-time processes, Bes, Paper RJ-315, IBM San Jose Res. Lab., San Jose, California (August 1964). 63a. Г а н т M a x e р Ф. Р., Теория матриц, изд. 2-е, изд-во «Нау- ка», 1966. 64. G a r d n e r L. A., Jr., Adaptive Predictors, Trans. Third Pra- gue Conference on Information Theory, Statistical Decision Fun- ЦПТИРОВАННАЯ ЛИТЕРАТУРА 417 ction. Random Processes, 123—192, Publishing House of the Czechoslovak Academy of Sciences, Prague, 1964. 65. GrevilleT.N.E., Some applications of the pseudo-in- verse of a matrix, Ind. Appl. Math. Rev. 2, No. 1, 15—22 (1960). 66. Гришин В. П., О методе вычислений в связи с одним про- цессом автоматического приспособления, Автоматика и теле- механика, т. 23, № 12; 1962. 67. G u n с k e 1 T. L., Ill and F г a n k 1 i n G. F., A general solution for linear sampled-data control, Trans. ASME Ser. D. J. Basic Eng. 85, 197—201 (1963). 68. H a d 1 e у G., Linear Programming, Addison-Wesley, Beading, Massachusetts, 1962. 69. H a d 1 e у G., Nonlinear and dynamic programming. Stochas- tic Programming, Chap. 5, Addison-Wesley, Reading, Massa- chusetts, 1964. [Русский перевод: X едли Дж., Нелинейное и динамическое программирование, изд-во «Мир», 1967.] 70. Н a h n W., Theory and Application of Liapunov's Direct Met- hod, Translated by S. H. Lehnigk and H. H. Hosenthien, Pren- tice-Hall, Englewood Cliffs, New Jersey, 1963. 71. H a n s 0., Random Fixed Point Theorems, Trans. Prague Con- ference on Information Theory, Statistical Decision Function, 105—125, Prague Czechoslovak Academy of Sciences, Prague, 1956. 71a. H о Y. C., The method of least squares and optimal Filtering theory, RM-3329-PR, BAND Corporation, Santa Monica, California (October 1962). 72. Но Y. С. and Lee R. С. К., A Bayesian approach to prob- lems in stochastic estimation and control, Proc. Joint Auto. Control Conf., 382—387, Stanford Univ., Stanford, California (June 1964). 72a. Ho Y. C. and W h a 1 e n B. H., An approach to the identifi- cation and control of linear dynamic systems with unknown pa- rameters, AIEE Trans. on AC, No. 8, 1963. 72b. Но Y. C. and Lee R. C. K., Identification of linear dynamic systems, Inform. Control 8, 93—110 (1965). 73. Hogg R.V. and Crag А. Т., Introduction to Mathemati- cal Statistics, Macmillan, New York, 1959. 73a. Horowitz E., Some suboptimal control policies in optimal stochastic control systems, M. S. Thesis, Dep. of Eng., Univ. of California, Los Angeles (June 1966). 74. H о u s e h о 1 d e г А. S., Principle of Numerical Analysis, McGraw-Hill, N. Y., 1953. [Русский перевод: X а у с x о л- д е р А. С., Основы численного анализа, ИЛ, 1956.] 74а. Howard В., Dynamic Programming and Markov processes, Wiley, N. Y., 1960. [Русский перевод: Ховард Р. А., Динамическое программирование и марковские процессы, . «Советское радио», 1964.] 75. Howard R. A., Dynamic inference, Tech. Rep. No. 10, Ope- rations Res. Center, MIT, Cambridge, Massachusetts (December 1964). 418 ЦИТИРОВАННАЯ ЛИТЕРАТУРА 76. H s u J. C. and MeserveW.E., Decision-making in adap- tive control systems, IRE Trans. Auto. Control 7, 24—32 (Janua- ry 1962). 77. JaynesE.T., New engineering applications of information theory, Proc. 1960 Random Function Theory Symposium, 163—203, J. L. Bogdanoff and F.-Kozin, eds. Held at Purdue University in 1960, Wiley, N.Y., 1963. 78. J о h a n s e n D. E., Optimal control of linear stochastic sys- tems with complexity constraints. Tech. Rep., Appl. Res. Lab., Sylvania Electronic Systems, Division of Sylvania Electric Products, Ind., Waltham, Massachusetts. 79 Johns M. V., Non-parametric Bayes procedures, Ann. Math. Statist. 28, No. 3, 649—669 (September 1957). 80. J о s e p h P. D. and Т о u J. Т., On a linear control theory, Trans. Amer. Inst. Elec. Engrs, 80, Part II, 193—196 (Septem- ber 1961). 81. J о s e p h P. D., Suboptimal linear filtering, Tech. Rep., Space Technology Labs., Inc. (December 1963). 82. J о s e p h P. D., On board navigation for rendez-vous missions. Lecture Note for 2-wk Summer Course, Univ. of California Los Angeles, Engineering Extension, Los Angeles, California (1964). 83 Kallianpur G., A problem in optimum filtering with finite data, Ann. Math. Statist. 30, 659—669 (1959). 84.KalmanR.E., New methods and results in linear prediction and filtering theory, Tech. Rep. No. 61-1, RIAS, Baltimore, Maryland (1960). 85.KalmanR.E.,A new approach to linear filtering and pre- diction problems, Trans. ASME Ser. D. J. Basic Eng. 82, 35—45 (1960). 86. К а 1 m a n R. E. and Buoy R. S., New results in linear fil- tering and prediction theory, Trans. ASME Ser. D. J. Basic Eng. 83, 95—108 (March 1961). 87. К а 1 m a n R. E., On the general theory of control systems, Proc. First IFAC Congress, Butterworth, London and Washing- ton, D. C. (1961). [Русский перевод: К а л м а н Р., Об общей теории систем управления. Труды I конгресса ИФАК. Теория дискретных оптимальных и самонастраивающихся систем, Изд-во АН СССР, 1961]. 88. К а 1 m a n R. E., E n g 1 а г Т. S. and В u с у R. S., Funda- mental study of adaptive control systems, Tech. Rep. No. ASD- TR-61-27, vol. 1, RLAS (April 1962). 89. К a 1 m a n R. E., H о Y. C. and N a r e n d r a K. S., Cont- rollability of linear dynamical systems, Contributions to Dif- ferential Equations 1, No. 2, 189-213 (1963). 89a. KalmanR.E., Contribution to the theory of optimal cont- rol, Bol. Socieda Matematica Mexicana, 102—119 (1960). 89b. К a r 1 i n S., Polya type distributions, II. Ann. Mat. Stat. 28, 281—308 (1957). 90. К а ц И. Я., К р а с о в с к и и Н. Н., Об устойчивости си- стем со случайными параметрами, Прикладная математика и механика, т. 24, вып. 5, 1960. ЦИТИРОВАННАЯ ЛИТЕРАТУРА 419 91. Колмогоров А. Н., Фомин С. В., Элементы теории функций и функционального анализа, изд. 2-е, пзд-во «Нау- ка», 1968. 91а. KoopmansT.C., RubinH. and L e i p n i k R. В., Measuring the equation systems of dynamic economics, in Sta- tistical Inference in Dynamic Economic Models (T. C. Koop- mans, ed.). Chap. II, Wiley, New York, 1950. 92. Красовский Н. Н., Л и деки и Э. А., Аналитиче- ское конструирование регуляторов в системах со случайными свойствами, I—HI. Автоматика и телемеханика, т. 22, №№ 9— 11, 1961. 93. Красовский Н. Н., Некоторые задачи теории устойчи- вости движения, Физматгиз, 1959. 94. К о z i n -F., On almost sure stability of linear systems with random coefficients, J. Math. Phys. 42, No. 1, 59—67 (1963). 95. К u s h n e r H. J., On the.optimum timing of observations for linear control systems with unknown initial state, IEEE Trans. Auto. Control 4, No. 2, 144—150 (April 1964). 96. К u s h n e r H. J., On the stability of stochastic dynamical systems, Proc. Nat. Acad. Sci. U. S. A. 53, No. 1, 8—12 (Janua- ry 1965). 97. К u s h n e r H. J., New theorems and examples in the Liapunov theory of stochastic stability, Proc. Joint Auto. Control Conf., 613—619, Renselaer Polytech. Inst., Troy, New York, 1965. 98. L a n i n g J. H. and Battin R.H., Random Processes in Automatic Control, McGraw-Hill, New York, 1956. [Русский перевод: Л e н и н г Дж. X., Б э т т и н Р. Г., Случайные процессы в задачах автоматического управления, ИЛ, 1958.] 99. L a S a 1 1 e J. and Lefschetz S., Stability by Liapunov's Direct Method with Applications, Academic Press, New York, 1961. [Русский перевод: Ла-Салль Ж., Л е ф ш е ц С., Исследование устойчивости прямым методом Ляпунова, изд-во «Мир», 1964]. 100. Lee R. С. К., Optimal estimation, identification and control, Research Monograph No. 28, MIT Press, Cambridge, Massachu- setts (1964). ЮОа. Lefschetz S., Stability of Nonlinear Control Systems, Academic Press, New York, 1965. [Русский геревод: Л е ф- ш е ц С., Устойчивость нелинейных систем автоматического управления, изд-во «Мир», 1967.] 101. Л и н н и к Ю. В., Метод нанмеаьшпх квадратов и основы математико-статист1;ческой теории обработки наблюдений, изд. 2-е, Физматгиз, 1962. 102. L о ё v e M., Probability Theory, Van Nostrand, Princeton, New Jersey, 1960. [Русский перевод: Л о э в М., Теория вероят- ностей, ИЛ, 1962.] 103. L u e n b е г g е г D. G., Observing the state of a linear system, IEEE Trans. Military Electron. 8, No. 2, 74—80 (April 1964). 104. M e di tc h J..S., Suboptimal linear filtering for continuous • . d-ynamie-processes, Tech, Rep.,-Aerospace Corp. Contract No. AF04 (695)-469 (July 15, 1964). 420 ЦИТИРОВАННАЯ ЛИТЕРАТУРА 104а. М е d i t с h J. S., A class of suboptimal linear controls, Prop. Joint Auto. Control Conf. 776—782, Univ. Washington, Seattle (August 1966). 104b. М с r r i a m C. W., Ill, Optimization Theory of the Design of Feedback Control Systems McGraw-Hill, New York, 1964. [Рус- ский перевод: МерриэмЧ.В., Теория оптимизации и рас- чет систем управления с обратной связью, изд-во «Мир», 1967.] 105. М a g i 1 1 D. Т., Optimal adaptive estimation of sampled sto- chastic processes, IEEE Trans. Auto. Control 10, No. 4, 434—439 (October 1965). 105a. М е 1 e r L., Ill, Combined optimum control and estimation theory, Tech. Rep. No. NAS2-2457, Stanford Res. Inst., Menio Park, California (October 1965). 106. Miller К. S., Multidimensional Gaussian Distributions, SIAM Series in Applied Mathematics, Wiley, New York, 1964. 107. Mortensen R. E., A note on polar decomposition and the generalized inverse of an arbitrary matrix, Notes on System Theo- ry, vol. VI, Electronics Res. Lab., Univ. of California, Berke- ley, California, April 1964. 108. 0 d a n a k а Т., Minimization of the probability of the maxi- mum deviation, in Japanese, Proc. 7th Joint Auto. Control Conf. of Japan, Univ. of Nagoya, Japan (October 1964). 109. 0 rf о r d R. J., Optimal stochastic control systems, J. Math. Anal. Appl. 6, 419—429 (1963). 109a. Or г R. E., Optimal linear discrete filtering, M. S. Thesis, Dep. of Eng., Univ. of California, Los Angeles (1964). 109b. P a p о 1 i s A., Probability, Random Variables and Stochastic Processes, McGraw-Hill, New York, 1965. 109с. P e s с h о n J., M e i e r L., Ill, LarsonR.E., Foy W. H., Jr., and D a w s о n C. H., Information requirements for guidance and control systems, Tech. Rep., No. NAS2-2457, Stanford Res. Inst., Menio Park, California (November 1965). 110. Penrose R.,A generalized inverse for matrices, Proc. Cam- bridge Phil. Soc. 51, 406—413 (1955). 111. Penrose R., On best approximate solution of linear matrix equations, Proc. Cambridge Phil. Soc. 52, 17—19 (1956). 112. P e n t е с о s t E. E. and S t u b b r и d A. R., Synthesis of computationally efficient sequential linear estimators, to appear in IEEE Trans. Aerospace Electron. Systems. 113. PfeifferC.G., A dynamic programming analysis of mul- tiple guidance corrections of a trajectory, A. I. A. A. Journal 3, . No. 9, 1674—1681 (September 1965). 114. Понтрягпн Л. С., Болтянский В. Г., Г а м- крелидзе Р. В., Мищенко Е. Ф., Математическая теория оптимальных процессов, Физматгиз, 1961. 114а. Р у k e R., Stationary probabilities for a semi-Markov process with finitely many states (abstract), Ann. Math. Statist. 31, No. 1, 240 (March 1960). 115. R a i f f a M. and S с Ы a i f e г R., Applied Statistical De- cision Theory, Harvard Business School, Boston, Massachu- setts^ 1961, ЦИТИРОВАННАЯ ЛИТЕРАТУРА 421 116. R a v i v J., Decision making in incompleted known stochastic systems, Rep. 64-25, Electronic Res. Lab., Univ. of California, Berkeley, California (July 1964). 117. R о b h i n s H., An empirical Bayes approach to statistics, Proc. Third Berkeley Symposium on Math. Statist, Prob. 1, 157—164, Univ. of California, Berkeley, California (1955). 118-RobbinsH., The empirical Bayes approach to statistical decision problems, Ann. Math. Statist. .35, No. 1, 1—20 (March 1964). 119. Rosenbrock H. H., The foundation of optimal control, with an application to large systems, Automatica 1, 263—288 (December 1963). 120. Rosenbrock H. H., An example of optimal adaptive control, J. Electron. Control 13, 557—567 (1964). 121. Samuels J. C., On the mean square stability of random linear systems, IRE Trans. Inform. Theory 5, 248—259 (May 1959). 122. Samuels J.C. and E г i n g e n A. C., On stochastic li- near systems, J. Math. Phys. 38, No. 2, 83—103 (1959). 123. Samuels J.C., On the stability of random systems and the stabilization of deterministic systems with random noise, J. Acoust. Soc. Amer. 32, No. 5, 594—601 (1960). 124. Schultz P. R., An optimal control problem with state vec- tor measurement error, Advances in Control Systems, Chap. V, Vol. 1, С. Т. Leondes, ed. Academic Press, New York, 1964. 125. Sorenson H. W., On the controllability and observability of optimal stochastic linear control systems, Tech. Memorandum, LAS-3329, A. C. Electronics Division, General Motors (January 1966). 125a. Sorenson H. W., Nonlinear perturbation theory for esti- mation and control of time discrete stochastic systems, Ph. D. Thesis, Dept. of Eng. Univ. of California, Los Angeles (1966). 126. Spang H.A., Ill, Optimum control of an unknown linear plant using Bayesian estimation of the error, Proc. Nat. Elect- ron. Conf. 20, 620—625 (1964). 127. Spang H.A., Ill, The effects of estimation of error on the control of an unknown linear plant, Rep. No. 65-RL-3907E, General Electric Res. Lab., Schenectady, New York (April 1965). 128. Spragins J.D., Reproducing distributions for machine learning. TR 6103-7, Stanford Electronics Nabs., Stanford, Ca- lifornia (November 1963), 129. Spragins J. D., A note on the iterative application of Bay- es'rule. IEEE Trans. Inform. Theory 11, No. 4, 544—549 (Oc- tober 1965). 130. Стратонович Р. Л., Условные процессы Маркова, Тео- рия вероятностей и ее применение, т. 5, вып. 2, 1960. 131. Strauch R. E., Negative dynamic programming. Ph. D. Thesis in Statistics, Univ. of California, Berkeley, California (1965). 422 ЦИТИРОВАННАЯ ЛИТЕРАТУРА 132. Sussman R., Optimal control of systems with stochastic disturbances, Rep. AF-AFOSR 139-63, Electronics Res. Lab. Univ. of California, Berkeley, California (November 1963). 133. Sworder D.D., Synthesis of optimal, discrete time, adap- tive control systems. Ph. D. Thesis, Dept. of Eng., Univ. of California, Los Angeles, California (June 1964). 134. Sworder D. D., Minmax control of discrete time stochastic systems, Soc. Ind. Appl. Math. Ser. A. Control 2, No. 3, 433—449 (1964). 135. Sworder D.D., Control of a linear system with a Markov Property, IEEE Trans. Auto. Control 10, No. 3, 294—300 (July 1965). 135a. Sworder D. D., A study of the relationship between iden- tification and optimization in adaptive control problems, J. Franklin Inst. 281, No. 3, 198—213 (March 1966). 136. Sworder D.D. and А о k i M., On the control system equi- valents of some decision theoretic theorems, J. Math. Anal. Appl. 10, No. 2, 424—438 (1965). 136а. Т h е i 1 Н., A note on certainty equivalence in dynamic plan- ning, Econometrics 25, No. 2, 346—349 (April 1957). 137. Т г u х а 1 J. G. and P a d a 1 i n о J. J., Decision theory, Adaptive Control Systems, Chap. 15, Mishkin and Braun, eds. McGraw-Hill, New York, 1961. [Русский перевод: Приспосаб- ливающиеся автоматические системы. Под ред. Э. М и ш к и- на и Л. Б р а у на, ИЛ, 1963]. 138. U 1 а N. and К i ш М., An empirical Bayes approach to adap- tive control, J. Franklin Inst. 280, No. 3, 189—204 (September 1965). 139. V a j d a S., Mathematical Programming, Addison-Wesley, Reading, Massachusetts, 1961. 140. Watanabe S., Information theoretic aspects of inductive and deductive inference, IBM J. Res. Develop., 208—231 (April 1960). 141. Wonham W. M., Stochastic problems in optimal control, RIAS Tech. Rep., 63—64 (May 1963). 141a. Якубович В. А., Метод матричных неравенств в теории неустойчивости нелинейных регулируемых систем, I. Автома- тика и телемеханика, т. 25, № 7, 1964. 142. Z a d e h L. A. and D e s о е г С. A., Linear System Theory: The State Space Approach, McGraw-Hill, New York, 1963. [Рус- ский перевод: Заде Л., ДезоерЧ., Теория линейных систем, изд-во «Наука», 1970]. 143. Z a m е s G., On the stability of nonlinear time-varying feed- back systems, Proc. Nat. Election. Conf. 20, 727 (October 1964). ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Абсолютно непрерывная вероят- ностная мера 382 Адаптивные системы 24 — — параметрические 10 Алгебры 380 о-алгебры 380 — минимальные 381 — независимые 381 Байеса формула 18 о-байесовская стратегия управле- ния 367 Байесовские стратегии управления в замкнутых системах 34 Байесовское оптимальное управление 35 Борелева алгебра 380 Величина случайная 380 Вероятностное пространство 379 Вырожденная нормальная функция распределения 403 Гауссовские случайные величины 212 Грама—Щарлье ряд 236 Детерминированные системы 8 Дискретно-дискретные системы 9 Дискретно-непрерывные системы 9 Достаточная статистика 52, 73, 405 Задача о построении оценок 190 Индикатор множества 381 Класс Купмана — Питмана 172 Корреляционная матрица случай- ного вектора 397 Критерий асимптотической устой- чивости 351 — Фишера — Неймана 406 Ляпунова функция 345 Мартингал 248, 384 Матрица нсевдообратная 389 — стохастической управляемости 267 Метод инвариантного погружения 193, 203 — функций Ляпунова 345 Минимальное управление 35 Минимальные стратегии 366, 367 Моды распределения 216 Независимые о-алгсбры 381 Неравенство Чебышева 386 Нерандомизированная стратегия уп- равления 40 Нормальная функция распределения 398 Область допустимых управлений 38, 59 Обобщенная стратегия управления 367 Оптимальное байесовское управление 35 Основное неравенство теории полу- мартингалов 349, 354 Отношение правдоподобия 250 Оценки эффективные 213 Параметрически адаптивные системы 34 Параметрическое разложение Мер- риама 298 Полумарковский процесс 372 Полумартингал 249 Правило умножения плотпостей ве- роятности 17 Принцип двойственности 91 — ортогональности 103, 194 — эквивалентности 31 Простая функция 381 Пространство вероятностное 379 Псевдообратная матрица 389 Радона — Никозима теорема 382 Рандонизированная стратегия упра- вления 43 Ряд Грама — Шарльс 236 — Эдэкварта 236 424 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Самовоспроизводящиеся функции рас- пределения 408 Системы адаптивные 24 — — параметрические 10 — асимптотически устойчивые 349 — детерминированные 24 — дискретно-дискретные 9 — дискретно-непрерывные 9 — идентифицируемые 272 — с максимальной неполной ин- формацией 24 — стохастические 24 — — наблюдаемые 259, 261, 264 — — — в узком (широком) смысле 259, 263 — — ненаблюдаемые 259 — — с полной информацией 10 — — управляемые 267 — чисто стохастические 10, 24 Случайная величина 380 Статистика 405 — достаточная 405 Стохастическая устойчивость 348 — — асимптотическая 348 , Стратегия управления е-байесовская 367 — — минимаксная 366, 367 — — нерандомизированная 40, 41 — — обобщенная 367 — — разомкнутого типа 297 — уравнивающая 367 Субмартингал 249 Супермартингал 249 Теорема о монотонной сходимости 388 — Радона — Никодима 382 — о сходимости мартингалов 388 — о факторизации 406 Теория оптимального управления при полной информации 1э Теория оценок по методу наимень- ших квадратов 193 Терминальная задача управления ои- стемой 17 Управление байесовское оптималь- ное 35 — минимаксное 35 — при равных вероятностях 35 Уравнение наблюдений 39 — — фазовых координат 39 — объекта 39 Уравнивающая стратегия управле- ния 367 Условное математическое ожидание 89, 384 Устойчивость стохастическая 348 — — асимптотическая 348 Фишера — Неймана критерий 406 Формула Байеса 18 Функция Ляпунова 345 — правдоподобия 210 — простая 381 — распределения нормальная 398 — — — вырожденная 403 Характеристическая функция мно- жества 381 Цена адаптивного управления 283 — стохастического управления 283 Чебышева неравенство 386 Чисто стохастические системы 10