Л.Ф. КУЛИКОВСКИЙ, В. В. МОТОВ ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ Допущено Министерством высшего и среднего специального образования СССР в качестве учебного пособия для студентов вузов, обучающихся по специальности «Автоматизация и механизация процессов обработки и выдачи информации» МОСКВА «ВЫСШАЯ ШКОЛА» 1987 ББК 32.81 К90 УДК 681.518 Рецензенты: д-р техн. наук, проф. А. Г. Мамиконов (Институт проблем управления); кафедра автоматизации информационных про- цессов Рязанского радиотехнического института (зав. кафед- рой — д-р техн. наук, проф. В. П. Миловзоров) Куликовский Л. Ф., Мотов В. В. К 90 Теоретические основы информационных процес- сов: Учеб. пособие для вузов по спец. «Автоматиза- ция и механизация процессов обработки и выдачи- информации».—М.: Высш. шк., 1987.—248 с. Дано понятие информационного процесса и его составляющих в рамках функционального и эволюционного подходов. Рассмотрены ма- тематические методы и модели, используемые для представления сиг- налов и процессов передачи, обработки, хранения и поиска информа- ции, приведены примеры реализации информационных процессов тех- ническими системами. 2401000000—090 К ——————————186—87 001(01)—87 ББК 32.81 6Ф0.1 Издательство «Высшая школа», 1987" ПРЕДИСЛОВИЕ Характерной особенностью нашего времени является резкое увеличение объемов информации во всех сферах человеческой дея- тельности. Время удвоения накопленных знаний составляет сей- час всего 2—3 года, а материальные затраты на сбор, хранение, обработку, распространение информации начинают превышать за- траты на энергетику [31]. В сферу информационной деятельности вовлекается все большее количество людей. Темпы ускорения на- учно-технического прогресса, роста производительности труда во многом определяются тем, насколько быстро и эффективно будет вооружен человек новыми средствами, усиливающими его интел- лектуальные возможности, позволяющими автоматизировать об- работку информации. На XXVII съезде КПСС большое внимание было уделено раз- витию средств информатики. В Основных направлениях экономиче- ского и социального развития СССР на 1986—1990 годы и на пе- риод до 2000 года отмечается, что в двенадцатой пятилетке пред- стоит продолжить создание и повысить эффективность работы вы- числительных центров коллективного пользования, интегрирован- ных банков данных, сетей передачи и обработки информации. Для успешного выполнения этой задачи требуются высококвалифици- рованные инженеры по новым специальностям, в частности по спе- циальности 0640 «Автоматизация и механизация процессов обра- ботки и выдачи информации». Учебное пособие написано в соответствии с учебной програм- мой дисциплины «Теоретические основы информационных процес- сов». Однако не все разделы программы освещены в полной мере. Для более полного изучения некоторых разделов дисциплины чи- татель может обратиться к литературе, указанной в конце книги. Авторы благодарны рецензентам—Д-ру техн. наук, проф. А. Г. Мамиконову и коллективу кафедры «Автоматизация инфор- мационных процессов» Рязанского радиотехнического института {зав. кафедрой—д-р техн. наук, проф. В. П. Миловзоров)—за внимательный просмотр рукописи и ценные замечания. Авторы признательны также сотрудникам кафедры информационной тех- ники Куйбышевского политехнического института Л. И. Ерополо- вой, К. Г. Меркулову за обсуждение рукописи, Б. К. Брюханову, Г. Н. Дьяконову за участие в подготовке § 8.4, 8.5 соответственно я д-ру пед. наук, проф. А. В. Соколову за предоставленные мате- риалы. Все замечания и пожелания просим направлять по адресу: 101430, Москва, ГСП-4, Неглинная ул., д. 29/14, издательство «Высшая школа». Авторы правленной деятельности людей. В определенном смысле можно говорить о наличии у общества как у самоорганизующейся систе- мы модели внешнего мира. Имеется в виду совокупность знаний о Вселенной, об истории Земли, о физических и социальных законах и т. п. Эволюция информационных процессов, реализуемых с помощью технических средств, затронула и такие его составляющие, как коммуникация и интерпретация. Основное содержание интерпретации — изменение модели внеш- него мира и принятия решения на основе оценки происшедшего из- менения. Следовательно, технические интерпретирующие системы ^(информационные системы) должны содержать внутреннюю мо- дель внешнего мира. По степени отчужденности этой модели от че- ловека информационные системы делят на человеко-машинные и автономные, в том числе и системы искусственного интеллекта. Человеко-машинные информационные системы содержат внут- реннюю модель, являющуюся результатом взаимодействия моде- лей человека-пользователя (или группы пользователей) и техниче- ского средства (ЭВМ). При этом внутренняя модель, содержащая- ся в памяти ЭВМ, не используется ею автономно, без воздействия пользователя. Поэтому нельзя говорить об ЭВМ как о самостоя- тельной самоорганизующейся системе. Однако поскольку пользова- тель использует ЭВМ, временно наделяя ее фрагментами. своей внутренней модели, постольку мы говорим об отчуждении некого-, рой части информационного процесса. Программа и данные на не- которое время становятся информационной моделью реального или гипотетического внешнего мира, а ЭВМ вместе с пользователем об- разует на это время единую информационную систему. Автономные информационные системы могут получать и пере- рабатывать информацию, принимать решения без непосредственно- го взаимодействия с человеком-пользователем. Сюда относится широкий спектр информационных систем — от простейших регуля- торов до систем искусственного интеллекта. До известной степени автономными были наши знаменитые «Луноходы», которые управлялись дистанционно, но обладали и собственными средствами распознавания ситуаций. Роботы, автоматизированные обучающие классы (аудитории), системы автоматического проектирования, автоматизированные на- учные лаборатории, информационно-поисковые и информационно- логические системы, банки и сети информации — вот далеко не полный перечень автономных и человеко-машинных информацион- ных систем. ГЛАВА 2 ДЕТЕРМИНИРОВАННЫЕ МАТЕМАТИЧЕСКИЕ МЕТОДЫ ТЕОРИИ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ § 2.1. Теоретико-множественные методы Среди математических методов, используемых для построения математических моделей теории информационных процессов и иг- рающих важную роль, являются теоретико-множественные методы. Вместе с графовыми методами они широко используются, напри- мер, при построении моделей знаний современных автоматизиро- ванных информационных систем. Базовыми понятиями теоретико-множественных методов явля- ются понятия множества и отношения. Множества. Понятие множества относится к первичным поня- тиям математики, и поэтому оно не может быть определено, т. е. выражено, в терминах других, более простых понятий. Оно возник- ло в сознании человека как результат перехода от конкретных форм наблюдения и восприятия совокупностей объектов внешнего мира, обладающих каким-либо общим свойством, к абстрактному представлению о них как о целом. «Множество есть многое, мыс- лимое как единое»,—так говорит автор классической теории мно- жеств Г. Кантор (1845—1918). Множество состоит из элементов. В силу абстрактности самого понятия множества элементы его также представлены в абстраги- рованном виде. Условимся обозначать множества заглавными латинскими бук- вами, а их элементы—строчными. То, что элемент а входит во множество Л (или принадлежит множеству Л), записывают в виде а<==А. Если элементы множества Л являются одновременно и элемен- тами множества В, то говорят, что Л есть подмножество В, что за- писывается в виде А^В. Если все элементы множества Л являются элементами мно- жества В, а все элементы множества В являются элементами мно- жества Л, то говорят, что множества Л и В равны или эквивалент- ны: А=В. Если верно, что Л=й, но неверно, что Л ==В, то записывают ЛсгВ, это означает, что Л есть собственное подмножество В. Определить множество—это значит указать, какие элементы некоторого универсального класса объектов входят в него, а какие не входят. Это можно сделать двумя способами: перечислением элементов множества и указанием на свойства, объединяющие раз- личные элементы в «мыслимое как единое». Пример 2.1. Зададим некоторое множество D двумя способами. 1. D={0, 3, 6, 9, 12, 15, 18}. Фигурные скобки в теории множеств указывают на то, что внутри них так или иначе задаются элементы множества. 25 (в скобках приведено слово — источник Список семантических множителей кода): П—РБ (прибор); М — ТЛ (металл); Д—PC (древесина); М—ЛК (молекула). 3—МР (измерение); П—МТ (память); Н—РГ (энергия); Л—ТВ (электричество); Список инфиксов: А—показатель принадлежности к классу; например, ПАРБ—прибор. Е—показатель материала, из которого изготовлен объект, например ДЕРС; так можно обозначить фанеру, поскольку она изготовлена из древесины. И — показатель того, что объект является частью некоторого другого объек- та, например шкала есть часть прибора, поэтому она имеет код ПИРБ. О — показатель того, что объект состоит из других объектов, например ве- щество состоит из молекул и его код МОЛК. У—показатель использования; объект, обозначенный кодом, использует что- либо, подвергается влиянию чего-либо. К примеру, данные запоминаются в ЭВМ, тогда хранимые данные имеют код ПУМТ. Ь — показатель назначения, объект служит для изготовления, получения чего-либо. Например, генератор служит для получения электричества и обозна- чается ЛЬТВ. Если рассматривать его как средство для получения энергии, то его код НЬРГ. Ы — показатель орудийности, обозначающий что-то, что производит воздей- ствие на что-либо. Ковку можно обозначить МЫТЛ, ибо она действует на металл. Э — показатель отсутствия качества. Если имеем дело с устройством, кото- рое не может запоминать информацию, то можно обозначить его ПЭМТ. Ю — атрибутивность; этот показатель означает неотъемлемую характеристи- ку чего-либо. Например, электричество является атрибутом радиосвязи, отсюда и ее код—ЛЮТВ. Я — подобие; показатель указывает на то, что данное понятие похоже на не- которое другое, но не идентично ему; металлоид имеет код МЯТЛ. Цифровые суффиксы дифференцируют тот класс понятий, кото- рый образуется после подстановки буквенного инфикса в семанти- ческий множитель: МАТЛ.001 —литий, МАТЛ.002 — натрий, МЯТЛ.001 — германий, МЯТЛ.002 — кремний. Наконец, приведем список указателей роли упрощенного вари- анта Кливлендского семантического кода: РСВ—свойство, придаваемое чему-нибудь; РОМ—обрабатываемый ма- териал; РПС — посредник; РВЗ — воздействие чего-либо; РУВ — устройство. Счетчик электроэнергии можно раскрыть как понятие следую- щим образом—это прибор для измерения энергии электричества: ПАРБ. РУВ. ЗАМР. НАРГЛЮТВ. Существуют информационно-поисковые языки, с помощью кото- рых можно формализовать графические документы—чертежи, эмб- лемы, товарные знаки и т. п. Построение, использование и исследование ИПЯ является одним из важных приложений теории информационных процессов. Вопро- сы анализа и синтеза ИПЯ тесно примыкают к проблеме искусст- венного интеллекта, роботостроения и автоматизации поиска инфор- мации. ЗАКЛЮЧЕНИЕ Развитие науки об информационных процессах происходит од- новременно с коренным изменением технологии производства •средств вычислительной техники. Благодаря этому не только уско- ренными темпами возрастает объем выпуска персональных компью- теров, составляющий уже десятки миллионов экземпляров, при стоимости, приближающейся к цене телевизора, но увеличиваются в еще большей степени их реальные и потенциальные возможности по обработке и хранению информации. Принятое партией и правительством решение о всеобщем компь- ютерном обучении, введение в средней школе курса «Основы ин- форматики и вычислительной техники» сравнимы по своему значе- нию с переходом к всеобщей грамотности населения, осуществлен- ным в первые годы советской власти, а возможно, окажут еще боль- шее влияние на развитие нашего общества. Уже в ближайшие годы предстоит перейти от использования вы- числительной техники для выполнения счетных и несложных логи- ческих операций к такому повышению интеллектуальных возмож- ностей компьютеров, которое позволит говорить о создании и ис- пользовании искусственного интеллекта. Начато создание баз знаний, которые в отличие от баз данных являются не просто хранилищем введенной в них информации, а ис- пользуют ее в ходе интеллектуальной обработки, решая многие за- дачи, считавшиеся до последнего времени прерогативой человека. К этому надо добавить такие средства общения человека с ЭВМ, как восприятие речи и ответ человеческим голосом, ввод и вывод графической информации—образов и изображений, связь через локальные и глобальные сети практически с любым другим лицом, подключенным к этим сетям через, свой персональный компьютер в этом же или другом городе или другой стране. Первые сети та- кого типа уже созданы и функционируют как в нашей стране, так и за рубежом. Подобное развитие информационных возможностей будет спо- собствовать дальнейшему быстрому росту производительных сил нашего общества, открывающих предусмотренные Программой КПСС возможности полного удовлетворения разумных потребно- стей общества и личности. СПИСОК ЛИТЕРАТУРЫ 1. Ленин В. И. Материализм и эмпириокритицизм.—Полн. собр. соч., т. 18, с. 7—384. 2. Урсул А. Д. Проблема информации в современной науке. Философские очерки.—М.: Наука, 1975.—288 с. 3. Янков М. Материя и информация: Пер. с болг./Под ред. А. Д. Урсула.— М.: Прогресс, 1979.—335 с. 4. Информация и управление. Философско-методологические аспекты./Отв. ред. Л. Г. Антиненко, В. И. Кремянский.—М.: Наука, 1985.—286 с. 5. Карлин С. Основы теории случайных процессов: Пер. с англ./Под ред. И. Н. Коваленко.—М.: Мир, 1971.—536 с. 24 а 6. Кристофидес Н. Теория графов. Алгоритмический подход: Пер. с англ./ Под ред. Г. П. Гаврилова.—М.: Мир, 1978.—432 с. 7. Курош А. Г. Лекции по общей алгебре.—М.: Наука, 1973.—400 с. 8. Лавров И. А., Максимова Л. Л. Задачи по теории множеств, математиче- ская логика и теория алгоритмов.—М.: Наука, 1975.—240 с. 9. Майника Э. Алгоритмы оптимизации на сетях и графах: Пер. с англ.—М.: Мир, 1981—323 с. 10. Мальцев А. И. Алгебраические системы.—М.: Наука, 1970.—292 с. 11. Новиков П. С. Элементы математической логики.—М.: Наука, 1973.— 400 с. 12. Шрейдер Ю. А. Равенство, сходство, порядок.—М.: Наука, 1971.—254 с. 13. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функцио- нального анализа.—М.: Наука, 1976.—542 с. 14. Френкс Л. Теория сигналов: Пер. с англ./Под ред. Д. Е. Вакмана.—М.: Сов. радио, 1974.—344 с. ~ 15. Харкевич А. А. Линейные и нелинейные системы//Избранные труды: В 3 т.—М.: Наука, 1973—Т. 2, с. 87—119. 16. Шеннон К. Работы по теории информации и кибернетике: Пер. с англ./ Под ред. Добрушина Р. Л. и Лупанова О. Б.—М.: ИЛ, 1963—830 с. 17. Кодирование информации (двоичные коды)/Н. Т. Березюк, А. Г. Андрю- щенко, С. С. Мощецкий и др.—Харьков: Вища школа, 1978.—252 с. 18. Хэмминг Р. В. Теория кодирования и теория информации: Пер. с англ.— М.: Радио и связь, 1983.— 176 с. 19. Арбиб М. Метафорический мозг: Пер. с англ./Под ред. Д. А. Поспелова.— М.: Мир. 1976.--296 с. 20. Бауэр Ф., Гооз Г. Информатика: Пер. с нем./Под ред. А. П. Ершова.— М.: Мир, 1976.—484 с. 21. Виттих В. А. Сжатие данных при экспериментальных исследованиях//Во- просы кибернетики. Сжатие данных.—М.: Изд-во АН СССР, 1974, с. 5—23. 22. Основные проблемы информатики и библиотечно-библиографическая ра- бота: Учеб. пособие/Под ред. А. В. Соколова.—Л.: Ленингр. гос. ин-т культуры, 1976—319 с. 23. Соколов А. В. Информационно-поисковые системы.—М.: Радио и связь, 1981—151 с. 24. Вольфенгаген В. Э., Кузин Л. Т., Саркисян В. Н. Реляционные методы проектирования банков данных.—Киев: Вища школа, 1979.— 192 с. 25. Растригин Л. А. Вычислительные машины, системы, сети...—М.: Наука, 1982—224 с. 26. Мартин Дж. Вычислительные сети и распределенная обработка данных. Программное обеспечение, методы и архитектура: Пер. с англ./Под ред- В. С. Штаркмана.—М.: Финансы и статистика, 1975. Вып. 1.—256 с. 27. Мартин Дж. Вычислительные сети и распределенная обработка данных./ Под ред. В. С. Штаркмана.—М.: Финансы и статистика, 1986. Вып. 2.—269 с. 28. Флорес И. Структуры и управление данными: Пер. с англ.—М.: Финансы и статистика, 1982.—319 с. 29. Дрибас В. П. Реляционные модели баз данных.— Минск: Изд-во Бело- русского ун-та, 1982.— 192 с., 30. Основы общей биологии: Пер. с англ./Под ред. Э. Либберта.—М.: Мир, 1982.—440 с. 31. Громов Г. Р. Национальные информационные ресурсы: проблемы промыш- ленной эксплуатации.—М.: Наука, 1984.—240 с. 32. ЭВМ пятого поколения: Концепции, проблемы, перспективы. Пер. с англ./ Под ред. Т. Мото-ока.—М.: Финансы и статистика, 1984.— 110 с. 33. Кодухов В. И. Введение в языкознание.—М.: Просвещение, 1979.—351 с. 34. Степанов Ю. С. Семиотика.—М.: Наука, 1971.— 146 с. 35. Панов Е. Н. Знаки, символы, языки.—2-е изд.—М.: Знание, 1983.— (Биб- лиотека «Знание»).—248 с. 36. Силк Дж. Большой взрыв. Рождение и эволюция Вселенной: Пер. с англ./ Под ред. И. Д. Новикова.—М.: Мир, 1982.—391 с. ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Адрес связи 230 Алгебра 65 Алгебраическая структура 66 Алгоритм Краскала 48 Алфавит 172 Бод 166 Булева алгебра 59 — арифметика 30 верность передачи сообщения 188 Вероятность переходная 81 — — многошаговая 84 — события 73 — — условная 74 Вершина графа 36 Граф 35 — неориентированный 37 — ориентированный 36 — полный 38 — симметричный 37 — состояний системы 85 Группа 67 — коммутативная 67 Группоид 66 Дек 228 Декартово произведение множеств 27 Декодирование 171 Демодуляция 161 Дерево 45 — ориентированное 47 — покрывающее 47 — — минимальное 47 Дескриптор 241 Дискретизация сигналов 154 Дискретный марковский процесс 92, 102 Дисперсия случайной величины 77 — случайного процесса 105 Длина пути 38 Документ 231 Домен 221 Достижимость 40 Дуга 36 Запись 221 Знак 5, 13 Знаковая система 13 Значность кода 171 Избыточность 172 — кода 190 Индексирование 216, 232 Интервал корреляции 109 Интерпретация 5, 24, 64, 206 Информационная система 5 Информационно-поисковая система 231.235 Информационно-поисковый язык 232, 237 Информационный процесс 4, 6, 7 — поиск 16. 231 Информация 11, 19, 20 Инцидентность 37 Исправление ошибок 190 Квантование сигнала 148 Классы эквивалентности 34 Ключ поля 221 Код 170 — блочный 184 — групповой 183, 192 — линеиныи lai — неравномерный 17i — неразделимый 188 — обратимый 171 — первичный 187 — равномерный 171 — разделимый 188 — с проверкой на четность 189 — с постоянным весом 188 — Хэмминга 197 — циклический 198 Кодирование 170 — эффективное 173 Кодовое расстояние 185 Кодовой вектор 184 — вес 184 Количество информации 133 Коммуникация 5 Контур 39 Координатные орты 117 Координатные вектора 116 Коэффициент избыточности 174. 189 — повышения верности 190 — различимости сигналов 129 Кратность ошибки 186 Критерий смыслового соответствия 232 Линейная зависимость векторов 119 Линия связи 112 Марковское свойство 81 Матрица вероятностей перехода 81 — достижимостей 41 — инциденций 38 — коктрадостижимостей 41 — порождающая 193 — проверочная 194 — смежности 37 Медиана 51 Метод Хаффмана 175 Метрика 118 Множество 25 — замкнутое 87 — континуальное 32 — отправления 28 — прибытия 28 — счетное 32 — универсальное 26 Модель внешнего мира 5, 6, 24 — ошибки 185, 186 — сигнала 111. 113. 116 Модем 167 Модулятор 161. 167 Модуляция 161 Моноид 67 Начальный момент 76 Неприводимый многочлен 199 Норма вектора 121 Нормированный вектор 124 Обработка информации 6, 202 Образ множества 28 Операции алгебраические 65 — — бинарные 66 — булевой алгебры 59 — логические 53 — над базой данных 225. 226 — — множествами 26, 27 — — отношениями 29. 30 Ортогональный базис 123 Основание кода 184 245 Отношение 27, 28, 221 — бинарное 27 — взаимодостижимости 44 — инцидентности 37 — обратное 28 — парадигматическое 239 — полное 29 — порядка 34 — пустое 29 —— равенства 30 — равносильности 57 — синтагматическое 239 — смежности 37 — унарное 27 — функциональное 31 — эквивалентности 32 Отображение 31 — биективное 32 — взаимно однозначное 32 — кодирующее 170 — сжимающее 208 — сюръективное 31 —Очередь 228 Ошибка 113 Параметры сигнала 113 Пертинентность 232 Плотность вероятности 76 Поисковое предписание 232 Поисковый массив 231 — образ документа 232 Полная группа событий 75 Полоса пропускания 160 Полугруппа 67 Порождающий многочлен 199 Порядок 34 Поток событий 92 —— управляющий 93 — — пуассоновский 95 — — простейший 96 Прагматика 16 Произведение отношений 29 — событий 74 Прообраз множества 28 Пропускная способность 180 Пространство векторное 116, 192 — евклидово 121 — кодовое 184 — метрическое 117 — нормированное 121 — ортонормированное 124 — сигнала 127 — состояний 78 Равносильность формул 57 Разбиение множества 34 Расстояние Ли 184 —— Хэмминга 184 Ребро 37 релевантность 232 Геляционная база данных 221 Рецептивное поле 203 Рецепция 5, 22, 202 Свойства отношений 32 — энтропии 134, 142 Связность 43 Семантика 14 Семантические коды 241 — множители 241 Семиотика 14 Сжатие сигнала 211 Сигнал 4, 111, 114, 165 Символ 13 Синдром ошибки 194 Синтактика 14 Система связи 111 — логических операций 58 — случайных величин 77 Скорость передачи информации 180 Случайная величина 75 Случайное блуждание 83 — событие 73 Случайный процесс 77, 78, 104, 107 Смежность 37 Сообщение 112 Состояние сигнала 161 Схема отношения 221 Таблица истинности 54 — Кэли 66, 69 Теорема Котельникова 155 Теорема Маркова 102 Терм 60 Транзитивное замыкание отношения 29 Форма сигналов 165 Формулы алгебры высказываний 56 . : Функция 31 — выборочная 78 — квантования 151 — корреляционная 106 —— нормированная 106 — логическая 54 • - — языка 15 Хранение информации 218 Цепь 39 — Маркова 80, 81, 87 Эквивалентность 33 Энтропия 133, 135, 139, 140 Энтропия сигнала 129 Язык 15, 239 ОГЛАВЛЕНИЕ Предисловие ............................... 3 Введение ................................. 4 Глава 1. Концептуальные основы информационных процессов ..... 7 § 1.1. Ленинская теория отражения как методологическая основа науки об информационных процессах ................. 7 § 1.2. Информация: виды и свойства ................. 11 § 1.3. Семиотические аспекты информационных процессов ....... 12 § 1.4. Развитие информационных процессов в ходе эволюции живой ма- терии .............................. 17 Глава 2. Детерминированные математические методы теории информаци- онных процессов ....................... 25 § 2.1. Теоретико-множественные методы ............... 25 § 2.2. Основные понятия теории графов ................. 35' § 2.3. Оптимизация на графах .................... 47 § 2.4. Методы математической логики ................. 53 § 2.5. Алгебраические методы ..................... 6i& Глава 3. Теоретико-вероятностные методы теории информационных про- цессов ............................ 73 § 3.1. Случайные величины и процессы ................. 73 § 3.2. Цепь Маркова .......................... 80 § 3.3. Многошаговые переходные вероятности ............. 84 § 3.4. Классификация состояний ................... 85 § 3.5. Эргодические цепи Маркова ................... 8&- § 3.6. Дискретный марковский процесс с непрерывным временем .... 92' § 3.7. Пуассоновский поток случайных событий ............. 95- § 3.8. Уравнения Колмогорова .................... 98? § 3.9. Эргодические марковские процессы с непрерывным временем ... 101 § 3.10. Случайные процессы общего типа ............... 104 § 3.11. Спектральное представление стационарного случайного процесса 107 § 3.12. Интервал корреляции и эффективная ширина спектра стационар- ного случайного процесса ................... 1091 Глава 4. Сигналы и их математические модели ............ 11 Г § 4.1. Сигналы'и системы передачи информации ............ 111' § 4.2. Математические модели сигналов ................ 113- § 4.3. Векторное п-мерное пространство ................ 116 § 4.4. Метрические пространства .................... 117 § 4.5. Линейные векторные пространства ................ 118 § 4.6. Нормированные пространства .................. 121; - § 4.7. Скалярное произведение векторов ................ 122; § 4.8. Ортогонализация базиса линейного пространства ........ 125 § 4.9. Представление сигналов в линейных пространствах ....... 127 Глава 5. Количественная оценка информационного содержания сигнала 132" § 5.1. Энтропия дискретного сигнала ................. 132' § 5.2. Энтропия зависимых сигналов ................. 135 § 5.3. Энтропия непрерывных сигналов ................ 139' § 5.4. е-Энтропия ........................... 144 § 5.5. Сигналы со многими степенями свободы. Квантование сигналов по уровню ............................. 148 § 5.6. Дискретизация сигналов по времени. Теорема Котельникова ... 154 § 5.7. Скорость создания информации непрерывными источниками . . . 158 Глава 6. Передача информации .................... 159 § .6.1. Непрерывный канал связи и его характеристики ......... 159 § 6.2. Модуляция и демодуляция ................... 161 247 § 6.3. Форма сигналов в непрерывном канале ............. 165 § 6.4. Кодирование сообщений в дискретном канале .......... 169 § 6.5. Эффективное кодирование. Передача информации по дискретному каналу без шума ........................ 172 § 6.6. Передача информации по дискретному каналу с шумом ..... 176 § 6.7. Передача информации по непрерывному каналу ......... 181 Глава 7. Помехоустойчивое кодирование ................ 183 § 7.1. Кодовое пространство ...................... 183 § 7.2. Модели ошибок ......................... 185 •§ 7.3. Обнаружение ошибок ...................... 187 § 7.4. Избыточность кода и коэффициент повышения верности .... 189 § 7.5. Исправление ошибок ....................... 190 § 7.6. Матричное представление (п, k) -кодов .............. 191 § 7.7. Каноническая форма порождающей матрицы (п, <г)-кода .... 195 § 7.8. Код Хэмминга ......................... 197 § 7.9. Циклические коды ........................ 198 Глава 8. Обработка информации ................... 202 § 8.1. Цели, задачи и виды обработки информации ........... 202 § 8.2. Формализованная модель обработки информации ........ 206 § 8.3. Задача обнаружения сигнала .................. 209 <} 8.4. Сжатие и адаптивная дискретизация сигналов ......... 211 § 8.5. Переработка текстовой информации ............... 215 Глава 9. Хранение и поиск информации ................ 218 § 9.1. Общие принципы хранения информации ............ 218 § 9.2. Модели внешнего мира и их представление в ЭВМ ....... 220 § 9.3. Структуры данных и структуры хранения ............ 227 § 9.4. Информационный поиск. Информационно-поисковые системы . . . 231 § 9.5. Информационно-поисковые языки ................ 237 Заключение ............................... 243 Список литературы . . . ....................... 243 Предметный указатель . . . ..................... 245 Учебное издание ЛОНГИН ФРАНЦЕВИЧ КУЛИКОВСКИЙ, ВЛАДИСЛАВ ВАСИЛЬЕВИЧ МОТОВ ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ Зав. редакцией В. И. Т р е ф и л о в. Редактор Е. В. В я з о в а. Младшие редакторы И. А. И с а- е в а, И. А. Титова. Художник В. И. С и д о р е н к о. Художественный редактор Т. М. С к в о р- ц о в а. Технический редактор Т. А. Новикова. Корректор Г. И. Кострикова И Б № 5399 Изд. № ЭР-406. Сдано в набор 05,09.86. Подп. в печать 25.12.86. Т-23556. Формат 60ХТО'/|б. Бум. кн.-журн. № 2. Гарнитура литературная. Печать высокая. Объем 15,5 усл. печ. л. 15,5 усл. кр.-отт. 16,88 уч. изд. л. Тираж 23 000 экз. Зак. № 574. Цена 1 руб. Издательство «Высшая школа», 101430, Москва, ГСП-4, Неглинная ул., д. 29/14. Московская типография № 8 Союзполиграфпрома при Государственном комитете СССР по делам издательств, полиграфии и книжной торговли. 101898. Москва, Центр, Хохловский пер., 7.