Теория информации - Программирование, компьютеры и кибернетика курс лекций

Задачи и постулаты прикладной теории информации. Разновидности помехоустойчивых кодов. Кодирование информации для канала с помехами. Энтропия при непрерывном сообщении. Количественная оценка информации. Условная и взаимная энтропия и ее свойства.


посмотреть текст работы


скачать работу можно здесь


полная информация о работе


весь список подобных работ


Нужна помощь с учёбой? Наши эксперты готовы помочь!
Нажимая на кнопку, вы соглашаетесь с
политикой обработки персональных данных

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
1. Понятие информации. Задачи и постулаты прикладной теории информации
1.5 Задачи и постулаты прикладной теории информации
2. Количественная оценка информации
2.2 Энтропия при непрерывном сообщении
4. Кодирование информации для канала с помехами
4.1 Разновидности помехоустойчивых кодов
4.2 Общие принципы использования избыточности
4.3 Связь информационной способности кода с кодовым расстоянием
4.4 Понятие качества корректирующего кода
4.6 Математическое введение к линейным кодам
4.7 Линейные коды как пространство линейного векторного пространства
4.8 Построение двоичного группового кода
4.8.1. Составление таблицы опознавателей
4.8.2. Определение проверочных равенств
4.8.3. Мажоритарное декодирование групповых кодов
4.8.4. Матричное представление линейных кодов
4.8.5. Технические средства кодирования и декодирования для групповых кодов
4.9.2. Математическое введение к циклическим кодам
4.9.3. Требования, предъявляемые к многочлену
4.10 Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности
4.10.1. Обнаружение одиночных ошибок
4.10.2. Исправление одиночных или обнаружение двойных ошибок
4.10.3. Обнаружение ошибок кратности три и ниже
4.10.4. Обнаружение и исправление независимых ошибок произвольной кратности
4.10.5. Обнаружение и исправление пачек ошибок
4.10.6. Методы образования циклического кода
4.10.7. Матричная запись циклического кода
4.10.8. Укороченные циклические коды
4.11. Технические средства кодирования и декодирования для циклических кодов
4.11.1. Линейные переключательные схемы
Теория информации является одним из курсов при подготовке инженеров, специализирующихся в области автоматизированных систем управления и обработки информации. Функционирование таких систем существенным образом связано с получением, подготовкой, передачей, хранением и обработкой информации, поскольку без осуществления этих этапов невозможно принять правильное решение и осуществить требуемое управляющее воздействие, которое является конечной целью функционирования любой системы.
Возникновение теории информации связывают обычно с появлением фундаментальной работы американского ученого К. Шеннона «Математическая теория связи» (1948). Однако в теорию информации органически вошли и результаты, полученные другими учеными. Например, Р. Хартли, впервые предложил количественную меру информации (1928), акад. В. А. Котельников, сформулировал важнейшую теорему о возможности представления непрерывной функции совокупностью ее значений в отдельных точках отсчета (1933) и разработал оптимальные методы приема сигналов на фоне помех (1946). Акад. А. Н. Колмогоров, внес огромный вклад в статистическую теорию колебаний, являющуюся математической основой теории информации (1941). В последующие годы теория информации получила дальнейшее развитие в трудах советских ученых (А. Н. Колмогорова, А. Я. Хинчина, В. И. Сифорова, Р. Л. Добрушина, М. С. Пинскера, А. Н. Железнова, Л. М. Финка и др.), а также ряда зарубежных ученых (В. Макмиллана, А. Файнстейна, Д. Габора, Р. М. Фано, Ф. М. Вудворта, С. Гольдмана, Л. Бриллюэна и др.).
К теории информации, в ее узкой классической постановке, относят результаты решения ряда фундаментальных теоретических вопросов. Это в первую очередь: анализ вопросов оценки «количества информации»; анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи, как при отсутствии, так и при наличии помех.
Если рассматривают проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или прикладной теорией инфо р мации.
Попытки широкого использования идей теории информации в различных областях науки связаны с тем, что в основе своей эта теория математическая. Основные ее понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть приписано самое различное физическое содержание. Подход к исследованиям в других областях науки с позиций использования основных идей теории информации получил название теоретико-информационного подхода. Его применение в ряде случаев позволило получить новые теоретические результаты и ценные практические рекомендации. Однако не редко такой подход приводит к созданию моделей процессов, далеко не адекватных реальной действительности. Поэтому в любых исследованиях, выходящих за рамки чисто технических проблем передачи и хранения сообщений, теорией информации следует пользоваться с большой осторожностью. Особенно это касается моделирования умственной деятельности человека, процессов восприятия и обработки им информации.
Содержание конспекта лекций ограничивается рассмотрениемвопросов теории и практики кодирования.
1. Понятие информации. Задачи и пост у латы прикладной те о рии информации
С начала 1950-х годов предпринимаются попытки использовать понятие информации (не имеющее до настоящего времени единого определения) для объяснения и описания самых разнообразных явлений и процессов.
В некоторых учебниках дается следующее определение информации:
Информация - это совокупность сведений, подлежащих хранению, передаче, обработке и использованию в человеческой деятельн о сти .
Такое определение не является полностью бесполезным, т.к. оно помогает хотя бы смутно представить, о чем идет речь. Но с точки зрения логики оно бессмысленно. Определяемое понятие ( информация ) здесь подменяется другим понятием ( совокупность сведений) , которое само нуждается в определении.
При всех различиях в трактовке понятия информации, бесспорно, то, что проявляется информация всегда в материально-энергетической форме в виде сигналов.
Информацию, представленную в формализованном виде, позволяющем осуществлять ее обработку с помощью технических средств, называют да н ными .
Найдем значение энтропии, когда состояния элементов распределены внутри интервала их существования а х b по равн о мерному закону, т.е
Дисперсия равномерного распределения , поэтому (b-a) = 2. С учетом этого можно записать
Сравнивая между собой сообщения с равномерным и нормальным распределением вероятностей при условии Н н (х) = Н р (х), получаем:
Это значит, что при одинаковой информативности сообщений средняя мощность сигналов для равномерного распределения их амплитуд должна быть на 42% больше, чем при нормальном распред е лении амплитуд .
П ример 7 . Найдите энтропию случайной величины, распределенной по закону с плотностью вероятности
Пример 8 . При организации мешающего воздействия при передаче информации можно использовать источник шума с нормальным распределением плотности и источник, имеющий в некотором интервале равномерную плотность распределения. Определить, какой источник шума применять экономичнее, каков при этом выигрыш в мощности.
Решение . Сравнение источников следует проводить из условия обеспечения равенства энтропий, когда каждый источник вносит одинаковое мешающее воздействие при передаче информации, но, очевидно, затрачивая при этом не одинаковые мощности.
Как было показано выше, значение энтропии, когда состояния элементов распределены по нормальному закону, можно найти по формуле:
где x = 1 Ом, а , т.е. г 2 - дисперсия, характеризующая мощность, выделяемую на резистора с сопротивлением 1Ом.
Для равномерного распределения энтропию можно найти по формуле:
Так как дисперсия равномерного распределения
Поэтому следует выбирать источник шума с нормальным распределением плотности распределения амплитуд, т.к. при той же неопределенности, вносимой им в канал связи, можно выиграть в мощности 42%.
Поэтому следует выбирать источник шума с нормальным распределением плотности, т.к. при той же неопределенности, вносимой им в канал связи, можно выиграть в мощности 42%.
До сих пор предполагалось, что все элементы сообщения независимы, т.е. появление каждого данного элемента никак не связано с предшествующими элементами.
которые определяются не только собственными вероятностями р(х i ) и p(y j ), но и условными вероятностями p xi (y j ), p yj (x i ), где i = 1, 2, ... , r ; j = 1, 2, ... , s.
Систему двух случайных величин (сообщений) Х, Y можно изобразить случайной точкой на плоскости. Событие, состоящее в попадании случайной точки (X, Y) в область D, принято обозначать в виде (X, Y) D.
Закон распределения системы двух случайных дискретных величин может быть задан с помощью табл. 2.5.
где Р ij - вероятность события, заключающегося в одновременном выполнении равенства Х = x i , Y = y j . При этом
Закон распределения системы случайных непрерывных величин (Х, Y) задают при помощи функции плотности вероятности р(x, y).
Вероятность попадания случайной точки (Х,Y) в область D определяется равенством
Функция плотности вероятности обладает следующими свойствами:
Если все случайные точки (X,Y) принадлежат области D, то
Условным распределением составляющей Х при Y = y j (yj сохраняет одно и то же значение при всех возможных значениях Х) называют совокупность условных вероятностей P yj (x 1 ), P yj (x 2 ), ... , P yj (x r )
Аналогично определяется условное распределение составляющей Y.
Условные вероятности составляющих X и Y вычисляют соответственно по формулам:
Для контроля вычислений целесообразно убедиться, что сумма вероятностей условного распределения равна единице.
Так как условная вероятность события y j при условии выполнения события x i принимается по определению
то вероятность совместного появления совокупности состояний
P(x i ,y j ) = P(x i ) P xi (y j ).
Аналогично, условимся вероятность события x i при условии выполнения события y j :
Поэтому общую энтропию зависимых ансамблей X и Y определяют по формуле Шеннона:
Н(Х,Y) = H(X) + H X (Y), где Н(Х) - энтропия ансамбля Х;
H X (Y) - условная энтропия ансамбля Y при условии, что сообщение ансамбля Х известны:
Для независимых событий Х и Y: P xi (y j ) = P(y j ) и поэтому
H X (Y) = Н(Y) и, следовательно, Н(Х,Y) = H(X) + H(Y).
Если Х и Y полностью зависимы, т.е. при появлении x i неизбежно следует y j , то Р(x i ,y j ) равна единице при i = j и нулю при i j. Поэтому Н X (Y) = 0, и , следовательно, Н(X,Y) = Н(Х), т.е. при полной зависимости двух ансамблей один из них не вносит никакой информации.
Полученное выражение для условной энтропии
можно использовать и как информативную характеристику одного ансамбля Х, элементы которого взаимно зависимы. Положив Y = X, получим
Например, алфавит состоит из двух элементов 0 и 1. Если эти элементы равновероятны, то количество информации, приходящееся на один элемент сообщения: Н 0 = log m = log 2 = 1 бит. Если же, например, Р(0)=ѕ, а Р(1) = ј, то
В случае же взаимной зависимости элементов, определяемой, например, условными вероятностями Р 0 (0) = 2/3; P 0 (1) = 1/3; P 1 (0) = 1; P 1 (1) = 0, то условная энтропия
Энтропия при взаимно зависимых элементах всегда меньше, чем при независимых, т.е. H'Теория информации курс лекций. Программирование, компьютеры и кибернетика.
Реферат: Жуковский
Реферат: Государственный и профсоюзный контроль за охраной труда на производстве
Америка Моими Глазами Сочинение
Суворов Сочинение 7 Класс
Скачать Мишакина Учимся Писать Сочинения Тренажер
Ответ на вопрос по теме Билеты по истории за 11 класс 2003г.
Реферат: Satire In The General Prologue Essay Research
Части речи в русском языке
Курс Лекций На Тему Охрана Труда
Реферат по теме Влияние федрального телевидения на региональные телевизионные каналы
Пособие по теме Статистический анализ финансовых результатов
Курсовая работа: Финансовый анализ бухгалтерской отчетности строительной организации
Реферат: Смысл жизни как нравственная проблема. Скачать бесплатно и без регистрации
Контрольная работа: Природные ресурсы России
Контрольная работа по теме Кривые на плоскости
Красная Волчанка Реферат По Дерматовенерологии
Практическое задание по теме Тромбофилии
Иностранное Инвестирование В Экономику России Дипломная Работа
Отчет по практике по теме Организация деятельности КФХ ИП Кравченко В.С.
Курсовая работа по теме Текст як засіб розвитку творчих здібностей у учнів молодших класів
Структурна-стылістычная арганізацыя тэкстаў Івана Мележа - Литература курсовая работа
Российско-китайское стратегическое партнерство и американский фактор - Международные отношения и мировая экономика курсовая работа
Абсцесс головного мозга - Медицина презентация