Энтропия сигналов - Программирование, компьютеры и кибернетика контрольная работа

Объединение как совокупность нескольких ансамблей дискретных, случайных событий. Безусловная энтропия - среднее количество информации, приходящееся на один символ. Описание информационных свойств непрерывного источника. Понятие дифференциальной энтропии.


посмотреть текст работы


скачать работу можно здесь


полная информация о работе


весь список подобных работ


Нужна помощь с учёбой? Наши эксперты готовы помочь!
Нажимая на кнопку, вы соглашаетесь с
политикой обработки персональных данных

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
По к урс у : Теория информации и кодирования
Объединение - совокупность двух и более ансамблей дискретных, случайных событий. С объединением связаны понятия условной, безусловной, совместной и взаимной энтропии.
1. Безусловная энтропия - среднее количество информации, приходящееся на один символ (рис. 1). Если Х - передаваемое, а У - принимаемое сообщения, то можно записать следующие соотношения:
2. Условная энтропия - количество информации об источнике, когда известно, что принимается Y, или мера количества информации в приемнике когда известно, что передается X (рис. 2).
3. Совместная энтропия - среднее количество информации на пару пе-реданных и принятых символов (рис. 3).
H(X,Y) = H(Y,X) = H(X)+H(Y/X)= H(Y)+H(X/Y)= H(X)+H(Y)-H(XY).
4. Взаимная энтропия - энтропия совместного появления статистически-зависимых сообщений (рис. 4).
H(XY)=H(YX)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X,Y)-H(X/Y)- H(Y/X).
На практике чаще всего встречаются взаимозависимые символы и сообщения. Например, при передаче текстовых сообщений передаются не просто буквы, а слова, имеющие определенные смысловые значения. При этом, каждая буква, и сочетание букв имеют различные вероятности появления в тексте. Условная энтропия учитывает взаимосвязь событий через их условные вероятности.
Источник сообщений X - вырабатывает сообщения, элементами которого являются символы алфавита источника {x 1 ,x 2 ,...,x m } , вероятности появления на выходе которых равны p(x 1 ), p(x 2 ), ..., p(x m ) , при этом:
Энтропия источника представляет собой неопределенность появления на выходе источника сообщений символа первичного алфавита и определяется соотношением:
Приемник сообщений Y - принимает сообщения, элементами которого являются символы алфавита приемника {y 1 ,y 2 ,...,y m } , вероятности появления на входе которых равны p(y 1 ), p(y 2 ),..., p(y m ), при этом:
Энтропия приемника представляет собой неопределенность появления на входе приемника сообщений символа после его появления на выходе источника и определяется соотношением:
Если в канале связи отсутствуют потери информации (нет помех, ис-кажений и т. д.), то символу x i соответствует символ y i . В противном случае x i может быть принят как любой из возможных y 1 ,y 2 ,...,y m , с соответствующими вероятностями.
При отсутствии потерь: H(X) = H(Y). При наличии помех они уничто-жают часть информации. При этом потери информации можно определить через частные и общую условную энтропию.
Вычисление общей условной энтропии удобно производить с помощью канальных матриц ( матрицей переходных состояний).
Потери информации в канале можно оценивать со стороны источника или приемника сообщений.
Рассмотрим порядок определения потерь со стороны источника (известен передаваемый сигнал). При этом, условная вероятность p(y j /x i ) означает вероятность того, что при передаче сообщения x i получено сообщение y j . Канальная матрица имеет вид, приведенный в табл. 1.
p(y 1 /x 1 ) p(y 2 /x 1 ) . . . p(y m /x 1 )
p(y 1 /x 2 ) p(y 2 /x 2 ) . . . p(y m /x 2 )
p(y 1 /x m ) p(y 2 /x m ) . . . p(y m /x m )
Вероятности, расположенные на диагонали характеризует вероятность правильного приема, остальные - ложного, чем они расположены дальше от диагонали, тем они меньше. При отсутствии помех в канале связи элементы матрицы, расположенные по диагонали, равны единице, а все остальные равны нулю. Канальные матрицы всегда квадратные, т. к. количество передаваемых сигналов, равно количеству принятых, хотя вероятность прохождения отдельных сигналов может быть равна нулю.
Потери информации, вызванные действием помех, определяются с помощью условной энтропии. Для равновероятных сигналов на выходе источника общая условная энтропия вычисляется по формуле:
Для не равновероятных сигналов на выходе источника общая условная энтропия вычисляется по формуле:
Частная условная энтропия определяет потери информации, приходящиеся на долю какого - либо конкретного сигнала (например, потери для сигнала x 1 )
При отсутствии помех вероятность получения правильного сигнала станет безусловной, а условная энтропия будет равна нулю.
Для исследования канала со стороны приемника (известен полученный сигнал) - условная вероятность p(x i /y i ) означает вероятность того, что при приеме сообщения y i было передано сообщение x i .
Канальная матрица имеет вид, приведенный в табл. 2.
p(x 1 /y 1 ) p(x 1 /y 2 ) . . . p(x 1 /y m )
p(x 2 /y 1 ) p(x 2 /y 2 ) . . . p(x 2 /y m )
p(x m /y 1 ) p(x m /y 2 ) . . . p(x m /y m )
Вероятности расположения на диагонали характеризует вероятность правильной передачи, остальные - ложной. Для равновероятных сигналов на входе приемника общая условная энтропия вычисляется по формуле:
Для не равновероятных сигналов на входе приемника общая условная энтропия вычисляется по формуле:
Частная условная энтропия, определяющая потери, приходящиеся на долю сигнала y 1 , равна:
Пример 1. Вычислить энтропию источника сообщений, выдающего два символа 0 и 1 с вероятностями p(0)=3/4, p ( )=1/4 и условными вероятностями: p(0/0)=2/3, p ( /0)=1/3, p(0/1)=1, p ( /1)=0 , т. е. после 1 всегда идет 0.
Решение: Для случая взаимозависимых, не равновероятных элементов энтропия равна:
Пример 2. Определить энтропию источника сообщений, если вероят-ности появлений символов на входе приемника, равны: P(b 1 )=0,1; P(b 2 )=0,3; P(b3)=0,4, P(b 4 )=0,2 а канальная матрица имеет вид:
Сумма вероятности при одноименных условиях равна
Решение: Определим энтропию источника
= 0,1 0,01+0,3 0,98+0,4 0,01+0, 2 0,01=0,301;
0,1 0+0,3 0+0,4 0,98+0,2 0,02=0,396;
0,1 0+0,3 0+0,4 0,01+0,2 0,97=0,198;
H ( A )=-(0,105 log 0,105+0,301 log 0,301+0,396 log 0,396+0,198 log 0,198)=1,856 бит / симв .
Пример 3. Определить энтропию источника и условную энтропию сообщений, передаваемых по каналу связи, и состоящих из равновероятных символов, если влияние помех в канале описывается матрицей:
Решение: Для равновероятных символов в сообщении энтропия источника сообщений равна:
Пример 4. Определить энтропию приемника сообщений, если вероятности появления символов a 1 , a 2 и a 3 на входе источника сообщений равны P(a 1 )=0,5; P(a 2 )=0,3 и P(a 3 )=0,2, а канальная матрица имеет вид:
Вероятности появления символов на входе приемника
2 . ЭНТРОПИЯ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ
Для описания информационных свойств непрерывного источника (сигнала) используется понятие дифференциальной энтропии. Для ее получения воспользуемся формулой для энтропии дискретных сообщений. В соответствии с графиком функции плотности вероятности (рис. 6.) можно записать p(x i ) = . Где p(x i ) - вероятность того, что x лежит в пределах i -го шага квантования.
Рис. 6. График функции плотности вероятности
При этом, выражение для энтропии можно представить в виде
Полная энтропия источника непрерывных сообщений состоит из двух слагаемых, одно из которых определяется законом распределения, а второе является постоянной величиной, определяющей шаг квантования, который влияет на точность измерений. Этот член выражения определяет постоянную составляющую и исключается из рассмотрения.
Значение первого слагаемого определяется законом распределения и характеризует дифференциальную энтропию непрерывного источника (т. к. f(x) - плотность вероятности или дифференциальный закон распределения)
Дифференциальная энтропия - часть энтропии источника непрерывных сообщений, которая зависит от плотности вероятности сигнала x(t) , выдаваемого источником.
Различные классы физических явлений и процессов подчиняются различным законам распределения. Непрерывные сигналы полностью характеризуются законами распределения (интегральным или дифференциальным). На любые реальные сигналы накладываются определенные ограничения, например: по средней мощности (нагрев аппаратуры); по мгновенной или пиковой мощности (перегрузки).
Так как дифференциальная энтропия зависит от плотности вероятности, определим, для какого закона она максимальна. Т. е. при каком распределении вероятности, сигнал заданной мощности имеет максимальную энтропию. Для нахождения максимального значения энтропии необходимо воспользоваться вариационной теоремой с использованием неопределенных множителей Лагранжа при условиях нормировки и неизменности среднего квадрата:
Решив уравнения, получим симметричный нормальный закон распределения
Если среднюю мощность не ограничивать
то получим равномерный закон распределения.
Определим дифференциальную энтропию для нормального распределения, т. е. сигнала с ограниченной средней мощностью. Полученное в результате решения вариационной задачи нормальное распределение является симметричным. Если в интеграле для дифференциальной энтропии произвести замену x = y-m x , то интеграл не изменится, а значит, энтропия не зависит от математического ожидания и равна энтропии центрированной случайной величины.
Определим максимальное значение для энтропии:
Дифференциальная энтропия для нормального распределения равна:
Полная энтропия для нормального распределения равна:
Если учесть что h(x) - это математическое ожидание функции [- log 2 f(x) ] от случайной величины x с плотностью f(x), то можно записать .
В соответствии с центральной предельной теоремой нормальным законам распределения подчиняются широкий класс, так называемых гауссовых случайных процессов или реальных сигналов.
Белый шум - помеха с наиболее ''зловредными" свойствами , т. е. передает максимальное количество вредящих сведений при заданной средней мощности и позволяет упростить расчеты для наихудшего случая.
Для того чтобы сигнал с ограниченной пиковой мощностью имел максимальную информативность необходимо, чтобы он имел равномерное распределение (рис. 9). Определим дифференциальную энтропию для равномерного распределения, т. е. сигнала с ограниченной пиковой мощностью. Если P-пиковая мощность, то - максимальная амплитуда. Уравнение для дифференциальной энтропии с учетом ограничений имеет вид:
Дифференциальная энтропия для равномерного распределения равна:
Полная энтропия сигнала с равномерным распределением равна:
Определим дифференциальную энтропию для экспоненциального распределения. Это распределение широко используется для определения интенсивности отказов в радиоэлектронной аппаратуре
Полная энтропия для экспоненциального распределения равна:
1. Коганов А. В. Векторные меры сложности, энтропии, информации. “Математика. Компьютер. Образование”. Вып. 7, ч. 2, “Прогресс-Традиция”, М., 2000, с. 540 -- 546
2. Яглом А. М., Яглом И. М. Вероятность и информация. М., 1957.
3. Шеннон К. Работы по теории информации и кибернетике. -- М.: Изд. иностр. лит., 1963. -- 830 с.
4. Волькенштейн М. В. Энтропия и информация. -- М.: Наука, 1986. -- 192 с.
5. Цымбал В. П. Теория информации и кодирование. -- М.: Выща Школа, 1977. -- 288 с.
6. Вероятностные методы в вычислительной технике. /Под ред. А.Н. Лебедева, Е.А.Чернявского. -М.: Высш. шк., 1986.
7. Седов Е.А. Взаимосвязь информации, энергии и физической энтропии в процессах управления и самоорганизации. Информация и управ-ление. М., Наука, 1986.
Способы передачи и хранения информации наиболее надежными и экономными методами. Связь между вероятностью и информацией. Понятие меры количества информации. Энтропия и ее свойства. Формула для вычисления энтропии. Среднее количество информации. реферат [99,7 K], добавлен 19.08.2015
Количество информации и ее мера. Определение количества информации, содержащегося в сообщении из ансамбля сообщений источника. Свойства количества информации и энтропии сообщений. Избыточность, информационная характеристика источника дискретных сообщений. реферат [41,4 K], добавлен 08.08.2009
Механизм передачи информации, ее количество и критерии измерения. Единицы информации в зависимости от основания логарифма. Основные свойства и характеристики количества информации, ее энтропия. Определение энтропии, избыточности информационных сообщений. реферат [33,9 K], добавлен 10.08.2009
Общая характеристика информационных систем, предназначенных для передачи, преобразования и хранения информации. Изучение форм представления детерминированных сигналов. Энтропия сложных сообщений. Рассмотрение основных элементов вычислительных машин. лекция [1,5 M], добавлен 13.04.2014
Задачи и постулаты прикладной теории информации. Разновидности помехоустойчивых кодов. Кодирование информации для канала с помехами. Энтропия при непрерывном сообщении. Количественная оценка информации. Условная и взаимная энтропия и ее свойства. курс лекций [3,2 M], добавлен 28.04.2009
Бит, неопределенность, количество информации и энтропия. Формула Шеннона. Формула Хартли. Логарифмы. Количество информации, получаемой в процессе сообщения. Взаимодействие источника и приемника информации. Количество, информационная емкость ячеек памяти. реферат [579,6 K], добавлен 17.07.2008
Энтропия и количество информации. Комбинаторная, вероятностная и алгоритмическая оценка количества информации. Моделирование и кодирование. Некоторые алгоритмы сжатия данных. Алгоритм арифметического кодирования. Приращаемая передача и получение. курсовая работа [325,1 K], добавлен 28.07.2009
Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д. PPT, PPTX и PDF-файлы представлены только в архивах. Рекомендуем скачать работу .

© 2000 — 2021



Энтропия сигналов контрольная работа. Программирование, компьютеры и кибернетика.
Пример Составления Отчета По Практике
Сочинение П Картине Герасимова После Дождя
Реферат: Aging Essay Research Paper Human Biology Final
Реферат: Земля как фактор производства, проблема ренты
Лабораторная Работа Химическое Оборудование
Срок испытания при приеме на работу
План Сочинения Поленова Золотая Осень
Дипломная работа по теме Мировой опыт использования банковских пластиковых карточек
Отчет Прохождения Практики На Предприятии
Дмитрий Донской Сочинение Егэ
Строение Ядра Реферат
Реферат по теме Респираторный дистресс синдром
Реферат: Болгария 4
Гдз Контрольная Работа Вариант 1
Контрольная Работа На Тему Холодильная Обработка Мяса И Мясопродуктов
Курсовая работа по теме Виды договоров и их классификация в гражданском праве
Отчет По Практике Учителя Начальных Классов
Реферат: Language Defines Gender Essay Research Paper Language
Реферат: Коммунистическая партия Российской Федерации КПРФ в современной политической жизни страны
Дипломная работа: Учет и аудит расчетных операций
Лингвокультурологический анализ английского, американского и русского анекдота - Иностранные языки и языкознание дипломная работа
Мировой рынок технологий - Международные отношения и мировая экономика курсовая работа
Компетенция органов власти субъектов Российской Федерации в сфере правотворчества - Государство и право реферат