Схема передачи информации по шеннону. Схема передачи информации по различным техническим каналам. Ширина полосы пропускания

Используя ресурсы Интернет, найти ответы на вопросы:

Задание 1

1. Что представляет из себя процесс передачи информации?

Передача информации - физический процесс, посредством которого осуществляется перемещение информации в пространстве. Записали информацию на диск и перенесли в другую комнату. Данный процесс характеризуется наличием следующих компонентов:

По типу среды распространения каналы связи делятся на:

Телекоммуникации (греч. tele - вдаль, далеко и лат. communicatio - общение) - это передача и прием любой информации (звука, изображения, данных, текста) на расстояние по различным электромагнитным системам (кабельным и оптоволоконным каналам, радиоканалам и другим проводным и беспроводным каналам связи).

Телекоммуникационная сеть - это система технических средств, посредством которой осуществляются телекоммуникации.

К телекоммуникационным сетям относятся:
1. Компьютерные сети (для передачи данных)
2. Телефонные сети (передача голосовой информации)
3. Радиосети (передача голосовой информации - широковещательные услуги)
4. Телевизионные сети (передача голоса и изображения - широковещательные услуги)

Компьютерные телекоммуникации - телекоммуникации, оконечными устройствами которых являются компьютеры.

Передача информации с компьютера на компьютер называется синхронной связью, а через промежуточную ЭВМ, позволяющую накапливать сообщения и передавать их на персональные компьютеры по мере запроса пользователем, - асинхронной.

Компьютерные телекоммуникации начинают внедряться в образование. В высшей школе их используют для координации научных исследований, оперативного обмена информацией между участниками проектов, обучения на расстоянии, проведения консультаций. В системе школьного образования - для повышения эффективности самостоятельной деятельности учащихся, связанной с разнообразными видами творческих работ, включая и учебную деятельность, на основе широкого использования исследовательских методов, свободного доступа к базам данных, обмена информацией с партнерами как внутри страны, так и за рубежом.

Скорость передачи информации зависит в значительной степени от скорости её создания (производительности источника), способов кодирования и декодирования. Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью. Пропускная способность канала, по определению, есть скорость передачи информации при использовании «наилучших» (оптимальных) для данного канала источника, кодера и декодера, поэтому она характеризует только канал.

Лекция 12. Передача информации в линии связи

Общая схема передачи информации в линиии связи

Характеристики канала связи

Влияние шумов на пропускную способность канала

1. Общая схема передачи информации в линии связи

Использование информации для решения каких-либо задач, безусловно, сопряжено с необходимостью ее распространения, то есть с необходимостью осуществления процессов передачи и приема информации. При этом приходится решать проблему согласования метода кодирования с характеристиками канала связи, а также обеспечивать защиту передаваемой информации от возможных искажений.

Источник информации определен как объект или субъект, порождающий информацию и имеющий возможность представить ее в виде сообщения, то есть последовательности сигналов в материальном носителе. Другими словами, источник информации связывает информацию с ее материальным носителем. Передача сообщения от источника к приемнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде – это условие является обязательным, поскольку сама информация материальным объектом не является.

Способов передачи информации существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разноообразии конкретной реализации способов связи в них можно выделить общие элементы: источник и получатель информации, кодирующее и декодирующее устройства, преобразователь кодов в сигналы и преобразователь сигналов в коды, канал связи, а также источники шумов (помех) и факторы, обеспечивающие защиту от шумов (см. схему на рис. 4).

Понимать схему нужно следующим образом. Источник , порождающий информацию, для передачи должен представить ее виде сообщения, то есть последовательности сигналов. При этом для представления информации он дожен использовать некоторую систему кодирования.Устройство, выполняющее операцию кодирования информации, может являться подсистемой источника информации. Например, наш мозг порождает информацию и он же кодирует эту информацию с помощью языка (например, русского), а затем представляет информацию в виде речевого сообщения посредством органов речи. Компьютер обрабатывает и хранит информацию в двоичном представлении, но при выводе ее на экран монитора он же – компьютер – производит ее перекодировку пользователю виду.

Возможна ситуация, когда кодирующее устройство оказывается внешним по отношению к источнику информации, например, телеграфный аппарат или компьютер по отношению к человеку – работающему на нем оператору. Далее коды должны быть переведены в последовательность материальных сигналов, то есть помещены на материальный носитель – эту операцию выполняет преобразователь . Преобразователь может бытьсовмещен с кодирующим устройством (например, телеграфный аппарат), но может быть исамостоятельным элементом линиии связи (например, модем, преобразующий электрические дискретные сигналы с частотой компьютера в аналоговые сигналы с частотой, на которой их затухание в телефонных линиях будет наименьшим).

К преобразователям относят также устройства, которые переводят сообщение с одного носителя на другой . Например:

телефонный аппарат, преобразующий звуковые сигналы в электрические;

радипередатчик, преобразующий звуковые сигналы в радиоволны;

телекамера, преобразующая изображение в последовательность электрических импульсов.

Рис. 4. Общая схема передачи информации

В общем случае при преобразовании выходные сигналы воспроизводят не полностью все особенности входного сообщения, а лишь его наиболее существенные стороны, то есть при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи находится в промежутке от 300 до 3400 Гц, в то время как частоты, воспринимаемые человеческим ухом, лежат в интервале от 16 до 20000 Гц.

Таким образом, телефонные линиии «обрезают» высокие частоты, что приводитк искажениям звука; в черно-белом телевидении при преобразовании сообщения в сигналы теряется цвет изображения. Именно в связи с этими проблемами возникает задача выработки такого способа кодирования сообщения, который обеспечивал бы возможно более полное представление исходной информации при преобразовании, и, в то же время, этот способ был бы согласован со скоростью передачи информации по данной линии связи.

После преобразователя сигналы поступают в канал связи и распространяются в нем.Понятие канала связи включает в себя материальную среду , а также физический или иной процесс , посредством которого осуществляется передача сообщения, то есть распространение сигналов в пространстве с течением времени.

В табл. 20приведены примеры некоторых каналов связи.

Табл. 20. Примеры каналов связи

Любой реальный канал связи подвержен внешним воздействиям, а также в нем могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы, и, следовательно, связанные с этими сигналами сообщения. Такие воздействия называютсяшумами (помехами ). Источники помех могут бытьвнешними ивнутренними . Квнешним помехам относятся, например, так называемые «наводки» от мощных потребителей электричества или атмосферных явлений; одновременное действие нескольких близкорасположенных однотипых источников сообщений (одновременный разговор нескольких человек). К помехам могут привоить ивнутренние особенности данного канала связи, например, физические неоднородности носителя; процессы затухания сигнала в линии связи, существенные при большой удаленности приемника от источника.

Если уровень помех оказывается соизмеримым с мощностью несущего информацию сигнала, то передача информации по данному каналу оказывается невозможной. Даже шумы относительно низких уровней могут вызвать существенные искажения передаваемого сигнала.

Существуют и применяются различные методы защиты от помех . Например, используется экранирование элетрических линий связи; улучшение избирательности примного устройства и так далее Другим способом защиты от помех является использование специальных методов кодирования информации.

После прохождения сообщения по каналу связи сигналы с помощью приемного преобразователя переводятся в последовательность кодов, которыедекодирующим устройством представляются в форме, необходимой для примника информации (в воспринимаемой приемником форме). На этапе приема, как и при передаче, преобразователь может быть совмещенным с декодирующим устройством (например, радиоприемник или телевизор) или существовать отдельно от декодирующего устройства (преобразователь модем может существует отдельно от компьютера).

Понятие «линия связи » объединяет элементы представленной на рис. 1 схемы между источником и приемником информации.Характеристиками любой линии связи являютсяскорость , с которой возможна передача сообщения в ней, а такжестепень искажения сообщения в процессе передачи.

| 8 классы | Планирование уроков на учебный год | Работа в локальной сети компьютерного класса в режиме обмена файлами

Урок 2
Работа в локальной сети компьютерного класса в режиме обмена файлами

Передача информации по техническим каналам связи

Передача информации по техническим каналам связи

Схема Шеннона

Американский ученый, один из основателей теории информации, Клод Шеннон предложил схему процесса передачи информации по техническим каналам связи (рис. 1.3).

Рис. 1.3. Схема технической системы передачи информации

Работу такой схемы можно пояснить на знакомом всем процессе разговора по телефону. Источник информации - говорящий человек. Кодирующее устройство - микрофон телефонной трубки, с помощью которого звуковые волны (речь) преобразуются в электрические сигналы. Канал связи - телефонная сеть (провода, коммутаторы телефонных узлов, через которые проходит сигнал). Декодирующее устройство - телефонная трубка (наушник) слушающего человека - приемника информации. Здесь пришедший электрический сигнал превращается в звук.

Здесь передача информации производится в форме непрерывного электрического сигнала. Это аналоговая связь .

Кодирование и декодирование информации

Под кодированием понимается любое преобразование информации, идущей от источника, в форму, пригодную для ее передачи по каналу связи.

На заре эры радиосвязи применялся код азбуки Морзе . Текст преобразовывался в последовательность точек и тире (коротких и длинных сигналов) и передавался в эфир. Принимавший на слух такую передачу человек должен был суметь декодировать код обратно в текст. Еще раньше азбука Морзе использовалась в телеграфной связи. Передача информации с помощью азбуки Морзе - пример дискретной связи.

В настоящее время широко используется цифровая связь, когда передаваемая информация кодируется в двоичную форму (0 и 1 - двоичные цифры), а затем декодируется в текст, изображение, звук. Цифровая связь, очевидно, тоже является дискретной.

Шум и защита от шума. Теория кодирования Шеннона

Информация по каналам связи передается посредством сигналов различной физической природы: электрических, электромагнитных, световых, акустических . Информационное содержание сигнала заключается в значении или в изменении значения его физической величины (силы тока, яркости света и пр.). Термином «шум» называют разного рода помехи, искажающие передаваемый сигнал и приводящие к потере информации. Такие помехи прежде всего возникают по техническим причинам: плохое качество линий связи, незащищенность друг от друга различных потоков информации, передаваемых по одним и тем же каналам. Часто, беседуя по телефону, мы слышим шум, треск, мешающие понять собеседника, или на наш разговор накладывается разговор других людей. В таких случаях необходима защита от шума.

В первую очередь применяются технические способы защиты каналов связи от воздействия шумов. Такие способы бывают самыми разными, иногда простыми, иногда очень сложными. Например, использование экранированного кабеля вместо «голого» провода; применение разного рода фильтров, отделяющих полезный сигнал от шума, и пр.

К. Шеннон разработал специальную теорию кодирования , дающую методы борьбы с шумом. Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным. За счет этого потеря какой-то части информации при передаче может быть компенсирована. Например, если при разговоре по телефону вас плохо слышно, то, повторяя каждое слово дважды, вы имеете больше шансов на то, что собеседник поймет вас правильно.

Однако нельзя делать избыточность слишком большой. Это приведет к задержкам и удорожанию связи. Теория кодирования Шеннона как раз и позволяет получить такой код, который будет оптимальным. При этом избыточность передаваемой информации будет минимально возможной, а достоверность принятой информации - максимальной.

В современных системах цифровой связи часто применяется следующий прием борьбы с потерей информации при передаче. Все сообщение разбивается на порции - пакеты . Для каждого пакета вычисляется контрольная сумма (сумма двоичных цифр), которая передается вместе с данным пакетом. В месте приема заново вычисляется контрольная сумма принятого пакета, и если она не совпадает с первоначальной, то передача данного пакета повторяется. Так происходит до тех пор, пока исходная и конечная контрольные суммы не совпадут.

Коротко о главном

Любая техническая система передачи информации состоит из источника, приемника, устройств кодирования и декодирования и канала связи .

Под кодированием понимается преобразование информации, идущей от источника, в форму, пригодную для ее передачи по каналу связи. Декодирование - это обратное преобразование.

Шум - это помехи, приводящие к потере информации.

В теории кодирования разработаны методы представления передаваемой информации с целью уменьшения ее потерь под воздействием шума.

Вопросы и задания

1. Назовите основные элементы схемы передачи информации, предложенной К. Шенноном.

2. Что такое кодирование и декодирование при передаче информации?

3. Что такое шум? Каковы его последствия при передаче информации?

4. Какие существуют способы борьбы с шумом?

ЕК ЦОР: Часть 2, заключение, дополнение к главе 1, § 1.1. ЦОР № 1.

Схема передачи информации по сотовой связи в форме SMS-сообщения. Кодирование и декодирование заключаются в преобразовании письменного текста в последовательности электромагнитных сигналов и обратном преобразовании. Передача по каналам сотовой связи. Набор текста на клавиатуре с отражением на экране телефона и сохранение в его памяти. Сохранение в памяти принимающего аппарата. Преобразование в радиосигнал определенной частоты. Прием сигнала аппаратом адресата. Перевод во внутренний код. Передача радиосигнала. Хранение исходного текста. Кодирование – обработка текста. Декодирование – обработка радиосигнала. Хранение полученного текста.

Передача информации

«Беспроводные технологии передачи данных» - Содержание КИМ. Выпускная аттестационная работа. Беспроводные сети датчиков. Содержание УМК. Объём программы. Практические и теоретические знания. Форма обучения. Основы технологий. Образовательные технологии. Кадровое обеспечение программы. Беспроводные технологии передачи данных. Методическое и материально-техническое обеспечение. Современные технологии.

««Передача информации» информатика» - Компьютерные сети. Распространение информации. Модель процесса передачи информации. Схема передачи информации по сотовой связи. Пропускная способность канала связи. Шум, защита от шума. Кодирование. Передача информации. Пропускная способность канала. Модель передачи информации К. Шеннона. Шеннон разработал специальную теорию кодирования. Котельников.

«Передача информации в компьютерных сетях» - Основные характеристики каналов обмена информации. Схемы могут, в свою очередь, быть организованы двумя способами. Соединить компьютеры можно двумя способами - последовательно и звездой. Глобальная компьютерная сеть. Преимущества компьютерных сетей. Тип соединения - «шина». Одноранговая локальная сеть. Тип соединения - «звезда». Передача информации. Компьютерные сети. Локальная сеть. Назовите общую характеристику каналов передачи информации.

«Процесс передачи информации» - В 1876 году в Америке был изобретен телефон. В 1895 году русский изобретатель А.С. Попов открыл радиосвязь. В 1969 году в США начала функционировать первая компьютерная сеть. Специальный код. Гонцы заучивали послания наизусть. Как передавали информацию в прошлом. Передача информации. Вопросы на засыпку. Любой процесс передачи информации. Звук барабана, особенно популярный среди африканских племен.

«Технические системы передачи информации» - Телефонные линии. Защита от шума. Шум. Пример работы модели. Современные компьютерные системы. Контрольная сумма. Модель передачи информации К. Шеннона. Теория кодирования. Передача информации по техническим каналам. Потери информации при передаче. Технические системы передачи информации. Владимир Александрович Котельников. Система основных понятий. Кодирование информации. Скорость передачи информации.

Общая схема передачи информации в линии связи

Ранее источник информации был определен как объект или субъект, порождающий информацию и имеющий возможность представить ее в виде сообщения, т.е. последовательности сигналов в материальном носителе. Другими словами, источник связывает информацию с ее материальным носителем. Передача сообщения от источника к приемнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде. Это условие является обязательным, поскольку сама информация материальным объектом или формой существования материи не является. Способов передачи информации существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разнообразии конкретной реализации способов связи в них можно выделить общие элементы, представленные на схеме (рис. 9).

Возможна ситуация, когда кодирующее устройство оказывается внешним по отношению к источнику информации, например, телеграфный аппарат или компьютер по отношению к работающему на нем оператору. Далее коды должны быть переведены в последовательность материальных сигналов, т. е. помещены на материальный носитель - эту операцию выполняет преобразователь. Преобразователь может быть совмещен с кодирующим устройством (например, телеграфный аппарат),

Рис. 9.

связи может являться и самостоятельным элементом линии связи (например, модем, преобразующий электрические дискретные сигналы с частотой компьютера в аналоговые сигналы с частотой, на которой их затухание в телефонных линиях будет наименьшим). К преобразователям относят также устройства, которые переводят сообщение с одного носителя на другой, например, мегафон или телефонный аппарат, преобразующие голосовые сигналы в электрические; радиопередатчик, преобразующий голосовые сигналы в радиоволны; телекамера, преобразующая изображение в последовательность электрических импульсов. В общем случае при преобразовании выходные сигналы не полностью воспроизводят все особенности сообщения на входе, а лишь его существенные стороны, т. е. при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи от 300 до 3400 Гц, в то время как частоты, воспринимаемые человеческим ухом, лежат в интервале - 16-20 000 Гц (т. е. телефонные линии «обрезают» высокие частоты, что приводит к искажениям звука); в черно-белом телевидении при преобразовании теряется цвет изображения. Именно в связи с этим встает задача выработки такого способа кодирования сообщения, который обеспечивал бы возможно более полное представление исходной информации при преобразовании и в то же время был бы согласован со скоростью передачи информации по данной линии связи.

После преобразователя сигналы поступают и распространяются по каналу связи. Понятие «канал связи» включает в себя материальную среду, а также физический или иной процесс, посредством которого осуществляется передача сообщения, т. е. распространение сигналов в пространстве с течением времени. В таблице 10 приведены примеры некоторых каналов связи.

Любой реальный канал связи подвержен внешним воздействиям, в нем также могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы и, следовательно, связанное с ними сообщение. Такие воздействия называются шумами (помехами). Источники помех могут быть внешними,

Каналы связи

Таблица 10

После прохождения сообщения по каналу связи сигналы с помощью приемного преобразователя переводятся в последовательность кодов, которые декодирующим устройством представляются в форме, необходимой приемнику информации. На этапе приема, как и при передаче, преобразователь может быть совмещен с декодирующим устройством (например, радиоприемник или телевизор) или существовать самостоятельно (например, модем).

Понятие «линия связи» объединяет все элементы, представленные на схеме, - от источника до приемника информации. Характеристиками любой линии связи являются скорость, с которой возможна передача сообщения в ней, а также степень искажения сообщения в процессе передачи. Из этих параметров вычленим те, что относятся непосредственно к каналу связи, т. е. характеризуют среду и процесс передачи.

Характеристики канала связи

Далее рассмотрим каналы связи, передача сообщений по которым осуществляется за счет электрических импульсов. С практической точки зрения, а также для компьютерных линий связи эти каналы представляют наибольший интерес.

Ширина полосы пропускания

Любой преобразователь, работа которого основана на использовании колебаний (электрических или механических) может формировать и пропускать сигналы из ограниченной области частот. (Пример с телефонной связью приводился выше.) То же следует отнести к радио и телевизионной связи: весь частотный спектр разделен на диапазоны (ДВ, СВ, KBI, КВП, УКВ, ДМ В), в пределах которых каждая станция занимает свой поддиапазон, чтобы не мешать вещанию других.

Интервал частот, используемый данным каналом связи для передачи сигналов, называется шириной полосы пропускания.

Для построения теории важна не сама ширина полосы пропускания, а максимальное значение частоты из данной полосы (v m), поскольку именно ей определяется возможная скорость передачи информации по каналу.

Длительность элементарного импульса может быть определена из следующих соображений. Если параметр сигнала меняется синусоидально, то, как видно из рисунка, за один период колебания Т сигнал будет иметь одно максимальное значение и одно минимальное.

Рис. 10.

Если аппроксимировать синусоиду прямоугольными импульсами и сместить начало отсчета на уровень минимального значения, получится, что сигнал принимает всего два значения: максимальное (обозначим его «1») - импульс, минимальное (можно обозначить «О») - пауза. Импульс и паузу можно считать элементарными сигналами; при выбранной аппроксимации их длительности очевидно одинаковы и равны:

Если же импульсы порождаются тактовым генератором, имеющим частоту v m , то

Таким образом, каждое т 0 секунд можно передавать импульс или паузу, связывая с их последовательностью определенные коды. Использовать сигналы большей длительности, чем т 0 , в принципе, возможно (например, 2т 0) - это не приведет к потере информации, хотя снизит скорость ее передачи по каналу. Использование же сигналов более коротких, чем т 0 , может привести к информационным потерям, поскольку сигналы тогда будут принимать какие-то промежуточные значения между минимальным и максимальным, что затруднит их интерпретацию.

Таким образом, v m определяет длительность элементарного сигнала т 0 , используемого для передачи сообщения.

Пропускная способность канала связи

Если с передачей одного импульса связано количество информации 1. тр, а передается оно за время т 0 , отношение I к т 0 , очевидно, будет отражать среднее количество информации, передаваемое по каналу за единицу времени, - эта величина является характеристикой канала связи и называется пропускной способностью канала С:

Если Г тр выражено в битах, а т 0 - в секундах, то единицей измерения С будет бит/с. Раньше такая единица называлась бод, однако название не прижилось, и по этой причине пропускная способность канала связи измеряется в бит/с. Производными единицами являются:

• 1 Кбит/с = 10 3 бит/с,
• 1 Мбит/с = 10 6 бит/с,
• 1 Гбит/с = 10 9 бит/с.

Скорость передачи информации

Пусть по каналу связи за время t передано количество информации I. Можно ввести величину, характеризующую быстроту передачи информации, - скорость передачи информации J:

Размерностью J, как и С, является бит/с. Каково соотношение этих характеристик? Поскольку т 0 - минимальная длительность элементарного сигнала, очевидно, что С соответствует максимальной скорости передачи информации по данной линии связи, т. е. J J max Таким образом, максимальная скорость передачи информации по каналу связи равна его пропускной способности.

Энтропия и информация

Случайные события могут быть описаны с использованием понятия «вероятность». Соотношения теории вероятностей позволяют найти (вычислить) вероятности как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.

То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций. Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 18 лет. Для практики важно иметь возможность произвести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.

Начнем с простой ситуации, когда опыт имеет п равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от п, т. е. мера неопределенности является функцией числа исходов f(n).

Можно указать некоторые свойства этой функции:

• 1. f(l) = 0, поскольку при п = 1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;
• 2. f(n) возрастает с ростом п, поскольку чем больше число возможных исходов, тем более затруднительным становится предсказание результата опыта.

Единица измерения неопределенности при двух возможных равновероятных

исходах опыта называется бит.

Установлен явный вид функции, описывающей меру неопределенности опыта, имеющего п равновероятных исходов:

Эта величина получила название энтропия. В дальнейшем будем обозначать ее Н. Утверждение. Энтропия равна информации относительно опыта, которая содержится в нем самом.

Можно уточнить:

Энтропия опыта равна той информации, которую получаем в результате его осуществления.

Свойства информации:

• 1. /(а,Р) > 0, причем /(а,|3) = 0 опыты аир независимы.
• 2. /(а,р) = /(Р,а), т. е. информация симметрична относительно последовательности опытов.

3. 5 т. е. информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.

Легко получить следствие формулы для случая, когда

все п исходов равновероятны. В этом случае все и, следовательно,

Эта формула была выведена в 1928 г. американским инженером Р. Хартли и носит его имя. Она связывает количество равновероятных состояний (п) и количество информации в сообщении (/), что любое из этих состояний реализовалось. Ее смысл в том, что, если некоторое множество содержит п элементов и х принадлежит данному множеству, то для его выделения (однозначной идентификации) среди прочих требуется количество информации, равное log 2 «.

Частным случаем применения формулы Хартли является ситуация, когда п = 2 к. Подставляя это значение в формулу Хартли, очевидно, получим:

Формула Шеннона

Известны вероятности , с которыми система принимает одно из своих состояний

- формула Шеннона - энтропия системы - формула измерения количества информации.

Свойства энтропии

2. . (Формула Хартли)

Это случай максимальной энтропии.

Первая теорема Шеннона.

При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.

Вторая теорема Шеннона.

При передаче информации по каналу с шумом всегда имеется способ кодирования, при котором сообщение будет передаваться со сколь угодно высокой достоверностью, если скорость передачи не превышает пропускной способности канала.