Теория информации

Видео: Теория информации (курс лекции)

Основные понятия этой теории ввёл в сороковых годах двадцатого века К. Шеннон. Теория информации– это наука о процессах передачи, хранения и получения данных в природных, технических и социальных системах. Во многих прикладных научных областях, таких как информатика, языкознание, криптография, теория управления, обработка изображений, генетика, психология, экономика, организация производства используются методы этой науки.

В современных условиях с теорией информации весьма плотно связана теория кодирования, рассматривающая наиболее общие проблемы соответствия между сигналом и сообщением, и теория обработки сигналов, в которой изучается квантование и восстановление сигналов, а также спектральный и корреляционный анализ таковых.

Теория информации рассматривает базовое понятие «информация» по большей части с количественной стороны, не учитывая её ценность, а иногда и смысл. При таком подходе страница текста будет содержать приблизительно одинаковый объём данных, определяемый лишь числом знаков и символов, и не зависящий от того, что, собственно говоря, там напечатано, хотя бы и абсолютно бессмысленный и хаотичный набор неких символов.

Такой подход правомерен, но только для моделирования систем связи, так как они должны безошибочно передавать информацию по каналам связи, которая может быть представлена любым набором знаков и символов. Тогда же, когда надо учитывать ценность и смысл данных, количественный подход неприемлем. Такие обстоятельства накладывают существенные ограничения на области возможного применения указанной теории.

Основы теории информации предполагают рассмотрение различных вопросов, в том числе непосредственно связанных с передачей и приёмом данных. Основная схема связи, которая рассматривается в учении, выглядит следующим образом. Теория информации и кодированиясчитает, что данные создаются источником сообщений, который представляет собой слова или набор слов, записанных буквами определённого алфавита. Источником сообщения может быть текст на любых естественных или искусственных языках, человеческая речь, базы данных и некоторые математические модели, создающие последовательность букв. Передатчик преобразует сообщение в сигнал, соответствующий физической природе канала связи – среде для передачи сигнала. Во время прохождения такового на него могут воздействовать помехи, вносящие искажения в значения информационных параметров. Приёмник восстанавливает исходное сообщение по принятому с искажениями сигналу. Сообщение в восстановленном виде приходит к адресату – некоторому лицу или техническому устройству.

Видео: [Коллоквиум]: Алгоритмическая теория информации и случайность индивидуальных объектов

Источник сообщения имеет статистический характер, то есть появление каждого сообщения определяется некоторой вероятностью. Теория информации Шеннона считает, что если вероятность появления сообщения равна единице, то есть его появление достоверно и неопределённости нет, считают, что оно не несёт никакой информации.

Одной из важных проблем теория информации считает согласование канала связи и информационных свойств источника сообщений. Пропускная способность определяется единицей измерения в 1 бит в секунду.

Видео: [KA] Современная теория информации

Одной из проблем систем связи являются помехи на пути прохождения полезного сигнала. Теорема Шеннона, к сожалению, не даёт нам конкретного метода борьбы с таковыми. Самый простой метод устранения, который состоит в многократном повторении сообщений, не очень эффективен, поскольку требуются большие затраты времени на передачу информации. Гораздо большую эффективность даёт применение кодов, которые позволяют обнаружить и исправить ошибки передачи сведений.