Ко­ди­ро­ва­ние — это пе­ре­вод ин­фор­ма­ции с од­но­го языка на дру­гой, на­при­мер, пе­ре­вод ин­фор­ма­ции с есте­ствен­но­го языка в дво­ич­ный код. Де­ко­ди­ро­ва­ни­ем на­зы­ва­ют об­рат­ный пе­ре­вод.

Один сим­вол ис­ход­но­го со­об­ще­ния может за­ме­нять­ся одним или не­сколь­ки­ми сим­во­ла­ми но­во­го кода. Может быть и на­о­бо­рот: не­сколь­ко сим­во­лов ис­ход­но­го кода за­ме­ня­ют­ся одним сим­во­лом в новом.

Если все сим­во­лы ко­ди­ру­ют­ся ко­да­ми рав­ной длины, то ко­ди­ро­ва­ние на­зы­ва­ют рав­но­мер­ным.

Если сим­во­лы ко­ди­ру­ют­ся ко­да­ми раз­ной длины (в этом слу­чае обыч­но наи­бо­лее упо­тре­би­тель­ные сим­во­лы ко­ди­ру­ют­ся ко­да­ми мень­шей длины, а реже упо­треб­ля­е­мые сим­во­лы ко­ди­ру­ют­ся более длин­ны­ми ко­да­ми), то ко­ди­ро­ва­ние на­зы­ва­ет­ся не­рав­но­мер­ным.

«Усло­вие Фано»: ни­ка­кое ко­до­вое слово не яв­ля­ет­ся на­ча­лом дру­го­го ко­до­во­го слова.

«Об­рат­ное усло­вие Фано»: ни­ка­кое ко­до­вое слово не яв­ля­ет­ся окон­ча­ни­ем дру­го­го ко­до­во­го слова.

Га­ран­ти­ру­ет­ся, что за­ко­ди­ро­ван­ное со­об­ще­ние можно од­но­знач­но де­ко­ди­ро­вать с на­ча­ла, если вы­пол­ня­ет­ся пря­мое усло­вие Фано.

Га­ран­ти­ру­ет­ся, что за­ко­ди­ро­ван­ное со­об­ще­ние можно од­но­знач­но де­ко­ди­ро­вать с конца, если вы­пол­ня­ет­ся об­рат­ное усло­вие Фано.

Если усло­вие Фано не вы­пол­не­но, то не­ко­то­рые со­об­ще­ния могут быть де­ко­ди­ро­ва­ны од­но­знач­но, но су­ще­ству­ют со­об­ще­ние, ко­то­рые не удаст­ся де­ко­ди­ро­вать од­но­знач­но. На­при­мер, если код А-0, код Б-01, код С-1, то есть не вы­пол­не­ны ни пря­мое, ни об­рат­ное усло­вия Фано, то со­об­ще­ние 1000 де­ко­ди­ру­ет­ся од­но­знач­но: СААА, а со­об­ще­ние 0001 де­ко­ди­ру­ет­ся двумя ва­ри­ан­та­ми: АААС или ААБ.

При раст­ро­вом ко­ди­ро­ва­нии гра­фи­че­ской ин­фор­ма­ции на изоб­ра­же­ние на­кла­ды­ва­ет­ся сетка (растр), каж­дая ячей­ка ко­то­рой рас­смат­ри­ва­ет­ся как фраг­мент, опре­де­ля­е­мый на­бо­ром ат­ри­бу­тов: ко­ор­ди­на­та­ми, фор­мой, раз­ме­ром, цве­том. Можно ска­зать, что, ис­поль­зуя растр, изоб­ра­же­ние пред­став­ля­ет­ся со­во­куп­но­сти точек. Фи­зи­че­ское пред­став­ле­ние ячей­ки рас­т­ра на экра­не мо­ни­то­ра по­лу­чи­ло на­зва­ние пик­сель (pixel — аб­бре­ви­а­ту­ра от picture element — ячей­ка изоб­ра­же­ния). От­ме­тим, что пик­сель — это точка изоб­ра­же­ния, но не точка экра­на.

Ко­ор­ди­на­ты, форма, раз­мер пик­се­лей опре­де­ля­ют­ся рас­тром, а для ко­ди­ро­ва­ния цвета пик­се­лей стро­ит­ся ко­ди­ро­воч­ная таб­ли­ца: каж­до­му цвету ста­вит­ся в со­от­вет­ствие целое число, ко­то­рое затем пе­ре­во­дит­ся в дво­ич­ную си­сте­му счис­ле­ния. Каж­дый бит поз­во­ля­ет ко­ди­ро­вать два раз­лич­ных цвета, по­это­му k битов поз­во­ля­ют хра­нить ин­фор­ма­цию о 2^k цве­тах. Число битов, от­ве­ден­ных на ко­ди­ро­ва­ние цвета пик­се­ля, на­зы­ва­ет­ся глу­би­ной или раз­ряд­но­стью ко­ди­ро­ва­ния.

Для хра­не­ния ин­фор­ма­ции о цве­тах N пик­се­лей при глу­би­не ко­ди­ро­ва­ния k в па­мя­ти не­об­хо­ди­мо за­ре­зер­ви­ро­вать I = N · k битов, при этом можно ис­поль­зо­вать не более 2^k цве­тов.

Для ко­ди­ро­ва­ния зву­ко­вой ин­фор­ма­ции, во-пер­вых, про­из­во­дят дис­кре­ти­за­цию за­пи­сы­ва­е­мо­го сиг­на­ла по вре­ме­ни. Это озна­ча­ет, что из­ме­ре­ние уров­ня ин­тен­сив­но­сти звука ве­дет­ся не не­пре­рыв­но, а через опре­де­лен­ные обыч­но рав­ные вре­мен­ные про­ме­жут­ки. Ча­сто­ту, ха­рак­те­ри­зу­ю­щую пе­ри­о­дич­ность из­ме­ре­ния зву­ко­во­го сиг­на­ла, на­зы­ва­ют ча­сто­той дис­кре­ти­за­ции. Тео­ре­ма Най­к­ви­ста (тео­ре­ма об от­сче­тах) га­ран­ти­ру­ет, что для по­сле­ду­ю­ще­го вы­со­ко­ка­че­ствен­но­го вос­про­из­ве­де­ния звук не­об­хо­ди­мо за­пи­сы­вать с ча­сто­той, как ми­ни­мум в 2 раза пре­вы­ша­ю­щей мак­си­маль­ную ча­сто­ту за­пи­сы­ва­е­мо­го сиг­на­ла.

На­при­мер, для за­пи­си речи до­ста­точ­но ча­сто­ты дис­кре­ти­за­ции 8 кГц, но если с такой ча­сто­той дис­кре­ти­за­ции за­пи­сы­вать игру ор­кест­ра, ре­зуль­тат не будет удо­вле­тво­ри­тель­ным (пред­ставь­те, что вы слу­ша­е­те кон­церт по те­ле­фо­ну). Че­ло­ве­че­ское ухо слы­шит звук ча­сто­той до 20 кГц, по­это­му для вы­со­ко­ка­че­ствен­но­го вос­про­из­ве­де­ния звука его с не­ко­то­рым за­па­сом до­ста­точ­но за­пи­сы­вать с ча­сто­той 44 кГц. Имен­но такая ча­сто­та, ис­поль­зу­ет­ся при за­пи­си му­зы­каль­ных ком­пакт-дис­ков.

Во-вто­рых, не­об­хо­ди­мо про­из­во­дить дис­кре­ти­за­цию ам­пли­ту­ды зву­ко­во­го сиг­на­ла. То есть для каж­до­го от­сче­та при из­ме­ре­нии ин­тен­сив­но­сти при­ме­ня­ет­ся «сетка» стан­дарт­ных уров­ней (на­при­мер, 256 или 65536 — это ко­ли­че­ство ха­рак­те­ри­зу­ет глу­би­ну ко­ди­ро­ва­ния), и те­ку­щий уро­вень из­ме­ря­е­мо­го сиг­на­ла округ­ля­ет­ся до бли­жай­ше­го из них.

Итак, ча­сто­та дис­кре­ти­за­ции опре­де­ля­ет ко­ли­че­ство от­сче­тов, за­по­ми­на­е­мых за 1 се­кун­ду; 1 Гц (один герц) — это один от­счет в се­кун­ду, а 44 кГц — это 44 000 от­сче­тов в се­кун­ду.

Глу­би­на ко­ди­ро­ва­ния — это ко­ли­че­ство битов, ко­то­рые вы­де­ля­ют­ся на один от­счет.

Для хра­не­ния ин­фор­ма­ции о звуке дли­тель­но­стью t се­кунд, за­ко­ди­ро­ван­ном с ча­сто­той дис­кре­ти­за­ции N при глу­би­не ко­ди­ро­ва­ния k битов тре­бу­ет­ся I = N · k · t битов па­мя­ти.

На­при­мер, для за­пи­си одной ми­ну­ты речи при N = 8 кГц, и k = 10 битов тре­бу­ет­ся: битов или 600 000 бай­тов, что со­став­ля­ет около 586 ки­ло­бай­тов или 0,57 ме­га­бай­та.

Об­ра­ти­те вни­ма­ние:

1 Кб = 1024 байт,

1 кГц = 1000 Гц.

При вы­чис­ле­нии объ­е­ма па­мя­ти для мно­го­ка­наль­ной за­пи­си мо­но­ка­наль­ный объем умно­жа­ют на ко­ли­че­ство ка­на­лов. На­при­мер, при сте­рео­за­пи­си не­об­хо­ди­мый объем вдвое боль­ше объ­е­ма мо­но­за­пи­си.

Любой канал связи имеет огра­ни­чен­ную про­пуск­ную спо­соб­ность (ско­рость пе­ре­да­чи ин­фор­ма­ции), это число огра­ни­чи­ва­ет­ся свой­ства­ми ап­па­ра­ту­ры и самой линии (ка­бе­ля).

Объём пе­ре­дан­ной ин­фор­ма­ции Q вы­чис­ля­ет­ся по фор­му­ле где q — про­пуск­ная спо­соб­ность ка­на­ла (в битах в се­кун­ду или по­доб­ных еди­ни­цах), а t — время пе­ре­да­чи.

Если слово со­сто­ит из k букв, при­чем есть n₁ ва­ри­ан­тов вы­бо­ра пер­вой буквы, n₂ ва­ри­ан­тов вы­бо­ра вто­рой буквы и т. д., то число воз­мож­ных слов вы­чис­ля­ет­ся как про­из­ве­де­ние

Если слово со­сто­ит из k букв, при­чем каж­дая буква может быть вы­бра­на n спо­со­ба­ми, то число воз­мож­ных слов вы­чис­ля­ет­ся как

С по­мо­щью K бит можно за­ко­ди­ро­вать раз­лич­ных ва­ри­ан­тов (чисел).

При из­ме­ре­нии ко­ли­че­ства ин­фор­ма­ции при­ни­ма­ет­ся, что в одном байте 8 бит, а в одном ки­ло­бай­те (1 Кбайт) — 1024 байт, в ме­га­бай­те (1 Мбайт) — 1024 Кбайт.

Чтобы найти ин­фор­ма­ци­он­ный объем со­об­ще­ния (тек­ста) I, нужно умно­жить ко­ли­че­ство сим­во­лов (от­сче­тов) N на число бит на сим­вол (от­счет) K:

Две строч­ки тек­ста не могут за­ни­мать 100 Кбайт в па­мя­ти.

Мощ­ность ал­фа­ви­та M — это ко­ли­че­ство сим­во­лов в этом ал­фа­ви­те.

Если ал­фа­вит имеет мощ­ность M, то ко­ли­че­ство всех воз­мож­ных «слов» (сим­воль­ных це­по­чек) дли­ной N (без учета смыс­ла) равно для дво­ич­но­го ко­ди­ро­ва­ния (мощ­ность ал­фа­ви­та M — 2 сим­во­ла) по­лу­ча­ем из­вест­ную фор­му­лу: