Orice mesaj poate fi reprezentat într-o formă diferită, care este codificată în diverse moduri. Diferite moduri de codificare care ocupă cantități inegale de informații. Codul optim va fi cea folosind o valoare medie este de entropie pe un simbol, este egal cu entropia sursă de informații.
În cele mai multe cazuri, sistemele de codificare utilizate au redundanță, care este necesară pentru a înregistra mai multe informații decât este conținută în mesajul codificat. Redundanța este dată de formula # 92; [E = 1 - # 92; # 92 frac] în cazul în care # 92; (H # 92) - entropia mesajului, # 92; (Q # 92) - valoarea medie a informațiilor pe un simbol al mesajului codificat.Cu cât codul de redundanță, cu atât mai mare probabilitatea de transmisie fără erori de informații, dar cu atât mai mare cantitatea necesară pentru stocarea și canal de transmisie în bandă largă. limbajele umane naturale sunt caracterizate printr-un grad foarte ridicat de redundanță este de asemenea mare redundanță a genomului organismelor superioare stocate în moleculele de ADN.
valoare # 92; (H / Q # 92;) se numește eficiența codului. Pentru codul optim # 92; (H / Q = 1 # 92;) și nu există redundanță, adică # 92; (E = 0 # 92;).
Redundanța proces de codificare de reducere se numește informație de compresie și este utilizat pentru a reduce cantitatea de memorie necesară pentru a stoca informații. Pentru a comprima informațiile stocate în Archiver și packere memoria ispolzuyutsya-.
Exemplu: Pentru a determina entropia informațiilor conținute în raportul „Oamenii de știință - lumina, și nu un om de știință - întuneric“ și redundanța codului. Fiecare caracter din mesaj este codificat de 1 octet (8 biți).
Soluție: se calculează numărul de caractere din mesaj, pentru simplitate lacunele ignorarea: N = 26. Am găsit frecvența de repetiție a fiecărui caracter (probabilitatea mesajului), constând din tabelul de mai jos pe captura de ecran de pe partea stângă.
entropia specifică (entropia unui singur caracter în mesaj) în biți per simbol este # 92; [# 92; tilde H = 5 # 92; cdot # 92; Frac> 13+ # 92; Frac> # 92; Frac> + 2 # 92; cdot # 92; Frac> # 92; Frac> + 4 # 92; cdot # 92; frac> 26 # 92; aprox # 92]; # 92; [ # 92; aprox # 92; frac> # 92; cdot 3.7004 + # 92; frac> # 92; cdot 2.1155 + # 92; frac> # 92; cdot 3.1155 + # 92; frac> # 92; cdot 4.7004 # 92, # 92 de aproximativ 3.3535] entropie totală Stâlpii # 92; (H = 3.3535 # 92; cdot 26 = 87.19 # 92;) biți. Numărul de biți necesari pentru a codifica fiecare simbol de un octet, este # 92; (Q = 208 # 92 # 92 ;;;) biți.
codul de redundanță # 92; (E = 1-87.19 / 208 = 0,58 = 58% # 92;).