Mesajele evaluărilor surselor de entropie, este clar că aceasta depinde de caracteristicile statice ale mesajelor propriu-zise. Entropia este maxim pentru un aspect uniform al literelor oriunde pe mesaj. Pentru a caracteriza sursa mesaj cu un alt alfabet este de interes pentru a compara entropia reală sursă posibil. În acest sens, noțiunea de redundanță de mesaje sursă sau redundanță a alfabetului.
M - numărul de diferite litere din alfabet;
H (X) - entropie medie per literă.
Redundanța istochnikaR arată cât de bine literele folosite în sursa. R. Cu cât este mai mare cantitatea de informații generate de sursa de o literă. Cu toate acestea, nu este întotdeauna necesar să se depună eforturi pentru R = 0. Cu creșterea redundanței crește imunitatea (fiabilitatea) a sursei. Imaginind cantitatea de redundanță este important, deoarece noi trebuie să-l introduceți cu înțelepciune pentru a obține efectul maxim al imunității de zgomot, mai degrabă decât bazându-se pe elementul. De exemplu, redundanța oricărei limbi este de ordinul a 50-70%, adică, în cazul în care toate literele au aceeași probabilitate de utilizare și ar putea utiliza orice combinație de litere, lungimea medie a unui cuvânt ar putea fi redus în mod semnificativ. Cu toate acestea, acordul ar fi mult mai dificil în această înregistrare, în special în prezența unor erori (lector sau student).
Sistemele de comunicații moderne sunt construite fără a se ține cont de limitările limbajului, și, prin urmare, nu sunt suficient de eficiente, deoarece acestea sunt adaptate pentru a transmite în mod egal litere ale alfabetului, care pot urmări reciproc, în orice combinație.
redundanță Colosal inerente în imagini de televiziune: desigur, nu transmite întregul cadru, dar numai informațiile corespunzătoare diferenței dintre un cadru de altul. Acest lucru poate reduce semnificativ necesară (medie) banda de frecvență.
Există două componente de redundanță:
- redundanță din cauza relației statistice dintre literele sunt:
unde H (X) - entropie pentru scrisorile când acestea sunt la fel de probabile și interdependente;
H1 (X) - entropia pentru scrisorile atunci când acestea nu sunt legate statistic și la fel de probabile.
- redundanță datorită distribuției de probabilitate între literele alfabetului:
Dar relațiile dintre elementele statistice ale alfabetului căderii mărită Rc ≈ 0; crescând astfel utilizarea denivelărilor individuale M2 alfabet. și anume RR2 >> RR1; RR2 ≈ ≈ R1 R2.
Dovada că R1 ≈ R2 este după cum urmează:
Din informațiile de proprietate aditivitate aceasta implică faptul că un element al doilea alfabet conține cât mai multe informații este conținut în elementele n primare ale alfabetului. Cantitatea medie de informații pentru fiecare element al primului alfabet - H1; așteptarea la n elemente ale primului alfabet - n · H1 este egală cu un element de informație al doilea H2 alfabet (X) = n · H1.
2. redundanță doilea alfabet
Redundanța Limba se calculează folosind formula:
unde Hmax = log M. și M - numărul de litere din alfabet.
și 0; 1; ... 2 - numărul de scrisori între ele a reprezentat pentru relația.
1. De câte ori mai conține informații de pe pagina de text, pentru un străin, a început să studieze o nouă limbă (de exemplu română) și la un vorbitor nativ?
Răspuns. Pentru o cantitate medie difuzor de informații pentru fiecare literă este definită ca Hyazyka ≈ H30 = 1,35 / biți Bukva. și pentru un străin care cunoaște prost dicționar și ignoră relația dintre o litere H = H0 sau H1. care corespunde
Aceasta este, pe pagina de text pentru un vorbitor nativ conține informații
2. Cât de multe ori lungit textul în documentele de afaceri, în cazul în care redundanța este de 90 ÷ 95%?
Răspuns. Cu această redundanță, entropia per literă este:
În timp ce în scris: H∞ (X) = 0,87 ÷ 1,37 biți / Bukva.
Textul este extins la un moment dat.