Formula Hartley. informaţii kolichetvo
Încercările de a măsura cantitativ informații făcute în mod repetat. Primele propuneri distincte pentru căi comune de măsurare a cantității de informații au fost făcute de către Fisher (1921), în procesul de soluționare a problemelor statisticii matematice. Probleme de stocare a informațiilor, transmiterea acestuia prin intermediul canalelor de comunicare și determinarea numărului de sarcini implicate în informații R. Hartley (1928) și Nyquist X. (1924). R. Hartley a pus bazele teoriei informației, definirea măsură a cantității de informații pentru anumite sarcini. Cea mai convingătoare dintre aceste întrebări au fost proiectate și sintetizate de către inginerul american Claude Shannon în 1948. Din acel moment a început dezvoltarea rapidă a teoriei informației în general, și în profunzime studiu privind măsurarea cantității sale, în special.
Pentru a aplica instrumente matematice pentru a studia informațiile necesare pentru a distrage atenția de la sensul, informații despre conținut. Această abordare a fost menționată noi comune pentru cercetători ca matematica pură operează cu relații cantitative, fără a intra în natura fizică a obiectelor, pentru care raportul de cost. De exemplu, în cazul în care suma celor două numere sunt 5 și 10, va fi la fel de valabil pentru toate obiectele definite de aceste numere. Prin urmare, în cazul în care semnificația mesajelor emasculat, punctul de plecare pentru evaluarea evenimentului de informații este doar o mulțime de diferite evenimente din ele și, respectiv, a mesajelor lor.
Să presupunem că suntem interesați în următoarele informații despre starea unor obiecte: în care dintre cele patru stări posibile (solide, lichide, gazoase, plasmă) este o substanță? care dintre cele patru cursuri de învățare student la colegiu?
In toate aceste cazuri, există o incertitudine ne interesează evenimentul, care se caracterizează prin prezența selectarea unuia dintre cele patru posibilități. În cazul în care răspunsurile la întrebările în afară de sensul lor, atât răspunsul va transporta aceeași cantitate de informații. deoarece fiecare dintre ele este una dintre cele patru stări posibile ale obiectului și, prin urmare, are aceleași posturi de incertitudine.
Incertitudinea este inseparabilă de conceptul de probabilitate. Reducerea incertitudinii este întotdeauna asociat cu selecția (selecție) a unuia sau mai multor elemente (alternative) dintr-o multitudine de ele. O astfel de reversibilitate reciprocă a conceptelor de probabilitate și incertitudine a fost baza pentru utilizarea conceptului de probabilitate în măsurarea gradului de incertitudine în teoria informației. Presupunând că oricare dintre cele patru răspunsuri la întrebările la fel de probabile, atunci probabilitatea sa în toate aspectele este de 1/4. La fel de răspunsuri probabile în acest exemplu, determină o egală și incertitudine, un răspuns de eliberare pentru fiecare dintre cele două întrebări, și, prin urmare, fiecare răspuns poartă aceleași informații.
Acum vom încerca să compare următoarele două întrebări: care dintre cele patru cursuri de învățare student la colegiu? Cum să renunțe la banul la: în sus „stema“ sau „număr“? În primul caz, există patru la fel de a răspunde, în al doilea - doi. În consecință, probabilitatea unui răspuns în al doilea caz decât în primul (1/2> 1/4), în timp ce răspunsurile detașabile incertitudine mai mult decât în primul caz. Oricare dintre răspunsurile posibile la prima întrebare are o incertitudine mai mare decât orice răspuns la a doua întrebare. Deci, răspunsul la prima întrebare poartă mai multe informații! Prin urmare, mai mică probabilitatea unui eveniment, cu atât mai mare incertitudinea elimină un mesaj despre aspectul său și, prin urmare, cu atât mai informațiile pe care le poartă.
Să presupunem că un eveniment are m în mod egal rezultate probabile. Un astfel de eveniment poate fi, de exemplu, apariția oricărui caracter din alfabet, astfel de simboluri care cuprinde m. Cum se măsoară cantitatea de informații care pot fi transmise prin intermediul alfabetului? Acest lucru se poate face prin determinarea numărului N de posibile mesaje care pot fi transmise folosind acest alfabet. Dacă mesajul este format dintr-un caracter, apoi N = m. Dacă doi, atunci N = m · m = m 2. Dacă mesajul conține n simboluri (n - lungimea mesajului), apoi N = mn. S-ar părea că cantitatea necesară de măsură informațiile găsite. Acesta poate fi înțeleasă ca o măsură a incertitudinii cu privire la rezultatul experienței, în cazul în care prin experiența implică selectarea aleatorie a unei comunicări de la un număr de. Cu toate acestea, această măsură nu este foarte convenabil. În prezența alfabetului constând dintr-un simbol, adică în cazul în care m = 1, este posibil să primiți numai simbolul. În consecință, incertitudinea în acest caz nu există, iar apariția acestui simbol nu poartă nici o informație. Intre timp, N valoare atunci când m = 1 nu zero. Pentru două surse independente de mesaje (sau litere) cu N1 și N2 numărul de mesaje posibile Numărul total de mesaje posibile N = N 1 N 2, în timp ce ar fi logic să se presupună că cantitatea de informații derivate din două surse independente, nu ar trebui să fie produsul și suma valorilor.
Calea de ieșire a fost găsit de către R. Hartley, care a oferit informații I. pot fi atribuite unui singur mesaj, determină logaritmul din numărul total N de mesaje posibile:
Dacă dintr-o multitudine de mesaje posibile constă dintr-un singur (N = m = 1), atunci I (N) = log 1 = 0, ceea ce corespunde absenței informațiilor în acest caz. În prezența unor surse independente de informații N 1 și N 2 numărul de mesaje posibile
I (N) = log N = log N 1 N 2 = log N 1 + log N 2,
și anume de informații cu privire la un singur mesaj, este egală cu suma cantități de informații care vor fi obținute din două surse independente, luate în afară. Formula propusă de Hartley, îndeplinește specificațiile necesare. Prin urmare, acesta poate fi utilizat pentru a măsura cantitatea de informații.
În cazul în care posibilitatea apariției oricărui caracter din alfabet este la fel de probabil (și am presupus totuși că acesta este cazul), atunci probabilitatea p = 1 / m. Presupunând că N = m,
și anume cantitatea de informații pentru fiecare semnal echiprobabile este de minus logaritmul probabilitatea unui semnal separat.
Această formulă ne permite identificarea unor cazuri de informații. Cu toate acestea, în scopuri practice, este necesar să se ceară unității sale. Pentru aceasta presupunem că informația - este de a elimina incertitudinea. Apoi, în cel mai simplu caz, intervalul de incertitudine va fi între cele două mesaje echiprobabile reciproc exclusive reciproc, de exemplu, între două caracteristici calitative: impulsuri pozitive și negative, un puls și o pauză, etc. Cantitatea de informații transmise în cel mai simplu caz, cel mai convenabil să ia cantitatea pe unitatea de informații. Este atât de multe informații pot fi obținute prin aplicarea formulei (2) și să ia logaritmul în baza 2. Apoi,
I = - log2 p = - log2 1/2 = log2 2 = 1.
Unitatea rezultată este cantitatea de informații, care este o alegere a două evenimente la fel de probabil, numit unul binar, sau biți. Numele este format din litere doi biți inițiale și ultima zi a expresiei engleză digi binar t. ceea ce înseamnă că unul binar. Biți nu este numai unitatea de cantitatea de informații, și o unitate de incertitudine de măsurare. În acest caz, se referă la incertitudinea care este conținută într-un singur experiment, care are două rezultate la fel de probabile.
Pe cantitatea de informații primite din mesajul afectează factorul surpriză la destinatar, care depinde de probabilitatea ca un anumit mesaj. Mai mici probabilitatea, mesajul mai neașteptat și astfel mai informativ. Mesaj, din care probabilitatea este mare și, în consecință, gradul scăzut de surpriză, are puține informații.
R. Hartley a dat seama că mesajele au diferite probabilități și, prin urmare, o surpriză destinatarului apariției lor variază. Cu toate acestea, determinarea cantității de informații a fost încercarea de a elimina complet factorul de „surprize“. Prin urmare, Hartley formulă pentru a determina cantitatea de informații în raport numai pentru cazul în care apariția caracterelor cu probabilitate egală și ele sunt independente statistic. În practică, aceste condiții sunt rare. Pentru a determina cantitatea de informații necesare pentru a lua în considerare nu numai varietatea de mesaje care pot fi obținute de la sursa, dar, de asemenea, probabilitatea de primire a acestora.