Unități didactice: informații de măsurare, unități de măsurare (biți, trits, dits, nates). Modificări alfabetice și informative pentru măsurarea informațiilor. Formula lui Hartley. Formul lui Shannon.
1. Măsurarea informațiilor, a unităților de măsurare (biți, etc.).
2. O abordare cuprinzătoare a măsurării informațiilor. Formula lui Hartley. Formul lui Shannon.
3. Abordarea alfabetică a măsurării informațiilor.
Abordări privind măsurarea informațiilor.
Diferitele puncte de vedere ale informațiilor formează baza numeroaselor (mai mult de o duzină) teorii ale informațiilor care exprimă aspecte individuale ale acestui fenomen complex.
Vom afla dacă prietenul nostru este acasă sau nu. Vor fi obținute informațiile în același timp și care? Este firesc să credem că informațiile vor fi primite: nu au știut până acum, au sunat, au făcut-o, au aflat - au aflat. Aceasta este informația, mai exact: informația este creșterea cunoștințelor.
Următoarea întrebare este: cât de multe informații obținem? Pentru a face acest lucru, conectați volumul de informații primite cu gradul de surpriză. Cu cât mesajul este mai neașteptat, cu atât conține mai multe informații.
Dacă un prieten nu este găsit acasă în timpul programului de lucru, atunci informațiile primite în acest caz nu vor fi minunate. Dar dacă noaptea? Astfel, cantitatea de informații este asociată cu probabilitatea evenimentului: cu cât mai puțin probabil sa produs evenimentul, cu atât mai multe informații conțin mesajul pe care la avut.
Volumul de informații este afectat nu numai de probabilitatea evenimentului, ci și de interesul persoanei care a primit acest mesaj. Estimarea cantității de informații din mesajul pe care "domnul N.N. nu a dormit acasă în seara asta" depinde de cine sunteți - colegul său sau soția sa. În primul caz, informațiile pot părea nesemnificative, în acest din urmă caz informația va avea o importanță imensă.
Măsurarea cantității de informații este asociată consecințelor sale pentru comportamentul uman. Dacă aceste consecințe nu necesită un comportament de măsurare, atunci nu există informații sau prea puține informații. Dar dacă trebuie să fugiți undeva după ce ați primit mesajul, puteți spune cu siguranță că informațiile primite sunt minunate.
Prelucrarea informațiilor de către un calculator permite obținerea la ieșirea lor a ceva care nu a fost alimentat la intrarea unui computer electronic. Dacă trimiteți două numere și o operație de multiplicare la intrarea computerului, atunci datele nu conțin produsul dorit, care va fi rezultatul muncii calculatorului pentru a rezolva sarcina specificată. Prin urmare, putem presupune că computerul generează, adică creează noi informații.
Există și alte idei despre procesul de procesare a informațiilor utilizând un computer personal. Se crede că transformările regulate schimbă doar forma de prezentare a informațiilor, fără a introduce ceva fundamental nou. Ie expresii la intrarea mașinii "2 x 2" și rezultatul "4" sunt tautologiile, identice în esență, înregistrări. Ca urmare a acestei abordări a înțelegerii informațiilor, se dovedește că calculatorul produce informații noi numai atunci când face erori în calcule.
O abordare semnificativă a măsurării informațiilor.
Vom presupune că mesajul este informativ (conține informații non-zero), dacă reumple cunoștințele unei persoane cu ceva nou. Dacă textul este de neînțeles, atunci nu este informativ. Textul este de înțeles dacă este logic legat de cunoștințele anterioare. Prin urmare, mesajul transmite informații NON-DUAL pentru persoana respectivă, dacă informațiile conținute în aceasta sunt noi și ușor de înțeles pentru el.
Unități de informații.
Dacă împărțiți zona necunoscută la jumătate, DVD-ul poate fi mai mare sau mai mic decât marginea. Întrebarea poate fi construită astfel: "DVD deasupra celui de-al patrulea raft?" (sau, care este același "DVD sub raftul al cincilea?"). Pe scurt, prietenul ar trebui să răspundă doar "da" sau doar "nu este prezent". După ce ați primit răspunsul "da", excludeți rafturile 1-4 din căutare. Apoi împărțiți din nou suprafața rămasă în jumătate și întrebați un prieten: "DVD deasupra raftului al șaselea?" După ce am primit răspunsul "nu", aruncăm rafturile 7 și 8 din zona de căutare. Ultima întrebare poate suna astfel: "DVD pe raftul al cincilea?". Veți primi un răspuns "da" sau "nu". Deci, veți ști pe care dintre rafturi se află filmul.
Această metodă de divizare dihotomice (împărțire în două) de fiecare dată când vă obține un răspuns clar, reduce zona de necunoscut (incertitudinea cunoștințelor noastre) de două ori.
Claude Shannon a propus termenul "bit". combinând două cuvinte în limba engleză: digi tual bi. El a sugerat că mesajul, care reduce incertitudinea cunoștințelor noastre despre ceva de două ori, poartă un pic de informație. Incertitudinea cunoștințelor despre un eveniment este numărul de posibile rezultate ale unui eveniment (aruncarea unui zar, a monedelor, tragerea la sorți, tragerea la o țintă etc.).
Exemple: Înainte de incertitudine moneda se clatina de cunoștințe despre rezultatul (care parte cade pe podea) este egal cu 2. La aruncarea tetraedru (piramida tetraedrică din triunghiuri echilaterale) incertitudinea de cunoștințe despre rezultatul este 4. Dacă aruncarea de incertitudine de cunoștințe de zaruri este egal cu 6.
Calculul cantității de informații pentru evenimente echivalente.
Mesajul că un eveniment a avut loc de la două persoane echiprobabile poartă 1 biți de informații. Mesajul că un eveniment a avut loc din patru evenimente echiprobabile poartă 2 biți de informații. De unde provin aceste cantități?
Cantitatea de informații i. conținută în mesajul în care a apărut unul dintre evenimentele equiprobabile N, se determină din soluția ecuației exponențiale (formula lui Hartley) 2 i = N unde i = 0, 1, 2.
Soluția acestei ecuații arată ca i = log2 N
Tabel rezumativ de calcul al cantității de informații pentru evenimente echivalente
Se poate observa din tabel că, atunci când numărul de posibile rezultate ale evenimentelor este egal cu puterea totală a două, ecuația exponențială este rezolvată în minte. Dacă numărul de rezultate posibile ale evenimentelor nu este egal cu puterea totală de două, atunci trebuie să folosim tabelul de logaritmi. Cei care au un calculator cu o foaie de calcul instalată pe acesta (de exemplu, Microsoft Excel sau OpenOffice.org Calc), puteți utiliza funcția încorporată de calculare a logaritmilor. Animația de mai jos arată modul în care puteți calcula logaritmul numărului 6 de pe baza 2 prin introducerea manuală a datelor în lista de cărți electronice.
Probabilitate și informații.
Se crede, în general, că un bit este cantitatea de informații care reduce incertitudinea cunoștințelor de 2 ori. Dacă există evenimente N equiprobable, atunci cantitatea de informație i2 în biți poate fi calculată din formula Hartley i2 = log2N. Dar cantitatea de informații este uneori măsurată prin alte valori. Puteți apela unitatea de informații cu suma de 1 trit. dacă un eveniment este realizat din trei evenimente echiprobabile. În acest caz, este necesar să se rezolve ecuația exponențială i = logsN. 1 dit este cantitatea de informații care reduce incertitudinea cunoștințelor cu un factor de 10; i10 = lgN. 1 nat - cantitatea de informații, calculată prin ecuația ie = lnN. de gradul de bază e 2,718281828459045. logaritmul natural.
Calculul cantității de informații pentru evenimentele cu probabilități diferite.
Dacă evenimentele au probabilități diferite, atunci formula Shannon, care are forma:
unde Pi este probabilitatea ca al doilea mesaj i să fie alocat în setul de mesaje N. Dacă probabilitățile P1. P2. P3. Pn-1. Pn sunt egale, apoi fiecare dintre ele este egal cu 1 / N și formula Shannon se transformă în formula Hartley.
Luați în considerare două exemple
Exemplul 1. Sinbad marinarul printre cei 10 comercianți pluteste în țările îndepărtate pe o navă cu o echipă de 40 de persoane. Nava a fost prinsă de pirați, a jefuit încărcătura și a împărțit hainele captivilor. Au fost aduși pe piață pentru sclavi spre vânzare de către bucătării. Licitația tocmai a început. Care este probabilitatea ca pirații să vândă sclavi ai fostului marinar pe piață? Este probabilitatea ca piratii să vândă la bucătăria fostului comerciant? Care este probabilitatea de a vinde Sindbad în bucătării?
Indicați probabilitatea (în limba engleză probabilitatea) vânzării fostului comerciant pm. dar probabilitatea de a vinde un fost marinar este ps. Apoi pm = 10/50 = 0,2 și ps = 40/50 = 0,8. pm / ps = 1 / 4. Prin urmare, probabilitatea de a vinde un fost comerciant este de 4 ori mai mică decât probabilitatea de a vinde un fost marinar.
Toate vânzările posibile de 50 de captivi vor fi apoi 0.2 + 0.8 = 1. Prin urmare, deoarece Sindab este unul dintre cei 50 de captivi, probabilitatea ca acesta să fie vândut la bucătării este de 1/50.
Exemplul 2: În domeniul 3/9, 3/10 recensământul de stat efectuate în timpul domniei lui Ieremia, a arătat că oamenii de rând, de ambele sexe, moșii contribuabile acasă la 70 000 de militari 8000, și persoane de rang nobil - 2 000 Regele Ieremia Pentru neascultarea voinței tatălui său, ia poruncit fiicei sale Prințesa Nesmeyana să i se dea prima soție căsătorită. Care este probabilitatea ca Nesmeyany să devină soția unui om obișnuit, fie un militar, fie un nobil?
Din primul exemplu, se poate ghici că probabilitatea de a se căsători cu un reprezentant al unuia dintre proprietăți este egală cu ponderea acestei proprietăți în întreaga populație a statului regat. Indicați probabilitatea ca prințesa Nesmeyany să se căsătorească cu o persoană obișnuită ca ps. pentru militari - pw. pentru un nobil - pc. Populația este de 80.000 de persoane. Apoi, probabilitatea ca Nesmeyana să se căsătorească
obișnuit ps = 70 000/80 000 = 7/8 = 0,875
militare pw = 8.000 / 80.000 = 1/10 = 0.1
nobilul pc = 2 000/80 000 = 2/80 = 1/40 = 0,025
0,875 + 0,1 + 0,025 = 1
Din aceste exemple putem concluziona că dacă N - este numărul total de rezultate posibile ale unui proces (trăgând din lume, care primesc o marcă, pescuit), de care suntem interesați de eveniment (trăgând dintr-o minge alb, obtinerea de cinci, a lovit peștișorul auriu) poate avea loc i ori, probabilitatea este exprimată în fracțiuni ale uneia. În cazul particular, probabilitatea unui eveniment fiabil este 1 (din 50 de bile albe se extrage o bilă albă); Probabilitatea unui eveniment imposibil este zero (din 50 de bile albe se scoate o minge neagră).
Relația calitativă dintre probabilitatea unui eveniment și cantitatea de informații dintr-un mesaj despre acest eveniment poate fi exprimată după cum urmează: cu cât este mai mică probabilitatea unui eveniment, cu atât mai multe informații conțin un mesaj despre acest eveniment.
Percepția perceptivă a informațiilor. Pentru cei care nu știu cât de mulți oameni trăiesc în moșiile regat-stat, un mesaj pe care prințesa Nesmeyana sa căsătorit cu un nobil, va conține mai puține informații decât mesajul pe care prințesa a fost căsătorită cu un fierar. Ultimul mesaj va fi o senzație.
Percepția perceptivă a informațiilor. Pentru cei care știu câți oameni și ce rang era pe vasul confiscat, mesajul că soldatul este vândut bucătăriilor este mai informativ decât mesajul că un soldat-sclav a fost vândut bucătăriilor. Relația dintre probabilitatea evenimentului (P) și cantitatea de informații într-un mesaj cu privire la aceasta (i) este dată de: i = log2 (1 / P).
Din tabelul de mai sus este clar că incertitudinea cunoștințelor despre rezultatul N și probabilitatea evenimentului P sunt valori reciproce, adică N = 1 / P. P = 1 / N. Apoi i = log2 (1 / P) = log2N. Relațiile stabilite permit calcularea cantității de informații despre un eveniment, pe baza probabilității sale.
In exemplul 1, despre Sindbada Sailor calcula cantitatea de informație din mesajul care este vândut bucătăriile deturnat bo'sun o navă, iar apoi că galere vândute de aceeași navă comerciant. Probabilitate vânzare marinare ps = 4/5 = 0,8, iar probabilitatea fostei pm vânzare comerciant = 1/5 = 0,2. Conform formulei pentru cazul boatswain (marinar) au este = log2 (1 / Ps) = log2 (1 / 0,8) = log2 (10/8) = log2 (1,25) ≈0,321928095. biți, iar pentru cazul cu comerciantul au im = log2 (1 / Pm) = log2 (1 / 0,2) = log2 (10/2) = log2 5≈2,321928095. biți.
Raspuns: Mesajul ca vapoarele vandute de catre nava Sinbad sunt vândute pe piata sclavilor este de aproximativ 0,32 biți de informatie si ca Sindbad navigatorul este vandut de aproximativ 2,32 biți.
În exemplul 2, despre o prințesă Nesmeyanov cantitate de informații în mesaje care Nesmeyana sa căsătorit cu un om de rând, fie pentru militare sau pentru un nobil, cititorul este invitat să calculeze propria lor, folosind foi de calcul.
BAY "HAYKA BABAIKA"
În județul Qaiiim KAABBA populat de case în fiecare seară Bookworm locală ABAC Baybakov trimis la taverna. unde el ascultă și scrie pe un sul de pergament biciclete „Hayk BABAYKA“. care cântă un rătăcitor povestitorul-runopevets Abay bogeyman. Această poveste spune povestea drumeții nocturne glorioase legendarul războinic Aiki Babayki în casele oamenilor, victoria uimitoare asupra cubs umane, un înspăimîntătoare copii somnoros de sub masă în timp ce de uscare jambiere sale militare și footcloths bateria de încălzire cu abur. ABAYKA adverb. pe care a fost scris negresele epic, foloseste 4 litere (A, B, J, K), un spațiu pentru a separa cuvinte și punctuație - punct. Brownies lingviștii contorizate în epice 10.000 de cuvinte.
Ei au stabilit că, la fel ca în limbile fiii lui Adam, literele alfabetului ABAYKA apar în text la diferite frecvențe.
În școlile lor din lecțiile de informatică, profesorii de case necesită gospodării tinere să afle cât de multe informații există în bicicleta "Hayk Babayka".
soluţie:
Deoarece volumul cărții este suficient de mare, se poate presupune că frecvența calculată a apariției în textul fiecărui simbol al alfabetului este tipică pentru orice text din limbajul ABAICA. Se calculează frecvența apariției fiecărui simbol în întregul text al cărții (probabilitatea) și greutățile informaționale ale simbolurilor:
Frecvența apariției
(probabilitatea întâlnirii unui simbol)
Greutatea de informații a simbolului i. pic
Volumul total al informațiilor în carte calculate ca suma produselor ponderilor de informare pentru fiecare simbol de numărul de repetiții ale acestui simbol în registru i = Ia • vA + Ib • Nb + iy • ny + Ik • nCodul + iprobel • nprobel + i • • n • = 1, 321928 • 4000 + 3,19281 • 1000 + 2,3219282 • 1000 + 2,736966 • 1500 + 3,321928 • 1000 + 4,321928 • 22841.84 = 500 biți
Unități de informații derivate dintr-un bit și un octet.
Așa cum am văzut deja în subiectul 2, cu ajutorul primului octet (8 biți), 256 caractere diferite pot fi codificate. Conceptul de octet sa schimbat cu timpul. Mai întâi, octetul a fost egalat cu 5 biți, apoi cu 6 biți. În final, octetul a fost egal cu 8 biți. După cum știm deja, un octet codifică un caracter în textul stocat în memoria calculatorului. 2 8 = 256 litere diferite sunt conținute în alfabetul tabelului de coduri ASCII. Cu o codare de două octeți, numită Unicode, puteți codifica 2 8 + 8 = 256 2 = 65 536 de caractere. Unicode poate să conțină toate alfabetele limbajelor naturale și oficiale existente și existente pe Pământ.
Pe computerele moderne, puteți salva atât de multe informații care încearcă să-și exprime conținutul cu un pic sau octet vor fi similare cu măsurarea distanței de la Perm la Moscova folosind conducătorul școlii. Și oamenii au convenit asupra modului în care trebuie să se țină seama de volumul de informații mai mare decât de octeți.
1 kb = 1 Kb (1 Kb) = 10 februarie octeți = 1024 octeți 1 megabyte = 1 Mb (1 Mb) = 20 februarie octeți = 2 10 Kb = 1024K 1 Gigabyte = 1 GB (1 Gb) = Februarie 30 octeți = 2 20 KB = 2 până la 10 MB = 1024 MB 1 terabytes (1 Tb) = 2 40 octeți = 2 30 kB = 2 20 MB = 2 10 GB = 1024 GB 1 Petabytes (Pb) = 2 50 octeți = 2 40 octeți = 2 MB = 2 30 20GB = 2 10TB Tb 1 = 1024 Exabyte (Pb) = 2 60 = 2 50 octeți = 2 KB = 2 MB 40 30 GB = 20 TB luna februarie = 10 februarie 1024 PB = Pb