Astfel, putem determina cantitatea de informații privind sistemul X, care efectuează sistem de supraveghere direct în spatele X. În practică, se întâmplă adesea ca sistemul X pentru a monitoriza nu este disponibil, iar apoi monitorizează alt sistem Y. cum ar fi - ceva de-a face cu exemplul sistemului H. mai degrabă decât observarea directă a navelor spațiale monitorizează sistemul de semnale transmise de către echipamentul său. Sau ma uit la un meci de fotbal la televizor.
există diferențe care pot fi de două tipuri între X și Y sistem:
1.Razlichiya datorită faptului că unele starea sistemului X nu sunt reflectate în sistemul Y (Y este mai puțin detaliată decât sistemul X).
2.Razlichiya din cauza unor erori: inexactități în parametrii sistemului de măsurare X și erori la trimiterea de mesaje.
De exemplu, în negru - televiziunea alb, culoarea este pierdut; interferență, care denaturează.
Adică, sistemul Y diferă de X. Sistemul se pune întrebarea: cât de multe informații despre sistemul X asigură monitorizarea sistemului Y. Această informație este definită ca o scădere a entropiei X, ca urmare a informațiilor despre Y. sistem
unde H (X) - o entropie a priori la observația, H (X / Y) - entropie reziduală, după primirea informațiilor, - informația totală sau media despre sistemul X. Y. conținute în sistemul
În general, în cazul în care există două sisteme, fiecare sistem în raport cu celălalt cuprinde aceleași informații detaliate. Vom arăta acest lucru:
- Se numește informare reciprocă deplină conținute în sistemele de X și Y.
Să vedem ce se transformă informarea reciprocă deplină, în cazuri extreme, independența totală și sistemele totale de dependență. În cazul în care sistemele X și Y independent, atunci H (Y / X) = H (Y), și = 0. Acest lucru este de înțeles, deoarece este imposibil să se obțină informații despre sistem, în schimb vizionarea un alt sistem, nu în legătură cu ea.
Un alt caz X extremă și Y definesc pe deplin reciproc, adică sunt identice. Apoi, H (X) = H (Y), H (X / Y) = H (Y / X) = 0
Luați în considerare cazul în care există o relație strânsă între X și Y, sunt doar o singură parte: starea unuia dintre sistemele determină complet starea celuilalt, dar nu și invers. Deoarece sistemul de sclavi, în general, nu se poate determina cu exactitate starea celuilalt. Evident, entropia sistemului de sclavi este mai mică decât cea care este supusă, deoarece este mai puțin detaliată. Apoi, completează reciproc de informații conținute în sistemele din care unul este un sclav, sclavul este egală cu entropia sistemului.
Lăsați cele două sisteme X și Y slave este Y. Atunci H (Y / X) = 0. și
Astfel, informația reciprocă total conținut în sistemele de care unul este sclavul, sclavul este entropia sistemului.
Derive o expresie pentru datele nu prin entropia condiționată și entropia prin sistemul combinat și părțile sale individuale de entropie H (X), H (Y).
Ne exprimăm informarea reciprocă deplină asupra probabilității de stări ale sistemului. Pentru a face acest lucru, vom scrie valorile de entropie a sistemelor individuale prin așteptarea:
Astfel, avem o informare reciprocă completă pe un singur sistem X cu ajutorul alt sistem Y. (informații „de la un sistem la altul“). În plus față de informațiile reciprocă completă, există tipuri speciale de informare reciprocă. Expresia (1.12) sub forma
Apoi, a doua sumă și va fi informații private despre X. Sistemul primește printr-un Y. separat evenimentele de sistem
Expresia (1.13) este informații de proprietate „de la eveniment la sistem.“ Apoi, puteți identifica informații private despre xi eveniment. conținute în YJ evenimentului (informații „de la eveniment la eveniment“):