Acum Definim informațiile cuprinse într-un singur ansamblu cu privire la alta, de exemplu, în semnalul primit în raport cu mesajul transmis. Pentru aceasta considerăm un mesaj de două benzi discrete A și B. În general, dependente. Acesta poate fi interpretat ca o pereche de posturi ansambluri sau ca ansambluri de mesaje și semnale, prin care mesajul este transmis, sau ca constelația la intrare și de ieșire a canalului de comunicare, și așa mai departe. D. Fie P (ak, bl) probabilitatea comună a ak și BL. Entropia Cooperativă ansambluri A și B va fi numit:
Introducem de asemenea, conceptul de entropie condiționată:
Din teorema de multiplicare a probabilităților
rezultă că. (10,8)
Pentru condițională entropie adevărată dublă inegalitate:
Luați în considerare două cazuri extreme:
1.Ravenstvo are loc atunci când punerea în aplicare a ști. Puteți fi setat cu precizie de punere în aplicare. Cu alte cuvinte, acesta conține informații complete despre.
2. Un alt caz extrem în cazul în care există, dacă evenimentele și independente. În acest caz, punerea în aplicare a cunoștințelor nu reduce incertitudinea. și anume Acesta nu conține nici o informație despre A.
Informarea reciprocă se măsoară în aceleași unități ca entropia. Valoarea indică cât de multe primim un pic medie de informații cu privire la punerea în aplicare a ansamblului. observând punerea în aplicare a ansamblului.
Să ne formulăm proprietățile de bază ale informației reciproce:
1. Mai mult decât atât, egalitatea are loc dacă și numai dacă și sunt independente unul de celălalt
2. că este, acesta conține cât mai multe informații cu privire. Conține relativ mult. Acest lucru rezultă din simetria expresiei. Prin urmare, putem, de asemenea, scrie:
3. Mai mult decât atât, egalitatea are loc atunci când punerea în aplicare poate fi stabilită cu precizie de punere în aplicare.
4. Mai mult decât atât, egalitatea are loc atunci când punerea în aplicare poate fi stabilită cu precizie de punere în aplicare.
5. Stabilirea și având în vedere că obținem:
Acest lucru ne permite să interpreteze entropia sursa propriei sale informații, adică, informațiile conținute în ansamblul de el însuși.
obține ecuația corespunzătoare pentru entropia și cantitatea de informații care nu se calculează în același mesaj, și pe unitatea de timp. Rata de biți de valoare numită k (sau invers). Să considerăm un exemplu: dacă - ansamblul semnalelor de intrare canal discret, și - semnale de bandă la ieșire, rata de transmisie de date pe canal.
- sursa de performanță a semnalului transmis.
„Capacitatea canalului“, adică, proprietatea deplină a informațiilor cu privire la semnalul primit de pe unitatea de timp.