Entropie informațională
În teoria informației, entropia Shannon sau entropia informațională măsoară incertitudinea asociată cu o variabilă aleatoare. Această măsură indică și cantitatea de informație conținută într-un mesaj, exprimată de obicei în biți
sau în biți pe simbol. Când este exprimată în biți, ea reprezintă
lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica
informația.
Ea mai reprezintă și o limită absolută a celei mai bune compresii
fără pierderi aplicabilă unor date comunicate: tratând un mesaj ca pe o
serie de simboluri, cea mai scurtă reprezentare posibilă a mesajului
are lungimea egală cu entropia Shannon în biți pe simbol înmulțită cu
numărul de simboluri din mesajul original.
O aruncare a monezii are entropia de un bit. Dar, dacă moneda nu este
echilibrată, atunci incertitudinea este mai mică (se știe că există o
probabilitate mai mare ca ea să cadă cu o anume parte a ei în sus), și
astfel entropia Shannon este mai mică. Un șir lung de caractere repetate
au entropia 0, deoarece fiecare caracter este previzibil. Entropia unui
text în limba engleză este de 1,0 până la 1,5 biți pe literă,
. Echivalent, entropia Shannon măsoară media de conținut informațional
pe care receptorul o pierde atunci când nu cunoaște valoarea variabilei
aleatoare.
Conceptul a fost introdus de Claude Shannon în lucrarea sa din 1948 „O teorie matematică a comunicației”.
Definiție
Entropia H a unei variabile discrete X cu valorile {x1, ..., xn} și funcția de probabilitate p :
iar dacă X este continuă, având funcția de distribuție f(x):
unde b este o bază pentru logaritmi, reală și supraunitară (de obicei
2, caz în care unitatea de măsură a informației se numește bit, sau e, caz în care ea se numește nat).
Exemplu
Presupunem evenimentul aruncării unui zar cu 6 fețe. Valorile variabilei X sunt {1,2,3,4,5,6} iar probabilitățile obținerii oricărei valori sunt egale. Entropia este:
.
![H(X) = -\sum_{i=1}^6 {(1/6) \log_2(1/6)}= -{6*(1/6) \log_2(1/6)}=-{log_2(1/6)}= 2.58](http://upload.wikimedia.org/math/c/3/c/c3c23b416a4316db0b3cd875e82a39c9.png)
Pentru o populație discretă cu valorile {1,2,3,4,5,6} cu probabilitățile respectiv {3%,16%,31%,31%,16%,3%} (aproximativ o distribuție binomială cu p=50%) entropia calculată este:
. Incertitudinea s-a diminuat față de exemplul precendent.
![H(X) = -2.2\](http://upload.wikimedia.org/math/e/e/7/ee7e8c6306fceac9032b0373c3001914.png)
Proprietăți
Aditivitate
Logaritmul este folosit în calculul entropiei pentru a pemite adunarea incertitudinii unor variabile independente.
De exemplu, considerând X și Y doua evenimente independente, distribuite uniform, cu
respectiv
posibile rezultate perechea (X,Y) va avea
rezultate echiprobabile
. Entropia perechii (X,Y) se calculează:
![n\,](http://upload.wikimedia.org/math/a/9/5/a957404c96e59f1746f97ab668c8e1f8.png)
![m\,](http://upload.wikimedia.org/math/7/9/d/79dd9720ffa5bbe026e23afc9ab4df3c.png)
![mn\,](http://upload.wikimedia.org/math/c/2/3/c235cd807dc5ef8d043aae17125240d9.png)
![\left\{ x_i y_j : i = 1 , \cdots , n , j = 1 , \cdots , m \right\}](http://upload.wikimedia.org/math/5/a/1/5a15771e101ccb359d933a7187ec8259.png)
Astfel, entropia perechii este egală cu suma entropiei celor două
evenimente luate separat. Proprietatea aditivității implică faptul că
entropia se menține constantă indiferent dacă mulțimea
rezultatelor/procesul este privit ca întreg sau ca sumă a unor
submulțimi / procese.
Schimbarea de bază
Entropia poate fi calculată folosind diferite baze ale logaritmului. Înmulțirea logaritmilor are proprietatea:
.
![\displaystyle \log_a (p) = \log_a (b) * \log_b (p).](http://upload.wikimedia.org/math/7/7/3/7737c14b92bf3b1fa2a08c0fb77b43f2.png)
Entropia calculată in baza
va fi egală cu
inmulțită cu entropia calculată cu logaritm in baza 2.
![a\,](http://upload.wikimedia.org/math/f/5/3/f532fcdb8b9c5c620fefcd59f1d5f869.png)
![\ log_a (2)](http://upload.wikimedia.org/math/7/4/d/74d8ff05929484d3184f25126eb8c146.png)
Continuitate
Entropia este o funcție continuă. Unei modificari infinitezimale a
probabilităților corespunde o modificare asemănătoare a entropiei.
Simetrie
Valoarea entropiei rămâne neschimbată daca se schimbă ordinea variabilelor xi.
etc.
Maximum
Entropia, incertitudinea atinge o valoare maximă dacă evenimentele sunt echiprobabile.
Pentru evenimente independente și echiprobabile entropia crește cu numărul posibil de rezultate.
Niciun comentariu:
Trimiteți un comentariu