Entropiya (informasiya nəzəriyyəsi)
İnformasiya nəzəriyyəsində entropiya təsadüfi dəyişənin mümkün vəziyyətləri və ya nəticələri ilə əlaqəli orta qeyri-müəyyənlik səviyyəsini və ya informasiya miqdarını ifadə edir. Bu kəmiyyət bütün mümkün vəziyyətlərin ehtimal paylanmasını nəzərə alaraq dəyişənin vəziyyətini təsvir etmək üçün tələb olunan gözlənilən informasiya miqdarını ölçür. çoxluğunun istənilən elementi ola bilən və paylanmasına malik diskret təsadüfi dəyişən üçün entropiya belə müəyyən edilir:
burada dəyişənin mümkün qiymətləri üzrə cəmi ifadə edir.[Note 1] Loqarifmin əsasının seçimi tətbiq sahəsindən asılı olaraq dəyişir. Əsas 2 olduqda informasiya vahidi bit (və ya şennon) olur; əsas e olduqda “natural vahidlər”dən — natdan, əsas 10 olduqda isə “dit”, “ban” və ya hartli vahidlərindən istifadə edilir. Entropiyanın ekvivalent tərifi onu dəyişənin özüninformasiyasının riyazi gözləməsi kimi ifadə edir.[1]
İnformasiya entropiyası anlayışı Klod Şennon tərəfindən 1948-ci ildə dərc edilmiş “A Mathematical Theory of Communication” adlı məqaləsində irəli sürülmüşdür.[2][3] Bu anlayış “Şennon entropiyası” da adlanır. Şennon nəzəriyyəsi üç elementdən ibarət verilənlərin ötürülməsi sistemini müəyyən edir: məlumat mənbəyi, rabitə kanalı və qəbuledici. Şennonun ifadə etdiyi kimi, rabitənin əsas problemi qəbuledicinin kanal vasitəsilə aldığı siqnala əsasən mənbənin hansı məlumatı yaratdığını müəyyən edə bilməsidir.[2][3] Şennon məlumat mənbəyindən gələn mesajların kodlaşdırılması, sıxılması və ötürülməsinin müxtəlif üsullarını araşdırmış, mənbənin kodlaşdırılması teoremi vasitəsilə entropiyanın mənbədən alınan məlumatların tamamilə küysüz kanalda itkisiz sıxılmasının mümkünlüyünə qoyulan mütləq riyazi həddi ifadə etdiyini sübut etmişdir. Şennon bu nəticəni küylü kanalın kodlaşdırılması teoremi ilə küylü kanallar üçün əhəmiyyətli dərəcədə genişləndirmişdir.
İnformasiya nəzəriyyəsindəki entropiya statistik termodinamikada istifadə olunan entropiya ilə birbaşa analoji əlaqəyə malikdir. Təsadüfi dəyişənin qiymətləri mikrovəziyyətlərin enerjilərini ifadə etdikdə bu analogiya yaranır. Belə halda Gibbsin entropiya düsturu formal olaraq Şennonun düsturu ilə eyni olur. Entropiya kombinatorika və maşınla öyrənmə kimi digər riyaziyyat sahələri üçün də əhəmiyyətlidir. Bu anlayış entropiyanın dəyişənin orta nəticəsinin nə dərəcədə informasiya daşıdığını ölçməli olduğunu müəyyən edən aksiomlar toplusundan çıxarıla bilər. Kəsilməz təsadüfi dəyişən üçün diferensial entropiya entropiyaya analoji anlayışdır. tərifi yuxarıdakı anlayışı ümumiləşdirir.
Giriş
[redaktə | vikimətni redaktə et]İnformasiya nəzəriyyəsinin əsas ideyası ondan ibarətdir ki, ötürülən mesajın “informasiya dəyəri” onun məzmununun nə dərəcədə təəccüblü olmasından asılıdır. Ehtimalı yüksək olan hadisə baş verdikdə mesaj çox az informasiya daşıyır. Əksinə, ehtimalı çox aşağı olan hadisə baş verdikdə mesaj daha informativ olur. Məsələn, lotereyada müəyyən bir nömrənin qalib gəlməyəcəyini bilmək çox az informasiya verir, çünki seçilmiş istənilən nömrənin uduş əldə etməməsi demək olar ki, qaçılmazdır. Lakin konkret bir nömrənin qalib gələcəyini bilmək yüksək informasiya dəyərinə malikdir, çünki bu, başvermə ehtimalı çox aşağı olan hadisənin reallaşdığını bildirir.
Hadisənin informasiya məzmunu, həmçinin təəccüblülük və ya özüninformasiya adlandırılan kəmiyyət, hadisənin ehtimalı azaldıqca artan funksiyadır. 1-ə yaxın olduqda hadisənin təəccüblülüyü az, 0-a yaxın olduqda isə yüksək olur. Bu əlaqə aşağıdakı funksiya ilə ifadə edilir:
burada loqarifmdir. Hadisənin başvermə ehtimalı 1 olduqda bu funksiya sıfır təəccüblülük verir.[4] Əslində, log Xarakteristika bölməsində müəyyən edilən xüsusi şərtlər toplusunu ödəyən yeganə funksiyadır.
Beləliklə, hadisəsinin informasiya məzmununu və ya təəccüblülüyünü belə müəyyən edə bilərik:
və ya ekvivalent olaraq,
Entropiya təsadüfi sınağın nəticəsinin müəyyənləşdirilməsi ilə əldə edilən gözlənilən, yəni orta informasiya miqdarını ölçür.[5]: Bu o deməkdir ki, zər atıldıqda əldə edilən nəticənin entropiyası sikkə atıldıqda əldə edilən nəticənin entropiyasından yüksəkdir. Çünki zərin bir atılışında hər bir nəticənin ehtimalı () sikkə atılışında hər bir nəticənin ehtimalından () aşağıdır.
Gerb tərəfinin düşmə ehtimalı p, rəqəm tərəfinin düşmə ehtimalı isə 1 − p olan sikkəni nəzərdən keçirək. Ən yüksək təəccüblülük p = 1/2 olduqda yaranır; bu halda nəticələrdən heç biri digərindən daha ehtimallı deyil. Belə sikkə atılışının entropiyası bir bitə bərabərdir. Eyni qaydada, ehtimalları bərabər olan üç qiymətli sistemin bir triti (təxminən 1,58496) bit informasiya daşıyır, çünki üç mümkün qiymətdən biri alına bilər. Ən aşağı təəccüblülük p = 0 (qeyri-mümkünlük) və ya p = 1 (mütləq əminlik) olduqda yaranır və entropiya sıfır bitə bərabər olur. Entropiya sıfır olduqda heç bir qeyri-müəyyənlik, seçim azadlığı və ya informasiya mövcud deyil.[6] p-nin digər qiymətləri sıfır ilə bir bit arasında entropiya yaradır.
Nümunə
[redaktə | vikimətni redaktə et]İnformasiya nəzəriyyəsi mesajın ötürülməsi üçün tələb olunan ən kiçik informasiya miqdarını, məsələn, verilənlərin sıxılması zamanı hesablamağa imkan verir. İkilik kanal vasitəsilə “A”, “B”, “C” və “D” simvollarından ibarət ardıcıllığın ötürülməsini nəzərdən keçirək. Dörd hərfin hamısının seçilmə ehtimalı bərabərdirsə (25%), hər hərfi kodlaşdırmaq üçün iki bitdən daha səmərəli üsul yoxdur. Məsələn, “A” simvolu “00”, “B” “01”, “C” “10”, “D” isə “11” kimi kodlaşdırıla bilər. Lakin hərflərin ehtimalları fərqlidirsə — məsələn, “A” 70%, “B” 26%, “C” və “D” isə hər biri 2% ehtimalla baş verirsə — dəyişən uzunluqlu kodlardan istifadə etmək mümkündür. Bu halda “A” “0”, “B” “10”, “C” “110”, “D” isə “111” kimi kodlaşdırıla bilər. Belə təqdimatda halların 70%-də yalnız bir bit, 26%-də iki bit, cəmi 4%-də isə üç bit göndərmək tələb olunur. “A” və “B” simvollarının ümumilikdə bütün simvolların 96%-ni təşkil etməsi səbəbindən entropiya daha aşağı olur və orta hesabla iki bitdən az informasiya kifayət edir. Ehtimallarla çəkiləndirilmiş loqarifmik ehtimalların cəmi bu təsiri ölçür və əks etdirir.
Simvollar ardıcıllığı kimi nəzərdən keçirilən ingilis mətninin entropiyası nisbətən aşağıdır, yəni mətn kifayət qədər proqnozlaşdırılandır. Məsələn, “e” hərfinin “z” hərfindən xeyli tez-tez işlənəcəyini, “qu” birləşməsinin “q” hərfi ilə başlayan digər birləşmələrdən daha çox rast gəlinəcəyini, “th” birləşməsinin isə “z”, “q” və ya “qu” ilə müqayisədə daha çox işlənəcəyini təxmin etmək mümkündür. İlk bir neçə hərfdən sonra sözün qalan hissəsini çox vaxt təxmin etmək olar. İngilis mətnində hər simvola düşən entropiya 0,6–1,3 bit arasındadır.[7]:
Tərif
[redaktə | vikimətni redaktə et]Boltsmanın Η-teoreminin adını daşıyan entropiya anlayışından istifadə edərək, Şennon çoxluğunda qiymətlər alan və paylanmasına malik diskret təsadüfi dəyişən üçün entropiyanı Η (yunan əlifbasının böyük eta hərfi) kimi müəyyən etmişdir. Burada :
Burada riyazi gözləmə operatoru, I isə X dəyişəninin informasiya məzmunudur.[8]:[9]:
özü də təsadüfi dəyişəndir.
Entropiyanı açıq şəkildə aşağıdakı kimi yazmaq olar:
burada b istifadə edilən loqarifmin əsasını göstərir. Ən çox istifadə olunan əsaslar 2, Eyler ədədi e və 10-dur. Bunlara uyğun entropiya vahidləri müvafiq olaraq b = 2 üçün bit, b = e üçün nat və b = 10 üçün bandır.
Bəzi üçün olduqda, cəmdəki müvafiq ifadəsinin qiyməti 0 qəbul edilir. Bu, aşağıdakı hədlə uyğundur:[10]:
və çoxluqlarından müvafiq olaraq qiymətlər alan və dəyişənlərinin şərti entropiyasını da aşağıdakı kimi müəyyən etmək olar:[10]:
burada və . Bu kəmiyyət təsadüfi dəyişəni məlum olduqda təsadüfi dəyişənində qalan qeyri-müəyyənlik kimi başa düşülməlidir.
Ölçü nəzəriyyəsi
[redaktə | vikimətni redaktə et]Entropiyanı ölçü nəzəriyyəsinin dili ilə formal şəkildə belə müəyyən etmək olar:[11] bir ehtimal fəzası olsun. isə bir hadisə olsun. hadisəsinin təəccüblülük kəmiyyəti belədir:
hadisəsinin gözlənilən təəccüblülüyü belə müəyyən edilir:
-ya görə demək olar ki, tam parçalanma, olan və şərtini, eləcə də -dəki fərqli elementləri üçün şərtini ödəyən çoxluqlar ailəsidir. Bu, parçalanma üçün adi şərtlərin yumşaldılmış formasıdır. parçalanmasının entropiyası belədir:
, üzərində siqma-cəbr olsun. -in entropiyası belə müəyyən edilir:
Nəhayət, ehtimal fəzasının entropiyası -ya bərabərdir. Başqa sözlə, bu, ölçüsünə görə -in ölçülə bilən bütün alt çoxluqlarından ibarət siqma-cəbrin entropiyasıdır.
Nümunə
[redaktə | vikimətni redaktə et]
Gerb və rəqəm tərəflərinin düşmə ehtimalları məlum olan, lakin mütləq bərabər olmayan sikkənin atılmasını nəzərdən keçirək. Bu hadisəni Bernulli prosesi kimi modelləşdirmək olar.
Sikkənin növbəti atılışının naməlum nəticəsinin entropiyası sikkə ədalətli olduqda, yəni gerb və rəqəm tərəflərinin hər birinin düşmə ehtimalı 1/2 olduqda maksimum olur. Bu, qeyri-müəyyənliyin ən yüksək olduğu vəziyyətdir, çünki növbəti atılışın nəticəsini proqnozlaşdırmaq ən çətindir. Sikkənin hər atılışı bir tam bit informasiya verir. Bunun səbəbi aşağıdakı hesablamadır:
Lakin sikkənin ədalətli olmadığını və gerb və rəqəm tərəflərinin düşmə ehtimallarının müvafiq olaraq p və q olduğunu, burada p ≠ q şərtinin ödəndiyini biliriksə, qeyri-müəyyənlik azalır. Hər atılışda tərəflərdən birinin düşmə ehtimalı digərindən daha yüksək olur. Azalmış qeyri-müəyyənlik daha aşağı entropiya ilə ifadə edilir: orta hesabla hər atılış bir tam bitdən az informasiya verir. Məsələn, p = 0,7 olduqda:
Ehtimalların bərabər paylanması maksimum qeyri-müəyyənlik və buna görə də maksimum entropiya yaradır. Deməli, entropiya yalnız bərabər ehtimallı paylanmaya uyğun qiymətdən azala bilər. Bunun son həddi yalnız gerb tərəfi olan və heç vaxt rəqəm tərəfi düşməyən, yaxud yalnız rəqəm tərəfi olan və heç vaxt gerb tərəfi düşməyən sikkədir. Bu halda qeyri-müəyyənlik yoxdur. Entropiya sıfırdır: hər atılış yeni informasiya vermir, çünki nəticə həmişə əvvəlcədən məlumdur.[10]:
Xarakteristika
[redaktə | vikimətni redaktə et]−Σ pi log(pi) ifadəsinin mənasını anlamaq üçün əvvəlcə ehtimalı pi olan i hadisəsi üçün I informasiya funksiyasını müəyyən edək. i hadisəsinin müşahidəsi nəticəsində əldə edilən informasiya miqdarı informasiyanın fundamental xassələrinə dair Şennonun həllindən irəli gəlir:[12]
- I(p) funksiyası p artdıqca monoton olaraq azalır: hadisənin ehtimalı artdıqda onun müşahidəsindən əldə edilən informasiya azalır, əksinə, ehtimal azaldıqda informasiya artır.
- I(1) = 0: həmişə baş verən hadisələr informasiya vermir.
- I(p1·p2) = I(p1) + I(p2): müstəqil hadisələrdən əldə edilən informasiya hər bir hadisədən ayrıca əldə olunan informasiyaların cəminə bərabərdir.
- I(p) funksiyası p dəyişəninin iki dəfə fasiləsiz diferensiallanan funksiyasıdır.
İki müstəqil hadisədən birincisinin n bərabər ehtimallı nəticəsindən biri, digərinin isə m bərabər ehtimallı nəticəsindən biri əldə edilə bilərsə, bu iki hadisənin birgə nəticələri mn bərabər ehtimallı nəticədən ibarət olacaq. Birinci qiyməti kodlaşdırmaq üçün log2(n) bit, ikinci qiyməti kodlaşdırmaq üçün isə log2(m) bit tələb olunursa, hər ikisini kodlaşdırmaq üçün
qədər bit lazımdır.
Şennon göstərmişdir ki, uyğun informasiya funksiyası aşağıdakı kimi müəyyən edilə bilər:[13]
Əslində, I funksiyasının yeganə mümkün forması şəklindədir; burada . Bundan əlavə, k qiymətinin seçilməsi bərabərliyini ödəyən x > 1 qiymətinin seçilməsinə ekvivalentdir. Beləliklə, x loqarifmin əsasına uyğun gəlir. Deməli, entropiya yuxarıda göstərilən dörd xassə ilə xarakterizə olunur.
| Sübut |
|---|
| informasiya funksiyasının iki dəfə fasiləsiz diferensiallanan funksiya olduğunu fərz edək. Onda:
Bu diferensial tənlik həllini verir; burada . İkinci xassədən nəticəsi alınır. Birinci və ikinci xassələrə görə bütün qiymətləri üçün ödənilməlidir. Buna görə də . |
Müxtəlif informasiya vahidləri — ikilik loqarifm log2 üçün bit, natural loqarifm ln üçün nat, onluq loqarifm log10 üçün ban və digər vahidlər — bir-birindən sabit əmsallarla fərqlənir. Məsələn, ədalətli sikkə atıldıqda gerb tərəfinin düşməsi log2(2) = 1 bit informasiya verir. Bu, təxminən 0,693 nat və ya 0,301 onluq rəqəmə bərabərdir. Toplanma xassəsinə görə, sikkənin n dəfə atılması n bit, yaxud təxminən 0,693n nat və 0,301n onluq rəqəm informasiya verir.
Müşahidə olunan hadisələrin mənası, yəni mesajların məzmunu, entropiyanın tərifində əhəmiyyət daşımır. Entropiya yalnız konkret hadisənin müşahidə edilmə ehtimalını nəzərə alır. Buna görə də entropiyanın ifadə etdiyi informasiya hadisələrin mənası haqqında deyil, əsasda duran ehtimal paylanması haqqındadır.
Alternativ xarakteristika
[redaktə | vikimətni redaktə et]Entropiyanı aşağıdakı xassələr vasitəsilə də xarakterizə etmək olar. pi = Pr(X = xi) və Ηn(p1, ..., pn) = Η(X) işarələrini qəbul edək.
- **Fasiləsizlik:** H fasiləsiz funksiya olmalıdır. Ehtimalların qiymətlərindəki çox kiçik dəyişikliklər entropiyada da yalnız kiçik dəyişikliklər yaratmalıdır.
- **Simmetriya:** xi nəticələrinin sırası dəyişdirildikdə H dəyişməməlidir. Başqa sözlə, çoxluğu çoxluğunun istənilən permutasiyası olduqda,
- **Maksimum:** bütün nəticələrin ehtimalları bərabər olduqda maksimum olmalıdır:
- **Nəticələrin sayının artması:** bərabər ehtimallı hadisələr üçün nəticələrin sayı artdıqca entropiya da artmalıdır:
- **Toplanma:** bərabər paylanmış n elementdən ibarət çoxluq b1, ..., bk elementli k qutuya (alt sistemə) bölünürsə, bütün çoxluğun entropiyası qutular sisteminin entropiyası ilə hər bir qutunun entropiyasının həmin qutuda olma ehtimalına vurulmuş qiymətinin cəminə bərabər olmalıdır.
Müzakirə
[redaktə | vikimətni redaktə et]Toplanma qaydasından aşağıdakı nəticə alınır: bi müsbət tam ədədlər və b1 + ... + bk = n olduqda,
k = n və b1 = ... = bn = 1 seçdikdə müəyyən bir nəticənin entropiyasının sıfır olduğu alınır:
Bu, n simvoldan ibarət mənbə dəstinin səmərəliliyinin onun n-li entropiyasına bərabər müəyyən edilə biləcəyini göstərir. Həmçinin informasiya nəzəriyyəsində redundans məqaləsinə baxın.
Buradakı xarakteristika çoxluğun parçalanmasına münasibətdə toplanma xassəsini nəzərdə tutur. Bununla yanaşı, şərti ehtimal aşağıdakı kimi vurma xassəsi ilə müəyyən edilir:
Qeyd etmək lazımdır ki, loqarifm bu iki əməliyyat arasında əlaqə yaradır. Şərti entropiya və onunla əlaqəli kəmiyyətlər də bundan irəli gələn sadə münasibətlərə malikdir. Əvvəlki bölmədəki ölçü-nəzəri tərif entropiyanı ekstremal parçalanma üçün gözlənilən təəccüblülüklərin cəmi kimi müəyyən edirdi. Burada isə loqarifm ayrıca seçilir və entropiyanın özü ölçü deyil. Bununla belə, ikilik sətirlərin informasiya nəzəriyyəsində praktik şərhə imkan verir.
Bu münasibətlərdən irəli gələrək çoxlu sayda əlaqəli və rəqabət aparan kəmiyyətlər müəyyən edilmişdir. Məsələn, Devid Ellermanın “parçalanmalar məntiqi” təhlilində universal çoxluğun alt çoxluqlarının strukturlarına duallıq münasibətində olan strukturlar üçün alternativ ölçü müəyyən edilir.[14] İnformasiya “ditlər” (fərqləndirmələr) vasitəsilə ölçülür; bu, parçalanmalar üzərində müəyyən edilmiş ölçüdür. “Ditlər” Şennon bitlərinə çevrilə bilər ki, şərti entropiya və digər əlaqəli düsturlar əldə edilsin.
Toplanma və subadditivlik vasitəsilə alternativ xarakteristika
[redaktə | vikimətni redaktə et]Şennon entropiyasının digər yığcam aksiomatik xarakteristikası Akzel, Forte və Enq tərəfindən verilmişdir.[15] Bu xarakteristika aşağıdakı xassələrə əsaslanır:
- **Subadditivlik:** birgə paylanmış təsadüfi dəyişənləri üçün
- **Toplanma:** təsadüfi dəyişənləri müstəqil olduqda
- **Genişlənə bilmə:** . Yəni ehtimalı sıfır olan nəticənin əlavə edilməsi entropiyanı dəyişmir.
- **Simmetriya:** kəmiyyəti ehtimallarının permutasiyasına görə dəyişməzdir.
- **Kiçik ehtimallar üçün kiçik qiymət:**
Müzakirə
[redaktə | vikimətni redaktə et]Göstərilmişdir ki, yuxarıdakı xassələri ödəyən istənilən funksiyası qeyri-mənfi sabitə vurulmuş Şennon entropiyası olmalıdır.[15] Entropiyanın əvvəlki xarakteristikalarından fərqli olaraq, bu yanaşma entropiyanın ehtimallar vektorunun funksiyası kimi xassələrindən deyil, təsadüfi dəyişənlərin funksiyası kimi xassələrindən — subadditivlik və toplanmadan — çıxış edir.
Qeyd etmək lazımdır ki, “kiçik ehtimallar üçün kiçik qiymət” xassəsi çıxarılsa, funksiyası Şennon entropiyası ilə Hartli entropiyasının qeyri-mənfi xətti kombinasiyası olmalıdır.[15]
Digər xassələr
[redaktə | vikimətni redaktə et]Şennon entropiyası aşağıdakı xassələrə malikdir. Bu xassələrin bəzilərini başa düşmək üçün entropiyanı X təsadüfi dəyişəninin qiyməti aşkar edildikdə əldə olunan gözlənilən informasiya miqdarı, yaxud aradan qalxan qeyri-müəyyənlik kimi şərh etmək faydalıdır.
- Ehtimalı sıfır olan hadisənin əlavə edilməsi və ya çıxarılması entropiyaya təsir etmir:
- n müxtəlif nəticəyə malik hadisənin maksimal entropiyası logb(n)-dir. Bu maksimum bərabər paylanmış ehtimallar zamanı əldə edilir. Başqa sözlə, bütün mümkün hadisələr eyni ehtimala malik olduqda qeyri-müəyyənlik maksimum olur:[10]:
- (X,Y) cütünün qiymətlərini eyni vaxtda müəyyən etməklə əldə edilən informasiya, iki ardıcıl sınaqla əldə edilən informasiyaya bərabərdir: əvvəlcə Y müəyyən edilir, sonra isə Y-nin qiyməti məlum olduqda X müəyyən edilir. Bu münasibət aşağıdakı kimi yazılır:[10]:
- Əgər olarsa, burada funksiyadır, onda . Əvvəlki düsturu ifadəsinə tətbiq etdikdə
alınır. Buradan nəticəsi çıxır. Deməli, təsadüfi dəyişənin entropiyası onun bir funksiyaya çevrilməsi zamanı arta bilməz.
- X və Y iki müstəqil təsadüfi dəyişən olduqda, Y-nin qiymətini bilmək X-in qiyməti barədə biliyimizi dəyişmir. Buna görə də
- Daha ümumi halda, istənilən X və Y təsadüfi dəyişənləri üçün:[10]:
- İki hadisənin birgə entropiyası onların ayrı-ayrılıqda entropiyalarının cəmindən böyük ola bilməz:
Bərabərlik yalnız iki hadisə müstəqil olduqda ödənilir.[10]:
bütün ehtimal kütləsi funksiyaları və üçün.[10]:
- Buna uyğun olaraq, mənfi entropiya (neqentropiya) funksiyası qabarıqdır və onun qabarıq qoşması LogSumExp funksiyasıdır.
Aspektlər
[redaktə | vikimətni redaktə et]Termodinamik entropiya ilə əlaqəsi
[redaktə | vikimətni redaktə et]İnformasiya nəzəriyyəsində “entropiya” sözünün seçilməsinə Şennonun düsturu ilə statistik mexanikada əvvəldən məlum olan oxşar düsturlar arasındakı yaxınlıq ilham vermişdir.
Statistik termodinamikada termodinamik entropiyanın S ən ümumi ifadəsi Gibbs entropiyasıdır:
burada kB Boltsman sabiti, pi isə mikrovəziyyətin ehtimalıdır. C. Villard Gibbs Gibbs entropiyasını 1878-ci ildə, Lüdviq Boltsmanın 1872-ci ildəki əvvəlki tədqiqatlarından sonra müəyyən etmişdir.[16]
Gibbs entropiyası kvant fizikasına demək olar ki, dəyişmədən tətbiq olunur və 1927-ci ildə Con fon Neyman tərəfindən irəli sürülmüş fon Neyman entropiyasını verir:
burada kvant mexaniki sistemin sıxlıq matrisi, isə iz operatorudur.[17]
Gündəlik praktik səviyyədə informasiya entropiyası ilə termodinamik entropiya arasındakı əlaqə açıq şəkildə görünmür. Fiziklər və kimyaçılar dəyişməz ehtimal paylanmasından daha çox, termodinamikanın ikinci qanununa uyğun olaraq sistem ilkin vəziyyətindən öz-özünə uzaqlaşdıqda entropiyada baş verən dəyişikliklərlə maraqlanırlar. Boltsman sabiti kB çox kiçik olduğuna görə, kimyəvi və fiziki proseslərdə maddənin hətta çox kiçik miqdarları üçün belə S/kB dəyişiklikləri verilənlərin sıxılması və ya siqnalların emalı ilə əlaqəli informasiya miqdarlarından qat-qat böyük entropiya qiymətləri verir. Klassik termodinamikada entropiya makroskopik ölçmələr vasitəsilə müəyyən edilir və informasiya entropiyasının tərifində əsas rol oynayan ehtimal paylanmasına istinad etmir.
Termodinamika ilə sonradan informasiya nəzəriyyəsi adlandırılan sahə arasındakı əlaqəni ilk dəfə Boltsman qurmuş və aşağıdakı düsturla ifadə etmişdir:
burada temperatur, həcm, enerji və digər termodinamik parametrlərlə müəyyən edilən makrovəziyyətin termodinamik entropiyasıdır; W verilmiş makrovəziyyəti yarada bilən mikrovəziyyətlərin — müxtəlif enerji vəziyyətlərindəki zərrəciklərin mümkün kombinasiyalarının — sayıdır; kB isə Boltsman sabitidir.[18] Hər mikrovəziyyətin eyni ehtimala malik olduğu, yəni olduğu fərz edilir. Bu ehtimallar Gibbs entropiyasının düsturuna (və ya ekvivalent olaraq, Şennon entropiyasının kB sabitinə vurulmuş qiymətinə) daxil edildikdə Boltsman düsturu alınır. İnformasiya nəzəriyyəsi baxımından sistemin informasiya entropiyası, makrovəziyyət məlum olduqda konkret mikrovəziyyəti müəyyən etmək üçün çatışmayan informasiya miqdarıdır.
Ceynsin (1957) yanaşmasına görə,[19] statistik mexanikanın izah etdiyi termodinamik entropiya Şennonun informasiya nəzəriyyəsinin tətbiqi kimi nəzərdən keçirilməlidir. Termodinamik entropiya klassik termodinamikanın yalnız makroskopik dəyişənləri ilə verilən təsvirində çatışmayan, sistemin ətraflı mikroskopik vəziyyətini müəyyən etmək üçün tələb olunan əlavə Şennon informasiyasının miqdarına mütənasibdir. Mütənasiblik əmsalı isə Boltsman sabitidir. Sistemə istilik əlavə edilməsi onun termodinamik entropiyasını artırır, çünki ölçülə bilən makroskopik dəyişənlərlə uzlaşan mümkün mikroskopik vəziyyətlərin sayını artırır və beləliklə, sistemin tam təsvirini daha uzun edir. (Həmçinin maksimum entropiyalı termodinamika məqaləsinə baxın.)
Maksvelin iblisi ayrı-ayrı molekulların vəziyyətləri haqqında informasiyadan istifadə etməklə sistemin termodinamik entropiyasını nəzəri olaraq azalda bilər. Lakin Rolf Landauer və həmkarlarının 1961-ci ildən başlayaraq göstərdikləri kimi,[20] bu iblisin fəaliyyəti zamanı onun özü topladığı və yadda saxladığı Şennon informasiyasının miqdarından az olmayan həcmdə termodinamik entropiya artımı baş verməlidir. Beləliklə, ümumi termodinamik entropiya azalmır və paradoks aradan qalxır. Landauer prinsipi kompüterin müəyyən miqdarda informasiyanı emal edərkən yaratmalı olduğu istiliyin aşağı həddini müəyyən edir, baxmayaraq ki, müasir kompüterlər bu həddə nisbətən xeyli səmərəsiz işləyirlər.
Verilənlərin sıxılması
[redaktə | vikimətni redaktə et]Şennonun entropiya tərifi informasiya mənbəyinə tətbiq edildikdə mənbədən kodlaşdırılmış ikilik rəqəmlər şəklində etibarlı ötürülmə üçün tələb olunan minimal kanal tutumunu müəyyən etməyə imkan verir. Şennon entropiyası mesajın tərkibindəki informasiyanı, mesajın strukturundan və ya statistik xüsusiyyətlərindən əvvəlcədən müəyyən edilən və ya proqnozlaşdırılan hissədən fərqləndirərək ölçür. Buna dilin redundanslığı və hərf, söz cütləri, üçlükləri və digər birləşmələrin rastgəlmə tezlikləri ilə bağlı statistik xüsusiyyətlər daxildir.
Nəzəri cəhətdən minimal kanal tutumuna tipik çoxluq vasitəsilə, praktikada isə Haffman kodlaşdırması, Lempel–Ziv və ya arifmetik kodlaşdırma vasitəsilə nail olmaq mümkündür. Həmçinin Kolmoqorov mürəkkəbliyi məqaləsinə baxın. Praktikada sıxılma alqoritmləri səhvlərdən qorunmaq üçün nəzarət cəmi kimi məqsədəuyğun redundans elementlərini qəsdən əlavə edir. Məlumat mənbəyinin entropiya sürəti onu kodlaşdırmaq üçün hər simvola düşən orta bit sayıdır. Şennonun insan proqnozlaşdırıcıları ilə apardığı təcrübələr ingilis dilində hər simvola 0,6–1,3 bit informasiya düşdüyünü göstərmişdir.[21] PPM sıxılma alqoritmi ingilis mətnində hər simvola 1,5 bitlik sıxılma göstəricisi əldə edə bilər.
Əgər sıxılma üsulu itkisizdirsə — yəni sıxılmış mesaj açıldıqda ilkin mesajı tam bərpa etmək mümkündürsə — sıxılmış mesaj ilkin mesajla eyni informasiya miqdarına malik olur, lakin daha az simvolla ötürülür. Bu halda hər simvola düşən informasiya, yəni entropiya daha yüksək olur. Sıxılmış mesajın redundanslığı isə daha aşağıdır.
Şennonun mənbənin kodlaşdırılması teoremi göstərir ki, itkisiz sıxılma üsulu orta hesabla mesajı onun tərkibindəki informasiya miqdarının hər bitinə bir bitdən çox informasiya düşəcək şəkildə sıxa bilməz. Bununla belə, uyğun kodlaşdırma üsulu seçməklə hər mesaj bitinə düşən informasiya miqdarını bir bitdən aşağı salmaq mümkündür. Mesajın hər bitinə düşən entropiyanı mesajın uzunluğuna vurmaqla mesajın ümumi informasiya miqdarını ölçmək olar.
Şennon teoremi həmçinin göstərir ki, heç bir itkisiz sıxılma üsulu bütün mesajları qısalda bilməz. Əgər bəzi mesajlar daha qısa olursa, ən azı bir mesaj daha uzun olmalıdır; bu nəticə qəfəs yuvası prinsipindən irəli gəlir. Praktikada bu, adətən problem yaratmır, çünki çox vaxt yalnız müəyyən növ mesajları sıxmaq vacib olur. Məsələn, ingilis dilində sənədləri mənasız simvollar ardıcıllığından, rəqəmsal fotoşəkilləri isə səs-küydən fərqləndirmək mümkündür. Sıxılma alqoritminin az ehtimallı və ya maraq doğurmayan bəzi ardıcıllıqları böyütməsi adətən əhəmiyyətli deyil.
2011-ci ildə Science jurnalında dərc edilmiş tədqiqatda 2007-ci ildə mövcud olan ən səmərəli sıxılma alqoritmlərinə uyğun normallaşdırılmış, texnoloji cəhətdən əlçatan informasiyanın saxlanması və ötürülməsi imkanları qiymətləndirilmiş, beləliklə, texnoloji mənbələrin entropiyası təxmin edilmişdir.[22]:
| İnformasiya növü | 1986 | 2007 |
|---|---|---|
| Saxlama | 2.6 | 295 |
| Yayım | 432 | 1900 |
| Telekommunikasiya | 0.281 | 65 |
Müəlliflər bəşəriyyətin informasiyanı saxlamaq üçün malik olduğu texnoloji imkanları 1986 və 2007-ci illər üzrə qiymətləndirmişlər. Onlar informasiyanı üç kateqoriyaya bölmüşlər: məlumatın daşıyıcıda saxlanması, birtərəfli yayım şəbəkələri vasitəsilə qəbul edilməsi və ikitərəfli telekommunikasiya şəbəkələri vasitəsilə mübadiləsi.[22]
Müxtəlifliyin ölçüsü kimi entropiya
[redaktə | vikimətni redaktə et]Entropiya biomüxtəlifliyi ölçmək üçün istifadə olunan üsullardan biridir və Şennon indeksi formasında tətbiq edilir.[23] Müxtəliflik indeksi verilənlər toplusunda, məsələn, bioloji birlikdəki növlər arasında neçə fərqli tipin mövcud olduğunu göstərən kəmiyyət statistikasıdır. Bu indeks ekoloji növ zənginliyini, növlərin bərabər paylanmasını və dominantlığını nəzərə alır. Konkret olaraq, Şennon entropiyası parametri 1-ə bərabər olan həqiqi müxtəliflik indeksi -nin loqarifmidir. Şennon indeksi tiplərin nisbi bolluqları ilə əlaqəlidir.
Ardıcıllığın entropiyası
[redaktə | vikimətni redaktə et]Ardıcıllığın və ya mesajın informasiya məzmununu riyazi cəhətdən ölçən entropiya ilə əlaqəli bir neçə anlayış mövcuddur:
- müəyyən ehtimal paylanmasından götürülmüş ayrıca mesajın və ya simvolun özüninformasiyası (mesaj və ya ardıcıllıq ayrıca hadisə kimi nəzərdən keçirilir);
- mesajı və ya ardıcıllığı təşkil edən simvolların birgə entropiyası (hadisələr çoxluğu kimi nəzərdən keçirilir);
- stoxastik prosesin entropiya sürəti (mesaj və ya ardıcıllıq hadisələrin ardıcıl sırası kimi nəzərdən keçirilir).
Verilmiş stoxastik prosesin yaratdığı konkret mesajlar və ya simvollar ardıcıllığı üçün “özüninformasiya sürəti” də müəyyən edilə bilər. Stasionar proses halında bu kəmiyyət həmişə entropiya sürətinə bərabər olur. Müxtəlif informasiya mənbələrini müqayisə etmək və ya onlar arasındakı əlaqəni müəyyənləşdirmək üçün digər informasiya kəmiyyətləri də istifadə olunur.
Bu anlayışları bir-biri ilə qarışdırmamaq vacibdir. Hansı anlayışın nəzərdə tutulduğu çox vaxt yalnız kontekstdən aydın olur. Məsələn, ingilis dilinin “entropiyasının” hər simvola təxminən 1 bit olduğu deyildikdə, əslində, ingilis dili stoxastik proses kimi modelləşdirilir və onun entropiya sürətindən danışılır. Şennon özü də bu termini belə işlətmişdir.
Çox böyük bloklardan istifadə edildikdə, simvol başına entropiya sürətinin qiymətləndirilməsi süni şəkildə aşağı alına bilər. Bunun səbəbi ardıcıllığın ehtimal paylanmasının dəqiq məlum olmaması, yalnız təxmin edilməsidir. Təsəvvür edək ki, indiyədək nəşr edilmiş bütün kitabların mətnləri bir ardıcıllıq kimi götürülür və hər bir simvol bütöv bir kitabın mətnidir. Nəşr edilmiş kitabların sayı N olarsa və hər kitab yalnız bir dəfə nəşr edilibsə, hər kitabın ehtimalı 1/N kimi qiymətləndirilər. Bu halda entropiya bitlərlə belə hesablanır:
Praktik kodlaşdırma baxımından bu, hər kitaba unikal identifikator vermək və kitaba istinad edərkən onun tam mətninin əvəzinə həmin identifikatordan istifadə etmək deməkdir. Bu üsul kitablar haqqında danışmaq üçün çox faydalıdır, lakin ayrı-ayrı kitabların və ya dilin ümumi informasiya məzmununu xarakterizə etmək baxımından o qədər də yararlı deyil. Ehtimal paylanması, yəni bütün kitabların tam mətnləri məlum olmadan kitabı yalnız identifikatoruna əsasən bərpa etmək mümkün deyil.
Əsas fikir ondan ibarətdir ki, ehtimal modelinin mürəkkəbliyi də nəzərə alınmalıdır. Kolmoqorov mürəkkəbliyi bu ideyanı nəzəri cəhətdən ümumiləşdirir və ardıcıllığın informasiya məzmununu konkret ehtimal modelindən asılı olmayaraq nəzərdən keçirməyə imkan verir. Bu yanaşmada ardıcıllığı hasil edən universal kompüter üçün ən qısa proqram nəzərə alınır. Müəyyən model üçün ardıcıllığın entropiya sürətinə nail olan kod və kod kitabçası (yəni ehtimal modeli) belə proqramlardan biridir, lakin o, mütləq ən qısa proqram olmaya bilər.
Fibonacci ardıcıllığı 1, 1, 2, 3, 5, 8, 13, ... şəklindədir. Bu ardıcıllıq mesaj, hər bir ədəd isə simvol kimi nəzərdən keçirildikdə simvolların sayı mesajdakı simvolların sayına yaxın olur və entropiya təxminən log2(n)-ə bərabər olur. Fibonacci ardıcıllığının ilk 128 simvolunun entropiyası hər simvol üçün təxminən 7 bitdir. Lakin ardıcıllığı aşağıdakı düsturla ifadə etmək mümkündür:
burada n = 3, 4, 5, ..., F(1) = 1 və F(2) = 1. Bu düstur daha aşağı entropiyaya malikdir və Fibonacci ardıcıllığının istənilən uzunluğu üçün tətbiq oluna bilər.
Kriptoqrafiyada entropiyanın məhdudiyyətləri
[redaktə | vikimətni redaktə et]Kriptoanalizdə entropiyadan çox vaxt kriptoqrafik açarın proqnozlaşdırılmasının çətinliyini təxmini ölçmək üçün istifadə olunur, baxmayaraq ki, onun həqiqi qeyri-müəyyənliyini ölçmək mümkün deyil. Məsələn, bərabər paylanmış təsadüfi üsulla yaradılmış 128 bitlik açar 128 bit entropiyaya malikdir. Bu açarı tam axtarış üsulu ilə sındırmaq üçün orta hesabla cəhd tələb olunur. Lakin mümkün açarlar bərabər ehtimalla seçilmədikdə, entropiya tələb olunan təxminlərin sayını düzgün əks etdirmir.[24][25] Tam axtarış hücumunun tələb etdiyi səyi ölçmək üçün bunun əvəzinə “təxminetmə mürəkkəbliyi” adlanan kəmiyyətdən istifadə edilə bilər.[26]
Kriptoqrafiyada qeyri-bərabər paylanmalardan istifadə edilməsi başqa problemlər də yarada bilər. Məsələn, eksklüziv VƏ YA əməliyyatından istifadə edən, 1 000 000 rəqəmli ikilik birdəfəlik şifrləmə blokunu nəzərdən keçirək. Əgər açar ardıcıllığı 1 000 000 bit entropiyaya malikdirsə, şifrləmə mükəmməldir. Açarın entropiyası bərabər paylanmış 999 999 bitdirsə və hər bir bit 0,999999 bit entropiyaya malikdirsə, o, yaxşı təhlükəsizlik təmin edə bilər. Lakin açarın entropiyası 999 999 bit olduğu halda ilk bit sabit, qalan 999 999 bit isə tam təsadüfidirsə, şifrələnmiş mətnin ilk biti ümumiyyətlə şifrələnməyəcək.
Markov prosesi kimi verilənlər
[redaktə | vikimətni redaktə et]Mətn üçün entropiyanı müəyyən etməyin geniş yayılmış üsullarından biri mətnin Markov modelinə əsaslanır. Sıfırıncı tərtibli mənbədə (hər simvol əvvəlki simvollardan asılı olmayaraq seçilir) ikilik entropiya belədir:
burada pi i simvolunun ehtimalıdır. Birinci tərtibli Markov mənbəyi üçün, yəni simvolun seçilmə ehtimalı yalnız ondan dərhal əvvəlki simvoldan asılı olduqda, entropiya sürəti aşağıdakı kimi müəyyən edilir:[27]
burada i vəziyyəti (əvvəlki simvol və ya simvolları), isə əvvəlki simvol i olduqda j simvolunun gəlmə ehtimalını göstərir.
İkinci tərtibli Markov mənbəyi üçün entropiya sürəti belədir:
Səmərəlilik (normallaşdırılmış entropiya)
[redaktə | vikimətni redaktə et]Qeyri-bərabər paylanmaya malik mənbə çoxluğunun entropiyası eyni çoxluğun bərabər paylanma halındakı entropiyasından (yəni “optimallaşdırılmış əlifbanın” entropiyasından) az olur. Entropiyadakı bu fərq səmərəlilik adlanan nisbətlə ifadə edilə bilər:[28]
Loqarifmin əsas xassələrindən istifadə etməklə bu kəmiyyəti başqa şəkildə də ifadə etmək olar:
Səmərəlilik rabitə kanalından istifadə effektivliyini kəmiyyətcə qiymətləndirmək üçün faydalıdır. Bu ifadə normallaşdırılmış entropiya da adlanır, çünki entropiya maksimal entropiyaya, -ə bölünür. Bundan əlavə, yuxarıdakı son loqarifmdən göründüyü kimi, səmərəlilik müsbət b əsasının seçimindən asılı deyil.
Fasiləsiz təsadüfi dəyişənlər üçün entropiya
[redaktə | vikimətni redaktə et]Diferensial entropiya
[redaktə | vikimətni redaktə et]Şennon entropiyası yalnız diskret qiymətlər alan təsadüfi dəyişənlər üçün müəyyən edilmişdir. Həqiqi ədədlər oxunda sonlu və ya sonsuz dəstəyə malik çoxluğunda müəyyən edilən və f(x) ehtimal sıxlığı funksiyasına malik fasiləsiz təsadüfi dəyişən üçün uyğun düstur entropiyanın yuxarıda verilmiş gözlənilən qiymət formasına əsasən müəyyən edilir:[10]:
Bu kəmiyyət diferensial entropiya və ya fasiləsiz entropiya adlanır. Fasiləsiz entropiyanın ifadəsi üçün ilkin nümunələrdən biri Boltsmanın H-teoremindəki funksionalıdır.
Hər iki funksiya arasındakı bənzərlik cəlbedici olsa da, belə bir sual yaranır: diferensial entropiya Şennonun diskret entropiyasının düzgün ümumiləşdirilməsidirmi? Diferensial entropiya Şennonun diskret entropiyasına xas olan bir sıra xassələrə malik deyil; hətta mənfi qiymət ala bilər. Bu problemi həll etmək üçün, xüsusilə Diskret nöqtələrin limit sıxlığı anlayışından istifadə etməklə, müxtəlif düzəlişlər təklif edilmişdir.
Bu suala cavab vermək üçün iki funksiya arasında əlaqə qurmaq lazımdır.
Aralıq ölçüsü sıfıra yaxınlaşdıqda ümumi halda sonlu ölçü əldə etmək məqsədilə əvvəlcə diskret halı nəzərdən keçirək. Diskret halda aralıq ölçüsü hər birinin ehtimalı pn ilə işarə edilən, sonlu və ya sonsuz sayda n aralığın (binin) gizli enidir. Fasiləsiz sahəyə keçdikdə bu en açıq şəkildə göstərilməlidir.
Bunun üçün fasiləsiz f funksiyasını eni olan aralıqlara bölək.
Orta qiymət teoreminə görə, hər bir aralıqda elə bir xi qiyməti mövcuddur ki,
Beləliklə, f funksiyasının inteqralı Riman mənasında aşağıdakı kimi yaxınlaşdırıla bilər:
burada bu limit ilə “aralıq ölçüsünün sıfıra yaxınlaşması” eyni məna daşıyır.
Aşağıdakı işarələməni qəbul edək:
Loqarifmi açdıqda aşağıdakı ifadəni alırıq:
olduqda:
Qeyd edək ki, olduqda . Buna görə diferensial və ya fasiləsiz entropiya xüsusi şəkildə müəyyən edilməlidir:
Yuxarıda qeyd edildiyi kimi, bu kəmiyyət diferensial entropiya adlanır. Deməli, diferensial entropiya n → ∞ olduqda Şennon entropiyasının limiti deyil. Əksinə, o, Şennon entropiyasının limitindən sonsuz sabit fərqlə ayrılır. Həmçinin İnformasiya ölçüsü məqaləsinə baxın.
Diskret nöqtələrin limit sıxlığı
[redaktə | vikimətni redaktə et]Nəticə etibarilə, Şennon entropiyasından fərqli olaraq, diferensial entropiya ümumi halda qeyri-müəyyənliyin və ya informasiyanın yaxşı ölçüsü deyil. Məsələn, diferensial entropiya mənfi ola bilər və fasiləsiz koordinat çevrilmələri zamanı dəyişməz qalmır.
Bu problemi ölçü vahidlərinin dəyişdirilməsi ilə izah etmək olar. x ölçülü kəmiyyət olduqda, f(x) funksiyasının vahidi 1/x olur. Loqarifmin arqumenti ölçüsüz olmalıdır; əks halda ifadə düzgün müəyyən edilməmiş sayılır. Buna görə yuxarıda verilmiş diferensial entropiya düsturu bu halda düzgün deyil.
Əgər x üçün müəyyən “standart” qiymət, yəni “aralıq ölçüsü” kimi götürülürsə və buna görə də x ilə eyni ölçü vahidinə malikdirsə, diferensial entropiyanı düzgün formada belə yazmaq olar:
Bu nəticə x üçün seçilən ölçü vahidindən asılı olmayacaq. Əslində, olduqda diskret entropiyanın limiti həddini də ehtiva edərdi ki, bu da ümumi halda sonsuzdur. Bu, gözlənilən haldır: fasiləsiz dəyişənlər diskretləşdirildikdə adətən sonsuz entropiyaya malik olurlar. Diskret nöqtələrin limit sıxlığı əslində paylanmanın kvantlaşdırma sxemi üzrə bərabər paylanmanı təsvir etməklə müqayisədə nə qədər asan təsvir oluna bildiyini ölçür.
Nisbi entropiya
[redaktə | vikimətni redaktə et]Diskret və fasiləsiz halların hər ikisində eyni dərəcədə faydalı olan başqa entropiya ölçüsü paylanmanın nisbi entropiyasıdır. Bu kəmiyyət paylanmadan istinad ölçüsü m-ə qədər Kullbek–Leybler ayrılığı kimi müəyyən edilir.
Fərz edək ki, p ehtimal paylanması m ölçüsünə görə mütləq fasiləsizdir, yəni qeyri-mənfi, m-ə görə inteqrallana bilən və inteqralı 1-ə bərabər olan f funksiyası üçün
şəklindədir. Onda nisbi entropiya belə müəyyən edilə bilər:
Bu formada nisbi entropiya həm diskret entropiyanı, həm də diferensial entropiyanı ümumiləşdirir; yalnız işarə fərqi nəzərə alınmalıdır. Diskret halda m ölçüsü Sayma ölçüsü, diferensial entropiya halında isə Lebeq ölçüsüdür.
Əgər m özü də ehtimal paylanmasıdırsa, nisbi entropiya qeyri-mənfidir və yalnız olduqda sıfıra bərabər olur. Bu kəmiyyət istənilən ölçü fəzasında müəyyən edilir, buna görə koordinatlardan asılı deyil və m ölçüsünün çevrilməsi düzgün nəzərə alındıqda koordinatların yenidən parametrikləşdirilməsi altında dəyişməz qalır. Bununla belə, nisbi entropiya, eləcə də dolayı olaraq entropiya və diferensial entropiya “istinad” ölçüsü m-dən asılıdır.
Ədəd nəzəriyyəsində istifadə
[redaktə | vikimətni redaktə et]Terens Tao Erdöş uyğunsuzluğu probleminin həllinə yanaşmada faydalı əlaqə qurmaq üçün entropiyadan istifadə etmişdir.[29][30]
Sübutun əsas ideyası intuitiv olaraq belə idi: ardıcıl təsadüfi dəyişənlər arasında Şennon entropiyası baxımından informasiya azdırsa, bu, müəyyən riyazi nəticələrə gətirib çıxara bilər. Burada təsadüfi dəyişən Liuvill funksiyası vasitəsilə müəyyən edilir:
Liuvill funksiyası sadə ədədlərin paylanmasını öyrənmək üçün faydalı riyazi funksiyadır. intervalında həmin dəyişənin qiymətlərinin cəmi ixtiyari dərəcədə böyük ola bilər. Məsələn, yalnız +1 qiymətlərindən ibarət ardıcıllıq — bunlar XH dəyişəninin ala biləcəyi qiymətlərdir — çox aşağı entropiyaya malikdir, lakin onun cəmi böyük olur. Əsas nəticə ondan ibarət idi ki, H artırıldıqca entropiyanın əhəmiyyətli miqdarda azalmasını göstərmək bu təsadüfi dəyişənlə əlaqəli riyazi obyektin qeyri-məhdud artımına gətirib çıxarır. Bu artımın sübutu isə Erdöş uyğunsuzluğu probleminin həllinə ekvivalentdir.
Sübut kifayət qədər mürəkkəbdir. Burada yalnız Şennon entropiyasından yeni şəkildə istifadə olunmayıb, həmçinin qısa intervallarda modulyasiya olunmuş multiplikativ funksiyaların orta qiymətləri ilə birlikdə Liuvill funksiyasından da istifadə edilib.[31] Bu nəticənin sübut edilməsi konkret problem üçün paritet maneəsini də aradan qaldırmışdır.[32]
Sübutda Şennon entropiyasından bu cür istifadə yenilikçi yanaşmadır və ehtimal ki, bu istiqamətdə yeni tədqiqatlara yol açacaq.
Kombinatorikada istifadəsi
[redaktə | vikimətni redaktə et]Entropiya kombinatorikada faydalı kəmiyyətə çevrilmişdir.
Loomis–Whitney bərabərsizliyi
[redaktə | vikimətni redaktə et]Bunun sadə nümunələrindən biri Loomis–Whitney bərabərsizliyinin alternativ isbatıdır: hər bir A ⊆ Zd altçoxluğu üçün
burada Pi i-ci koordinat üzrə ortoqonal proyeksiyadır:
Bu isbat Shearer bərabərsizliyinin sadə nəticəsi kimi alınır: X1, ..., Xd təsadüfi dəyişənlər, S1, ..., Sn isə {1, ..., d} çoxluğunun elə altçoxluqları olsun ki, 1 ilə d arasındakı hər bir tam ədəd bu altçoxluqların dəqiq r-də yer alsın. Onda
burada , indeksləri Si çoxluğunda olan Xj təsadüfi dəyişənlərinin Dekart hasilidir (deməli, bu vektorun ölçüsü Si çoxluğunun elementlərinin sayına bərabərdir).
Loomis–Whitney bərabərsizliyinin buradan necə alındığını qısaca göstərək. X təsadüfi dəyişəni A çoxluğunda bərabər paylanmış olsun, yəni A çoxluğunun hər bir elementi eyni ehtimalla meydana gəlsin. Onda (yuxarıda qeyd edilən entropiyanın əlavə xassələrinə əsasən) Η(X) = logİfadə xətası: "'" punktuasiyasının tanınmayan simvolu., burada İfadə xətası: "'" punktuasiyasının tanınmayan simvolu. A çoxluğunun elementlərinin sayını göstərir.
{{math|Si = Şablon:1, 2, ..., ''i''−1, ''i''+1, ..., ''d''} götürək. vektorunun qiymətlər çoxluğu Pi(A) daxilindədir. Buna görə də
.
İndi Shearer bərabərsizliyinin sağ tərəfini məhdudlaşdırmaq üçün bu nəticədən istifadə edin və alınan bərabərsizliyin hər iki tərəfini qüvvətə yüksəldin.
Binom əmsalının yaxınlaşması
[redaktə | vikimətni redaktə et]0 < k < n tam ədədləri üçün q = k/n olsun. Onda
burada [33]:
| İsbat (qısa izah) |
|---|
| Qeyd edək ki, aşağıdakı ifadənin bir həddidir:
İfadəni yenidən təşkil etməklə yuxarı sərhəd alınır. Aşağı sərhədi əldə etmək üçün əvvəlcə bəzi cəbri çevirmələr vasitəsilə bu həddin cəmdəki ən böyük hədd olduğu göstərilir. Beləliklə, çünki cəmdə n + 1 hədd var. İfadəni yenidən təşkil etməklə aşağı sərhəd alınır. |
Bunun maraqlı izahı belədir: uzunluğu n olan və dəqiq k sayda 1-dən ibarət ikilik sətirlərin sayı təxminən -ə bərabərdir.[34]
Maşın öyrənməsində istifadəsi
[redaktə | vikimətni redaktə et]Maşın öyrənməsi üsulları əsasən statistikadan, həmçinin informasiya nəzəriyyəsindən qaynaqlanır. Ümumilikdə, entropiya qeyri-müəyyənliyin ölçüsüdür, maşın öyrənməsinin məqsədi isə qeyri-müəyyənliyi minimuma endirməkdir.
Qərar ağaclarının öyrədilməsi alqoritmləri verilənlərin hər bir düyünündə tətbiq olunan qərar qaydalarını müəyyən etmək üçün nisbi entropiyadan istifadə edir.[35] Qərar ağaclarında ilə işarə olunan informasiya qazancı, -nin entropiyası ilə məlum olduqda -nin şərti entropiyası arasındakı fərqə bərabərdir. Bu kəmiyyət atributunun qiymətini əlavə olaraq bilməklə əldə edilən gözlənilən informasiyanı, başqa sözlə, entropiyanın azalmasını ölçür. İnformasiya qazancı verilənlər toplusunda ən çox informasiya verən və ağacın düyünlərini optimal şəkildə bölmək üçün istifadə edilməli olan atributları müəyyənləşdirməyə kömək edir.
Bayes çıxarışı modellərində ilkin ehtimal paylanmalarını əldə etmək üçün çox vaxt maksimum entropiya prinsipi tətbiq olunur.[36] Bu yanaşmanın əsas ideyası ondan ibarətdir ki, sistem haqqında mövcud bilikləri ən yaxşı əks etdirən paylanma ən yüksək entropiyaya malik olan paylanmadır və buna görə də ilkin paylanma kimi istifadə oluna bilər.
Maşın öyrənməsində təsnifat logistik reqressiya və ya süni neyron şəbəkələri vasitəsilə həyata keçirildikdə, çox vaxt həqiqi və proqnozlaşdırılan paylanmalar arasındakı orta çarpaz entropiyanı minimuma endirən standart itki funksiyasından — çarpaz entropiya itkisindən istifadə edilir.[37] Ümumiyyətlə, çarpaz entropiya iki verilənlər toplusu arasındakı fərqi ölçür və Kullback–Leibler divergensiyasına (nisbi entropiya da adlandırılır) bənzəyir.
Həmçinin bax
[redaktə | vikimətni redaktə et]- Təxmini entropiya (ApEn)
- Entropiya (termodinamika)
- Çarpaz entropiya – iki ehtimal paylanması arasında mümkün hadisələr çoxluğundan bir hadisəni müəyyənləşdirmək üçün tələb olunan orta bit sayını ölçür
- Entropiya (zamanın oxu)
- Entropiya kodlaşdırması – simvolların kod uzunluqlarını onların ehtimallarına uyğunlaşdıran kodlar təyin edən kodlaşdırma üsulu
- Entropiyanın qiymətləndirilməsi
- Entropiya gücü bərabərsizliyi
- Fişer informasiyası
- Qraf entropiyası
- Hemminq məsafəsi
- Entropiyanın tarixi
- İnformasiya nəzəriyyəsinin tarixi
- İnformasiya fluktuasiyasının mürəkkəbliyi
- İnformasiya həndəsəsi
- Dinamik sistemlərdə Kolmoqorov–Sinay entropiyası
- Levenşteyn məsafəsi
- Qarşılıqlı informasiya
- Çaşqınlıq
- Keyfiyyət variasiyası – nominal paylanmalar üçün statistik dispersiyanın digər ölçüləri
- Kvant nisbi entropiyası – iki kvant halının bir-birindən fərqləndirilə bilməsini ölçən kəmiyyət
- Rényi entropiyası – Şennon entropiyasının ümumiləşdirilməsi; sistemin müxtəlifliyini, qeyri-müəyyənliyini və ya təsadüfiliyini ölçən funksional ailəsinin üzvüdür
- Təsadüfilik
- Nümunə entropiyası (SampEn)
- Şennon indeksi
- Theil indeksi
- Tipoglisemiya
Qeydlər
[redaktə | vikimətni redaktə et]- ↑ Bu tərif ehtimalı 0 olan hadisələrə də imkan verir və nəticədə təyin olunmamış ifadəsi yaranır. Bununla belə, olduğu üçün bu kontekstdə ifadəsini 0-a bərabər qəbul etmək olar. Alternativ olaraq, kimi təyin etməklə ehtimalı dəqiq 0 olan hadisələrin mövcudluğunu istisna etmək mümkündür.
İstinadlar
[redaktə | vikimətni redaktə et]- ↑ Pathria, R. K.; Beale, Paul. Statistical Mechanics (Third). Academic Press. 2011. səh. 51. ISBN 978-0123821881.
- 1 2 Shannon, Claude E. "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3). iyul 1948: 379–423. Bibcode:1948BSTJ...27..379S. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429. (PDF, archived from here Arxiv surəti 20 iyun 2014 tarixindən Wayback Machine saytında Arxivləşdirilib 20 iyun 2014 at the Wayback Machine)
- 1 2 Shannon, Claude E. "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (4). oktyabr 1948: 623–656. Bibcode:1948BSTJ...27..623S. doi:10.1002/j.1538-7305.1948.tb00917.x. hdl:11858/00-001M-0000-002C-4317-B. (PDF, archived from here Arxiv surəti 10 may 2013 tarixindən Wayback Machine saytında Arxivləşdirilib 10 may 2013 at the Wayback Machine)
- ↑ "Entropy (for data science) Clearly Explained!!!". 24 avqust 2021. 5 oktyabr 2021 tarixində arxivləşdirilib. İstifadə tarixi: 5 oktyabr 2021 – YouTube vasitəsilə.
- ↑ MacKay, David J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press. 2003. ISBN 0-521-64298-1. 17 fevral 2016 tarixində arxivləşdirilib. İstifadə tarixi: 9 iyun 2014.
- ↑ Shannon, Claude Elwood; Weaver, Warren. The mathematical theory of communication (English). Urbana: Univ. of Illinois Press. 1998. 15. ISBN 978-0-252-72548-7.
- ↑ Schneier, B: Applied Cryptography, Second edition, John Wiley and Sons.
- ↑ Borda, Monica. Fundamentals in Information Theory and Coding. Springer. 2011. ISBN 978-3-642-20346-6.
- ↑ Han, Te Sun; Kobayashi, Kingo. Mathematics of Information and Coding. American Mathematical Society. 2002. ISBN 978-0-8218-4256-0.
- 1 2 3 4 5 6 7 8 9 10 11 Thomas M. Cover; Joy A. Thomas. Elements of Information Theory. Hoboken, New Jersey: Wiley. 1991. ISBN 978-0-471-24195-9.
- ↑ Şablon:Nlab
- ↑ Carter, Tom. An introduction to information theory and entropy (PDF). Santa Fe. mart 2014. 4 iyun 2016 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 4 avqust 2017.
- ↑ Chakrabarti, C. G., and Indranil Chakrabarty. "Shannon entropy: axiomatic characterization and application." International Journal of Mathematics and Mathematical Sciences 2005. 17 (2005): 2847-2854 url Arxiv surəti 5 oktyabr 2021 tarixindən Wayback Machine saytında Arxivləşdirilib 5 oktyabr 2021 at the Wayback Machine
- ↑ Ellerman, David. "Logical Information Theory: New Logical Foundations for Information Theory" (PDF). Logic Journal of the IGPL. 25 (5). oktyabr 2017: 806–835. doi:10.1093/jigpal/jzx022. 25 dekabr 2022 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 2 noyabr 2022.
- 1 2 3 Aczél, J.; Forte, B.; Ng, C. T. "Why the Shannon and Hartley entropies are 'natural'". Advances in Applied Probability. 6 (1). 1974: 131–146. doi:10.2307/1426210. JSTOR 1426210.
- ↑ Compare: Boltzmann, Ludwig (1896, 1898). Vorlesungen über Gastheorie : 2 Volumes – Leipzig 1895/98 UB: O 5262-6. English version: Lectures on gas theory. Translated by Stephen G. Brush (1964) Berkeley: University of California Press; (1995) New York: Dover ISBN 0-486-68455-5
- ↑ Życzkowski, Karol. Geometry of Quantum States: An Introduction to Quantum Entanglement. Cambridge University Press. 2006. 301.
- ↑ Sharp, Kim; Matschinsky, Franz. "Translation of Ludwig Boltzmann's Paper "On the Relationship between the Second Fundamental Theorem of the Mechanical Theory of Heat and Probability Calculations Regarding the Conditions for Thermal Equilibrium"". Entropy. 17. 2015: 1971–2009. doi:10.3390/e17041971.
- ↑ Jaynes, E. T. "Information Theory and Statistical Mechanics". Physical Review. 106 (4). 15 may 1957: 620–630. Bibcode:1957PhRv..106..620J. doi:10.1103/PhysRev.106.620.
- ↑ Landauer, R. "Irreversibility and Heat Generation in the Computing Process". IBM Journal of Research and Development. 5 (3). iyul 1961: 183–191. doi:10.1147/rd.53.0183. ISSN 0018-8646. 15 dekabr 2021 tarixində arxivləşdirilib. İstifadə tarixi: 15 dekabr 2021.
- ↑ Mark Nelson. "The Hutter Prize". 24 avqust 2006. 1 mart 2018 tarixində orijinalından arxivləşdirilib. İstifadə tarixi: 27 noyabr 2008.
- 1 2 "The World's Technological Capacity to Store, Communicate, and Compute Information" Arxiv surəti 27 iyul 2013 tarixindən Wayback Machine saytında Arxivləşdirilib 27 iyul 2013 at the Wayback Machine, Martin Hilbert and Priscila López (2011), Science, 332(6025); free access to the article through here: martinhilbert.net/WorldInfoCapacity.html
- ↑ Spellerberg, Ian F.; Fedor, Peter J. "A tribute to Claude Shannon (1916–2001) and a plea for more rigorous use of species richness, species diversity and the 'Shannon–Wiener' Index". Global Ecology and Biogeography (ingilis). 12 (3). 2003: 177–179. Bibcode:2003GloEB..12..177S. doi:10.1046/j.1466-822X.2003.00015.x. ISSN 1466-8238.
- ↑ Massey, James. Guessing and Entropy (PDF) // Proc. IEEE International Symposium on Information Theory. 1994. 1 yanvar 2014 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 31 dekabr 2013.
- ↑ Malone, David; Sullivan, Wayne. Guesswork is not a Substitute for Entropy (PDF) // Proceedings of the Information Technology & Telecommunications Conference. 2005. 15 aprel 2016 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 31 dekabr 2013.
- ↑ Pliam, John. Selected Areas in Cryptography // International Workshop on Selected Areas in Cryptography. Lecture Notes in Computer Science. 1758. 1999. 62–77. doi:10.1007/3-540-46513-8_5. ISBN 978-3-540-67185-5.
- ↑ "Lecture 6: Entropy Rate" (PDF). Duke University. 29 mart 2017 tarixində arxivləşdirilib (PDF). İstifadə tarixi: 13 iyun 2026.
- ↑ Indices of Qualitative Variation. AR Wilcox - 1967 https://www.osti.gov/servlets/purl/4167340 Arxiv surəti 18 noyabr 2025 tarixindən Wayback Machine saytında
- ↑ Klarreich, Erica. "A Magical Answer to an 80-Year-Old Puzzle". Quanta Magazine. 1 oktyabr 2015. 26 mart 2023 tarixində arxivləşdirilib. İstifadə tarixi: 18 avqust 2014.
- ↑ Tao, Terence. "The Erdős discrepancy problem". Discrete Analysis (ingilis). 28 fevral 2016. arXiv:1509.05363v6. doi:10.19086/da.609. 25 sentyabr 2023 tarixində arxivləşdirilib. İstifadə tarixi: 20 sentyabr 2023.
- ↑ https://arxiv.org/pdf/1502.02374.pdf Arxiv surəti 28 oktyabr 2023 tarixindən Wayback Machine saytında Arxivləşdirilib 28 oktyabr 2023 at the Wayback Machine
- ↑ "Open question: The parity problem in sieve theory". 5 iyun 2007. 7 avqust 2023 tarixində orijinalından arxivləşdirilib.
- ↑ Aoki, New Approaches to Macroeconomic Modeling.
- ↑ Probability and Computing, M. Mitzenmacher and E. Upfal, Cambridge University Press
- ↑ Batra, Mridula; Agrawal, Rashmi. Comparative Analysis of Decision Tree Algorithms // Panigrahi, Bijaya Ketan; Hoda, M. N.; Sharma, Vinod; Goel, Shivendra (redaktorlar ). Nature Inspired Computing. Advances in Intelligent Systems and Computing (ingilis). 652. Singapore: Springer. 2018. 31–36. doi:10.1007/978-981-10-6747-1_4. ISBN 978-981-10-6747-1. 19 dekabr 2022 tarixində arxivləşdirilib. İstifadə tarixi: 16 dekabr 2021.
- ↑ Jaynes, Edwin T. "Prior Probabilities". IEEE Transactions on Systems Science and Cybernetics. 4 (3). sentyabr 1968: 227–241. Bibcode:1968IJSSC...4..227J. doi:10.1109/TSSC.1968.300117. ISSN 2168-2887.
- ↑ Rubinstein, Reuven Y.; Kroese, Dirk P. The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation and Machine Learning (ingilis). Springer Science & Business Media. 9 mart 2013. ISBN 978-1-4757-4321-0.
Əlavə ədəbiyyat
[redaktə | vikimətni redaktə et]İnformasiya nəzəriyyəsi üzrə dərsliklər
[redaktə | vikimətni redaktə et]- Cover, T.M., Thomas, J.A. (2006), Elements of Information Theory – 2nd Ed., Wiley-Interscience, ISBN 978-0-471-24195-9
- MacKay, D.J.C. (2003), Information Theory, Inference and Learning Algorithms, Cambridge University Press, ISBN 978-0-521-64298-9
- Arndt, C. (2004), Information Measures: Information and its Description in Science and Engineering, Springer, ISBN 978-3-540-40855-0
- Gray, R. M. (2011), Entropy and Information Theory, Springer.
- Martin, Nathaniel F.G.; England, James W. Mathematical Theory of Entropy. Cambridge University Press. 2011. ISBN 978-0-521-17738-2.
- Shannon, C.E., Weaver, W. (1949) The Mathematical Theory of Communication, Univ of Illinois Press. ISBN 0-252-72548-4
- Stone, J. V. (2014), Chapter 1 of Information Theory: A Tutorial Introduction Arxivləşdirilib 3 iyun 2016 at the Wayback Machine, University of Sheffield, England. ISBN 978-0956372857.
- Tribus, Myron. Thermodynamics and Thermostatics: An Introduction to Energy, Information and States of Matter, with Engineering Applications. University Series in Basic Engineering, vol. 1. Princeton: D. Van Nostrand. 1961. OCLC 1036889774.
Xarici keçidlər
[redaktə | vikimətni redaktə et]- Şablon:Springer
- "Entropy" Arxivləşdirilib 4 iyun 2016 at the Wayback Machine at Rosetta Code—Müxtəlif proqramlaşdırma dillərində Şennon entropiyası implementasiyalarının toplusu.
- Entropy Arxivləşdirilib 31 may 2016 at the Wayback MachineEntropiya anlayışının bütün aspektlərinə dair fənlərarası jurnal. Açıq çıxışlı.