Demonstration page

İnformasiya miqdarının ölçülməsi

Məsələn, «Hərb və sülh» romanının mətnində, Rafaelin freskalarında və ya insanın genetik kodunda nə qədər informasiya var? Elm bu suallara cavab vermir və ehtimal ki, tezliklə verməyəcək. Bəs obyektiv olaraq informasiya miqdarını ölçmək mümkündürmü? İnformasiya nəzəriyyəsinin ən vacib nəticəsi aşağıdakıdır:

Müəyyən, çox geniş şəraitdə informasiyanın keyfiyyət xüsusiyyətlərini nəzərə almamaq, onun miqdarını ədədlə ifadə etmək, həmçinin verilənlərin müxtəlif qruplarında olan informasiya miqdarını müqayisə etmək olar.
İndiki zamanda «informasiya miqdarı» anlayışının təyin olunmasına elə yanaşmalar geniş yayılmışdır ki, onlar xəbərdəki informasiyanı onun yeniliyi və ya başqa sözlə, bizim obyekt haqqındakı biliklərimizin qeyri-müəyyənliyinin azalması mənasında qeyri-sərt izah etməyə əsaslanırlar. Bu yanaşmalar ehtimal və loqarifm riyazi anlayışlarından istifadə edirlər.
Amerika mühəndisi R. Xartli 1928-ci ildə informasiyanın alınması prosesinə N sayda bərabər ehtimallı xəbərdən ibarət əvvəlcədən verilmiş sonlu çoxluqdan bir xəbərin seçilməsi kimi baxmış, seçilmiş xəbərdə olan I informasiya miqdarını isə N-in ikili loqarifmi kimi təyin etmişdir.
Xartli düsturu:
I  log₂ N
Tutaq ki, birdən yüzə qədər ədədlər yığımından bir ədəd tapmaq lazımdır. Xartli düsturuna görə bunun üçün tələb olunan informasiya miqdarını hesablamaq olar: I=log₂100=6,644. Beləliklə, düzgün tapılmış ədəd haqqında xəbər təxminən 6,644-ə informasiya vahidinə bərabər informasiya miqdarına malikdir.
Bərabər ehtimallı xəbərlərə digər misallar göstərək:

1. 
   metal pulu atdıqda «bir üzü düşdü», «digər üzü düşdü»;
   
2. 
   kitabın səhifəsində «hərflərin sayı cütdür», «hərflərin sayı təkdir».
   

İndi müəyyən edək ki, «binanın qapısından birinci qadın çıxacaq» və «binanın qapısından birinci kişi çıxacaq» xəbərləri bərabər ehtimallıdırmı. Bu suala birmənalı cavab vermək olmaz. Hər şey ondan asılıdır ki, hansı binadan söhbət gedir. Əgər bu, məsələn, metro stansiyasıdırsa, onda qapıdan birinci çıxmaq ehtimalı kişi və qadın üçün eynidir, amma əgər bu, hərbi kazarmadırsa, onda kişi üçün bu ehtimal qadına nisbətən çox yüksəkdir.
Bu növ məsələlər üçün amerika alimi Klod Şennon 1984-cü ildə informasiya miqdarının təyin olmasının yığımdakı xəbərlərin mümkün eyni olmayan ehtimalını nəzərə alan digər düsturunu təklif etmişdir.
Şennon düsturu:

I  ( p₁ log₂
p₁  p₂ log₂
p₂  ...  p_N log₂
p_N ),

burada p_i - N sayda xəbərdən ibarət yığımda məhz i-ci xəbərin seçilməsinin ehtimalıdır.

Asanlıqla görünür ki, əgər
p₁,..., p_N
ehtimalları bərabərdirsə, onda onların hər biri

1/N-ə bərabərdir və Şennon düsturu Xartli düsturuna çevrilir.
İnformasiya miqdarının müəyyən olunmasına baxılan iki yanaşmadan əlavə digər yanaşmalar da var. Yadda saxlamaq lazımdır ki, ixtiyari nəzəri nəticələr yalnız başlanğıc yol verilmələrlə qeyd olunan müəyyən hadisələr dairəsinə tətbiq oluna bilər.
İnformasiya vahidi kimi Klod Şennon bir bit (ingiliscə bit – binary digit – ikili rəqəm) qəbul etməyi təklif etmişdir.
İnformasiya nəzəriyyəsində bit – iki bərabər ehtimallı xəbərin (pulun «bir üzü» –
«digər üzü», «cüt» – «tək» və s. növ) fərqləndirilməsi üçün zəruri olan informasiya miqdarıdır. Hesablama texnikasında kompyuterin yaddaşının verilənlərin və əmrlərin maşın daxilində təqdim olunması üçün istifadə olunan iki «0» və «1» işarələrindən birinin yadda saxlanması üçün zəruri olan ən kiçik «payını» bit adlandırırlar
Bit həddən artıq kiçik informasiya vahididir. Praktikada çox zaman daha iri vahiddən – səkkiz bitə bərabər olan baytdan istifadə edirlər. Kompyuterin klaviaturasındakı əlifbanın 256 simvolundan hər hansını kodlaşdırmaq üçün məhz 8 bit tələb olunur (256=2⁸).
Həmçinin daha iri olan törəmə informasiya vahidlərindən də geniş istifadə olunur: