İnformasiya vy kodlaşdirma nzriyysi 2 semestrlik kurs 50 saat

İndi fYrz edYk ki, qutudakı 100 k黵YdYn 99-u ağ ( ), 1-i qara ( ) rYnglidir. Bu halda, 鰐黵黮Yn informasiyanın miqdarı:

Bu halda sınağın nYticYsi az qala bYllidir. Odur ki, alınan informasiyanın miqdarı c鼁idir.

İndi fYrz edYk ki, qutudakı k黵YlYrin 50-si ağ, 50-si isY qara rYnglidir. Bu halda qeyri-müYyyYnlik maksimumdur. Hansı rYngin gYlYcYyini hec黵 dYqiq tYyin etmYk m黰k黱 deyildir. Odur ki, informasiyanın miqdarı:







bit/simvol olur.

DemYli, aprior qeyri-müYyyYnlik 鏾x olduqca, onun lYğvindYn alınan informasiyanın miqdarı da 鏾x olur. Bu mYnada, entropiya informasiyanın miqdarı 黱 daha mYqsYdYuyğun 鰈琰d黵.

BelYliklY, informasiya nYzYriyyYsindY entropiya—xYbYrin hYr bir elementindYki informasiyanın x黶usi miqdarı kimi başa düş黮黵.

elementdYn ibarYt olan xYbYr 黱 entropiya aşağıdakı kimidir:

(5a)

G鰎黱d鼀kimi, (5a) d黶turu xYbYrdYki orta entropiyanı ifadY edir.

L.Brilly黣n 搉eqentropiya prinsipi攏i daxil edYrYk yazmağı tYklif etmiş vY bununla da entropiya ilY informasiyanın miqdarının vYhdYti vY Yksliyini 鰊 plana çYkdiyindYn, (5a) d黶turunu aşağıdakı kimi yazmaq daha m黱asibdir:

(6)

(6) d黶turundakı kYmiyyYti vYziyyYtini xarakterizY etdiyindYn, hissYvi entropiya adlanır.

(6) d黶turundan g鰎黱d鼀kimi, hissYvi entropiyaların orta qiymYtidir.

ElementlYr eyni ehtimallı olduqda (6) d黶turu aşağıdakı şYkilY düş黵:

G鰎黱d鼀kimi, (7) d黶turundakı - 搈黰k黱 hallar ansamblı攏ı ifadY edYrYk, vahidY bYrabYrdir: .

DemYli, olduqda, informasiyanın miqdarı 黱 Xartlinin tYklif etdiyi (2) d黶turu (7) d黶turuna 鏴vrilYrYk entropiyanı ifadY edY bilir.

BelYliklY, entropiya 搈黰k黱 hallar ansamblı攏dakı tam qrupu tYşkil edYn hadisYlYr mYcmusundakı qeyri-müYyyYnlik 鰈琰s黱xarakterizY edir. HYm dY burada ayrı-ayrı hadisYlYrin baş vermYsi ehtimallarının cYmi 1-Y bYrabYr olmalıdır. ks halda Şennon d黶turları 鰖 mYnasını itirir. 屈nki, hadisY baş vermirsY vY ya baş vermY ehtimalı sıfırdırsa, bu o demYkdir ki, hebir xYbYr 鰐黵黮m黵, yYni, rabitY m鰒cud deyildir.

gYr , daha doğrusu, yalnız bir YlamYtli xYbYr 鰐黵黮黵sY, onda onun ehtimalı olacaq vY alınacaqdır.

屈nki, bu halda hebir qeyri-müYyyYnlik yoxdur.

DediklYrimizdYn aydın olur ki, entropiya ekstremuma malik, hYqiqi, m黶bYt kYmiyyYtdir.

Bunu s黚ut etmYk 黱, tutaq ki, xYbYrdYki simvolların sayı 2-dir. Bu halda:

alarıq. Bunu aşağıdakı kimi tYsvir etmYk olar:

G鰎黱d鼀kimi, binar (ikili) xYbYrin entropiyası 0-dan 1-dYk dYyişir vY olduqda, entropiya maksimal ( ) olur.

KeyfiyyYt YlamYtlYrinin sayı olan xYbYrlYr 黱 dY maksimal entropiya YlamYtlYrin eyni ehtimallı halında alınır. Başqa s鰖lY:

Entropiyanın Ysas xassYlYrindYn biri dY budur ki, ayrı-ayrı xYbYrlYrdYn tYşkil edilmiş xYbYrin entropiyası tYşkiledici xYbYrlYrin entropiyaları cYminY bYrabYrdir.

Bunu isbat etmYk 黱, fYrz edYk ki, entropiyalı A vY entropiyalı V xYbYri var. İsbat etmYk lazımdır ki,

Asılı olmayan hadisYlYrdYn tYşkil edilYn m黵YkkYb (AV) hadisYsinin ehtimalı bu hadisYlYrin ehtimalları hasilinY bYrabYrdir. YYni:

.

Uyğun ehtimalları -la işarY edib, (6) d黶turunu aşağıdakı kimi yaza bilYrik:

Burada: vY olduğundan,

Bu xassY tYşkiledicisi 2-dYn artıq olan daha m黵YkkYb tYrkibli xYbYrlYr 黱 dY doğrudur.

FYrz edYk ki, qarşılıqlı YlaqYli olan vY xYbYrlYrindYn tYşkil edilmiş xYbYri alınmışdır. xYbYrinin YlamYtli işarYsinin alınması ehtimalını ilY, xYbYrinin YlamYtli işarYsinin alınması ehtimalını ilY, xYbYrinin YlamYtli işarYsinin xYbYrinin YlamYtli işarYsinY nYzYrYn şYrti ehtimalını ilY vY xYbYrinin YlamYtli işarYsinin xYbYrinin YlamYtli işarYsinY nYzYrYn şYrti ehtimalını ilY işarY edYk.

Ehtimalların vurulması prinsipinY YsasYn, iki qarşılıqlı asılı olan hadisYnin birgY baş vermYsi ehtimalı bu hadisYlYrdYn birinin ehti-malı ilY digYrinin şYrti ehtimalı hasilinY bYrabYrdir:

Bu halda xYbYrinin entropiyası:

(11)

kimi hesablanacaqdır.

almaq olar.

olar.

xYbYr mYnbYyinin ş黚hYsini,

isY 黱vanın ş黚hYsini ifadY edYcYkdir. Bu onunla YlaqYdardır ki, real rabitY kanalında maneYlYr m鰒cud olduğundan, bu vY ya digYr tYhriflYr baş verY bilir.

ŞYrti entropiyanın aşağıdakı xassYlYri vardır:

• 
  YgYr A vY V xYbYrlYri qarşılıqlı asılı deyillYrsY, onda A-nın V-yY nYzYr şYrti entropiyası A-nın şYrtsiz entropiyasına bYrabYrdir. YYni:
  

• 
  YgYr A vY V xYbYrlYri funksional asılıdırlarsa, onda onların şYrti entropiyaları sıfra bYrabYrdir: . 屈nki funk-sional YlaqYdY şYrti ehtimal vahidY bYrabYrdir.
  

M黿tYlif hYrflYrin m黿tYlif mYtnlYrdY iştirakı tezliyinin m黿tYlifliyi ingilis Ylifbasındakı bolluğu 2,35 bitY endirir. S鰖lYrin sıralanması statistikası nYzYrY alındıqda isY entropiya 2 bitY enir. Bu onu g鰏tYrir ki, m黿tYlif birlYşmYlYrdY hYrflYrin, m黿tYlif xYbYr-lYrdY s鰖lYrin ardıcıllığını nYzYrY almaqla 鰐黵黮Yn informasiyanı sıxmaq olar. Bu mYnada,

BelYdY vY ya (15)

bolluğu ifadY edir.

G鰎黱d鼀kimi, bolluq simvolların natamam y黭lYnmYsini, boşluğunu ifadY edir. Bolluğu olmayan xYbYri sıxmaq m黰k黱 deyildir. Entropiyası 鏾x olan xYbYrdY bolluq 鏾x olur.

İngilis dili 黱 bolluq:

olur. Bu o demYkdir ki, ingilis dilindY Ylifbanın 50%-indYn tYrtib edilmiş mYtni bYrpa etmYk m黰k黱-d黵. Bu bir dY o demYkdir ki, ingilis dilinin tam yarısı boşdur vY bu dildYki mYtni azı 2 dYfY sıxmaq m黰k黱d黵.

İnformasiya bolluğu 2 n鰒d黵:

1) simvollar arasındakı statistik YlaqY ilY bağlı bolluq:

2) simvolların ehtimallarının m黿tYlif olması ilY bağlı olan bolluq: .

BelYliklY, 黰umi bolluq kimi hesablanır. vY kifayYt qYdYr ki鏸k olduqda olduğundan, olur.

Siqnal uzadıldıqca bolluq artır. Bolluq artdıqca maneYyYdavamlılıq artır. Bu mYnada, informasiya vY kodlaşdırma nYzYriyyYsinin Ysas vYzifY-lYrindYn biri mYhz müYyyYn maneYlYr şYraitindY bolluğun optimal qiymYtini tYyin etmYkdYn ibarYtdir.

謙黵mY sistemini xarakterizY etmYk 黱 entropiya, informasiyanın miqdarı vY bolluq anlayışları ilY yanaşı, sistemin buraxıcılıq qabiliyyYti dY vacibdir. Buraxıcılıq qabiliyyYti kanalın potensial imkanını xarakterizY edir vY 鰐黵mY s黵Ytinin maksimumu kimi başa düş黮黵.

Diskret kanal 黱 鰐黵mY s黵Yti vaxt vahidi YrzindY 鰐黵黮Yn simvolların sayı ilY xarakterizY edilir. Entropiya xYbYrdYki bir simvola düşYn informasiyanın miqdarı olduğundan, 1 simvolun 鰐黵黮mYsi vaxtını vahid olaraq g鰐黵mYk mYqsYdYuyğundur.

謙黵mY s黵Yti aşağıdakı kimi tYyin edilir:

bit/san (18)

Burada: -1 simvolun 鰐黵黮mYsi vaxtıdır (san).

Asılı olmayan eyni ehtimallı hal 黱:

bit/san (19)

Bu halda 鰐黵mY s黵Ytini ( ) artırmaq 黱 elementar simvolun uzunluğunu azaltmaq lazımdır.

Eyni uzunluqlu, m黿tYlif ehtimallı simvollardan istifadY edilYrkYn 鰐黵mY s黵Yti:

bit/san (20)

M黿tYlif uzunluqlu, m黿tYlif ehtimallı simvollardan istifadY edilYrkYn:

Bu halda 鰐黵mY s黵Ytini ( ) yalnız o zaman artırmaq olar ki, qısa impulslar daha tez-tez baş versin. Lakin bu zaman simvolların ehtimalları arasındakı fYrq b鰕黭 olmamalıdır. 屈nki bu halda -ni artırmaq m黰k黱 olmaya da bilYr. Odur ki, (21)-dY 鰐黵mY s黵Ytini yalnız entropiyanın artırılması hesabına artırmaq olar.

Uğultusuz diskret rabitY kanalının buraxıcılıq qabiliyyYti dY entropiyanın maksimumu ilY bağlıdır. 屈nki diskret kanal elementar simvolların sonlu sayına ( ) vY sonlu uzunluğuna ( ) Ysaslanır. Burada simvollar asılı deyillYr, aralarında korrelyasiya YlaqYsi yoxdur, fiziki tYbiYtlYri etibarı ilY dYyişkYn ola bilYndirlYr.

FYrz edYk ki, uzunluqlu elementlYrdYn tYşkil edilmiş xYbYri, daha doğrusu, teletayp vasitYsilY Bodo kodu ilY hYrf 鰐黵黮mYlidir.

Bodo kodunda hYr bir hYrf 5 ikilik mYrtYbY ilY YvYz olunur. YYni hYr bir hYrf 5 bit informasiya daşıyır. Kod eyni鰈琰l黡黵. Entropiya mak-simaldır.

gYr 1 hYrfin 鰐黵黮mYsinY 1 saniyY sYrf olunarsa, onda ideal halda rabitY kanalında 鰐黵mY s黵Yti 5 bit/saniyY olacaqdır. Bu s黵Yt hYmin kanalın buraxıcılıq qabiliyyYtidir.

Lakin kanalın 鰐黵mY s黵Yti obyektin se鏼Y qabiliyyYti ilY mYhdudlaşır. Odur ki, yenY dY 鰐黵mY s黵Ytinin maksimumu entropiyanın maksimumuna bağlanır:

Burada: - xYbYrin uzunluğudur.

屈nki, informasiyanın 鰐黵黮mY s黵Yti mYnbYyin entropiyasından asılı olduğu halda, siqnalın 鰐黵黮mY s黵Yti siqnal yaradan manipulyasiyanın tezliyindYn asılıdır vY vaxt vahidi YrzindY 鰐黵黮Yn siqnalların sayı ilY 鰈琰l黵.

kimi hesablanır. Buradan aydınca g鰎黱黵 ki, kodlaşdırma sisteminin sYmYrYliliyi bolluqla birbaşa bağlı olan kYmiyyYtdir. YYni: .

Bu onu g鰏tYrir ki, kodlaşdırma sisteminin sYmYrYliliyini y黭sYltmYk 黱 bolluğu azaltmaq lazımdır. YYni, bolluqsuz kodun sYmYrYliliyi maksimal olur!


M鰒zu 9. Kodlar vY onların tYsviri
XYbYrlYr hYm eyni鰈琰lü komplekt kodlarla, hYm dY m黿tYlif鰈琰lü kodlarla (M諯) 鰐黵黮Y bilir. MYsYlYn, M諯-d黵. Bu kodun b黷黱 kombinasiyalarını sıfırların k鰉Yyi ilY Yn b鰕黭 鰈琰yY 鏰tdırsaq, 2-lik komplekt kod alarıq:

2-lik M諯 2-lik komplekt kod

Bodo kodu 2-lik komplekt koddur. Bodo kodunun kombinasiyalarının sayı -dir.

İstYnilYn mYtn vY rYqYm informasiyasını Bodo kodu ilY 鰐黵mYk praktiki olaraq m黰k黱d黵.

RabitY kanalında impulslar 2 yerY: keyfiyyYtY vY zamana g鰎Y b鰈黱Y bilir.

XYbYr zamana g鰎Y b鰈黱YndY bir keyfiyyYt YlamYtinin k鰉Yyi ilY 鰐黵黮黵. Bu b鰈g黡Y m黿tYlif obyektlYrdYn bir kanalla 鰐黵黮Yn xYbYrlYr zamana g鰎Y n鰒bYyY d鼁黮黵.

Kodların tYsvirindY birlYşmYlYr nYzYriyyYsini, cYbri vY hYndYsi quruluşları tYtbiq etmYk olur. Kodlar d黶turla, hYndYsi fiqurla, cYdvYllY, qrafla, 鏾xhYdli ilY, matrislY vY s. tYsvir edilir.

M鰒zu 10. Uğultusuz rabitY kanalları 黱 kodlaşdırmanın Ysas teoremi

謙黵mY sistemindY aparatlar sYhvY yol vermirsY, rabitY kanalı s鰊mY vY maneYlYrY uğramırsa, bu, uğultusuz sistem sayılır. Uğultusuz sistemdY informasiya itkisi baş vermir. Lakin uğultusuz sistemdY dY tYtbiq edilYn kod aşağıdakı tYlYblYrY cavab vermYlidir:

a) m黿tYlif simvollar m黿tYlif koda malik olmalıdır. 屈nki, eyni kodla 鰐黵黮Yn m黿tYlif xYbYrlYri d鼁g黱 dekodlaşdırmaq m黰k黱 deyildir.

b) kod elY qurulmalıdır ki, bir xYbYrin ilk vY son hYrfini dYqiq ayırmaq m黰k黱 olsun. Bunun 黱 koda YlavY simvol (mYsYlYn, pauza) daxil etmYk olar ki, birinci xYbYrin sonunu ikinci xYbYrin başlanğıcından ayırmaq m黰k黱 olsun. Bu tYlYbi komplekt kodla da 鰀YmYk olar. Burada sadYcY olaraq simvolları saymaqla kifayYtlYnmYk olar ki, bu da dekodlaşdırıcı aparatları sadYlYşdirmYyY vY dekodlaşdırma prosesini avtomatlaşdırmağa imkan yaradar. Lakin komplekt kod yalnız eyni ehtimallı, asılı olmayan xYbYrlYrin 鰐黵黮mYsi 黱 daha sYmYrYlidir.

v) kod m黰k黱 qYdYr m黿tYsYr olmalıdır. 屈nki, simvolların sayı azaldıqca, 鰐黵mY s黵Yti artır.

Lakin bu sonuncu halda kod s鰖黱黱 minimum orta uzunluğunu tYyin etmYk lazımdır. Bunun 黱 fYrz edYk ki, sonlu sayda simvoldan tYşkil edilmiş Ylifbanın k鰉Yyi ilY xYbYrini 鰐黵mYk lazımdır. Bu halda kod s鰖黱黱 orta uzunluğu:

kimi tYyin edilir.

Eyni ehtimallı asılı olmayan hal 黱:

(25)

kimi tYyin edilir.

Şennon-Fano kodunun qurulması prinsipini araşdırmağa 鏰lışaq.

gYr cavab yalnız 揾Y-yoxolarsa, fikirdY tutulan YdYdini tYyin etmYk 黱 neçY sual vermYk lazımdır?

FYrz edYk ki, -dur. Bu mYsYlYnin hYlli 黱 verilYcYk sualların sayını (k) tYyinetmY prosesini m黵YkkYb sınaq kimi tYsYvv黵 edYk. YYni:

Burada: - 1-ci sualın cavabı, - 2-ci sualın cavabı vY s.

Sınaqdakı entropiya -dir. 屈nki 揾Y-yoxcavabları eyni ehtimallıdır. Bu halda iki sınağın entropiyası olacaq-dır. NYhayYt, sınaqdakı entropiya olar.

Düş黱黮müş rYqYm 10 h黡udunda olduğundan, sınağının maksimal informasiyası: olar.

Yuxarıda dediklYrimizi yekunlaşdırsaq,

Sınaqların sayı kYsr ola bilmYdiyi 黱 g鰐黵黮mYlidir. Bunu aşağıdakı kimi s黚ut etmYk olar:

1-ci sual: 5-dYn b鰕黭d黵m gYr 搚ox onda

2-ci sual: 3-dYn b鰕黭d黵m gYr 搚ox onda

3-csual: 2-dYn ki鏸kdirmi? gYr 揾Y onda

4-csual 1-dirmi? Cavab: 揾Y

躮umi hal 黱: (26) yazmaq lazımdır.

fYrqi hYmişY 1-dYn ki鏸kdir. 屈nki yuvarlaqlaşdırma hYmişY yaxın b鰕黭 tam YdYdY doğru aparılır. Buna g鰎Y dY:

(27) yazmaq olar.

2-lik kodda verilYn 10-luq YdYdin 2-lik mYrtYbYlYrinin sayını g鰏tYrir: . Bu onu g鰏tYrir ki, düş黱黮müş YdYd 100 h黡udun-dadırsa, dYqiq cavab 黱 7 sual vermYk lazım gYlYcYk. 屈nki: -dir.

BelYliklY, kYmiyyYti kod s鰖黱黱 uzunluğunu 鰈鏼YyY imkan verir. G鰏tYrYk ki, 2-nin q黺vYti olduqda, tam YdYd olur vY kod s鰖黱黱 minimal uzunluğunu ifadY edir.

2-lik Ylifba ( ) 黱:

yazmaq olar.

Bu halda fYrqi verilYn xYbYrlYr ansamblının bolluğunu ifadY edYcYkdir. b鰕黭 olduqca bolluq az, kod s鰖黱黱 orta uzunluğu isY qısa olur.

2-lik Ylifba 黱 dediklYrimiz işarYli kod 黱 dY doğrudur. YYni, işarYli Ylifba 黱 kod s鰖黱黱 uzunluğu:

olar. DigYr tYrYfdYn:

vY ya

(30)

alırıq. BelYliklY, (29) kod s鰖黱黱 orta uzunluğunun yuxarı sYrhYdi, (30) isY aşağı sYrhYdidir. Onda:

yazmaq olar.

İndi isY aşağı vY yuxarı sYrhYdlYr arasındakı fYrqi azaldan şYrtY baxaq. Bunun 黱:

şYklindY ifadY edilYn bolluğun tYbiYtini aydınlarşdıraq.

FYrz edYk ki, YlamYtli komplekt kod 鰐黵黮黵. Simvollar asılı deyil. 8 hYrfli Ylifba 鼁rY kodun 鰐黵黮mYsi zamanı kod s鰖黱黱 minimal orta uzunluğu olar.

5 hYrfin 鰐黵黮mYsi 黱 isY:

alınır.

YYni, 5 hYrfin 鰐黵黮mYsi 黱 dY 3 simvol tYlYb olunur. Bu halda sıxlaşdırma Ymsalı:

bolluq isY:

Bu o demYkdir ki, 5 hYrfin 鰐黵黮mYsi zamanı kodun natamam y黭lYnmYsi 22,6% tYşkil edir.

G鰎黱d鼀kimi, 8 2-nin tam q黺vYtidir deyY, kod kombinasiyalarında 12 sıfır vY 12 vahid iştirak edir. Qalan hallarda sıfırlar 鏾xluq tYşkil edir. MYsYlYn 10 xYbYr 黱 4 işarYli koddan istifadY edildiyindYn, sıfırlar vahidlYrdYn 1,66 dYfY 鏾x olur.

kimi hesablanır.

(31) ifadYsinY analoji olaraq:

(32)

yazmaq olar. Burada: - blokdakı hYrflYrin orta sayıdır. HYr bir hYrf dY, 鰖 n鰒bYsindY, elementar simvollarından tYşkil edilir. Ona g鰎Y dY blokşYkilli kodlaşdırmada xYbYrin hYrfindYki elementar simvolların sayı blokun orta uzunluğuna bYrabYrdir:

DemYli, - i almaq 黱 (32) bYrabYrsizliyinin b黷黱 hissYlYrini - Y b鰈mYk lazımdır:

BelYliklY, (34) bYrabYrsizliyi uğultusuz kanalda kodlaşdırmanın Ysas ifadYsidir.

Bunu teorem şYklindY belY ifadY etmYk olar: uğultusuz kanalda simvollu Ylifba ilY entropiyalı siqnallar 鏾xluğu kodlaşdırılarkYn kod s鰖黱黱 orta uzunluğu kYmiyyYtindYn ki鏸k ola bilmYz.

Ehtimallar deyilsY, hYddinY 鏰tmaq m黰k黱 deyil. Lakin kifayYt qYdYr uzun bloklarla hYmin hYddY kifayYt qYdYr yaxınlaşmaq m黰k黱d黵.

a) hYr bir kod s鰖黱dY bolluq minimum vY ya sıfır olmalıdır;

b) optimal kodun kod s鰖lYri asılı olmayan eyni ehtimallı simvollardan qurulmalıdır.

Odur ki, optimal kodlaşdırmanın birinci prinsipi koddakı informasiyanın maksimumluğu, ikinci prinsip isY b鰕黭 ehtimallı kod s鰖黱黱 qısa olmasıdır.

Bu prinsiplYrdYn çıxış edYrYk M xYbYrlYr ansamblını optimal kodlaşdırmaq 黱:

1) xYbYrlYri ehtimalların azalması qaydasında d鼁mYk;

2) xYbYrlYr ansamblını eyni ehtimallı 2 qrupa b鰈mYk;

3) birinci qrupu 0-la, ikincini 1-lY işarY etmYk;

4) hYr qrupu eyni ehtimallı 2 alt qrupa b鰈mYk;

5) alt qrupları 0 vY 1-lY işarYlYmYk;

6) işi hYr qrupda 1 element qalanadYk davam etdirmYk lazımdır.

BYribaşdan g鰏tYrYk ki, eyni ehtimallı xYbYrlYrin optimal kodu komplekt kod olur.

Ehtimallar sırasıdırsa, optimal kod aşağıdakı kimi olacaqdır:

G鰎黱d鼀kimi, ehtimallar azaldıqca, kod s鰖uzanır. HYm dY b黷黱 kod s鰖lYri 0-la qurtarır. Bu, dekodlaşdırma 黱 鏾x m黱asib koddur. 屈nki, hYr bir sıfır bir kod s鰖黱黱 sonunu g鰏tYrir.

Qeyri-bYrabYr ehtimallı halda alınan optimal kod m黿tYlif鰈琰lolur vY MOK adlanır. n sYmYrYli MOK aşağıdakı şYrti 鰀YmYlidir:

(35)

Burada: - 1-ci, isY 2-ci Ylifbanın simvolları; - -ci kod kombinasiyasının uzunluğu; - uzunluqlu kombinasiyada -ci simvo-lun iştirakı ehtimalı; - kod s鰖黱黱 orta uzunluğu; - mYnbYyin etropiyasıdır.

2-lik kodlar 黱:

(36)

屈nki, .

(36) bYrabYrliyindYn: alınır.

gYr olarsa ( ixtiyari YdYd ola bilYr), onda kYmiyyYti - a dYqiq bYrabYr olur. gYr birinci Ylifbanın ( ) b黷黱 işarYlYri 黱 tam YdYd deyilsY, onda olur ki, bu da mYnbYyin entropiyasına tYxmini yaxın olmaq demYkdir.

MOK-un sYmYrYliliyi statistik sıxlaşdırma Ymsalı ilY:

(37)

vY nisbi sYmYrYlilik Ymsalı ilY:

müYyyYn edilir.

Bu Ymsal m黿tYlif ehtimallı asılı olmayan hal 黱:

(39)

M黿tYlif ehtimallı, qarşılıqlı asılı simvollarda isY:

olur.

qYdYr olmalıdır. Burada da N -1-ci, m isY 2-ci Ylifbadakı hYrflYrin sayıdır.

Eyni ehtimallı halda Bodo, m黿tYlif ehtimallı xYbYrlYrdY isY Morze kodu daha sYmYrYlidir. BelY ki, m黿tYlif ehtimallı paylanmada M4,36 bit-Y enir. YYni, Morze kodu Bodo koduna nisbYtYn 0,64 bit qısadır.

Rus mYtninin kod s鰖黱黱 orta uzunluğu Şennon-Fano kodunda 4,4 bit olur.

İri bloklar kodları optimallaşdırsa da, deşifratordan lYng ke鏸r ki, bu da 鰐黵mY s黵Ytini aşağı salır.

MOK kifayYt qYdYr maneYyY davamlı koddur.

MYtn xYbYrlYrini optimal kodlaşdırmaq 黱 Xaffmen maraqlı 黶ul tYklif etmişdir.

FYrz edYk ki, xYbYrlYri aşağıdakı ehtimallarla xarakterizY olunur:


 1,0

 0,5

 0,22

 0,28

 0,08

 0,13

 0,05



G鰎黱d鼀kimi, kodun qurulması Yn ki鏸k ehtimallı xYbYrlYrdYn başlanır. Ehtimalları yaxın olan xYbYrlYrY qrup kimi baxılır. Bunlar-dan t鰎YmY qruplar yaradılır. Sonra ehtimalları nisbYtYn daha yaxın olan t鰎YmY qruplar birlYşdirilYrYk yeni t鰎YmY qruplar yaradılır. BirlYş-dirmY axıradYk davam etdirilir vY yaranan şYcYrYnin sol qanadı 0-la, sağ qanadı 1-lY işarY edilYrYk uyğun xYbYrY aparan marşrutdakı 0 vY 1-lYr ardıcıl d鼁黮黵.

BelYliklY:















kimi kodlara malik olur.

G鰎黱d鼀kimi, ehtimallar hansı s黵YtlY azalırsa, kod da hYmin s黵YtlY uzanır. Burada mYnbYyin entropiyası 2,21 bit/simvol, kodun orta boyu 2,26 bit/simvoldur.