Информация ұғымы

— Как вы добрались?

Рената вскинула бровь и вдруг расхохоталась, обнажив ровные белоснежные зубы.

— Лиля, не нужно демонстрировать мне хорошие манеры. Я верю, что ты получила прекрасное воспитание! И все-таки мне удобнее общаться сразу на «ты».

— Извините! — растерялась я. — То есть извини…

— Тебя что-то шокирует? — не унималась Рената

«Информация» ұғымы әртүрлі мағынаға ие. Қоғамдық-саяси информация әлеуметтік жүйенің өзекті жаңалықтары туралы мәліметтердің жиыны болып табылады. Кибернетикада информация ұғымы сигналдарды сақтау, өңдеу және жіберумен байланысты. Ықтималдықтар теориясында информация аддитивті мөлшерлік өлшем ретінде кездейсоқ оқиғаларды бір-біріне қатысты ықтималдылығымен салыстыру арқылы енгізіледі. Барлық информация теориясы негізінде информацияны мөлшерлі бағалау жатыр. Қарапайым комбинаторикалық формада бұл тұжырымды Р. Хартли ұсынды, ал толық аяқталған түрін К. Шеннон тұжырымдады.

Шеннон информация теориясы О және L екі таңбаның арасындағы (биттер арасындағы) қарапайым альтернативті таңдаудан шығады, ондағы L 1-ге, “иә”, “шындық” т.с.с. теңестірілсе, ал О 0-ге, “жоқ”, “жалған” теңестіріледі. Мұндай таңдау екі белгіден тұратын хабарды қабылдауға сәйкес келеді.

Мұндай хабарда болатын информация мөлшері бірлік ретінде қабылданады және ол бит деп аталады. Сондықтан бит - екілік белгі және информация мөлшерінің өлшем бірлігі, ол екі байланысқан тең ықтималдықты таңдамадағы информация мөлшері ретінде анықталады.

Айталық

(1)

– Х және Y әріптерімен сәйкес белгіленген жүйенің күйін сипаттайтын айнымалылар жыйыны болсын. Егер – Х жүйесі күйде болғанда Y у_i күйіне өту ықтималдығы (шартты ықтималдық) болса, онда Y жүйесінің алған информациясы мынаған тең:

. (2)

– X жүйесіндегі оқиғасына қатысты информация мөлшері деп аталады.

Ықтималдық арасында жатқандықтан I әрқашан оң шама.

Логарифм негізін таңдауға байланысты информация мөлшері екілік, ондық және натурал логарифм бойынша:сәйкесінше бит, дит, нат -пен өлшенеді.

Энтропия ұғымы ашық жүйелер теориясында маңызды сипаттаманың бірі болып табылады және де статистикалық сипаттағы анықталмағандық мөлшерін, ашық жүйелердің тепе-теңсіз күйлерінің салыстырмалы дәрежедегі реттілігінің өлшемін, эволюция теориясындағы әртектілік өлшемін атқарады. Информациялық және статистикалық теорияның даму барысында энтропияның анықтамасы көптеген өзгерістерге ұшырады. Энтропия ұғымы ең алғаш термодинамикада грек тілінен аударғанда (entroph) түрлену деген мағынаны білдіретін, энергияның қайтымсыз бір бағытта таралуын анықтайтын толық дифференциал формасында енгізілген:

, (4)

мұндағы d Q - жүйенің қабылдайтын жылу мөлшері, Т -температура.

Энтропияның (4)-ші формула түріндегі Клаузиус анықтамасы, оның толық мағынасын ашпайды. Клаузиус энтропиясы аддитивтік тұрақтыға дейінгі дәлдікпен алынған. (4)-ші формула көмегімен энтропияны тікелей өлшеуге болмайды, себебі мұндағы температура жүйенің тепе-теңдік күйіне сай, ал жүйеге жылу берілетін жағдайда бұл шарт орындалмайды. Сол себепті (4) бойынша анықталған энтропияны өлшейтін энтропометр жоқ. Осыдан туындайтын энергияның берілу бағытына байланысты энтропияның өсуі айқын емес, соңғы кездердегі басылымдар көрсеткендей «ойландыратын тұжырым». Қорыта айтсақ, энтропияның термодинамикалық анықтамасы тепе-теңсіз құбылыстардың ерекшеліктерін ескермейді.

Энтропия түсінігі сонымен қатар кездейсоқ шамалардың ықтималдықтарының таралуына да байланысты. Е_i энергияның теңықтималдықты таралуы кезінде жүйенің ішкі таралу ықтималдылығы былай анықталады.

.

Энтропияны мына түрде табамыз

. (7)

Орташа ықтималдықтың мағынасы бойынша (7) былай жазылады:

(8)

(8) - бойынша анықталған энтропия информациялық энтропия деп аталады.