Какво е ентропия? Дефиниция, термодинамика и теория на информацията

Ентропията на даден обект е мярка за количеството енергия, което не е на разположение за извършване на работа. Ентропията също така е мярка за броя на възможните подредби, които могат да имат атомите в една система. В този смисъл ентропията е мярка за неопределеност или случайност. Колкото по-висока е ентропията на даден обект, толкова по-несигурни сме по отношение на състоянията на атомите, изграждащи този обект, тъй като има повече състояния, от които можем да избираме. Един закон на физиката гласи, че е необходима работа, за да стане ентропията на даден обект или система по-малка; без работа ентропията никога не може да стане по-малка - може да се каже, че всичко бавно преминава към безпорядък (по-висока ентропия).

Думата "ентропия" произлиза от изследването на топлината и енергията в периода 1850-1900 г. Някои много полезни математически идеи за изчисляване на вероятности възникват от изучаването на ентропията. Тези идеи сега се използват в теорията на информацията, химията и други области на изследване.

Ентропията е просто количествена мярка за това, което описва вторият закон на термодинамиката: разпръскването на енергията до нейното равномерно разпределение. Значението на ентропията е различно в различните области. Тя може да означава:

Ентропия в термодинамиката (макроскопичен поглед)

В класическата термодинамика ентропията S измерва как изменението на топлината, внесена или отнета при обратим процес, се отразява на системата. За обратим (реваерсивен) процес при температура T елементът на ентропията се дава от формулата:

dS = δQ_rev / T

Оттук, когато топлина δQ преминава в система при температура T по обратим път, ентропията на системата се увеличава с δQ/T. Единицата в SI е джоул на келвин (J/K).

• Експериментален пример: при разтопяване на лед ентропията на водата се увеличава, защото молекулите получават повече възможни подредби.
• Рефрижераторите работят, като преместват ентропия от вътрешността към външната среда, но това изисква извършване на работа — общата ентропия на вселената се увеличава.

Ентропия в статистическата физика (микроскопичен поглед)

Статистическата механика дава по-интуитивно и количествено обяснение чрез броя на микросъстоянията (подредбите) W, които съответстват на едно макросъстояние. Нюймановият видулачен запис на Богмант е:

S = k_B ln W

където k_B е константата на Болцман (k_B ≈ 1.380649×10^−23 J/K). Тази формула показва, че ентропията расте с логаритъма на броя на възможните микросъстояния: ако системата може да бъде подредена по много начини, ентропията е висока.

Ентропия в теорията на информацията

Клод Шанън въведе понятие за информационна ентропия, което количествено измерва средната неопределеност или информация, съдържаща се в случайна променлива. Формулата е:

H = − Σ p_i log_b p_i

където p_i са вероятностите на възможните съобщения, а базата b на логаритъма определя мерната единица (база 2 → бит, база e → нат). Пример: честно хвърляне на монета има H = 1 бит — пълна неопределеност между две равновероятни събития.

Връзката между физическата и информационната ентропия е дълбока: информацията за състоянието на система е обратимо свързана с броя на възможните микросъстояния. Парадоксът на Максуел (Maxwell's demon) и неговото разрешение чрез принципа на Ландауер (Landauer) показват, че изтриването на информация има термодинамичен ценз — изтриването на един бит информация води до минимум k_B T ln 2 генерирана ентропия (и топлина), което запазва втория закон.

Ентропия в химията и термодинамиката на процесите

• В химията се използва промяната на ентропията ΔS заедно с промяната на енталпията ΔH при изчисляване на свободната енергия: ΔG = ΔH − TΔS. От тук следва кога дадена реакция е спонтанна (ΔG < 0).
• При смесване, разтваряне и дифузия ентропията обикновено се увеличава — например течности и газове се смесват „по естествен път”, защото има повече подредби (микросъстояния).

Основни свойства и важни допълнения

• Вторият закон: общата ентропия на изолирана система не намалява; в реални (необратими) процеси ентропията нараства.
• Третият закон: ентропията на идеален кристал при абсолютната нула (0 K) е нула — това дава отправна точка за абсолютни стойности на ентропията.
• Адитивност и екстензивност: за две независими системи общата ентропия е сумата от ентропиите им.
• Вероятностна интерпретация: макросъстоянията с най-много микросъстояния са най-вероятни — затова "типичното" поведение на големи системи е да реализират състояния с висока ентропия.

Практическо значение

• В инженерството познаването на ентропията и нейното производство е ключово за проектиране на двигатели, хладилници и процеси с висока енергийна ефективност.
• В информатиката и телекомуникациите Шанън-ентропията задава граници на компресията и необходимата среда за кодиране на данни.
• В биологията животните и растенията поддържат ниска локална ентропия чрез обмен на енергия и материя с околната среда — общата ентропия на вселената обаче продължава да расте.

Кратки примери за илюстрация

• Кафе с мляко: когато налеете млякото в кафето, то се смесва и ентропията на системата се увеличава — молекулите имат повече възможни подредби.
• Свободно разширение на газ в празен обем: газът заемa повече обем и ентропията нараства, защото броят на микросъстоянията се увеличава.
• Компресия на газ (работа върху системата): ентропията на газа намалява, но за да се извърши това се полага работа и често ентропията на околната среда се увеличава повече.

Ентропията е централно понятие във физиката, химията, информатиката и други науки, защото свързва вероятността, енергията и информацията в един единен количествен език. Разбирането ѝ помага да се обяснят защо някои процеси са спонтанни, как се предава топлина, и какви са фундаменталните ограничения в обработката и съхранението на информация.

Въпроси и отговори

В: Какво представлява ентропията на даден обект?

В: Каква е връзката между ентропията и неопределеността/случайността?

Въпрос: Може ли ентропията на даден обект или система да бъде намалена без работа?

В: Откъде идва думата ентропия?

Въпрос: Какво измерва ентропията количествено?

В: Как се различава значението на ентропията в различните области?

В: Каква е ролята на ентропията при изчисляването на вероятностите?

Търсене по буква