Thermodynamik und Informationstheorie: Deutungen und Bedeutungsunterschiede im Entropiebegriff

Abstract

Es werden vier Interpretationen des Begriffs Entropie vergleichend betrachtet: 1. Die Formulierung von Clausius mit Hilfe thermodynamischer Größen, die die Definition der Entropie S auf eine isotherm und reversibel ausgetauschte Wärmemenge Qrev bezieht und Irreversibilität in einem Kreisprozess mit einer Zunahme der Entropie verknüpft. Es können nur Entropiedifferenzen bestimmt werden. 2. Die Interpretation von Boltzmann als ein Maß für die Wahrscheinlichkeit eines Zustands in einem Ensemble von Teilchen, die sich stochastisch bewegen; die Entropie S wird über das statistische Gewicht W ≥1 eines Zustands bestimmt. Es ist möglich, absolute Entropiebeträge zu ermitteln. Es können auch irreversible Vorgänge mit spontaner Zunahme der Entropie beschrieben werden, ohne eine ausgetauschte Wärmemenge Qrev . 3. Die Bedeutung der Entropie H in der Informationstheorie als dem durchschnittlichen Informationsgehalt eines Zeichens, das, zusammen mit anderen Zeichen, auf einem Datenkanal übermittelt wird. Berechnet wird diese Entropie über die mathematische Wahrscheinlichkeit pi ≤1, mit der die einzelnen Zeichen auftreten und die Information -log2pi tragen. Diese Wahrscheinlichkeiten sind nicht identisch mit dem W, dem statistischen Gewicht. Außerdem ermöglicht diese Entropie H eine Voraussage über die erwartete Fortsetzung einer bereits empfangenen Zeichenkette. Der Entropiebegriff ist mit der Bandbreite des Datenkanals verknüpft.

4. Die binäre Entropiefunktion als Maß für die Verringerung der Kanalkapazität und damit für den Informationsverlust durch stochastische Prozesse im Verlauf einer Übertragung auf einem Datenkanal.