logo geist+materie



 

2.2. Information, Entropie und Daten

In diesem Abschnitt werde ich behaupten, dass Informationen keine Daten sind, sondern dasjenige, aus dem Daten erzeugt werden können. Außerdem werde ich behaupten, dass der ,Informationsgehalt‘ oder die Entropie nach Shannon und Weaver nichts aussagt über Information als Form, Struktur oder Gestalt von etwas, wie sie im vorigen Abschnitt charakterisiert wurde. Zunächst jedoch geht es um die Frage: Ist Information messbar?

Information, so hatte ich gesagt, ist die Gestalt, die Form oder Struktur eines Dinges oder Phänomens. Eine Form kann man vermessen; Von einem festen Körper oder einem Hohlraum kann man Länge, Breite, Höhe oder Durchmesser bestimmen. Von einer Welle kann man die Wellenlänge und die Amplitude angeben. Man kann die Größe von Flächen und Volumina und den Verlauf von Kurven berechnen. Einige Aspekte von Information lassen sich also direkt messen oder berechnen. Aber es ist klar, dass etwa die Gestalt eines Baumes durch die Angabe von Höhe, Umfang, Stammdurchmesser nur sehr grob charakterisiert ist – auch die Zahl seiner Äste, Zweige, Blätter oder Zellen würde uns wenig über die Gestalt des Baumes verraten.

Einige Verwirrung hat die ,Informationstheorie‘ von Claude Shannon und Warren Weaver []] hervorgerufen [1]. Sie befassten sich in den 1940er Jahren in den Bell Telephone Laboratories mit dem Problem der verlustfreien Übertragung von Nachrichten. Eine Nachricht besteht aus Zeichen, und der ‘Informationsgehalt’ eines einzelnen Zeichens ist nach Shannon das Maß für die Unwahrscheinlichkeit oder Unsicherheit, mit der das Auftreten dieses Zeichens innerhalb einer festgelegten Zeichenmenge zu erwarten ist: Der Informationsgehalt eines Zeichens ist umso größer, je unsicherer sein Auftreten ist. Dabei wird nicht nur von der Bedeutung der Zeichen abstrahiert, sondern auch – und das ist in unserem Kontext wichtig – von der formalen Verschiedenheit der Zeichen, also von dem, woran wir sie erkennen können.

Ein Beispiel mag das verdeutlichen: Würfelt man mit einem guten Würfel, dann ist die Erwartungswahrscheinlichkeit für alle Augenzahlen von Eins bis Sechs genau gleich, nämlich 1:6. Der Informationsgehalt aller Würfe ist also gleich, und das obwohl die Zahlen von 1 bis 6 durchaus ungleich sind – und erst recht ist es dem Spieler normalerweise nicht gleich, ob er eine Eins oder eine Sechs würfelt. Das kleine Beispiel zeigt: Dieser ,Informationsgehalt‘ hat nichts mit dem zu tun, was wir gewöhnlich mit Information meinen. Vielmehr geht es hier letztlich darum, die Datenmenge zu berechnen, die nötig ist, um beliebige Informationen einer Art, z.B. Text, Bilder oder Sprache, zu überragen. Warren Weaver schreibt:

„In dieser Theorie wird das Wort Information auf eine spezielle Weise benutzt, die nicht mit dem üblichen Gebrauch verwechselt werden darf. Tatsächlich können zwei Mitteilungen, von denen eine bedeutungsschwer und die andere purer Unsinn ist, von diesem Standpunkt aus als Information genau gleichwertig sein.“ [2]

Shannon und Weaver haben nie behauptet, dass ihre Theorie für Fragestellungen außerhalb der Nachrichtentechnik von Bedeutung sei. Trotzdem hatte sie enormen Einfluss auf die Naturwissenschaften und die Philosophie. Das hing nicht zuletzt damit zusammen, dass Shannons Gleichung für den ,Informationsgehalt‘ formal analog zu einer Gleichung in der statistischen Mechanik und Thermodynamik ist, und zwar der Gleichung für die Entropie, einer Zustandsgröße, die man als das Maß für den Grad der Unordnung oder der Zufälligkeit in einem System interpretieren kann. Die Gleichsetzung von Informationsgehalt mit Entropie war irritierend, denn sie schien zu bedeuten, dass nicht nur in der Datenübertragung, sondern auch in der ‘wirklichen Welt’ der Informationsgehalt eines Systems um so größer, je ungeordneter es ist [3].

Andere dagegen meinten, es müsse gerade umgekehrt sein: Information sei ein Maß für Ordnung oder für Komplexität eines Systems. Ausgehend vom Entropie-Begriff der Thermodynamik schlussfolgerten Erwin Schrödinger und Léon Brillouin, dass Lebewesen negative Entropie oder abgekürzt Negentropie in sich anreichern, indem sie ihre Struktur und innere Ordnung aufbauen. Auch Norbert Wiener, der Begründer der Kybernetik, betrachtete Information als das Maß der Organisation in einem System [4]. Nach dem Erscheinen von Shannons Theorie war dann unklar, ob Information nun als Negentropie oder als Entropie zu deuten sei . So schrieb Carl Friedrich von Weizsäcker:

„Information ist das Maß einer Menge an Form. Wir werden auch sagen: Information ist ein Maß der Gestaltenfülle.“ [5]

Es fragt sich freilich, was ein „Maß der Gestaltenfülle“ genau sein soll – ein Maß für Ordnung oder für Komplexität? Das ist nicht dasselbe. Die folgende Abbildung soll das veranschaulichen: Bei einer chaotischen Verteilung der Punkte (A) ist der Informationsgehalt nach Shannon, also die Entropie, am größten – denn die Entropie ist ja das Maß für Unsicherheit, für Nicht-Vorhersagbarkeit, für Unordnung. Ein hoher Grad an Ordnung bei sehr geringer Komplexität (B) hat einen sehr geringen Informationsgehalt nach Shannon, denn hier ist gut vorhersagbar, wo der nächste Punkt kommt. Die Entropie ist also hier am kleinsten, die Negentropie entsprechend am größten (denn es wird nur ein Minus vor den Entropiewert gesetzt). Das heißt: Weder Entropie noch Negentropie taugen als Maß für Komplexität oder Gestaltfülle. Entropie und Negentropie der komplexen Ordnung C liegen vielmehr irgendwo zwischen den Extremen A und B.
 

Chaos           Einfache Ordnung           Komplexität
A  Chaos:
Entropie
am größten,
Negentropie
am kleinsten.
     B  Ordnung:
     Entropie
     am kleinsten,
     Negentropie
     am größten.
     C  Komplexität:
     Entropie und
     Negentropie
     zwischen denen
     von A und B.

 
Man kann es auch so sagen: Für die Codierung von A wird die größte Datenmenge, die größte Zahl von Bits benötigt, denn man muss die Lage jedes einzelnen Punktes angeben. Für die Codierung von B genügt es dagegen, die Abstände der Reihen und Punktabstände anzugeben, um die Struktur zu codieren; die benötigte Datenmenge ist daher viel geringer. Die komplexere Struktur C liegt auch hier irgendwo zwischen den Extremen A und B, denn auch die komplexe Struktur enthält Wiederholungen und Symmetrien von Formen, also Redundanzen. die eine Datenreduktion erlauben. Auch die Datenmenge, die Anzahl der Bits, die für die quantitative Beschreibung einer Form oder Struktur benötigt wird, ist kein Maß für deren Komplexität oder Gestaltfülle.

Welche Beziehung besteht überhaupt zwischen Information und Daten? Im vorigen Abschnitt hatte ich Information als Form oder Struktur von etwas definiert. Daten entstehen dann, wenn wir Formen oder Strukturen quantitativ beschreiben, also zählen oder messen. Die kleinste Dateneinheit ist das Bit, und jedes Bit stellt eine Ja/Nein-Entscheidung dar (unter der Voraussetzung, dass beide Optionen gleich wahrscheinlich sind). Ein Bit kann binär als Eins bzw. Null codiert werden. Die einfachste Ja/Nein-Frage an ein Ding oder Phänomen ist: Existiert es oder existiert es nicht?

Auch Messvorgänge, bei denen wir mehr über ein Phänomen erfahren wollen als nur. ob es vorhanden ist oder nicht, beruhen auf unseren Entscheidungen: auf der Entscheidung, ob und wann wir messen, welches Messverfahren und welche Skala wir benutzen. Die Länge eines Brettes ist, wie sie ist – sie ist ein Merkmal der Form, also der Information. Die Maßzahl – also das Datum – ist dagegen abhängig von der Entscheidung, ob ich in Zentimeter oder in Zoll messe.

Informationen sind also keine Daten, sondern sie sind das, woraus man Daten gewinnen kann. Daten werden von uns produziert. Wir tun das, indem wir feststellen, dass etwas so oder so ist – indem wir also Entscheidungen treffen. Wieso wir das können, ist Thema eines späteren Kapitels.

Stellen wir die umgekehrte Frage: Sind Daten Information? Nein, denn Daten sind Inhalte von Information. Auch Daten können nur existieren, wenn sie in irgendeiner physikalischen Form oder Struktur existieren. Beispielsweise können Daten als Zahlen in einem Buch stehen. Sie können auch die Form einer Kurve in einem Diagramm haben oder als eine Sequenz elektrischer Impulse (einer zeitlichen Struktur) übertragen werden. Mit Daten verhält es sich also genau wie mit anderen Inhalten von Information: In einem Buch können z.B. Messdaten abgedruckt sein, es kann aber auch ein Gedicht abgedruckt sein. Beides hat eine Bedeutung, für einen verstehenden Leser. Das Verstehen der Inhalte von Information ist Thema des nächsten Abschnitts.

Meine These, Daten seien keine Information, ist wahrscheinlich für manchen gewöhnungsbedürftig. Aber es ist äußerst wichtig, Information und Daten nicht zu verwechseln. Die Vermischung oder Gleichsetzung von beidem hat in der Philosophie des Geistes für viel Verwirrung gesorgt. Es ist wahr, dass Lebewesen und besonders ihre Gehirne Informationen verarbeiten, doch das beißt nicht, dass dort Daten verarbeitet werden. Daten sind nämlich nicht das ,Material‘, das hier verarbeitet wird, sondern sie sind das Endprodukt. Im Gegensatz dazu verarbeiten Computer tatsächlich Daten (mit denen wir sie füttern), und das Endprodukt ist Information: Formen oder Strukturen auf dem Bildschirm, Schrift, Bilder oder Töne, die wir mit unseren Sinnen aufnehmen und deren Inhalt wir verstehen können.

Kommen wir nun zurück zur Ausgangsfrage: Ist Information (als solche) messbar? Man stelle sich einmal vor, man wollte die Struktur eines einfachen Objektes, etwa eines Bleistiftes, in all seinen Aspekten bis hinunter zu den Atomen und deren Teilen quantitativ erfassen. Das ist zumindest praktisch nicht möglich. Es lassen sich also nur Aspekte der Form und Struktur des Bleistifts quantitativ erfassen, aber nicht die Information in ihrer Totalität.

Heißt das, dass Information ihrer Natur nach nicht quantitativ, sondern qualitativ ist? Nein, das heißt es nicht. Qualitäten und Kontraste entstehen in unserer Wahrnehmung, In der physikalischen Welt gibt es nur Unterschiede, nur ein Mehr-oder-Weniger [6]. Es gibt nicht groß und klein, sondern nur Unterschiede in der Größe, es gibt nicht kalt und warm. sondern Unterschiede in der Wärme, es gibt kein Rot und Grün, sondern Unterschiede der Wellenlänge usw. Unsere Wahrnehmung, unser Geist erzeugt die Kontraste und Qualitäten – warum, das ist Thema eines späteren Kapitels. Aber es geschieht auf der Basis von Information, auf der Basis der Unterschiede, die wir in der Welt vorfinden.

 

nach oben

nächste Seite


Fußnoten

  1. Claude Shannon und Warren Weaver: Mathematische Grundlagen der Informationstheorie. München 1976 (Übersetzung von "The Mathematical Theory of Communication", siehe Fußnote 2). Ich setze Informationsgehalt und Informationstheorie in Anführungszeichen, um zu verdeutlichen. dass das Wort Information darin eine sehr spezielle, vom allgemeinen Verständnis verschiedene Bedeutung hat.  [⇑]
     
  2. C. F. Shannon, W. Weaver. (1972) The Mathematical Theory of Communication. Urbana: University of Illinois Press, S. 8 (erstmals veröffentlicht 1948).  [⇑]
     
  3. Shannon berichtete in der folgenden Anekdote, wie es zur Wahl des Namens Entropie kam:
      „Meine größte Sorge war, wie man es nennen soll. Ich dachte daran, es ‘Information’ zu nennen, doch das Wort wurde übermäßig benutzt, und so beschloss ich, es ‘Unsicherheit’ zu nennen. Als ich darüber mit John von Neumann diskutierte, hatte er eine bessere Idee. Von Neumann sagte mir: Du solltest es Entropie nennen, aus zwei Gründen. Der erste Grund ist: Deine Unsicherheits-Funktion ist in der statistischen Mechanik unter diesem Namen benutzt worden, also hat sie schon einen Namen. Der zweite und wichtigere Grund: Niemand weiß, was Entropie wirklich ist, also wirst du in einer Debatte immer im Vorteil sein.“  (M. Tribus, und E.C. McIrvin:. Energy and information, Scientific American, 224; Sept. 1971).
      John von Neumann hatte durchaus Recht mit seinem Hinweis auf die Analogie der beiden mathematischen Ausdrücke. Der Name Entropie für Shannons „Unsicherheit“ ist also berechtigt – problematisch und leicht irreführend ist dagegen die Bezeichnung „Information“.  [⇑]
     
  4. Schrödinger und Brillouin dachten bei Entropie zunächst nicht an Information, sondern an freie Energie.
    Erwin Schrödinger: Was ist Leben? – Die lebende Zelle mit den Augen des Physikers betrachtet. München: Piper 1989;
    Brillouin, Léon: (1953). Negentropy Principle of Information, Journal of Applied Physics, 24, 1152-1163;
    Léon Brillouin, La science et la théorie de l'information, Masson, 1959.
    Norbert Wiener (1965). Kybernetik. Regelungen und Nachrichtenübertragung in Lebewesen und in der Maschine. Düsseldorf: Econ.  [⇑]
     
  5. C. F. v. Weizsäcker: Aufbau der Physik. München 1985, S. 167.
      Weizsäcker meint, dass es nur eine Frage des Wissens sei, ob man die Entropie als Maß der Gestaltenfülle oder der Unordnung bezeichnet:
      „Die auf meinem Schreibtisch gestapelte Menge beschriebenen und bedruckten Papiers ist, wenn ich weiß, was wo auf den Papieren steht, eine außerordentliche Gestaltenfülle; wenn ich (oder die Putzfrau) es nicht weiß, so ist sie Unordnung.“ (ebd., 168)
      Doch das Beispiel passt nicht, denn Entropie hat nichts mit Wissen in einem semantischen Sinne zu tun. Das Problem worin es von Weizsäcker geht, ist die Versöhnung des 2. Hauptsatzes der Thermodynamik mit dem Faktum der Evolution. So schreibt er:
      „Es ist, wie oben gesagt, üblich, Entropie als ein Maß der Unordnung und damit die thermodynamische Irreversibilität als ein Anwachsen der Unordnung aufzufassen. Evolution hingegen wird als Wachstum der Gestaltenfülle und insofern von Ordnung verstanden. Unter diesen Prämissen musste die Evolution als ein der thermodynamischen Irreversibilität entgegengesetzter Vorgang empfunden werden.“ (ebd., 169).
      Sie ist entgegengesetzt. Doch die Erklärung ist einfach: Nur in abgeschlossenen Systemen stellt sich mit der Zeit die maximale Entropie ein. Die irdische Biosphäre ist aber nichts weniger als ein abgeschlossenes System, denn sie empfängt unablässig Energie von der Sonne. Dadurch wird die Evolution und die damit verbundene Verminderung der Entropie ermöglicht. Nimmt man Sonne und Erde zusammen als ein System, dann nimmt die Entropie in ihm zu infolge der Energie, die die Sonne unablässig in den Weltraum abstrahlt. Man kann die Erde also eine ,negentropische Insel‘ nennen.  [⇑]
     
  6. Ausnahmen bilden hier vielleicht die vier Grundkräfte (Gravitation, Elektromagnetismus, starke und schwache Wechselwirkung) und die diversen Elementarteilchen, die man als (physikalisch) qualitativ verschieden ansehen kann. Allerdings hat das nichts (oder nur sehr wenig) mit unseren Sinnesqualitäten zu tun: Wir spüren nicht die Gravitation als solche, sondern unser eigenes Gewicht und das Gewicht von Dingen, die wir heben oder tragen. Und wir spüren keine Elektrizität als solche, sondern, je nach dem, Kribbeln oder Schmerz.  [⇑]
     

nach oben

nächste Seite