Alpha Centauri

Prof. Harald Lesch und Entropie

Was ist Entropie?

(Quelle: http://www.br-online.de/br-alpha/alpha-centauri/alpha-centauri-entropie-harald-lesch)

Entropy

Stop-Motion Entropy

Wenn Entropie dadurch nicht klarer wird dann weiß ich auch nicht weiter 😉

(Quelle: http://www.youtube.com/watch?v=5KIhDVLbMeY)

Entropie (Informationstheorie)

Entropie ist ein Maß für den mittleren Informationsgehalt pro Zeichen einer Quelle, die ein System oder eine Informationsfolge darstellt. In der Informationstheorie spricht man bei Information ebenso von einem Maß für beseitigte Unsicherheit. Je mehr Zeichen im Allgemeinen von einer Quelle empfangen werden, desto mehr Information erhält man und gleichzeitig sinkt die Unsicherheit über das, was hätte gesendet werden können.

(Quelle: http://de.wikipedia.org/wiki/Entropie_(Informationstheorie))

Beispiel Münzwurf

Maximale Entropie bei p=0.5

Bei einem Münzwurf sind idealerweise Kopf oder Zahl gleich wahrscheinlich. Wenn man die Entropie als Maß für die Ungewissheit auffasst, wird sie hier einen maximalen Wert aufweisen. Es ist völlig ungewiss, ob beim nächsten Wurf Kopf oder aber Zahl geworfen wird.

Sei X eine diskrete Zufallsvariable und der Erwartungswert E[X]=Σ P(X=x_i)⋅x_i mit

P(X=x₀) = p₀ = p = ½ (Kopf) und

P(X=x₁) = p₁ = q= ½ (Zahl)

ergibt sich aus obiger Definition (1) Entropie H = 1 bit.

(Quelle: http://de.wikipedia.org/wiki/Entropie_(Informationstheorie))

Entropie (Thermodynamik)

Entropie ist ein Begriff aus der Thermodynamik, der in die Informationstechnik übernommen wurde und den Informationsinhalt einer Nachricht repräsentiert. Da der Informationsinhalt einer Nachricht im Wesentlichen von der Nachrichtenquelle abhängt, spricht man auch von Source-Entropie. Die Entropie der Nachricht wird aber auch von dem Übertragungskanal bestimmt, so durch die Übertragungskapazität. Ist die Entropie der Quelle geringer als die des Übertragungskanals, dann werden die Nachrichten fehlerfrei übvertragen. Im umgekehrten Fall sind die Nachrichten fehlerbehaftet.

(Quelle: http://www.itwissen.info/definition/lexikon/Entropie-entropy.html)

Entropie und Information

	Wenn wir den Zusammenhang von Entropie und Information näher beleuchten wollen, müssen wir uns zunächst mal anschauen, wie man Information quantitativ definiert.
		Die erste wichtige Erkenntnis dazu ist: Das geht überhaupt nicht so, wie man sich das naiv vorstellen würde. Schauen wir ein Beispiel an:
		Welcher der zwei nachfolgenden Symbolketten enthält mehr Information? PRÜFUNG BESTANDEN ARFGUN SEPUNNBEDÜT
	Die an sich klare Antwort „1“ ist falsch.
		Denn die beiden Sätze enthalten technisch, d.h. von der Syntax (= Muster, Zusammenstellung) her gesehen, exakt dieselbe Information, denn die beiden Zeichenketten bestehen aus einem identischen Satz von Zeichen.
		Die Zahl an Bits, die man bräucht, um beide Sätze zu kodieren und dann vielleicht auf irgendeinem Datenkanal zu übertragen ist identisch. Auch die Störanfälligkeit, der mögliche Verlust an Information ist dieselbe für die beiden Sätze sowie für alle anderen möglichen Sequenzen, die sich aus der gebenen Menge an Symbolen bilden lassen.
	Dass wir das Gefühl haben, dass eigentlich nur eine einzige Sequenz (die Nr. 1) Sinn ergibt und damit Information enthält, liegt daran, dass wir automatisch die Semantik (= Bedeutung) einer Symbolsequenz betrachten.
		Maschinen können das aber nicht; siehe das grandiose Scheitern der „künstlichen Intelligenz„.
		Es gibt deshalb keine befriedigende Definition von Information, die auch der Bedeutung der betrachteten Information gerecht wird; selbst nur auf die Syntax bezogene Definitionen sind im Grunde noch unbefriedigend.
	Da wir aber nichts Besseres haben, nehmen wir die klassische Definition, von Shannon 1948 eingeführt.
	Betrachten wir zunächst eine Symbolmenge, z.B. ein Alphabet, mit N Zeichen oder Symbolen. Damit treten in statistisch gebildeten Symbolketten alle Symbole gleich häufig auf (im Gegensatz zu Wörtern einer Sprache, z.B. der Deutschen, in denen z.B. das Symbol „E“ sehr viel häufiger auftreten wird als „Y„).
		Damit ist die Wahrscheinlichkeit pi dafür, dass ein Symbol vorkommt, für alle Symbole gleich groß und wir haben pi = p = 1/N
		Nebenbei bemerkt: Wenn wir die pi unterschiedlich groß machen würden und dann anfangen Symbolketten zu bilden, landen wir ganz schnell bei den Prinzipien der statistischen Thermodynamik.
	Wieviel Information steckt in einem Zeichen?
		Stellen wir uns vor, wir warten bei der Übermittlung einer Sequenz auf das nächste Symbol. Wir definieren die im Zeichen steckende Information I über die Formel
		N =  2I
		I ist dann schlicht die Zahl der Ja/Nein Fragen, die man braucht um mit der geringstmöglichen Anzahl an Fragen herauszufinden, um welches Symbol es sich handelt
		Das „geringstmöglich“ ist dabei ein bißchen unpräzise. Wir würden aber z.B. bei einem Alphabet uns nicht naiv wie folgt durchfragen: Ist es A? – Nein, Ist es B?, …; sondern fragen: Kommt es aus der 1. Hälfte? – Nein; 1. Hälfte der 2. Hälfte?,… . Nach jeder derartigen Frage bleibt dann immer nur noch die Hälfte der Möglichkeiten.
	Damit haben wir eine 1. Definition für Information
		I =  ld N = ld (1/p)
		Dabei steht „ld“ für den „Logarithmus dualis“, den Logarithmus zur Basis 2.
	Das ist aber zu einfach um damit viel anfangen zu können, Deshalb unterstellen wir jetzt, dass die Einzelwahrscheinlichkeiten pi des Auftretens der Symbole verschieden sind – so wie in einem „richtigen“ Alphabet im Kontext einer „richtigen“ Sprache .
		Die Information I(zi), die im i-ten Symbol (= zi) steckt, ist dann offenbar
		I(zi)  =  ld N = ld (1/pi)   =  – ld (pi)
		Unwahrscheinliche Buchstaben enthalten dann mehr Information als wahrscheinliche. Das ist auch OK, denn wenn wir in einer Übertragung ein „y“ oder „x“ bekommen, wissen wir einfach mehr als wenn mal wieder ein „e“ rüberwächst.
	So gesehen können wir den Informationsgehalt einer Nachricht auch wie folgt definieren:
		Der Informationsgehalt eines übermittelten Symbols ist proportional zum Grad unserer Überraschung.
		Wenn wieder mal ein „e“ kommt, hält sich die Überraschung in Grenzen, aber ein „y“ erwarten wir halt eher nicht1).
	Im nächsten Schritt interessieren wir uns nur noch für den Mittelwert H der Information, der in einem durch die pi definierten spezifischen sprachbezogenen Alphabet mit N Symbolen steckt.
		Um einen zum Mittelwert proportionalen Wert H zu erhalten, müssen wir über die in den Symbolen enthaltene Information multipliziert mit der Wahrscheinlichkeit ihres Auftretens summieren; wir haben also
		H = N S i = 1 pi · I(pi) =  – N S i = 1 pi · ld (pi)
	Das ist die klassische Formel von Shannon. Die Größe H hat er, und das sollte uns jetzt nicht all zu sehr verblüffen, Entropie genannt.
		Die Bedeutung von H für die Informationstheorie liegt darin, dass wenn wir Z Zeichen übertragen wollen, das Produkt H · Z direkt die Mindestzahl der bits angibt, die man braucht um mit dem Alphabet Information übertragen zu können.
	Aber warum nennt Shannon diesen Informationsmittelwert Entropie? Ist das tatsächlich dasselbe, wie die Entropie in der Thermodynamik?
	Nun ja – nicht exakt. But close enough. Von der thermodynamischen Entropie S, wie sie in der statistischen Thermodynamik definiert wird, unterscheidet sich H nur in zwei verhältnismäßig trivialen Punkten:
		1. Die oben indirekt angesprochene Proportionalitätskonstante (die in den Gleichungen immer = 1 gesetzt ist) muss k = Boltzmannkonstante sein. Aber das ist wahrlich trivial; wir messen nur mit verschiedenen Maßsystemen.
		2. Die korrekte thermodynamische Entropie, die eigentlich nur für Gleichgewicht definiert ist, entspricht genaugenommen nur dem Maximalwert von H, den wir für Gleichverteilung der Symbole erhalten.
	Wenn man dann das alles gebührend berücksichtigt, erhält man eine interessante Beziehung für die thermodynamische Entropie, die in einem bit Information steckt:
		S(1 bit)  =  – k · ln2
		Das bedeutet, dass eine Entropieerhöhung von 0,957 · 10–23 JK–1 in einen gegebenen System, genau ein bit an Information vernichtet. Und da die Entropie in einem abgeschlossenen System nicht abnehmen kann, kann auch keine Information spontan entstehen.
		Das ist nicht nur „Theorie“, sondern damit konnte Leo Szilard zum ersten Mal eines der berühmtesten offenen Probleme der Thermodynamik, den „Maxwellschen Dämon“ erklären. Mal selbst Googeln; Stichworte: information entropie maxwell dämon.
	Immerhin, irgendwie scheinen die gute alte Entropie und die noch recht junge und nicht sonderlich gut definierte Information zusammenzuhängen. Hat das was zu bedeuten? Wird die Informatik möglicherweise auch mal zu einem Untergebiet der Physik, so wie die Chemie?
		Nichts genaues weiß man nicht. Es gibt berühmte Leute, die sehr konträre Ansichten vertreten. Atkins, z.B. hält das alles für trivial bis Blödsinn, während Penrose darin einen der Schlüssel für die künftige „neue“ Physik sieht.
		Wir werden sehen.

(Quelle: http://www.tf.uni-kiel.de/matwis/amat/mw1_ge/kap_5/advanced/t5_3_2.html)