matheraum.de
Raum für Mathematik
Offene Informations- und Nachhilfegemeinschaft

Für Schüler, Studenten, Lehrer, Mathematik-Interessierte.
Hallo Gast!einloggen | registrieren ]
Startseite · Forum · Wissen · Kurse · Mitglieder · Team · Impressum
Forenbaum
^ Forenbaum
Status Mathe
  Status Schulmathe
    Status Primarstufe
    Status Mathe Klassen 5-7
    Status Mathe Klassen 8-10
    Status Oberstufenmathe
    Status Mathe-Wettbewerbe
    Status Sonstiges
  Status Hochschulmathe
    Status Uni-Analysis
    Status Uni-Lin. Algebra
    Status Algebra+Zahlentheo.
    Status Diskrete Mathematik
    Status Fachdidaktik
    Status Finanz+Versicherung
    Status Logik+Mengenlehre
    Status Numerik
    Status Uni-Stochastik
    Status Topologie+Geometrie
    Status Uni-Sonstiges
  Status Mathe-Vorkurse
    Status Organisatorisches
    Status Schule
    Status Universität
  Status Mathe-Software
    Status Derive
    Status DynaGeo
    Status FunkyPlot
    Status GeoGebra
    Status LaTeX
    Status Maple
    Status MathCad
    Status Mathematica
    Status Matlab
    Status Maxima
    Status MuPad
    Status Taschenrechner

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Neuerdings beta neu
 Forum...
 vorwissen...
 vorkurse...
 Werkzeuge...
 Nachhilfevermittlung beta...
 Online-Spiele beta
 Suchen
 Verein...
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Dt. Schulen im Ausland: Mathe-Seiten:Weitere Fächer:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
StartseiteMatheForenKrypto,Kodierungstheorie,ComputeralgebraEntropie von Nachrichten
Foren für weitere Studienfächer findest Du auf www.vorhilfe.de z.B. Astronomie • Medizin • Elektrotechnik • Maschinenbau • Bauingenieurwesen • Jura • Psychologie • Geowissenschaften
Forum "Krypto,Kodierungstheorie,Computeralgebra" - Entropie von Nachrichten
Entropie von Nachrichten < Krypt.+Kod.+Compalg. < Theoretische Inform. < Hochschule < Informatik < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "Krypto,Kodierungstheorie,Computeralgebra"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Entropie von Nachrichten: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 16:22 Di 14.04.2015
Autor: asgaroth

Hallo,

ich versuche mich gerade mit Entropie (Informationstheorie) auseinanderzusetzen. Ich habe einen (verrauschten) Kommunikationskanal
nach Shannon ( http://coral.lili.uni-bielefeld.de/Classes/Summer96/Textdesc/funslides/img10.gif ) (Informationssource und Transmitter bzw. Receiver und Destination sind in meinem Fall eins).

Shannon definiert Entropie der Wahrscheinlichkeiten [mm] $p_1,...,p_i$ [/mm] in "Mathematical Theory of Communication" als [mm] H = - \sum_{i}p_i * log_2(p_i)[/mm] und sagt es sei ein Maß für die Unsicherheit eines Ereignisses.
Er sagt weiterhin die Entropie für eine Informationsquelle sei [mm] H=\sum_{i}P_i*p_i(j)log_{2}(p_i(j)) [/mm] für alle möglichen Zustände i und mögliche erzeugte Symbole j.

In z.B. Wikipedia ist Entropy erklärt als:
"In information theory, entropy is the average amount of information contained in each message received"
bzw.
"Maß für den mittleren Informationsgehalt oder auch Informationsdichte einer Nachricht"

In Bossert - "Kanalkodierung" steht "Sei X eine Menge von Zeichen [...] Unsicherheit (Entropie) H(X) ist definiert als Mittelwert der Selbstinformation"

Die Formeln in Bossert und Wikipedia sind die gleichen wie bei Shannon. Es wird jedoch von einer diskreten,gedächtnislosen Quelle (diskrete Zufallsvariable) X gesprochen und [mm] $p_i [/mm] = P(X = i)$ die Wahrscheinlichkeit das Zeichen i auftritt.

Im Studium wurde uns Entropie anhand der Englischen bzw. Deutschen Sprache erklärt und der Häufigkeiten einzelner Buchstaben.

Ich komme nun aber durch die ganzen verschiedenen Definitionen die zwar eigentlich gleich sind aber irgendwie halt auch nicht nicht mehr mit. Bei Shannon verstehe ich, dass er eine Informationsquelle als Markow-Kette sieht, d.h. Zustände die bei einem Zustandsübergang mit einer bestimmten Warhscheinlichkeit ein bestimmtes Symbol produzieren. Danach hat man für jedes Symbol aus dem Alphabet eine Wahrscheinlichkeit und kann als Summe die Entropie berechnen.

Die Frage die ich gerade klären soll ist: Wie unterscheidet sich die Entropie einer Nachricht im Shannonmodell ohne Rauschen von einer Nachricht mit Rauschen?

Ist Entropie einer Nachricht im Endeffekt das gleiche wie Entropie einer Informationsquelle?

Müsste ich für den zweiten Fall die Verbundentropie der zwei Quellen (Information Source und Noise Source) berechnen?

Vielen Dank im vorraus, Asga mit Brett vor dem Kopf :)!  

        
Bezug
Entropie von Nachrichten: Antwort
Status: (Antwort) fertig Status 
Datum: 12:08 So 19.04.2015
Autor: Infinit

Hallo Asga,
da hast Dur Dir ein nicht gerade einfaches Thema vorgenommen, aber ein paar Tipps bzw. Kommentare kann ich Dir wohl geben.
Zunächst einmal ist es egal, ob die Information aus einer diskreten oder kontinuierlichen Quelle kommt. Die Rechnung mit einer diskreten Quelle ist den meisten Leuten einleuchtender, hier werden Wahrscheinlichkeiten addiert, im kontinuierliche Fall rechnet man mit Integralen, was vielen Leuten etwas unheimlicher ist.
Was Deine Frage anbelangt zum Rauschen, so kann durchaus auch Rauschen eine Entropie besitzen, auf jeden Fall stört solch ein Rauschen die Entscheidungsfindung im Empfänger, welches Zeichen gerade gesendet wurde. Shannon gibt hierfür Abschätzungen an, die mathematisch mit Ungleichheiten beschrieben werden und insofern ist es nicht gerade einfach, eine Optimalstrategie zur Dekodierung zu entwickeln.
Bei additivem weißen Gaußschen Rauschen gibt es einen Ausdruck mit Hilfe einer Gleichung, die die Kanalkapazität bestimmt als Funktion des Geräuschspannungsabstandes und der Bandbreite. Näheres kannst Du selbst ergoogeln unter "Shannon-Hartley-Gesetz".
Deine zweite Frage zielt auf die Übertragung von Information ab. Die Informationsquelle besitzt eine gewisse Entropie, die Nachrichtensignalisierung muss nun so gewählt werden, dass diese Entropie auch übertragen werden kann. In allen mir bekannten Fällen ist die Entropie des Nachrichtensignals größer als die Entropie der Quelle, man "verschwendet" auf Kosten der Einfachheit also ein paar Bits, kann das Ganze damit aber noch handhabbar halten. Was wir als Nachrichtentechniker von Shannon gelernt haben, ist, dass es eine Codierung gibt, die beliebig nahe sich der Entropie der Informationsquelle annähern kann, leider gibt es jedoch keinen allgemeingültigen Hinweis, wie solch eine Nachrichtencodierung auszusehen hat.
Viele Grüße,
Infinit

Bezug
Ansicht: [ geschachtelt ] | ^ Forum "Krypto,Kodierungstheorie,Computeralgebra"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
www.matheraum.de
[ Startseite | Forum | Wissen | Kurse | Mitglieder | Team | Impressum ]