matheraum.de
Raum für Mathematik
Offene Informations- und Nachhilfegemeinschaft

Für Schüler, Studenten, Lehrer, Mathematik-Interessierte.
Hallo Gast!einloggen | registrieren ]
Startseite · Forum · Wissen · Kurse · Mitglieder · Team · Impressum
Forenbaum
^ Forenbaum
Status Mathe
  Status Schulmathe
    Status Primarstufe
    Status Mathe Klassen 5-7
    Status Mathe Klassen 8-10
    Status Oberstufenmathe
    Status Mathe-Wettbewerbe
    Status Sonstiges
  Status Hochschulmathe
    Status Uni-Analysis
    Status Uni-Lin. Algebra
    Status Algebra+Zahlentheo.
    Status Diskrete Mathematik
    Status Fachdidaktik
    Status Finanz+Versicherung
    Status Logik+Mengenlehre
    Status Numerik
    Status Uni-Stochastik
    Status Topologie+Geometrie
    Status Uni-Sonstiges
  Status Mathe-Vorkurse
    Status Organisatorisches
    Status Schule
    Status Universität
  Status Mathe-Software
    Status Derive
    Status DynaGeo
    Status FunkyPlot
    Status GeoGebra
    Status LaTeX
    Status Maple
    Status MathCad
    Status Mathematica
    Status Matlab
    Status Maxima
    Status MuPad
    Status Taschenrechner

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Neuerdings beta neu
 Forum...
 vorwissen...
 vorkurse...
 Werkzeuge...
 Nachhilfevermittlung beta...
 Online-Spiele beta
 Suchen
 Verein...
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Dt. Schulen im Ausland: Mathe-Seiten:Weitere Fächer:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
StartseiteMatheForenLineare Algebra SonstigesKleinste Quadrate Lösung
Foren für weitere Schulfächer findest Du auf www.vorhilfe.de z.B. Deutsch • Englisch • Französisch • Latein • Spanisch • Russisch • Griechisch
Forum "Lineare Algebra Sonstiges" - Kleinste Quadrate Lösung
Kleinste Quadrate Lösung < Sonstiges < Lineare Algebra < Hochschule < Mathe < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "Lineare Algebra Sonstiges"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Kleinste Quadrate Lösung: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 12:52 So 27.01.2013
Autor: ralfr

Aufgabe
Geben Sie für $Ax=b$ die Kleinste Quadrate Lösung an
[mm] $A=\pmat{ 1 & 3&5 \\ 1&1&0 \\1&1&2\\1&3&3 }$ [/mm]
[mm] $b=\vektor{3\\5\\7\\-3}$ [/mm]

Hallo :)
in der Vorlesung hatten wir soetwas noch überhaupt nicht. Ich hoffe jemand kann mir erläutern, wie ich da vorgehen muss.


        
Bezug
Kleinste Quadrate Lösung: Antwort
Status: (Antwort) fertig Status 
Datum: 13:00 So 27.01.2013
Autor: fred97

Schau mal hier:

http://de.wikipedia.org/wiki/Methode_der_kleinsten_Quadrate

FRED

Bezug
        
Bezug
Kleinste Quadrate Lösung: Antwort
Status: (Antwort) fertig Status 
Datum: 15:03 So 27.01.2013
Autor: HJKweseleit

Du sollst offenbar das Gleichungssystem A*x=b lösen, wobei A eine Matrix und b, x Spaltenvektoren sind. Dies läuft in diesem Fall auf das Lösen von vier Gleichungen mit nur 3 Unbekannten hinaus.

Wenn du in der Matrix die ersten beiden Zeilen addiertst und die dritte davon abziehst, kommt die vierte heraus. Machst du das aber mit dem Vektor aus 3, 5, 7 und -3, klappt das nicht. Das bedeutet: Die Gleichungen widersprechen einander, es gibt gar keine Lösung.

So etwas tritt z.B. in der Physik oft auf, wenn man weiß, dass z.B. ein Gesetz vorliegt, das 3 unbekannte Zahlen enthält, die noch zu bestimmen sind. Wegen der Messfehler, die man unvermeidlich macht, findet man dann z.B. diese Zahlen nicht, wenn man mehr als 3 Messungen macht und nicht alles hundertprozentig zueinander passt.

Die Fragestellung heißt nun: Wenn ich bei der Gleichung Ax=b in den Vektor x beliebige Werte als Lösung einsetze, kommt ja nicht für Ax wieder b heraus. Nun betrachtet man die Differenz zu b, also Ax-b. Dieser "Fehlervektor" soll nun so gewählt werden, dass er minimale Länge hat, die Summe der Quadrate seiner einzelnen Komponenten also minimal wird. Das ist das Gesetz der kleinsten Fehlerquadrate.

Man kann sich nun theoretisch überlegen, dass man den gesuchten Vektor x als "beste Annäherung" findet, wenn man A transponiert und das Gleichungssystem von links mit [mm] A^T [/mm] multipliziert:

[mm] A^T(Ax)=A^Tb [/mm] oder [math](A^TA)x=A^Tb [/math].

Bei deinem Problem erhältst du dann als optimale Lösung [mm] x_1=10, x_2=-6 [/mm] und [mm] x_3=2. [/mm]


Bezug
                
Bezug
Kleinste Quadrate Lösung: Korrekturmitteilung
Status: (Korrektur) kleiner Fehler Status 
Datum: 15:13 So 27.01.2013
Autor: Marcel

Hallo,

> Du sollst offenbar das Gleichungssystem A*x=b lösen, wobei
> A eine Matrix und b, x Spaltenvektoren sind. Dies läuft in
> diesem Fall auf das Lösen von vier Gleichungen mit nur 3
> Unbekannten hinaus.
>  
> Wenn du in der Matrix die ersten beiden Zeilen addiertst
> und die dritte davon abziehst, kommt die vierte heraus.
> Machst du das aber mit dem Vektor aus 3, 5, 7 und -3,
> klappt das nicht. Das bedeutet: Die Gleichungen
> widersprechen einander, es gibt gar keine Lösung.

das ist alles nicht wirklich falsch, was Du sagst, es begründet aber eher,
wieso er die Aufgabe so lösen soll, wie sie gestellt ist. Dein erster Satz
hier ist eigentlich schon total falsch: Er soll nicht [mm] $Ax=b\,$ [/mm] lösen, sondern
das Minimierungsproblem
[mm] $$x_m=\min\{\|Ax-b\|_2:\;\;x \in \IR^n\}$$ [/mm]
mit (hier) einer Matrix $A [mm] \in \IR^{m \times n}$ [/mm] mit $m > [mm] n\,,$ [/mm] hier $m=4 > [mm] n=3\,.$ [/mm]  
Daher: Nur der rotmarkierte Satz sollte anders formuliert werden, dass stimmt
nicht. Das steht so NICHT in der Aufgabenstellung!


Edit: Okay, ich hatte es nicht richtig gelesen. Die haben es ja selber so
formuliert, wie Du es hier getan hast. (Auch, wenn ich das nicht wirklich gut
finde). Daher: Vergessen wir, was ich hier sagte. [sorry]


Gruß,
  Marcel

> So etwas tritt z.B. in der Physik oft auf, wenn man weiß,
> dass z.B. ein Gesetz vorliegt, das 3 unbekannte Zahlen
> enthält, die noch zu bestimmen sind. Wegen der Messfehler,
> die man unvermeidlich macht, findet man dann z.B. diese
> Zahlen nicht, wenn man mehr als 3 Messungen macht und nicht
> alles hundertprozentig zueinander passt.
>  
> Die Fragestellung heißt nun: Wenn ich bei der Gleichung
> Ax=b in den Vektor x beliebige Werte als Lösung einsetze,
> kommt ja nicht für Ax wieder b heraus. Nun betrachtet man
> die Differenz zu b, also Ax-b. Dieser "Fehlervektor" soll
> nun so gewählt werden, dass er minimale Länge hat, die
> Summe der Quadrate seiner einzelnen Komponenten also
> minimal wird. Das ist das Gesetz der kleinsten
> Fehlerquadrate.
>  
> Man kann sich nun theoretisch überlegen, dass man den
> gesuchten Vektor x als "beste Annäherung" findet, wenn man
> A transponiert und das Gleichungssystem von links mit [mm]A^T[/mm]
> multipliziert:
>  
> [mm]A^T(Ax)=A^Tb[/mm] oder [math](A^TA)x=A^Tb [/math].
>  
> Bei deinem Problem erhältst du dann als optimale Lösung
> [mm]x_1=10, x_2=-6[/mm] und [mm]x_3=2.[/mm]
>  


Bezug
        
Bezug
Kleinste Quadrate Lösung: Unsinn korrigiert!
Status: (Antwort) fertig Status 
Datum: 15:07 So 27.01.2013
Autor: Marcel

Hallo,

> Geben Sie für [mm]Ax=b[/mm] die Kleinste Quadrate Lösung an
>  [mm]A=\pmat{ 1 & 3&5 \\ 1&1&0 \\1&1&2\\1&3&3 }[/mm]
>  
> [mm]b=\vektor{3\\5\\7\\-3}[/mm]
>  Hallo :)
>  in der Vorlesung hatten wir soetwas noch überhaupt nicht.
> Ich hoffe jemand kann mir erläutern, wie ich da vorgehen
> muss.

es gilt (das folgende ist falsch, siehe edit! In [mm] $(\*)$ [/mm] steht die richtige,
korrigierte Fassung)

[mm] $$\red{x_m=\underbrace{\min\| Ax-b\|_2}_{\text{genauer (hier):} \min\{\|Ax-b\|_2:\;\;x \in \IR^3\}}} \iff \underbrace{A^TA }_{=:\tilde{A}}x_m=A^Tb$$ [/mm]

(Edit: Korrektur: Die nun rotmarkierte linke Seite ist einfach etwas,
was von mit total falsch geschrieben worden ist (wie soll i.a. der Vektor
[mm] $x_m\,$ [/mm] mit einer reellen Zahl übereinstimmen?) Ersetze die linke Seite
duch
[mm] $$x_m \text{ ist der Vektor aus }\IR^n\text{, welcher erfüllt }\|Ax_m-b\|_2 \le \|Ax-b\|_2 \text{für alle }x\in \IR^n\,,$$ [/mm]
also:
[mm] $$(\*)\;\;\;\;\;x_m \in \IR^n \text{ erfüllt }\|Ax_m-b\|_2 \le \|Ax-b\|_2 \text{ für alle }x \in \IR^n \iff \underbrace{A^TA }_{=:\tilde{A}}x_m=A^Tb\,.$$ [/mm]
Sorry, das ist mir erst nach meinem Schlaf aufgefallen, was ich da für einen
Unfug geschrieben hatte!)


Die rechte Seite sagt alles! (Wenn Du willst, kannst Du ja diese Äquivalenz
auch beweisen. Nebenbei: Schau' mal, ob Du []dieses Buch (klick!) noch
irgendwo findest. Kostet ca. 3 Euro (kein Verschreiber), und ist generell sehr
hilfreich, wie ich finde! (Preis spiegelt hier nicht die Qualität wieder, das Buch
ist nur schon ca. 15 Jahre alt; und ist, wie ich finde, ein Buch, was man
jedem Studienanfänger, der LA hören muss, in die Hand drücken sollte. Ich
hatte es damals nicht zur Hand, sehe aber heute, dass es den Übergang
Schule -> Uni, wie ich finde, wesentlich erleichtern könnte. Vor allem
bekommt man manchmal auch nochmal erklärt, wie das, was man an der
Schule gelernt hat, nochmal ein wenig "unigerechter" zu notieren hat...))

[]weiterer Link

Gruß,
  Marcel  

Bezug
                
Bezug
Kleinste Quadrate Lösung: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 18:20 So 27.01.2013
Autor: ralfr

Danke erst einmal an alle, die mir helfen wollen.
Allerding verwirrt mich die Gleichung mit der transponierten Matrix ein wenig. Wozu brauche ich dies?
Also es soll nun
[mm] &\wurzel{(x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2} [/mm] minimal werden
Muss ich das alles nun Ausmultiplizieren und gucken, wie ich das Minimum bekomme oder wie verfahre ich dort?

Bezug
                        
Bezug
Kleinste Quadrate Lösung: Antwort
Status: (Antwort) fertig Status 
Datum: 18:56 So 27.01.2013
Autor: MathePower

Hallo ralfr,

> Danke erst einmal an alle, die mir helfen wollen.
>  Allerding verwirrt mich die Gleichung mit der
> transponierten Matrix ein wenig. Wozu brauche ich dies?
>  Also es soll nun
>  
> [mm]&\wurzel{(x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2}[/mm]
> minimal werden
>  Muss ich das alles nun Ausmultiplizieren und gucken, wie
> ich das Minimum bekomme oder wie verfahre ich dort?


Betrachte den Ausdruck unter der Wurzel.

Setze die partiellen Ableitungen alle gleich Null.

Löse dann das entsprechend LGS.


Gruss
MathePower

Bezug
                                
Bezug
Kleinste Quadrate Lösung: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 19:26 So 27.01.2013
Autor: ralfr

Entschuldigung aber das verstehe ich nun wirklich nicht :( kannst du das bitte genauer erläutern?

Bezug
                                        
Bezug
Kleinste Quadrate Lösung: Antwort
Status: (Antwort) fertig Status 
Datum: 19:55 So 27.01.2013
Autor: MathePower

Hallo ralfr,

> Entschuldigung aber das verstehe ich nun wirklich nicht :(
> kannst du das bitte genauer erläutern?


Betrachte den Ausdruck:

[mm] (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2[/mm]

Differenziere diesen Audruck nach [mm]x_{1}, \ x_{2}, \ x_{3}[/mm]
und setze diese partiellen Ableitungen gleich Null:

[mm]\bruch{\partial}{\partial x_{1}}\left(\ (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2 \ \right)=0[/mm]

[mm]\bruch{\partial}{\partial x_{2}}\left(\ (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2 \ \right)=0[/mm]

[mm]\bruch{\partial}{\partial x_{3}}\left(\ (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2 \ \right)=0[/mm]

Es entsteht ein lineares Gleichungssystem.
Ermittle daraus die Lösungen für [mm]x_{1}, \ x_{2}, \ x_{3}[/mm].


Gruss
MathePower

Bezug
                                                
Bezug
Kleinste Quadrate Lösung: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 20:54 So 27.01.2013
Autor: Marcel

Hallo,

> Hallo ralfr,
>  
> > Entschuldigung aber das verstehe ich nun wirklich nicht :(
> > kannst du das bitte genauer erläutern?
>
>
> Betrachte den Ausdruck:
>  
> [mm](x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2[/mm]
>  
> Differenziere diesen Audruck nach [mm]x_{1}, \ x_{2}, \ x_{3}[/mm]
>  
> und setze diese partiellen Ableitungen gleich Null:
>  
> [mm]\bruch{\partial}{\partial x_{1}}\left(\ (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2 \ \right)=0[/mm]
>  
> [mm]\bruch{\partial}{\partial x_{2}}\left(\ (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2 \ \right)=0[/mm]
>  
> [mm]\bruch{\partial}{\partial x_{3}}\left(\ (x_1+3x_2+5x_3-3)^2+(x_1+x_2-5)^2+(x_1+x_2+2x_3-7)^2+(x_1+3x_2+3x_3+3)^2 \ \right)=0[/mm]
>  
>  
> Es entsteht ein lineares Gleichungssystem.
>  Ermittle daraus die Lösungen für [mm]x_{1}, \ x_{2}, \ x_{3}[/mm].

ich ergänze jetzt einfach mal: Das, was Du hier machst, kann man sich
eigentlich auch überlegen, wenn man das [mm] $x\,,$ [/mm] welches $ [mm] \|Ax-b\|_2$ [/mm]
minimiert, direkt finden will - insbesondere könnte man dann auch sagen,
dass dieses [mm] $x\,$ [/mm] sowohl [mm] $\|Ax-b\|_2$ [/mm] als auch [mm] ${\|Ax-b\|_2}^2$ [/mm]
minimiert. (Eigentlich ist das ja sogar eine [mm] $\iff$-Aussage!) [/mm]

Ich finde, bei der oben gestellten Aufgabe sollte der Aufgabenbearbeiter
aus der Suche nach dem [mm] $x\,,$ [/mm] welches [mm] $\|Ax-b\|_2$ [/mm] minimiert,
direkt folgern, dass er das GLS
[mm] $$(A^T*A)x=A^T*b$ [/mm]
zu lösen hat.

Gruß,
  Marcel

Bezug
                        
Bezug
Kleinste Quadrate Lösung: GLS mit (A^T*A)*x=A^T*b lösen!
Status: (Antwort) fertig Status 
Datum: 20:50 So 27.01.2013
Autor: Marcel

Hallo Ralf,

> Danke erst einmal an alle, die mir helfen wollen.
>  Allerding verwirrt mich die Gleichung mit der
> transponierten Matrix ein wenig. Wozu brauche ich dies?

anstatt
$$ [mm] \|Ax-b\|_2 \;\stackrel{!}{\longrightarrow}\; \min$$ [/mm]
(das ist eine andere Notation für das Minimierungsproblem, was ich nun
schon ein paar Mal geschrieben habe)

löst Du einfach das GLS:
[mm] $$\tilde{A}x=\underbrace{A^T*b}_{=:\tilde{b}}$$ [/mm]
mit [mm] $\tilde{A}:=A^T*A \in \IR^{3 \times 3}\,.$ [/mm]

Wie man lineare GLS löst, weißt Du doch, oder? Also berechne mal [mm] $A^T*A=:\tilde{A}$ [/mm]
und auch [mm] $A^T*b=\tilde{b} \in \IR^{4 \times 1} \cong \IR^4$ [/mm] und leg' dann mal los!

P.S. Wegen $A [mm] \in \IR^{4 \times 3}$ [/mm] ist [mm] $A^T \in \IR^{3 \times 4}$ [/mm] und
damit
[mm] $$\underbrace{A^T}_{ \in \IR^{3 \times \red{4}}}*\underbrace{A}_{ \in \IR^{\red{4} \times 3}} \in \IR^{3 \times 3}\,.$$ [/mm]

P.P.S. Warum Mathepower nun eine Lösung direkt für das
Minimierungsproblem vorschlägt, weiß ich nicht. Mit seiner Methode kann
man sicher die Äquivalenz zwischen
[mm] $$x_m=\min \|Ax-b\|_2$$ [/mm]
und
[mm] $$(A^T*A)*x_m=A^T*b$$ [/mm]
beweisen. Aber Du sollst dies hier einfach nur ANWENDEN! Also
meinetwegen mal in einer Schritt-für-Schritt-Anleitung:

    1. Berechne [mm] $A^T*A=:\tilde{A}$ [/mm] und [mm] $A^T*b=:\tilde{b}\,.$ [/mm]
Du weißt doch sicher, wie man die Transponierte einer Matrix bildet, und
wie man Matrizen miteinander multipliziert?!

    2. Schreibe Dir das neu entstandene Gleichungssystem/die Matrix-Vektor-Gleichung
[mm] $$\tilde{A}*x=\tilde{b}$$ [/mm]
auf.

    3. Löse [mm] $\tilde{A}*x=\tilde{b}\,$ [/mm] nach [mm] $x\,$ [/mm] auf, mit einem Dir bekannten Verfahren (Gauß-Algorithmus).

Gruß,
  Marcel

Bezug
                                
Bezug
Kleinste Quadrate Lösung: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 21:44 So 27.01.2013
Autor: ralfr


> Hallo Ralf,
>  
> > Danke erst einmal an alle, die mir helfen wollen.
>  >  Allerding verwirrt mich die Gleichung mit der
> > transponierten Matrix ein wenig. Wozu brauche ich dies?
>  
> anstatt
> [mm]\|Ax-b\|_2 \;\stackrel{!}{\longrightarrow}\; \min[/mm]
>  (das ist
> eine andere Notation für das Minimierungsproblem, was ich
> nun
>  schon ein paar Mal geschrieben habe)
>  
> löst Du einfach das GLS:
>  [mm]\tilde{A}x=\underbrace{A^T*b}_{=:\tilde{b}}[/mm]
>  mit [mm]\tilde{A}:=A^T*A \in \IR^{3 \times 3}\,.[/mm]
>  
> Wie man lineare GLS löst, weißt Du doch, oder? Also
> berechne mal [mm]A^T*A=:\tilde{A}[/mm]
>  und auch [mm]A^T*b=\tilde{b} \in \IR^{4 \times 1} \cong \IR^4[/mm]
> und leg' dann mal los!
>  
> P.S. Wegen [mm]A \in \IR^{4 \times 3}[/mm] ist [mm]A^T \in \IR^{3 \times 4}[/mm]
> und
>  damit
> [mm]\underbrace{A^T}_{ \in \IR^{3 \times \red{4}}}*\underbrace{A}_{ \in \IR^{\red{4} \times 3}} \in \IR^{3 \times 3}\,.[/mm]
>  
> P.P.S. Warum Mathepower nun eine Lösung direkt für das
> Minimierungsproblem vorschlägt, weiß ich nicht. Mit
> seiner Methode kann
>  man sicher die Äquivalenz zwischen
>  [mm]x_m=\min \|Ax-b\|_2[/mm]
>  und
>  [mm](A^T*A)*x_m=A^T*b[/mm]
>  beweisen. Aber Du sollst dies hier einfach nur ANWENDEN!
> Also
> meinetwegen mal in einer Schritt-für-Schritt-Anleitung:
>  
> 1. Berechne [mm]A^T*A=:\tilde{A}[/mm] und [mm]A^T*b=:\tilde{b}\,.[/mm]
>  Du weißt doch sicher, wie man die Transponierte einer
> Matrix bildet, und
> wie man Matrizen miteinander multipliziert?!
>  
> 2. Schreibe Dir das neu entstandene Gleichungssystem/die
> Matrix-Vektor-Gleichung
>  [mm]\tilde{A}*x=\tilde{b}[/mm]
>  auf.
>  
> 3. Löse [mm]\tilde{A}*x=\tilde{b}\,[/mm] nach [mm]x\,[/mm] auf, mit einem
> Dir bekannten Verfahren (Gauß-Algorithmus).
>  
> Gruß,
>    Marcel

Dankeschön ich schreibe dann einmal alles auf:
[mm] $A=\pmat{ 1 & 3&5 \\ 1&1&0 \\1&1&2\\1&3&3 }$ [/mm]
[mm] $A^T=\pmat{ 1&1&1&1 \\ 3&1&1&3 \\5&0&2&3 }$ [/mm]
[mm] $A^T*A=\pmat{ 4&8&10 \\ 8&20&26 \\ 10&26&38 }$ [/mm]
[mm] $A^T*b=\vektor{12 \\ 12 \\20}$ [/mm]
Wenn ich nun
[mm] $A^T*A*x=A^T*b$ [/mm] setze und x ausrechne komme ich auf
[mm] $x=\vektor{8 \\ -6 \\ 2}$ [/mm]

Ist das korrekt?

Bezug
                                        
Bezug
Kleinste Quadrate Lösung: Antwort
Status: (Antwort) fertig Status 
Datum: 22:04 So 27.01.2013
Autor: MathePower

Hallo ralfr,

> > Hallo Ralf,
>  >  
> > > Danke erst einmal an alle, die mir helfen wollen.
>  >  >  Allerding verwirrt mich die Gleichung mit der
> > > transponierten Matrix ein wenig. Wozu brauche ich dies?
>  >  
> > anstatt
> > [mm]\|Ax-b\|_2 \;\stackrel{!}{\longrightarrow}\; \min[/mm]
>  >  
> (das ist
> > eine andere Notation für das Minimierungsproblem, was ich
> > nun
>  >  schon ein paar Mal geschrieben habe)
>  >  
> > löst Du einfach das GLS:
>  >  [mm]\tilde{A}x=\underbrace{A^T*b}_{=:\tilde{b}}[/mm]
>  >  mit [mm]\tilde{A}:=A^T*A \in \IR^{3 \times 3}\,.[/mm]
>  >  
> > Wie man lineare GLS löst, weißt Du doch, oder? Also
> > berechne mal [mm]A^T*A=:\tilde{A}[/mm]
>  >  und auch [mm]A^T*b=\tilde{b} \in \IR^{4 \times 1} \cong \IR^4[/mm]
> > und leg' dann mal los!
>  >  
> > P.S. Wegen [mm]A \in \IR^{4 \times 3}[/mm] ist [mm]A^T \in \IR^{3 \times 4}[/mm]
> > und
>  >  damit
> > [mm]\underbrace{A^T}_{ \in \IR^{3 \times \red{4}}}*\underbrace{A}_{ \in \IR^{\red{4} \times 3}} \in \IR^{3 \times 3}\,.[/mm]
>  
> >  

> > P.P.S. Warum Mathepower nun eine Lösung direkt für das
> > Minimierungsproblem vorschlägt, weiß ich nicht. Mit
> > seiner Methode kann
>  >  man sicher die Äquivalenz zwischen
>  >  [mm]x_m=\min \|Ax-b\|_2[/mm]
>  >  und
>  >  [mm](A^T*A)*x_m=A^T*b[/mm]
>  >  beweisen. Aber Du sollst dies hier einfach nur
> ANWENDEN!
> > Also
> > meinetwegen mal in einer Schritt-für-Schritt-Anleitung:
>  >  
> > 1. Berechne [mm]A^T*A=:\tilde{A}[/mm] und [mm]A^T*b=:\tilde{b}\,.[/mm]
>  >  Du weißt doch sicher, wie man die Transponierte einer
> > Matrix bildet, und
> > wie man Matrizen miteinander multipliziert?!
>  >  
> > 2. Schreibe Dir das neu entstandene Gleichungssystem/die
> > Matrix-Vektor-Gleichung
>  >  [mm]\tilde{A}*x=\tilde{b}[/mm]
>  >  auf.
>  >  
> > 3. Löse [mm]\tilde{A}*x=\tilde{b}\,[/mm] nach [mm]x\,[/mm] auf, mit einem
> > Dir bekannten Verfahren (Gauß-Algorithmus).
>  >  
> > Gruß,
>  >    Marcel
>
> Dankeschön ich schreibe dann einmal alles auf:
>  [mm]A=\pmat{ 1 & 3&5 \\ 1&1&0 \\1&1&2\\1&3&3 }[/mm]
>  [mm]A^T=\pmat{ 1&1&1&1 \\ 3&1&1&3 \\5&0&2&3 }[/mm]
>  
> [mm]A^T*A=\pmat{ 4&8&10 \\ 8&20&26 \\ 10&26&38 }[/mm]
>  
> [mm]A^T*b=\vektor{12 \\ 12 \\20}[/mm]
>  Wenn ich nun
>  [mm]A^T*A*x=A^T*b[/mm] setze und x ausrechne komme ich auf
>  [mm]x=\vektor{8 \\ -6 \\ 2}[/mm]
>  
> Ist das korrekt?


Korrekte Lösung lautet:

[mm]x=\vektor{\blue{10} \\ -6 \\ 2}[/mm]


Gruss
MathePower

Bezug
                                        
Bezug
Kleinste Quadrate Lösung: Antwort
Status: (Antwort) fertig Status 
Datum: 22:15 So 27.01.2013
Autor: Marcel

Hallo Ralf,

> Dankeschön ich schreibe dann einmal alles auf:
>  [mm]A=\pmat{ 1 & 3&5 \\ 1&1&0 \\1&1&2\\1&3&3 }[/mm]
>  [mm]A^T=\pmat{ 1&1&1&1 \\ 3&1&1&3 \\5&0&2&3 }[/mm]
>  
> [mm]A^T*A=\pmat{ 4&8&10 \\ 8&20&26 \\ 10&26&38 }[/mm]
>  
> [mm]A^T*b=\vektor{12 \\ 12 \\20}[/mm]

>

>  Wenn ich nun
>  [mm]A^T*A*x=A^T*b[/mm] setze und x ausrechne komme ich auf
>  [mm]x=\vektor{8 \\ -6 \\ 2}[/mm]
>  
> Ist das korrekt?

neben Mathepowers Antwort, woraus sich ja ergibt, dass Du anscheinend
einen Rechenfehler irgendwo hast (wenn Du alles aufschreibst, können wir
beim Suchen helfen):
Du kannst auch einfach mal mit diesem [mm] $x\,$ [/mm] dann
[mm] $$(\*_2)\;\;\;\;\;(A^T*A)*x=\tilde{A}*x$$ [/mm]
ausrechnen, und gucken, ob da [mm] $\tilde{b}=A^T*b$ [/mm] rauskommt! (Ich hab's nicht nachgerechnet,
aber ich vertraue mal darauf, dass Mathepower das richtig gerechnet hat,
und dann sollte bei [mm] $(\*_2)$ [/mm] nicht [mm] $\tilde{b}$ [/mm] rauskommen!)

Gruß,
  Marcel

Bezug
                                                
Bezug
Kleinste Quadrate Lösung: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 22:26 So 27.01.2013
Autor: ralfr

Danke ich habe meinen Fehler gefunden :)
Mathepower hatte Recht

Bezug
Ansicht: [ geschachtelt ] | ^ Forum "Lineare Algebra Sonstiges"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
www.matheraum.de
[ Startseite | Forum | Wissen | Kurse | Mitglieder | Team | Impressum ]