Methode der kleinsten Quadrate < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 19:38 Mo 06.05.2013 | | Autor: | Dilli |
| Aufgabe | | Methode der kleinsten Quadrate = Minimum |
Hallo Zusammen,
wir sind Studierende, die sich gerade einer Herausforderung in Statistik stellen und haben eine Frage an euch. Es geht dabei um die Methode des kleinesten Quadrates, dabei sollen wir beweisen, das bei folgender Gleichung:
∑ von 1 bis n, (yi – a – bui)2
und den Werten a=ȳ - Korrelationskoeffizient/(Su/Sy)* ū,
b= Korrelationskoeffizient/(Su/Sy)
ein Minimum vorliegt.
Habt ihr einen Lösungsansatz für uns? Vielen Dank für eure Unterstützung!
Ich habe diese Frage in keinem Forum auf anderen Internetseiten gestellt.
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 21:29 Mo 06.05.2013 | | Autor: | luis52 |
Moin Dilli,
![[willkommenmr]](/images/smileys/willkommenmr.png "[willkommenmr]")
Die Formel
[mm] $\frac{1}{n}\sum_{i=1}^n(y_i-a-b u_i)^2= s_y^2(1-r^2)+(bs_u-r s_y)^2+(\bar [/mm] y-a-b [mm] \bar u)^2$
[/mm]
ist euer Freund.
vg Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:44 Mi 08.05.2013 | | Autor: | Dilli |
Hallo Luis,
vielen Dank für deine schnelle Antwort! vielleicht noch etwas zu unsrem Hintergrund, wir studieren BWL und sollen uns diesem Problem, im Nebenfach "Statistik" stellen. Kannst du uns vielleicht in 1-2 Sätze deine Vorgehensweise erläutern? Was bedeutet zum Beispiel das r? s ist wohl die Standardabweichung?
Vielen Dank für dein Feedback
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 12:02 Mi 08.05.2013 | | Autor: | luis52 |
> Hallo Luis,
>
> vielen Dank für deine schnelle Antwort!
Gerne.
> Kannst du uns vielleicht in 1-2 Sätze deine Vorgehensweise
> erläutern? Was bedeutet zum Beispiel das r? s ist wohl die
> Standardabweichung?
Korrekt, also
[mm] $s_y^2=\frac{1}{n}\sum_{i=1}(y_i-\bar y)^2$, $s_u^2=\frac{1}{n}\sum_{i=1}(u_i-\bar u)^2$. [/mm] Ferner ist [mm] $r=s_{uy}/\sqrt{s_y^2s_u^2}=s_{uy}/(s_ys_u)$, $s_{uy}=\frac{1}{n}\sum_{i=1}(y_i-\bar y)(u_i-\bar [/mm] u)$, der Korrelationskoeffizient.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 20:46 Di 14.05.2013 | | Autor: | Dilli |
Hallo Luis,
wir haben einen "Versuch" gestartet, zu beweisen dass bei dieser Funktion ein Minimum existiert. Ich würde dir diesen Versuch gerne als Datei (wir haben es fotografiert) zukommen lassen. Ist das möglich?
Vielen Dank schonmal
Dateianhänge:
Anhang Nr. 1 (Typ: jpg) [nicht öffentlich]
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 21:41 Di 14.05.2013 | | Autor: | ullim |
Hi,
lade Eure Lösung hoch.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 21:29 Mi 15.05.2013 | | Autor: | Dilli |
ich habs hochgeladen, bei dem Beitrag vorher. Könnt ihr es sehen?
Dateianhänge:
Anhang Nr. 1 (Typ: jpg) [nicht öffentlich]
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 21:56 Mi 15.05.2013 | | Autor: | luis52 |
> ich habs hochgeladen, bei dem Beitrag vorher. Könnt ihr es
> sehen?
Ja, koennen wir.
vg Luis
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 22:27 Mi 15.05.2013 | | Autor: | luis52 |
Moin, das faengt viel versprechend an, aber es gibt noch einige Unwuchten. Ich schreib's noch einmal hier auf.
Setze [mm] $F(a,b)=\sum(y_i-a-bx_i)^2$. [/mm] Dann ist
[mm] $\frac{\partial F(a,b)}{\partial a}=-2\sum(y_i-a-bx_i)=-2n(\bar y-a-b\bar [/mm] x)$
und
[mm] $\frac{\partial F(a,b)}{\partial b}=-2\sum(y_i-a-bx_i)x_i=-2n(\overline{xy}-a\bar x-b\overline{x^2})$.
[/mm]
Das hast du auch. Weiter ist
[mm] $\frac{\partial^2 F(a,b)}{\partial a^2}=2n$, $\frac{\partial^2 F(a,b)}{\partial a\partial b}=2n\bar x=\frac{\partial^2 F(a,b)}{\partial b\partial a}$, $\frac{\partial^2 F(a,b)}{\partial b^2}=2n\overline{x^2}$.
[/mm]
Die Elemente der Hessematrix sind nicht unbedingt positiv. Aber das ist auch nicht das Kriterium, sondern ob die Matrix positiv definit ist. Notwendig hierfuer ist, dass die Determinante positiv ist. Diese ist
[mm] $4n^2(\overline{x^2}-\bar x^2)=4n^2\sum(x_i-\bar x)^2/n=4n^2s_x^2\ge0$.
[/mm]
Jetzt ueberleg dir mal, wann die Determinante Null ist und was das weitere Kriterium der positiven Definitheit ist.
vg Luis
PS: Wo sind denn uebrigens die minimierenden Werte von $a,b$?
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 21:31 Do 16.05.2013 | | Autor: | Dilli |
Guten Abend zusammen,
hallo Luis,
vielen Dank für deine bisherige Hilfe, ich kann nun all diese Schritte nachvollziehen!
Leider kenne ich kein weiteres Kriterium der positiven Definitheit, daher komme ich auf diesem Weg nicht weiter.
A und B, und die weitere Verwendtbarkeit habe ich mich auch schon gefragt, kann leider auch hier nichts weiter damit anfangen!
Aber ist nicht gezeigt wenn unsere Lösung quadriert ist, dass diese dann Positiv sein muss?
In unserem BWL Studium, habe ich leider keine weiteren Kenntnisse erlangt. Ich habe versucht mir die Begriffe wie positive Definitheit o.ä. über das Internet und Bücher anzueignen, leider reicht mein mathematisches Verständnis für die komplexen Beschreibungen nicht aus. Danke nochmals für deine Hilfestellungen.
Dateianhänge:
Anhang Nr. 1 (Typ: jpg) [nicht öffentlich]
Anhang Nr. 2 (Typ: jpg) [nicht öffentlich]
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 21:55 Do 16.05.2013 | | Autor: | luis52 |
> vielen Dank für deine bisherige Hilfe, ich kann nun all
> diese Schritte nachvollziehen!
> Leider kenne ich kein weiteres Kriterium der positiven
> Definitheit, daher komme ich auf diesem Weg nicht weiter.
Ich will dich nicht laenger auf die Folter spannen, so wichtig ist das auch wieder nicht. Das Kriterium lautet, dass die Determinante jeder quadratischen Untermatrix, beginnend von links oben, positiv sein muss. Die erste Untermatrix ist die Zahl $2n>0$. Bleibt nur noch die Hessematrix selbst, deren Determinante [mm] $4n^2s_x^2 [/mm] $ nicht negativ ist. Es koennte passieren, dass [mm] $s_x^2=0$ [/mm] ist. Das wuerde bedeuten, dass alle Werte [mm] $x_1,\dots,x_n$ [/mm] identisch [mm] ($=\bar [/mm] x$) waeren. Diesen Fall muss man aussschliessen, weil man sonst keine Regressionsgerade bestimmen kann.
> A und B, und die weitere Verwendtbarkeit habe ich mich
> auch schon gefragt, kann leider auch hier nichts weiter
> damit anfangen!
Hier weiss ich nicht, was du meinst.
> Aber ist nicht gezeigt wenn unsere Lösung quadriert ist,
> dass diese dann Positiv sein muss?
Dito. Aber das hat sich ja nun erledigt.
>
> In unserem BWL Studium, habe ich leider keine weiteren
> Kenntnisse erlangt. Ich habe versucht mir die Begriffe wie
> positive Definitheit o.ä. über das Internet und Bücher
> anzueignen, leider reicht mein mathematisches Verständnis
> für die komplexen Beschreibungen nicht aus. Danke nochmals
> für deine Hilfestellungen.
>
Gerne.
vg Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 09:03 Fr 17.05.2013 | | Autor: | Dilli |
Hallo Luis,
danke nochmals für die schnelle Info.
Mit A und B meinten wir die Werte. Welche wir am Anfang ausgrechnet haben und auf welche du dich in deiner vorletzten Antwort als PS. bezogen hast! Hier weiß ich auch nicht, ob die näher betrachtet werden müssen!
Lieben Gruß
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 09:31 Fr 17.05.2013 | | Autor: | luis52 |
>
> Mit A und B meinten wir die Werte. Welche wir am Anfang
> ausgrechnet haben und auf welche du dich in deiner
> vorletzten Antwort als PS. bezogen hast! Hier weiß ich
> auch nicht, ob die näher betrachtet werden müssen!
>
Hm, ich lese etwas von $a$ und $b$, nichts von A und B ... Wie dem auch sei, ich moechte die Chose nun zum Abschluss bringen. Setzt man
$ [mm] \frac{\partial F(a,b)}{\partial a}=-2n(\bar y-a-b\bar [/mm] x) =0$
und
$ [mm] \frac{\partial F(a,b)}{\partial b}=-2n(\overline{xy}-a\bar x-b\overline{x^2})=0 [/mm] $,
so ergeben sich die Loesungen
[mm] $\hat b=\frac{\overline{xy}-\bar x\bar y}{\overline{x^2}-\bar x^2}=\frac{s_{xy}}{s_x^2}=\frac{r_{xy}}{s_x/s_y}$
[/mm]
und [mm] $\hat a=\bar y-\hat b\bar [/mm] x$, was (fast) deiner Zielvorgabe b= Korrelationskoeffizient/(Su/Sy) entspricht. (Beachte deinen zwischenzeitlichen Notationswechsel.)
vg Luis
|
|
|
|
