Residuenquadratsumme < Stochastik < Hochschule < Mathe < Vorhilfe
|
Hallo Community,
die Minimierung der Summe der Fehlerquadrate ist vom Modell abhängig. Bspw. erhält man für ein lineares p-Stichprobenproblem [mm] Y=X\beta+\epsilon, [/mm] ein Minimum für [mm] \min_{\beta\in\IR^n}\|Y-X\beta\|^2 [/mm] aus der Funktionsvorschrift [mm] \beta=(X^TX)^{-1}X^TY. [/mm] Dabei ist [mm] Y\in\IR^n [/mm] und die Fehlerterme [mm] \epsilon=(\epsilon_1,..,\epsilon_n)^T, [/mm] mit [mm] \epsilon_i\sim\mathcal{N}(0,\sigma^2).
[/mm]
Wenn ich den Fehlerterm abändere zu [mm] \epsilon\sim\mathcal{N}_n(0,\Sigma), [/mm] kann man dann noch Aussagen darüber treffen wie stark der Term [mm] \|Y-X\beta\|^2 [/mm] durch [mm] (X^TX)^{-1}X^TY [/mm] minimiert wird?
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 14:31 So 24.03.2013 | | Autor: | luis52 |
Moin
> Hallo Community,
>
> die Minimierung der Summe der Fehlerquadrate ist vom Modell
> abhängig. Bspw. erhält man für ein lineares
> p-Stichprobenproblem [mm]Y=X\beta+\epsilon,[/mm] ein Minimum für
> [mm]\min_{\beta\in\IR^n}\|Y-X\beta\|^2[/mm] aus der
> Funktionsvorschrift [mm]\beta=(X^TX)^{-1}X^TY.[/mm]
Vorsicht, du musst unterscheiden zwischen dem Modellparameter [mm] $\beta$ [/mm] und dessen Schaetzungen, sagen wir
[mm]\hat\beta=\operatorname{argmin}_{\beta\in\IR^n}\|Y-X\beta\|^2[/mm]
> Dabei ist
> [mm]Y\in\IR^n[/mm] und die Fehlerterme
> [mm]\epsilon=(\epsilon_1,..,\epsilon_n)^T,[/mm] mit
> [mm]\epsilon_i\sim\mathcal{N}(0,\sigma^2).[/mm]
>
> Wenn ich den Fehlerterm abändere zu
> [mm]\epsilon\sim\mathcal{N}_n(0,\Sigma),[/mm] kann man dann noch
> Aussagen darüber treffen wie stark der Term [mm]\|Y-X\beta\|^2[/mm]
> durch [mm](X^TX)^{-1}X^TY[/mm] minimiert wird?
Minimum ist Minimum, da aendert sich nichts. Nur besitzt [mm] $\hat\beta$ [/mm] dann nicht mehr optimale stochastische Eigenschaften.
Google mal Generalized least squares.
vg Luis
vg Luis
|
|
|
| |
|
Hallo Luis,
>> die Minimierung der Summe der Fehlerquadrate ist vom Modell
>> abhängig. Bspw. erhält man für ein lineares
>> p-Stichprobenproblem [mm]Y=X\beta+\epsilon,[/mm] ein Minimum für
>> [mm]\min_{\beta\in\IR^n}\|Y-X\beta\|^2[/mm] aus der
>> Funktionsvorschrift [mm]\beta=(X^TX)^{-1}X^TY.[/mm]
>Vorsicht, du musst unterscheiden zwischen dem Modellparameter [mm] $\beta$ [/mm] und >dessen Schaetzungen, sagen wir
>[mm]\hat\beta=\operatorname{argmin}_{\beta\in\IR^n}\|Y-X\beta\|^2[/mm]
Ich wollte folgendes sagen (vermutlich beinhaltet das den gleichen Fehler):
Setzt man [mm] (X^TX)^{-1}X^TY [/mm] in [mm] \|Y-X\beta\|^2 [/mm] für [mm] \beta [/mm] ein dann ist das gleich [mm] \min_{\beta\in\IR^n}\|Y-X\beta\|^2. [/mm] wo liegt der Knackpunkt das man das nicht so versteht? Ich habe ja nicht [mm] \beta:=(X^TX)^{-1}X^TY [/mm] geschrieben.
>Minimum ist Minimum, da aendert sich nichts. Nur besitzt [mm] $\hat\beta$ [/mm] dann >nicht mehr optimale stochastische Eigenschaften.
Stimmt, ich meine eigentlich:
Das die Abbildung [mm] (X^TX)^{-1}X^TY [/mm] das [mm] \beta [/mm] so beschreibt, damit der Term [mm] \|Y-X\beta\|^2 [/mm] möglichst klein ausfällt. Bei Abänderung in o.g. Form des Modells, fällt dann [mm] \|Y-X\beta\|^2 [/mm] weniger klein aus, falls man [mm] (X^TX)^{-1}X^TY [/mm] anstatt der Abbildung "Generalized least squares" verwendet.
Kann man sagen wie viel schlechter das ist?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:34 So 24.03.2013 | | Autor: | luis52 |
> Ich habe ja nicht [mm]\beta:=(X^TX)^{-1}X^TY[/mm] geschrieben.
So? Ich zitiere mal aus deiner Anfrage:
Bspw. erhält man für ein lineares p-Stichprobenproblem $ [mm] Y=X\beta+\epsilon, [/mm] $ ein Minimum für $ [mm] \min_{\beta\in\IR^n}\|Y-X\beta\|^2 [/mm] $ aus der Funktionsvorschrift [mm] $\red{ \beta=(X^TX)^{-1}X^TY}. [/mm] $
>
> >Minimum ist Minimum, da aendert sich nichts. Nur besitzt
> [mm]\hat\beta[/mm] dann >nicht mehr optimale stochastische
> Eigenschaften.
>
> Stimmt, ich meine eigentlich:
> Das die Abbildung [mm](X^TX)^{-1}X^TY[/mm] das [mm]\beta[/mm] so beschreibt,
> damit der Term [mm]\|Y-X\beta\|^2[/mm] möglichst klein ausfällt.
> Bei Abänderung in o.g. Form des Modells, fällt dann
> [mm]\|Y-X\beta\|^2[/mm] weniger klein aus, falls man [mm](X^TX)^{-1}X^TY[/mm]
> anstatt der Abbildung "Generalized least squares"
> verwendet.
>
> Kann man sagen wie viel schlechter das ist?
Die Frage verstehe ich nicht. Was heisst "weniger klein"? Weniger klein als was?
vg Luis
|
|
|
| |
|
Unter dem Stichwort "Generalized least squares" findet man eine Abbildung für [mm] \beta, [/mm] die sich von der [mm] (X^TX)^{-1}X^TY [/mm] hier unterscheidet. Also dachte ich mir das zweitere den Wert des Terms [mm] \|Y-X\beta\|^2 [/mm] größer macht als erstere.
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 18:42 So 24.03.2013 | | Autor: | luis52 |
> Unter dem Stichwort "Generalized least squares" findet man
> eine Abbildung für [mm]\beta,[/mm] die sich von der
> [mm](X^TX)^{-1}X^TY[/mm] hier unterscheidet. Also dachte ich mir das
> zweitere den Wert des Terms [mm]\|Y-X\beta\|^2[/mm] größer macht
> als erstere.
Stimmt, man findet (in deiner Symbolik): $ [mm] \tilde\beta:=(X^T\Sigma^{-1}X)^{-1}X^T\Sigma^{-1}Y [/mm] $. Der minimiert aber nicht [mm] $(Y-X\beta)^T(Y-X\beta)$ [/mm] sondern [mm] $(Y-X\beta)^T\Sigma^{-1}(Y-X\beta)$.
[/mm]
vg Luis
|
|
|
| |
|
Ich habe noch mal eine Frage zum Prinzip der Minimierung von $ [mm] \|Y-X\beta\|^2 [/mm] $. Es ist [mm] $min_{\beta\in\IR^p}\|Y-X\beta\|^2 =\|Y-X\hat\beta\|^2$ [/mm] mit $ [mm] \hat \beta:=(X^TX)^{-1}X^TY. [/mm] $.
Im Fall von nicht st.u. ZG [mm] Y_i, [/mm] i=1,..,n besitzt [mm] \hat\beta [/mm] nicht die stochastischen optimalitäts Eigenschaften zur Schätzung von [mm] \beta. [/mm] Die optimalen Eigenschaften sind, dass [mm] \beta [/mm] so gewählt wird das der Erwartungswert von [mm] \hat\beta [/mm] das wahre [mm] \beta [/mm] wiedergibt und die Streuung um [mm] \hat\beta [/mm] möglichst gering ist. Bei nicht st.u. ZG ist [mm] \hat\beta [/mm] nicht unverzerrt.
Minimiert das wahre [mm] \beta [/mm] den Term [mm] \|Y-X\beta\|^2? [/mm]
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 14:23 Fr 05.04.2013 | | Autor: | luis52 |
> Minimiert das wahre [mm]\beta[/mm] den Term [mm]\|Y-X\beta\|^2?[/mm]
>
Nein, nur $ [mm] \hat \beta:=(X^TX)^{-1}X^TY$, [/mm] denn es ist die eindeutige Loesung der Normalgleichung $(X^TX)b=X^TY$.
vg Luis
|
|
|
| |
|
| Aufgabe | Sei $ [mm] \{p(\cdot,\theta)|\theta\in \Theta\} [/mm] $ ein reguläres Modell und $ [mm] \Theta=\Theta_0\oplus \Theta_1 [/mm] $. Die verallgemeinerte Likelihood-Quotienten-Statistik ist
$ [mm] L(X)=\frac{\sup_{\theta\in \Theta} p(X,\theta)}{\sup_{\theta\in \Theta_0} p(X,\theta)} [/mm] $
und der zugehörige verallgemeinerte LQ-Test
$ [mm] \delta(X)=\mathbbm{1}_{\left\lbrace L\left(X\right)>c\right\rbrace } c\in \mathbb{R}^{+} \cup \left\lbrace \infty \right\rbrace. [/mm] $ |
Hi Luis,
bei dem im Startbeitrag genannten linearen Modell, führt das Testproblem:
[mm] H_0: \beta\in W_q [/mm] gegen [mm] H_1: \beta\in W_r\setminus W_q,
[/mm]
über eine lineare Transformation des Likelihoodquotienten zu einer Teststatistik [mm] T_n(Y)=\frac{n-r}{r-q}\frac{\|Y-P_{W_q}(Y)\|^2-\|Y-P_{W_r\setminus W_q}(Y)\|^2}{\|Y-P_{W_r\setminus W_q}(Y)\|^2}. [/mm] Die Abkürzungen [mm] P_{W_r} [/mm] und [mm] P_{W_q}, [/mm] beschreiben die Projektionen von [mm] Y\in\IR^n [/mm] auf einen bel. r- bzw. q-dimensionalen Unterraum.
Kann man sagen:
1) weil die Projektionen die UMVUE-Schätzer sind minimiert das wahre [mm] \beta [/mm] den Term [mm] \|Y-X\beta\|^2?
[/mm]
2) der Test soll identifizieren, ob es wahrscheinlicher ist, das [mm] \beta\in W_q [/mm] oder in [mm] W_r\setminus W_q [/mm] liegt?
Angenommen die [mm] \epsilon_i [/mm] sind nicht st.u. sondern korrelieren, dann minimiert das wahre [mm] \beta [/mm] nicht mehr den Term [mm] \|Y-X\beta\|^2. [/mm] Aber ein Test [mm] I_{\{T_n>c\}} [/mm] identifiziert dann immer noch ob es wahrscheinlicher ist, ob [mm] \beta\in W_q [/mm] oder aus [mm] W_r\setminus W_q [/mm] ist. Sofern die Zerlegung der Unterräume sinnvoll gewählt ist, d.h. [mm] \beta [/mm] tatsichlich aus einem dieser stammt und die Verteilung von [mm] T_n [/mm] bekannt wäre.
Wenn ein solcher Test anzeigt das [mm] \beta [/mm] aus einer solchen Zerlegung stammt. Inwiefern ist die Projektion dann noch ein Schätzer für das wahre [mm] \beta?
[/mm]
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:17 So 07.04.2013 | | Autor: | luis52 |
Moin,
das wird mir jetzt zu sperrig. Vielleicht findest hier Antworten:
@BOOK{Seber77,
title = {Linear Regression Analysis},
publisher = {John Wiley},
year = {1977},
author = {G.A.F. Seber},
address = {New York}
}
vg Luis
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 18:35 So 07.04.2013 | | Autor: | Reduktion |
Sind meine Fragen unverständlich? Dein Buchvorschlag kenne ich noch nicht. Decken sich die Inhalte mit "Linear Model, Least Squares and Alternatives" von Rao?
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 19:13 So 07.04.2013 | | Autor: | luis52 |
> Sind meine Fragen unverständlich?
*Mir* ja.
> Dein Buchvorschlag kenne
> ich noch nicht. Decken sich die Inhalte mit "Linear Model,
> Least Squares and Alternatives" von Rao?
Kenne ich nicht, aber vermutlich schon.
vg Luis
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 19:32 So 07.04.2013 | | Autor: | Reduktion |
> bei dem im Startbeitrag genannten linearen Modell, führt das Testproblem:
> $ [mm] H_0: \beta\in W_q [/mm] $ gegen $ [mm] H_1: \beta\in W_r\setminus W_q, [/mm] $
> über eine lineare Transformation des Likelihoodquotienten zu einer Teststatistik $ [mm] T_n(Y)=\frac{n-r}{r-q}\frac{\|Y-P_{W_q}(Y)\|^2-\|Y-P_{W_r\setminus W_q}(Y)\|^2}{\|Y-P_{W_r\setminus W_q}(Y)\|^2}. [/mm] $ Die Abkürzungen $ [mm] P_{W_r} [/mm] $ und $ [mm] P_{W_q}, [/mm] $ beschreiben die Projektionen von $ [mm] Y\in\IR^n [/mm] $ auf einen bel. r- bzw. q-dimensionalen Unterraum.
Ist es bis dahin noch verständlich?
|
|
|
|
