Post on 17-Feb-2019
transcript
Stime e stimatoriMetodi di stima
Statistica Applicata all’ediliziaStime e stimatori
Orietta Nicolis
E-mail: orietta.nicolis@unibg.it
15 marzo 2011
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Indice
1 Stime e stimatori
2 Metodi di stimaIl metodo dei momentiStima di Massima Verosimiglianza
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Uno dei problemi principali della statistica è quello della stima diparametri di funzioni di densità di probabilità. Tale stima puòessere condotta ricercando un solo valore da attribuire alparametro incognito, e allora si parla di stima puntuale diparametri; oppure si può cercare un intervallo di valori al quale èpossibile ascrivere il parametro con una certa probabilità e allorasi parla di stima per intervalli.Uno stimatore (puntuale) è una funzione che associa ad ognipossibile campione un valore del parametro da stimare. È unafunzione di un campione di dati estratti casualmente da unapopolazione.Il valore assunto dallo stimatore in corrispondenza a unparticolare campione è la stima.
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Alcuni quesiti:
Quali sono i migliori stimatori della media e varianza di undeterminato fenomeno (popolazione)?quali sono le proprietà che deve avere uno stimatore per essereritenuto buono ossia rappresentativo della popolazione?Sapendo che un determinato fenomeno si distruisce secondouna distribuzione di probabilità nota, come si può stimare la suamedia e varianza?
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
La stima dei parametri
Popolazione: X grandezza di interesse con distribuzione f (x ; θ) , θparametro ignoto.
θ = θ (f )
Campione casuale semplice da X (oppure da f , oppure da F ):
X1, ...,Xn iid f (x ; θ)
Stima di θ :θ = θ (X1, ...,Xn)
⇒ θ è una particolare V.C. detta statistica⇒ Incertezza sull’errore di stima
θ − θ
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Principio del campionamento ripetuto
Si valutano le proprietà di θ nell’ipotesi di ripetere il processo dicampionamento un gran numero di volte.Sono rilevanti in quest’ottica l’interpretazione frequentista dellaprobabilità, la legge dei grandi numeri ed il metodo Monte Carlo.
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Problemi di stima
1 Indagini demoscopiche2 Misura di una lunghezza e/o spostamento3 Qualità di un processo produttivo4 Qualità in accettazione5 Stima di un segnale (a gradino)
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Esempio
Un ingegnere deve studiare la resistenza alla compressione delcemento. Dall’estrazione di un campione casuale di 12 esemplari èrisultata una resistenza pari a
Camp. 1 2 3 4 5 6Res. 3241.3 3202.3 3259.0 3264.1 3218.7 3292.7Camp. 7 8 9 10 11 12Res. 3292.6 3253.8 3265.3 3260.5 3249.1 3278.0
Ipotizzando che la resistenza alla compressione sia una variabilecasuale distribuita come una Normale
determinare lo stimatore della resistenza media del campione ecalcolarne la stima;
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Indice
1 Stime e stimatori
2 Metodi di stimaIl metodo dei momentiStima di Massima Verosimiglianza
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Teoria Generale della stimaConsideriamo un campione
X1, ...,Xn iid fθ (x)
ed una stima o stimatore
θn = θn (X1, ...,Xn)
Proprietà e definizioni rilevantiCorrettezza o non distorsione:
Eθ(θn
)= θ
Bias o distorsione
b(θ)
= E(θ)− θ
Errore quadratico medio
MSE(θ)
= E(θ − θ
)2
= Var(θ)
+ b(θ)2
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Consistenzaθn → θ per n→∞
per ciò è sufficiente che
Eθ(θn
)→ θ per n→∞
Varθ(θn
)→ 0 per n→∞
Efficienza: dati due stimatori θA e θB il confronto fra i duestimatori si basa su
e (A,B) =MSE
(θB
)MSE
(θA
)se
e (A,B) e
> 1 θA è più efficiente= 1 θA e θA sono equivalenti< 1 θA è meno efficiente
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Stima della Media
Dato X1, ...,Xn iid F con E (X ) = µ e Var (X ) = σ2, la mediacampionaria
X =1n
n∑i=1
Xi
è una stima di µ.
Teorema delle 3M : E(X)
= µ
Varianza della media campionaria Var(X)
= σ2
n
Distribuzione di X
X ∼ N(µ,σ2
n
)1 ∀ n se X1, ...,Xn iid N
(µ, σ2)
2 per n → ∞ altrimenti.
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Intervallo di confidenza per la media• Intervallo di confidenza per la media (σ2 nota) nel caso dipopolazione GaussianaSia X una v.c Gaussiana di media µ e varianza σ2. Se X1,X2, . . . ,Xnè un campione i.i.d. estratto da X allora l’intervallo di confidenza perµ di livello 1− α è:
µ ∈(
Xn ± z1−α2
σ√n
)Lo stesso risultato vale se X è qualunque purché l’ampiezza delcampione sia sufficientemente elevata• Intervallo di confidenza per la media (σ2 incognita) nel caso dipopolazione GaussianaSe il valore della varianza σ2 non è noto calcoliamo una sua stimaattraverso lo stimatore s2
n. Se X1,X2, . . . ,Xn è un campione i.i.d.estratto da X allora l’intervallo di confidenza per µ di livello 1− α è:
µ ∈
(Xn ± t (n−1)
1−α2
√s2
n
n
)
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Stima della Varianza
Dato X1, ...,Xn iid F con E (X ) = µ e Var (X ) = σ2,
S2 =1
n − 1
n∑i=1
(Xi − X
)2
è una stima di σ2.
E(S2)
= σ2
Var(S2) ∼= K
n
Distribuzione Chi-Quadrato con n − 1 gradi di libertà: se Xi iidN(µ, σ2
)allora
S2 n − 1σ2 ∼ χ2
n−1
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Intervallo di confidenza per la varianza
L’intervallo di confidenza per la varianza della popolazione è:
σ2 ∈
((n − 1)s2
χ21−α
2 ,n−1;
(n − 1)s2
χ2α2 ,n−1
)
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Il metodo dei momenti
Il metodo dei momenti è una tecnica molto semplice e intuitiva perstimare i parametri incogniti di una certa distribuzione: si impone chei momenti assoluti della distribuzione coincidano con i rispettivimomenti campionari. Supponiamo che f (X ) sia una densità con kparametri incogniti θ1, θ2, . . . , θk e poniamo:
µr = E(X r )
dove µr dipende da θ1, theta2, . . . , θk . Dato poi un campione casualeX1,X2, . . . ,Xn poniamo
Mr =1n
n∑i=1
X ri .
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Risolvendo il sistema
µ1(θ1, θ2, . . . , θk ) = M1(X1,X2, . . . ,Xn)
· · · = · · ·µk (θ1, θ2, . . . , θk ) = Mk (X1,X2, . . . ,Xn)
si trovano le stime θ1, θ2, . . . , θn
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Stima di Massima Verosimiglianza
Finora come stima di θ abbiamo usato il suo equivalente campionario,fortunatamente
1 abbiamo trovato un equivalente campionario di θ2 e questo è rislutato una ”buona” stima
Quando fθ è nota nella forma, il metodo della massimaverosimiglianza fornisce in automatico una ”buona” stima di θ.A tal fine, osservato un particolare campione: X1 = x1, ...,Xn = xn,definiamo verosimiglianza di θ la (densità di) probabilità delcampione estratto
L (θ) =n∏
i=1
fθ (xi )
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
NB
Fissato X1 = x1, ...,Xn = xn L (θ) è funzione di θ.Al variare di X1, ...,Xn, L (θ) è una v.c. ∀ fissato θ.
L’idea allora è quella di usare come stima di θ quel valore θML chemassimizza la probabilità del campione effettivamente osservato:
θML = arg maxθ
(L (θ))
Chiamiamo θML stima di massima verosimiglianza (MLE) .
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Schema per la stima di massima verosimiglianza1 Funzione di verosimiglianza:
L (θ) =n∏
i=1
fθ (xi )
2 Logaritmo della funzione di verosimiglianza:
log L (θ) = l (θ)
3 Equazione di verosimiglianza e stima dei parametri
∂ log L (θ)
∂θ= 0
4 Verifica del vincolo
∂2 log L (θ)
∂2θ< 0 for θ = θ
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Esempio Sia X1,X2, · · · ,Xn variabili casuali Normali e indipendenticon media µ e scarto quadratico medio σ. Si vuole determinare lostimatore di massima verosimiglianza della media si procede nelseguente modo:Ricordiamo che la funzione di densità Normale è data da
f(x ;µ, σ2) =
1σφ
(x − µσ
)=
1σ√
2πe− 1
2 ( x−µσ )2
Per determinare lo stimatore di massima verosimiglianza della mediaµ si procede nel seguente modo:
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
1 Si determina la funzione di verosimiglianza:
L (θ) =n∏
i=1
(1
σ√
2π
)e− 1
2∑n
i=1
(xi−µ
σ
)2
,2 Si passa al logaritmo della funzione di verosimiglianza,
l (θ) = −n logσ − n2
logπ − 12
n∑i=1
(xi − µσ
)2
3 Si determina la derivata rispetto a µ:
∂ log L (θ)
∂θ=
n∑i=1
xi − nµ
4 Ponendo la derivata uguale a zero, si ricava lo stimatore dimassima verosimiglianza per µ
µ =
∑ni=1 xi
nOrietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Problemi1 X è MLE per la N
(µ, σ2
), la Poisson(λ) , Bin (1, π) .
2 σ2 = 1n
∑(Xi − X
)2è MLE per σ2 in campioni dalla normale.
3 Sia X1, ...,Xn iid N(µ, σ2
)Studiare L (µ) per σ fissatoStudiare L
(σ2) per µ fissato
Verificare che µML = X per X1, ...,Xn da N(µ, σ2) .
Hint: θML è soluzione di
∂
∂θln L (θ) = 0.
Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori
Stime e stimatoriMetodi di stima
Il metodo dei momentiStima di Massima Verosimiglianza
Proprietà di MLEMLE gode di diverse buone proprietà soprattutto per grandi campioni(entro opportune ipotesi su f ):
è consistente: θML,n → θ per n→∞è asintoticamente efficiente: per ogni stimatore Tn
MSE(θML,n
)≤ MSE (Tn) per n > n∗
T
è asintoticamente normale: esiste una varianza asintotica τ2 > 0tale per cui
θML ∼= N(θ,τ2
n
)cioè:
P
(θML − θτ/√
n≤ t
)→ Φ (t)
NB: la convergenza legata alla consistenza è da intendersi insenso stocastico, per esempio, nelle stesse ipotesi in cui vale lanormalità asintitotica si ha
E(θML,n − θ
)2→ 0Orietta Nicolis Statistica Applicata all’edilizia: Stime e stimatori