CORSO DI LAUREA IN STATISTICA Statistica per le decisioni (Note didattiche)
Bruno Chiandotto
CAP. 4 – STIMA STATISTICA
4.1 Introduzione
Nel capitolo precedente sono state esaminate le distribuzioni di alcune funzioni
T(X1,X2,…,Xn) degli elementi campionari soffermando l’attenzione, in particolare, su
media e varianza campionarie e facendo specifico riferimento al campionamento da
popolazioni normali. Considerazioni analoghe possono essere svolte nei confronti di
funzioni diverse da quelle analizzate. La logica del procedimento da seguire resta
sostanzialmente immutata anche se, ovviamente, lo svolgimento analitico dipenderà
dalle specificità considerate. Rimane altresì immutata anche la natura della funzione
che, nella generalità dei casi, è quella di compattare l’informazione campionaria
in modo da consentire un’estensione delle conclusioni cui si perviene attraverso
l’elaborazione dei dati campionari all’intera popolazione dalla quale il campione stesso
è stato estratto.
( ) T ⋅
( ) T ⋅
Il nucleo centrale dell’inferenza statistica o statistica induttiva risiede, appunto,
nella fissazione di “criteri di ottimalità” e nella individuazione di regole che consentano
il loro soddisfacimento affinché il processo di induzione (dal campione alla
popolazione) sia il “migliore possibile”.
I criteri di ottimalità dipendono, ovviamente, dai problemi di induzione che si
vogliono risolvere e che, come già sottolineato, possono essere distinti e raggruppati in
problemi statistici di:
1. stima (puntuale e per intervallo)
2. verifica o test d’ipotesi.
Nel primo caso, i dati campionari vengono utilizzati per ottenere una misura (una
stima) di una entità incognita relativa alla popolazione (indici caratteristici e/o
parametri caratteristici e/o forma analitica del modello rappresentativo del fenomeno
che s’intende analizzare).
1
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Nel secondo caso, i dati campionari vengono utilizzati per procedere al rifiuto o
all’accettazione di una particolare ipotesi (congettura) formulata in merito ad entità
incognite relative alla popolazione di origine del campione.
La stima e il test delle ipotesi possono riguardare sia la forma funzionale del
modello rappresentativo della popolazione di interesse sia i parametri che lo
caratterizzano sia, più semplicemente, degli indici caratteristici; in questo caso si parla,
come già sottolineato, di inferenza statistica non parametrica o inferenza libera da
distribuzione (distribution free) in quanto non si presuppone nota la forma analitica del
modello rappresentativo della popolazione. Se invece la stima o il test delle ipotesi
riguardano i soli parametri caratteristici, in quanto si assume nota la forma analitica del
modello, si parla usualmente di inferenza statistica parametrica.
In questo capitolo si tratterà, in modo quasi esclusivo, di stima parametrica
limitatamente alla così detta impostazione classica dell’inferenza statistica, cioè,
dell’inferenza statistica che tratta di procedure di induzione basate sulla sola evidenza
campionaria (informazione oggettiva), a differenza dell’impostazione bayesiana che
prevede, invece, l’utilizzo simultaneo di informazioni campionarie e di informazioni a
priori che, nella generalità dei casi, hanno natura soggettiva.
4.2 Sufficienza
Per facilitare la comprensione delle argomentazioni che verranno svolte sulle
problematiche concernenti la stima statistica di entità incognite, conviene precisare
alcuni concetti già considerati ed introdurne di nuovi attraverso opportune definizioni.
Il primo nuovo concetto riguarda la cosiddetta famiglia esponenziale.
Definizione 1 (Famiglia esponenziale). Una v.c. caratterizzata da un solo parametro
( )θ; ⋅f appartiene alla famiglia esponenziale se può essere espressa nella
forma:
( ) ( ) ( ) ( ) ( )xDCexBAxf θθθ ; ⋅= per ∞≤≤∞− x
specificando opportunamente le funzioni ( ) ( ) ( ) ( e ,, xDCBA )θθθ .
2
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Una v.c. caratterizzata da r parametri ( ) ( )θθθθ ; ,....,,; 21 xfxf r =
appartiene alla famiglia esponenziale se può essere espressa nella forma:
( ) ( ) ( )( ) ( )xDC ii
r
iexBAxfθ
θθ∑
⋅= =1 ; per ∞≤≤∞− x
specificando opportunamente le funzioni ( ) ( ) ( ) ( ) e ,, xDCxBA ii θθ per
i=1, 2,….,r.
Appartengono alla famiglia esponenziale le v.c. binomiale (v.c. di Bernoulli,
come caso particolare della binomiale), multinomiale, binomiale negativa (v.c.
geometrica, come caso particolare della binomiale negativa), Poisson, normale, gamma
(v.c. e esponenziale negativa, come casi particolari della gamma) e beta. 2χ
Definizione 2 (Statistica). Si dice statistica (dall’inglese statistic) qualunque funzione
T(X1,X2,…,Xn) degli elementi campionari che non contiene parametri
incogniti e che sia essa stessa variabile casuale come gli elementi Xi
(i = 1, 2,….,n) costituenti il campione.
.
Una statistica potrebbe, al limite, contenere tutte le informazioni campionarie,
rappresentare, cioè, un punto campionario nello spazio ad n dimensioni. Nella
generalità dei casi, come già evidenziato, la funzione ( ) T ⋅ compatta le informazioni,
riducendo lo spazio di riferimento da n dimensioni ad una sola dimensione.
Definizione 3 (Sufficienza). Se X = (X1,X2,…,Xn) costituisce un campione casuale
semplice bernoulliano estratto da una popolazione rappresentata dalla
variabile casuale, discreta o continua X , con funzione di massa o di
densità di probabilità f(x;θ) , una statistica ( )XT = T(X1,X2,…,Xn) si
dice sufficiente per il modello f(x;θ) se e solo se la distribuzione del
campione condizionata da un qualunque valore assunto dalla statistica
T(.) , cioè f(x1,x2,…,xn/T=t), è la stessa per qualunque valore di θ , cioè,
se e solo se la distribuzione condizionata del punto campionario X =
(X1,X2,…,Xn) non varia al variare di θ (non dipende da θ ).
3
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Per comprendere il significato della definizione, si supponga per semplicità che ( )XT
sia una v.c. discreta e t un possibile valore di ( )XT , allora
( )( ) ( )( )( )( ))(
)()(
xtXTPxtXTxXP
xtXTxXP=
=∩====
θ
θθ
ma
[ ] ( ) ( )[ ]xtXTxX =⊆= , quindi ( ) ( )[ ] ( )xXPxtXTxXP ===∩= θθ
per cui
( )( ) ( )( )( ) )|)((
)|()(
)(θ
θ
θ
θθ xtq
xpxtXTP
xXPxtXTxXP =
==
===
dove )|( θxp è la distribuzione di massa di probabilità congiunta del campione X e
( ) )|( θxtq è la distribuzione di massa di probabilità di ( )XT . Quindi, ( )XT è una
statistica sufficiente per θ se, e solo se, per ogni x il rapporto precedente è una costante
non dipendente da θ.
Il risultato ottenuto in precedenza conduce alla formulazione del seguente teorema:
Teorema 1: Se )|( θxp è la distribuzione di massa di probabilità congiunta di X e )|( θtq
è la distribuzione di massa di probabilità di ( )XT , allora ( )XT è una
statistica sufficiente per θ se, e solo se, Ω∈∀ x il rapporto )|)(( θxTq
)|( θxp è una
costante non dipendente da θ.
Esempio 1
Siano variabili casuali i.i.d. di Bernoulli con parametro p, 0 < p < 1. Allora nXX ,...,1
( ) XXXT ++= ... n1 è sufficiente per p. Infatti, osservando che ( )XT indica il numero di Xi
uguali ad 1 ed ha una distribuzione binomiale b(n, p) allora
4
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
1)1(1
)1(
)1(
)1(
)1(
)1(
)1()|)((
)|(−
−
−
−
∑ −∑
−
−
⎟⎟⎠
⎞⎜⎜⎝
⎛=
−⎟⎟⎠
⎞⎜⎜⎝
⎛−
=−⎟⎟
⎠
⎞⎜⎜⎝
⎛−
=−⎟⎟
⎠
⎞⎜⎜⎝
⎛
−= ∏
tn
pptn
pp
pptn
pp
pptn
pppxTq
pxp
tnt
tnt
tnt
xx
tnt
xxiiii
Esempio 2
Siano variabili casuali i.i.d. da una popolazione nXX ,...,1 ( )2,σµN , con parametro σ2
noto. Allora la media campionaria ( ) XXT = è sufficiente per µ. Infatti, la distribuzione
di densità congiunta del campione X è:
( )
( )
( )⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛−+−−=
⎟⎟⎠
⎞⎜⎜⎝
⎛−+−−=
−−=
∑
∑
∏
−
−
−
2222/2
222/2
222/12
2)()(exp)2(
2)(exp)2(
2)(exp)2()(
σµπσ
σµπσ
σµπσµ
ii
n
ii
n
ii
xnxx
xxx
xxf
e, poiché X segue una distribuzione ⎟⎠⎞⎜
⎝⎛
nN2
,σµ , allora il rapporto
( )( ) ( )( )
( )⎟⎠
⎞⎜⎝
⎛−−=
−−
⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎠
⎞⎜⎝
⎛−+−−
=
∑
∑
−−−
−
−
222/)1(221
222/12
2222/2
2)(exp)2(
2exp)2(
2)()(exp)2(
))(()(
σπσ
σµσπ
σµπσ
θµ
ii
n
ii
n
xxn
xnn
xnxx
xtqxf
non dipende da µ.
La definizione 2 ed il teorema 1 spesso non consentono una facile verifica della
proprietà di sufficienza, obiettivo questo che si può invece conseguire se si fa
riferimento ad un famoso teorema usualmente noto come criterio di fattorizzazione di
Neyman-Fisher.
Teorema 2 (Criterio di fattorizzazione di Neyman-Fisher): Dato un campione
casuale semplice X1,X2,…,Xn estratto da una popolazione X con funzione
di massa o di densità di probabilità f(x;θ) , dove θ rappresenta il parametro
incognito, una statistica T(X1,X2,…,Xn) è sufficiente per il modello f(x;θ) se
5
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
e solo se vale la relazione:
( ) ( ) ( )[ ] ( )nn
n
iin x,...,x,xh; x,...,x,xTg;xf;x,...,x,xf 2121
121 ⋅== ∏
=
θθθ
dove h(x1,x2,…,xn) è una funzione non negativa dei soli elementi
campionari e ([ ) ]θ; x,...,x,xTg n21 è una funzione non negativa che dipende
da θ e dagli elementi campionari solo attraverso la funzione . ( ) T ⋅
Dimostrazione (caso discreto).
Poiché ( )XT è una statistica sufficiente la distribuzione condizionata di X dato
( ) ( )xtXT = non dipende da θ ma tenendo presente che:
( ) ( ) ( ) ( ) ( )[ ] ==∩===⇒=⊆= xtXTxXPxXPxtXTxX θθ
si ha
( )[ ]( )[ ] ( )[ ]
( )( ) ( )( )( )).()|)((
)()(
)()()( )()|(
xhxTgxtXTxXPxtXTxXPasufficienzlaper
xtXTxXPxtXTPxtXTxXPxXPxf
⋅=
======
==⋅==
=∩====
θ
θ
θ
θθ
θθ
Si supponga che )()|)(()|( xhxTgxf ⋅= θθ , ma
( ) ( )[ ] ( )( ) ( )
( ) ( )( ) ( )∑∑
==
⋅===xtXTxxtXTxxhxgxfxtXTP
::θθθ
inoltre
( ) ( ) ( ) ( ) [ ] ( ) ( )[ ] quindi , xX ma xT allora , e se xtXTxtxtXTxX =⊆====
( ) ( )[ ] ( ) ( )[ ]( ) ( )[ ]
( )( ) ( )[ ]
( )[ ] ( )( )[ ] ( )
( ) ( )
( )( )
( ) ( )∑∑
==
=⋅
⋅=
===
==
=∩====
xtXTxxtXTxxh
xhxhxtg
xhxtgxtXTP
xXPxtXTP
xtXTxXPxtXTxXP
::θ
θθ
θ
θ
θθ
che non dipende da θ , quindi, ( )XT è una statistica sufficiente.
Corollario – Una statistica T = T(X1,X2,…..,Xn) è sufficiente per θ se e solo se la
funzione di verosimiglianza associata al punto campionario assume le forma
6
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
( ) ( )[ ]θθ ; x,.....,x,xtgL n21=
Esempio 2 (continua)
Per il modello normale, la funzione di densità può essere scomposta nei fattori
( ) ( ) ( ))2()(exp2/exp)2()( 22
1
222/2 σµσπσµ −−⋅⎟⎠
⎞⎜⎝
⎛−−= ∑
=
− xnxxxfn
ii
n
con ⎟⎟⎠
⎞⎜⎜⎝
⎛−−= ∑− )2()(exp)2()( 222/2 σπσ
ii
n xxxh che non dipende dal parametro incognito µ
e ( ))2()(exp)|( 22 σµµ −−= xntg che, viceversa, dipende dal campione x solo attraverso
la funzione ( ) xxt = .
Per i modelli probabilistici appartenenti alla famiglia esponenziale
l’individuazione di statistiche sufficienti è immediata se si fa riferimento al criterio di
fattorizzazione; infatti, se sono variabili casuali i.i.d. relative ad un campione
estratto da una distribuzione di massa o di densità di probabilità
n1 XX ,...,
)|( θxf che appartiene
alla famiglia esponenziale si ha:
( ) ( ) ( ) ( ) ( )xDCexBAxf θθθ ; ⋅=
quindi
( ) ( ) ( )( ) ( )
∏ ∏= =
∑⋅= =
n
i
xDCn
ii
ni
n
ii
exBAxf1 1
1 ;θ
θθ
allora ( ) ( )∑==
n
iixDXT
1 è una statistica sufficiente per θ.
La definizione di sufficienza e il criterio di fattorizzazione possono essere
facilmente estesi al caso in cui θ sia un vettore di parametri e/o ( )XT un vettore di
statistiche (le dimensioni dei due vettori non necessariamente coincidono). In tal caso le
statistiche del vettore ( )XT , prese insieme, si dicono congiuntamente sufficienti per
θ.
Relativamente al concetto di sufficienza valgono le seguenti proprietà:
7
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
• se T(.) è una statistica sufficiente (o un vettore di statistiche sufficienti), si
dimostra che qualsiasi trasformazione biunivoca di tale statistica (o vettore di
statistiche) è anch’essa sufficiente;
• nel criterio di fattorizzazione, se in luogo di f(x; θ) si considera il suo logaritmo
naturale ln f(x; θ), la scomposizione di tale funzione in due componenti funziona
in modo analogo, con la differenza che invece di moltiplicarsi si sommano.
Infatti
bf(x; θ) = log [g(T(x); θ) h(x)] = log g(T(x); θ) + log h(x) = g1(T(x); θ) + h1 (x).
La proprietà richiamata in quest’ultimo punto sta ad indicare che se T(x) è
sufficiente per θ se e solo se log f(x; θ) può essere scomposto nella somma di due
funzioni g1(T(x); θ) e h1(x), di cui: la prima dipende dal parametro e dal campione solo
attraverso la funzione T(.); la seconda dipende solo dagli elementi del campione.
Esempio 2 (continua)
Per il modello normale, qualora sia µ che σ2 risultino incogniti (cosicché il vettore dei
parametri risulti ),( σµθ = 2 ), ogni parte della densità campionaria congiunta che
dipende o da µ o σ2 deve essere inclusa, per il teorema di fattorizzazione, nella funzione
g. Da quanto visto nell’esempio 2 si ha che
( )( ))(),|,(
)2()()1(exp)2(
)2()()(exp)2()(
221
2212
2/2
2222/2
xhttg
tntn
xnxxxf
n
ii
n
σµ
σµπσ
σµπσµ
=
−+−−=
⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛−+−−=
−
− ∑
con xt =1 , )1()( 22 −−= ∑ nxxt
ii e 1)( =xh . Quindi ( ) ( ) ( )( ) ( )2
21 ,, SXXTXTXT ==
sono statistiche congiuntamente sufficienti per . ),( 2σµ
Riguardo alle statistiche sufficienti si deve, infine, sottolineare che l’intero
campione X è per definizione esso stesso una statistica sufficiente (con ( ) ( ) 1=xhxxT = e
per ogni x). Da ciò segue che ogni funzione biunivoca di una statistica sufficiente è
ancora una statistica sufficiente. Infatti, sia ( ) ( )( )xTrx =*T , con ( )xT sufficiente e r
8
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
funzione biunivoca con inversa r –1. Allora, per il Teorema di fattorializzazione,
).()|))(()()|))((()()|)(()|( ***1 xhxTgxhxTrgxhxTgxf θθθθ === −
e ciò a dimostrazione che )(* xT è una statistica sufficiente.
La non unicità delle statistiche sufficienti solleva un problema di scelta tra le
alternative possibili; ovviamente la scelta ottimale ricadrà sulla statistica capace del più
alto livello di sintesi, senza dover rinunciare ad alcuna delle informazioni necessarie
alla conoscenza dei parametri incogniti; una tale statistica viene detta sufficiente
minimale
Esempio 2 (continua)
Si verifica facilmente che ( )2, SX è una statistica sufficiente minimale per se e
solo se
),( 2σµ
yx = e 22yx ss = .
Una statistica sufficiente minimale non è unica, in quanto una qualunque sua
funzione biunivoca è ancora una statistica sufficiente minimale.
4.3 Stima puntuale
Se X è una variabile casuale discreta o continua, con funzione di massa o di densità di
probabilità f(x;θ), dove θ rappresenta il parametro caratteristico non noto , la stima
statistica puntuale di θ si risolve nella ricerca di una funzione degli elementi
campionari , ( )n21 X,...X,XTθ = , in modo tale da ottenere un valore θ che sia ”il più
vicino possibile” all’entità incognita θ .
Come già sottolineato, attraverso l’introduzione della statistica si effettua,
generalmente, una compattazione delle informazioni passando, usualmente, dagli n
valori numerici x
( ) T ⋅
1,x2,…xn ad un solo valore numerico, ad es. )xn
(xn
ii∑
=
=1
1 . Risulta
evidente che tale operazione comporta una notevolissima perdita di informazioni;
aspetto questo che non deve assolutamente preoccupare, anzi, in molte situazioni
9
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
risulta vantaggioso, soprattutto quando le informazioni che si perdono sono del tutto
irrilevanti ai fini degli obiettivi che s’intendono perseguire.
L’ultima considerazione svolta, suggerisce una prima possibilità di qualificazione
della generica affermazione θ deve essere “il più vicino possibile” a θ od anche, θ
deve essere “la migliore” stima di θ . Ad esempio, se si ha ragione di ritenere che una
certa variabile casuale X sia distribuita normalmente, ma non si conosce il valore
numerico dei due parametri che la caratterizzano, µ e σ2, si può decidere di estrarre un
campione di n elementi dalla distribuzione stessa e cercare poi di individuare due
funzioni che applicate ai valori campionari diano una misura, la “migliore”, dei due
parametri incogniti. Analogo ragionamento può essere fatto nei confronti del parametro
λ che caratterizza la distribuzione di Poisson, del parametro p che caratterizza la
distribuzione bernoulliana, ecc.
Più in generale, data una variabile casuale, discreta o continua, X con funzione di
massa o di densità di probabilità f(x;θ) , la stima puntuale del un parametro incognito θ
si ottiene applicando una specifica funzione ( ) T ⋅ ai valori campionari; essa varierà
quindi al variare del campione, secondo la legge di distribuzione della popolazione cui
il campione si riferisce, ed è necessario fare riferimento a tale distribuzione per riuscire
a giudicare la “bontà” di una qualunque stima θ = T(x1, x2,...,xn). Infatti, non è possibile
affermare se un singolo valore numerico, cioè se una particolare stima θ è “buona” o
“cattiva” poiché θ è tanto più “buona” quanto più si approssima al vero valore del
parametro θ , ma, essendo tale valore incognito, il confronto non è possibile; risulta,
cioè, impossibile valutare la “bontà” di una singola stima.
Pertanto, è improprio parlare di stima “buona” o “cattiva”, si deve parlare invece
di stimatore “buono” o “cattivo”, intendendo, con ciò, fare riferimento al metodo di
stima impiegato le cui proprietà non sono valutabili facendo riferimento ad un singolo
campione ma all’universo di tutti i campioni possibili. Il confronto fra stimatori
dovrà, quindi, essere basato sul confronto tra le corrispondenti distribuzioni
campionarie; cosa questa ovviamente poco pratica, si preferisce allora effettuare il
confronto facendo riferimento a particolari indici caratteristici delle variabili casuali
stima.
10
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
4.3.1 Proprietà degli stimatori puntuali
Se con X si indica una variabile casuale, discreta o continua, con funzione di
massa o di densità di probabilità f(x;θ) , caratterizzata dal parametro incognito θ , il
problema della ricerca del ”miglior” stimatore del parametro stesso si sostanzia nella
individuazione della “migliore” funzione ( ) T ⋅ da applicare agli elementi campionari di
cui si dispone:
Definizione 4 (Stimatore). Se con X si indica una variabile casuale, discreta o
continua, con funzione di massa o di densità di probabilità f(x;θ) ,
caratterizzata dal parametro incognito θ , e si indica con X1,X2,…,Xn un
campione casuale semplice riferito alla variabile stessa, si dice stimatore
qualunque statistica T(X1,X2,…,Xn) , cioè qualunque variabile casuale,
funzione degli elementi campionari, le cui determinazioni vengono
utilizzate per ottenere una misura (stima puntuale) del parametro incognito
θ .
Le proprietà “ottimali” che verranno considerate in queste note sono la:
• sufficienza;
• concentrazione;
• prossimità;
• efficienza;
• consistenza.
4.3.2 Sufficienza
Relativamente alle proprietà “ottimali” di uno stimatore si deve, innanzi tutto, tenere
presente che la funzione opera una compattazione delle informazioni; risulta,
pertanto, più che ragionevole richiedere ad uno stimatore
( ) T ⋅
θ = T(X1,X2,…,Xn) di contenere
il massimo delle informazioni che il campione fornisce in merito al valore del
parametro incognito θ.
Nel caso in cui si riesce ad individuare uno stimatore θ che contiene tutte le
informazioni su θ possedute dal campione di dati a disposizione, si dice che θ è uno
11
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
stimatore sufficiente di θ. Appare subito evidente che nei casi in cui esistono stimatori
sufficienti, si dovrà restringere la ricerca della miglior stimatore entro tale classe
poiché, al di fuori di essa, ogni altro stimatore avrebbe come conseguenza una mancata
utilizzazione di informazioni utili contenute nel campione. Ovviamente, è sufficiente lo
stimatore basato su una statistica sufficiente.
4.3.3 Concentrazione e prossimità
Oltre alla sufficienza, risulta conveniente che le singole stime non si discostino troppo
dal valore incognito da stimare, che presentino, cioè, il minimo di variabilità intorno a
tale valore, variabilità che può essere misurata sia attraverso specifici indici sintetici,
come si avrà modo di verificare nelle righe successive, sia considerando direttamente la
distribuzione di probabilità.
Definizione 5 (Concentrazione). Lo stimatore ( )nXXXT ,...,,ˆ21
** =θ che soddisfa
la relazione:
( ) ( )λθθλθλθθλθ +≤≤−≥+≤≤− ˆˆ* PP per qualsiasi valore di 0>λ
è detto più concentrato dello stimatore ( )nXXXT ,.....,,ˆ21=θ .
Quella specificata è una proprietà relativa, si effettua, cioè, il confronto
tra due particolari stimatori e . Se la disuguaglianza vale per
qualunque stimatore alternativo a si dirà che è lo stimatore più
concentrato in assoluto.
*θ θ
θ *θ *θ
Definizione 6 (Prossimità). Lo stimatore ( )nXXXT ,...,,ˆ21
** =θ che soddisfa la
relazione:
[ ] 5,0ˆˆ* ≥−<− θθθθP per qualsiasi valore di θ
è detto più prossimo (secondo Pitman) dello stimatore
. ( )nXXXT ,.....,,ˆ21=θ
Quella specificata è una proprietà relativa, si effettua, cioè, il confronto
tra due particolari stimatori e . Se la disuguaglianza vale per *θ θ
12
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
qualunque stimatore alternativo a si dirà che è lo stimatore che
presenta una migliore approssimazione in assoluto.
θ *θ *θ
4.3.4 Efficienza
Le proprietà di concentrazione e di prossimità sono certamente del tutto auspicabili
purtroppo, però, sono veramente rare le situazioni nelle quali esistono stimatori che
godono di tali proprietà oltre alle difficoltà analitiche connesse alla loro derivazione. Si
dovrà, pertanto, fare riferimento non all’intera distribuzione di probabilità ma a specifici
indici sintetici di variabilità, procedendo, cioè, al computo di scostamenti appropriati tra
i valori assumibili dallo stimatore e il vero valore del parametro incognito (qualunque
esso sia) per poi addivenire ad una loro adeguata sintesi. L’entità aleatoria che si sta
trattando è la variabile casuale stimatore θ = T(X1,X2,…,Xn) e la costante di riferimento è
il parametro incognito θ. Gli scostamenti tra tutti i valori che la variabile casuale stima
θ assume, nell’universo dei campioni, e il valore incognito θ , possono essere espressi
dalla differenza in valore assoluto |ˆ| θθ − od anche al quadrato ( )2θθ −ˆ .
Definizione 7 (Efficienza nell’ESM). Lo stimatore ( )n** X,...,X,XTˆ
21=θ che
soddisfa la relazione: |ˆ| E |ˆ| E * θθθθ −≤− per qualunque Θθ ∈ e
per qualunque stimatore alternativo allo stimatore ; dove, dove, al
solito, E( ) sta ad indicare il valore atteso (valore medio) dell’entità
all’interno della parentesi, è detto il più efficiente nell’errore semplice
medio
θ *θ
ESM(θ ) = |ˆ| E θθ − .
Definizione 8 (Efficienza nell’EQM). Lo stimatore ( )n** X,...,X,XTˆ
21=θ , che
soddisfa la relazione: 22 )ˆ( E )ˆ( E * θθθθ −≤− per qualunque
Θθ ∈ e per qualunque stimatore alternativo allo stimatore , θ *θ
è detto il più efficiente nell’errore quadratico medio
EQM ( ) ( ) 2θθθ −= ˆ Eˆ .
13
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Quello sopra introdotto è un concetto assoluto di efficienza che risulta
operativamente poco utile in quanto sono molto infrequenti le situazioni di ricerca in cui
si riesce ad individuare per via analitica lo stimatore più efficiente (nell’errore semplice
medio o nell’errore quadratico medio), sempre nell’ipotesi di esistenza di tale stimatore.
Analogamente a quanto detto a proposito delle proprietà di concentrazione e di
prossimità, oltre a considerare la proprietà di efficienza in senso assoluto si può
introdurre il concetto di efficienza in senso relativo confrontando due diversi stimatori
1θ e 2θ di uno stesso parametro incognito θ .
Lo stimatore 1θ si dice più efficiente dello stimatore 2θ :
• nell’errore semplice medio se ESM( 1θ ) < ESM( 2θ ) , per qualunque Θθ ∈ ;
• nell’errore quadratico medio se EQM( 1θ ) < EQM( 2θ ), per qualunque Θθ ∈ .
L’efficienza relativa dello stimatore 1θ rispetto allo stimatore 2θ è definita dai
rapporti:
( )( )2
1
θθˆESM
ˆESMeESM =
( )( )2
1
θθˆEQM
ˆEQMeEQM =
Comunque, il problema più rilevante nella ricerca dello stimatore più efficiente
non risiede tanto nelle difficoltà analitiche di computo quanto nell’inesistenza di un tale
stimatore ottimale; infatti, non sono affatto rare le situazioni nelle quali non esiste uno
stimatore che minimizza l’ESM o l’EQM per qualunque valore di θ . In tali situazioni si
dovrà abbandonare l’obiettivo della ricerca dell’ottimo, non esistendo un ottimo, per
procedere, eventualmente, alla ricerca di un sub-ottimo.
Si può, ad esempio, procedere alla ricerca di uno stimatore puntuale capace di
minimizzare l’ESM o l’EQM in una classe ristretta di stimatori (minimo vincolato)
essendo ragionevole ipotizzare l’esistenza di un ottimo in una classe ristretta; il vincolo
usualmente imposto è quello della correttezza o non distorsione dello stimatore.
Definizione 9 (Correttezza o non distorsione). Uno stimatore
14
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
)X,...,X,X(Tˆnnn 21=θ (di θ ) si dice corretto o non distorto se
E(θ ) = θ.
per qualunque Θθ ∈ .
Si consideri ora la relazione
( )[ ] ( )[ ] ( )[ ] 22ˆ
22 d - ˆE )ˆVar( )ˆE()ˆE(ˆ Eˆ E)ˆEQM( +=+=−+−=−= θ
2σθθθθθθθθ θθ
dove ( )θθ ˆE d −= viene detta distorsione. Se )X,...,X,X(Tˆnnn 21=θ è uno stimatore
non distorto di θ si ha d2 = 0 e quindi:
( ) ( )[ ] )ˆ(Var ˆ E - E ˆ E)ˆ(EQM 2 θθθθθθ ==−= 2
cioè, se uno stimatore è corretto l’errore quadratico medio e la varianza
coincidono. Pertanto, nella classe ristretta degli stimatori corretti si può affermare che
lo stimatore più efficiente nell’EQM è lo stimatore di minima varianza. Quest’ultima
conclusione provoca spesso confusione inducendo a concludere che lo stimatore più
efficiente è lo stimatore di minima varianza; si tratta, ovviamente, di una conclusione
errata perché l’affermazione vale solo nell’ambito degli stimatori corretti.
Il vincolo di correttezza in molti testi non viene introdotto con una tale
connotazione, cioè come restrizione della classe degli stimatori, ma come proprietà
dello stimatore stesso. Nella logica espositiva qui seguita, dove la “bontà” di uno
stimatore è misurata facendo riferimento alla sua variabilità campionaria, una tale
interpretazione della correttezza non può essere accolta.
È stato più volte sottolineata la possibilità di non esistenza dello stimatore più
efficiente, sia nell’EQM che nell’ESM, possibilità questa molto più frequente invece
nella classe ristretta degli stimatori corretti; infatti, come si avrà modo di chiarire nelle
righe che seguono, per alcuni modelli è possibile dimostrare che esiste lo stimatore più
efficiente nell’EQM. In tale ottica un ruolo fondamentale è svolto dalla disuguaglianza
di Cramèr-Rao; si tratta di una disuguaglianza che individua il valore minimo
assumibile dalla varianza di uno stimatore corretto.
Teorema 3 (Limite di Cramèr-Rao); Sia X una v.c. con funzione di massa o di densità
f(x; θ), dove θ ∈ Θ è un parametro incognito, se sono soddisfatte le
condizioni di regolarità:
15
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
• ( ) θθθ
; log qualunqueperexqualunqueperesistexfdd ;
• ( ) ( ) n
n
iin
n
ii dxdxdxxf
dddxdxdxxf
dd
⋅⋅⋅⋅⋅⋅⋅⋅=⋅⋅⋅⋅⋅⋅⋅⋅ ∫ ∫ ∫ ∏∫ ∫ ∫∏==
211
211
; ; θθ
θθ
;
• ( ) ( )
( ) ( ) ; ;,,
;,,
211
21
211
21
n
n
iin
n
n
iin
dxdxdxxfddxxxt
dxdxdxxfxxxtdd
⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=
=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅
∫ ∫ ∫ ∏
∫ ∫ ∫ ∏
=
=
θθ
θθ
• ( ) . ; log 0 θθθ
qualunqueperxfddE ∞<
⎭⎬⎫
⎩⎨⎧
⎥⎦⎤
⎢⎣⎡<
vale la relazione di disuguaglianza
( )( ) ( )
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦⎤
⎢⎣⎡
=
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡≥
∏=
22
1
X;f log
1
log
1ˆ
θθθ
θ
ddnE;θXf
ddE
Varn
ii
16
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Dimostrazione
( ) ( )
( ) ( )
( )
( )[ ] ( )
( )[ ] ( ) ( )
( )[ ] ( )
( )
( )[ ] ( )
( )[ ] ( )
( )[ ] ( )( )
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡≥=−⋅⋅⋅⋅
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡⋅−⋅⋅⋅⋅≤
≤⎥⎥⎦
⎤
⎢⎢⎣
⎡
⎭⎬⎫
⎩⎨⎧
⎥⎦
⎤⎢⎣
⎡⋅−⋅⋅⋅⋅
⎭⎬⎫
⎩⎨⎧
⎥⎦
⎤⎢⎣
⎡⋅−⋅⋅⋅⋅=
=⋅⋅⋅⋅⎥⎦
⎤⎢⎣
⎡⋅−⋅⋅⋅⋅⋅⋅⋅⋅=
=⋅⋅⋅⋅⎥⎦
⎤⎢⎣
⎡⋅−⋅⋅⋅⋅⋅⋅⋅⋅=
=⋅⋅⋅⋅⋅⋅⋅⋅−
+⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=
=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅==
∏
∏
∏
∏
∏∫∫ ∫ ∏
∫ ∫ ∫ ∏
∫ ∫ ∫ ∏
∫ ∫ ∫ ∏
∫ ∫ ∫ ∏
=
=
=
=
==
=
=
=
=
2
1
221
2
1
221
2
121
121
2111
21
211
21
211
211
21
211
21
;log
1ˆ ,,
;log ,,
log ,,
; ,,
; ;log ,,
; ,,
;
;,,
;,,1
n
ii
n
n
iin
n
iin
n
iin
n
n
ii
n
iin
n
n
iin
n
n
ii
n
n
iin
n
n
iin
xfddE
VarxxxtE
cuida
xfddExxxtE
;θxf dθdxxxtE
zy - Schwaranza Cauchdisuguaglilaper
xfddxxxtE
dxdxdxxfxf ddxxxt
dxdxdxxfddxxxt
dxdxdxxfdd
dxdxdxxfddxxxt
dxdxdxxfxxxtdd
dd
θθ
θθ
θθ
θ
θ
θθ
θ
θθθ
θ
θθ
θ
θθ
θ
θθ
θθ
θθ
ma
( ) ( )
( ) ( ) ( )
( )
( )[ ] ( )[ ] ( )
( )⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦⎤
⎢⎣⎡=
=⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦⎤
⎢⎣⎡+
⎭⎬⎫
⎩⎨⎧ ⋅⋅=
=⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦⎤
⎢⎣⎡+
⎭⎬⎫
⎩⎨⎧ ⋅
=⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡=
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡
∑ ∑
∑∑ ∑
∑∏
= =≠
== =≠
==
2
2
1 1)(
1
2
1 1)(
2
1
2
1
;log
;log ; ;
. '
;log ;log ;log
;log ;log
θθ
θθ
θθ
θθ
θθ
θθ
θθ
θθ
θθ
xfddEn
xfddEnxfE
ddxfE
dd
Xv.cdellezaindipendenlper
xfddExf
ddxf
ddE
xfddExf
ddE
n
i
n
ijii
i
n
ii
n
i
n
ijji
n
ii
n
ii
17
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
La quantità
( ) ( ) ( )⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦⎤
⎢⎣⎡=
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡= ∏
=
22
1
;log log θθθ
θ xfddEn;θXf
ddEI
n
ii
usualmente detta informazione di Fisher, si indica con I(θ ) e fornisce una misura
dell’informazione contenuta nel campione. Da sottolineare che l’informazione I(θ) è la
varianza della variabile casuale che si ottiene derivando il logaritmo della funzione di
verosimiglianza; tale derivata è detta funzione score ed è espressa da:
( ) ( ) ( )( )
( )( )θ
θθθθ
θθ
;,...,,;,...,,
log 21
21''
n
n
xxxfxxxf
LLL
ddS ===
infatti
( )[ ] ( )[ ] ( )θIθS E θS Var == 2
poiché
( )[ ] ( )( ) ( )
( ) ( ) 012121
212121
21
=⋅==⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅
=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=
∫∫∫∫
∫∫∫
dθdx dx;θf
dθddxdxdx;θ,...,x,xxf
dθd
dxdxdx;θ,...,x,xxf;θ,...,x,xxf;θ,...,x,xxf
θS E
xnn
nnn
n'
L’informazione di Fisher può essere quindi espressa dall’uguaglianza:
( ) ( )[ ] 2 θθ SEI =
ma
( )[ ] ( )
( )[ ] ( ) ( ) ( )
( ) ( )[ ]
( )[ ] ( ) ( )θθθ
θ
θθθ
θθθ
θθθ
θθθθ
ISddESE
cuida
SESddE
xdxfxfddxdxfxf
dd
xdxfxfdd
dd
xx
x
=⎥⎦⎤
⎢⎣⎡−=
+⎥⎦⎤
⎢⎣⎡=
=⋅⎥⎦⎤
⎢⎣⎡+
⎭⎬⎫
⎩⎨⎧
⋅=
=⎭⎬⎫
⎩⎨⎧ ⋅=
∫∫
∫
2
2
2
2
2
, ,log , ,log
,,log 0
Si noti che per definire la funzione score S(θ) e l’informazione di Fisher I(θ)
si è fatto riferimento all’universo dei campioni, cioè, nella funzione di verosimiglianza
18
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
al singolo punto campionario x1,x2,…,xn si è di nuovo sostituita la variabile casuale ad
n dimensioni X = (X1,X2,…,Xn).
La conclusione cui si perviene è che la varianza di uno stimatore corretto non
può scendere sotto il reciproco dell’informazione di Fisher, quindi, se Var( ) = 1/I(θ)
lo stimatore è il “migliore”, cioè, il più efficiente nell’ambito degli stimatori corretti.
Se risulta, invece, Var( ) > 1/I(θ), non è possibile pervenire ad alcuna conclusione nel
senso che potrebbe esistere o non esistere un altro stimatore corretto più efficiente.
Comunque, è stato dimostrato che il limite minimo della disuguaglianza viene raggiunto
se e solo se il modello (v.c. rappresentativa della popolazione di riferimento) dal quale
il campione è stato estratto appartiene alla famiglia esponenziale.
θ
θ
θ
L’inserimento del vincolo di correttezza riduce, in pratica, lo spazio in cui
ricercare l’ottimo la cui esistenza è garantita per le v.c. che appartengono alla famiglia
esponenziale. Lo stimatore che minimizza l’errore quadratico medio nell’ambito
ristretto delle stime corrette, rappresenta, pertanto, la strategia dominante nella classe
ristretta degli stimatori corretti.
In molte situazioni operative non esiste un’alternativa dominante, neppure nella
classe ristretta degli stimatori corretti, ed anche quando una tale possibilità sussiste a
livello teorico può risultare molto difficile o addirittura impossibile procedere alla sua
derivazione analitica. Una possibile via da seguire per la ricerca dell’ottimo è
rappresentata dall’inserimento di ulteriori vincoli: il più semplice ed immediato, che
risolve anche le difficoltà di ordine analitico, è il vincolo di linearità.
4.3.5 Consistenza
Al crescere della dimensione del campione cresce anche l’ammontare del patrimonio
informativo a disposizione, è quindi ragionevole presumere che al crescere della
dimensione campionaria debba anche crescere la “bontà” dello stimatore.
Per ciò che concerne il comportamento di un qualunque stimatore puntuale al
crescere della dimensione del campione si riportano le due definizioni seguenti che
introducono una ulteriore augurabile proprietà degli stimatori: la consistenza.
Definizione 10 (Consistenza in senso debole). Uno stimatore )X,...,X,X(Tˆnnn 21=θ
19
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
(di θ ) si dice consistente in senso debole se
( ) 1 |ˆ| =− <+∞→
εθθ nnPLim
per qualunque Θθ ∈ e per qualunque ε positivo piccolo a piacere.
Definizione 11 (Consistenza in senso forte). Uno stimatore )X,...,X,X(Tˆnnn 21=θ
(di θ ) si dice consistente in senso forte se
( )
( ) 0 ˆlim
0 ˆlim
=
=
∞→
∞→
nn
nn
ESM
ancheo
EQM
θ
θ
per qualunque Θθ ∈
Ovviamente, la consistenza forte implica la consistenza debole; infatti, per la
disuguaglianza di Cebicev
( )( )
( )
( )( )
1ˆ
1 |ˆ|
,0ˆ
ˆ1 |ˆ| |ˆ|
2
2
2
2
2
=⎪⎭
⎪⎬
⎫
⎪⎩
⎪⎨
⎧⎥⎦⎤
⎢⎣⎡ −
−≥−
=⎥⎦⎤
⎢⎣⎡ −
⎥⎦⎤
⎢⎣⎡ −
−≥−−
+∞→+∞→
+∞→
+∞→
<
<<
εε
εεε
θθθθ
θθ
θθθθθθ
n
nnn
nn
n
nnn
ELimPLim
hasiELimpoiché
EPPLim
4.4 Metodi di stima puntuale
Una volta elencate le proprietà che si ritiene debbano essere soddisfatte da uno
stimatore puntuale, si dovranno valutare i metodi di stima proposti in letteratura
verificando se, ed in quali condizioni operative, producono stimatori che soddisfano tali
proprietà.
In queste note verranno considerati, anche se in alcuni casi molto sommariamente,
i metodi di stima:
• della minimizzazione dell'errore quadratico medio;
20
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
• della massima verosimiglianza;
• dei momenti;
• del minimo chi-quadro (χ2);
• della minima distanza;
4.4.1 Minimizzazione dell’errore quadratico medio
Un metodo di stima particolarmente rilevante e direttamente collegato alle proprietà
delle stime sopra elencate è quello basato sulla minimizzazione dell'errore quadratico
medio; si tratta, quindi, di un metodo che ha come obiettivo l’individuazione dello
stimatore più efficiente in assoluto.
Un inconveniente di questo metodo è rappresentato dal fatto che, come già
sottolineato, per molte distribuzioni non esiste uno stimatore di θ capace di
minimizzare l'errore quadratico medio rispetto a tutti i possibili valori di θ, succede cioè
che per alcuni valori di θ l'errore quadratico medio risulta minimizzato dallo stimatore
1θ , mentre per altri valori di θ , al minimo si perviene attraverso una diverso stimatore
2θ . In tali situazioni, essendo θ una quantità incognita, il problema non ammette
soluzione, o meglio, è il metodo della minimizzazione dell'errore quadratico medio che
non fornisce la soluzione. Comunque, nelle situazioni in cui si riesce ad individuare un
tale stimatore, si tratta dello stimatore più efficiente in senso assoluto ed uno degli
acronimi di più largo impiego per caratterizzare tale stimatore è B(E) (Best Estimator).
Poiché, come già detto, le stime che minimizzano l'errore quadratico medio non
sempre esistono, si preferisce sovente restringere la classe delle funzioni di stima a
quelle che rispettano certe condizioni; ad es. si può, come già sottolineato, restringere la
classe alle sole stime non distorte e ricercare tra queste la stima che minimizza l'errore
quadratico medio. In questo caso, il metodo della minimizzazione dell'errore quadratico
medio si riduce al metodo della minimizzazione della varianza; ma, in tali condizioni si
deve tenere presente che l’ottimo cui si può, eventualmente, pervenire è un ottimo
vincolato (un ottimo relativo e non un ottimo assoluto).
Si consideri ora la Fig. 1 dove sono stati riportati i grafici relativi alle
distribuzioni campionarie di tre diverse funzioni di stima di θ, due di queste, 1θ e 2θ
21
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
,danno luogo a delle stime di θ corrette, mentre la terza, 3θ , dà luogo ad una stima
distorta di θ.
f ( )θ3
f ( )θ1
f ( )θ 2
θFig. 1 - Grafico relativo alla distribuzione di tre diverse funzioni di stima
Dei tre stimatori considerati 1θ , 2θ e 3θ il secondo 2θ è senz'altro da scartare,
infatti tale stimatore pur essendo corretto presenta una variabilità nettamente superiore a
quella dell'altro stimatore corretto 1θ . La scelta tra le funzioni che danno luogo agli
stimatori 1θ e 3θ , presenta invece qualche difficoltà; infatti, in questo caso si tratta di
confrontare due stimatori, dei quali, quello che possiede la “proprietà” della correttezza
1θ mostra una maggiore variabilità rispetto a θ . Risulta ragionevole nella situazione
prospettata scegliere lo stimatore 3θ ; infatti, come si può evincere dalla figura, valendo
la disuguaglianza ( ) ( )13ˆˆ θθ EQMEQM < la probabilità di ottenere valori prossimi a θ
risulta più elevata per lo stimatore 3θ rispetto allo stimatore 1θ .
L’inserimento del vincolo di correttezza riduce, in pratica, lo spazio in cui
ricercare l’ottimo; se si riuscisse ad individuare tale ottimo, lo stimatore che minimizza
l’errore quadratico medio nell’ambito ristretto delle stime corrette, si sarebbe
individuata la strategia dominante nella classe ristretta degli stimatori corretti. Un tale
stimatore viene usualmente indicato con l’acronimo BU(E) (Best Unbiased Estimator).
In molte situazioni operative non esiste un’alternativa dominante, neppure nella
22
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
classe ristretta degli stimatori corretti, ed anche quando una tale possibilità sussiste a
livello teorico può risultare molto difficile o addirittura impossibile procedere alla sua
derivazione analitica, in tali situazioni si può procedere all’inserimento del vincolo di
linearità
( ) i
n
iin XX,...,X,XT ∑
=
+=1
021 αα .
Nella classe ristretta degli stimatori lineari e corretti si riesce ad individuare gli
stimatori ottimali (cioè gli stimatori più efficienti) in molte situazioni rilevanti di
ricerca, tra queste, la più significativa è quella che riguarda i modelli statistici lineari,
in particolare il così detto modello classico di regressione lineare. In tale
contesto,come si avrà modo di chiarire successivamente, il metodo di stima statistica
puntuale che ne risulta viene , usualmente, detto metodo di stima dei minimi
quadrati. Per indicare lo stimatore che minimizza l’EQM nell’ambito degli stimatori
lineari e corretti si utilizza usualmente l’acronimo BLU(E) (Best Linear Unbiased
Estimator)
Il metodo di stima puntuale basato sulla minimizzazione dell’errore quadratico
medio può essere interpretato facilmente in termini decisionali. L’errore quadratico
medio assume, infatti, la veste di funzione di perdita e l’impossibilità di individuazione
dello stimatore più efficiente si risolve nella constatazione della non esistenza di
un’alternativa decisionale (azione) che risulti dominante rispetto a tutte le altre: la
migliore azione per qualunque stato di natura che, nella specifica circostanza, è
rappresentato dal valore assunto dal parametro incognito θ .
4.4.2 Massima verosimiglianza
Un secondo metodo di stima puntuale particolarmente rilevante è il metodo della
massima verosimiglianza.
Si ricorda che: data una variabile casuale, discreta o continua X, con funzione di
massa, o di densità di probabilità f(x; θ) e un campione casuale semplice di n
osservazioni su X , si è definita di verosimiglianza la funzione
∏=
==n
iin )x;(f)x...,,x,x;(f)(L
121 θθθ
Come già sottolineato, la funzione di verosimiglianza coincide in termini formali
23
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
con la funzione di massa o di densità di probabilità del campione: si tratta infatti di una
stessa espressione interpretata come funzione:
• degli elementi campionari x1, x2,...,xn (funzione di densità o di massa di
probabilità) che variano nell'universo dei campioni;
• del parametro θ (funzione di verosimiglianza) per un campione prefissato.
Nella prima interpretazione (a priori), si fa riferimento all’universo dei campioni e
le variabili che interessano sono, appunto, le variabili casuali campionarie X1,X2,…,Xn.
Nella seconda interpretazione (a posteriori), le variabili campionarie hanno assunto
particolari determinazioni x1,x2,…,xn e sono, pertanto, quantità costanti note; risulta,
allora, ragionevole interpretare l’espressione come funzione del parametro (o dei
parametri) θ che, pur essendo una costante, assume la veste di variabile essendo
incognito il suo valore.
Il metodo di stima della massima verosimiglianza consiste nello scegliere il valore
θ~ che massimizza la funzione L(θ). Se L(θ) è una funzione differenziabile, condizione
necessaria affinché essa abbia un massimo è che dL(θ)/d θ = 0 . Nella generalità dei
casi non occorre procedere ad ulteriori elaborazioni (computo delle derivate di ordine
superiore) essendo il punto di stazionarietà individuato un punto di massimo.
La derivazione della funzione di verosimiglianza L(θ) comporta, la derivata del
prodotto f(x∏=
n
i 1i; θ), operazione non immediata per le note caratteristiche della
derivazione di un prodotto. Per tale motivo, in genere si preferisce massimizzare non la
verosimiglianza L(θ) ma il logaritmo naturale della verosimiglianza
l(θ) = log L(θ) = ∑ log f(x=
n
i 1i; θ)
detto log-verosimiglianza. Essendo il logaritmo naturale una funzione monotona, il
valore θ~ che massimizza la log-verosimiglianza l(θ) è identico a quello che
massimizza la verosimiglianza L(θ).
Si ricorda che la derivata prima della log-verosimiglianza è stata definita come
funzione score; di conseguenza, se la log-verosimiglianza è differenziabile allora
condizione necessaria affinché la funzione abbia un massimo è che il suo score sia 0:
24
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
S(θ) = ( )θθ
ldd = 0.
Il valore θ~ che massimizza la verosimiglianza o la log-verosimiglianza è detto
stima di massima verosimiglianza del parametro incognito θ. Se nella soluzione si
sostituiscono alle determinazioni (x1, ..., xn) le corrispondenti variabili casuali (X1, ...,
Xn) si ottengono gli stimatori di massima verosimiglianza.
Ovviamente se la distribuzione della variabile casuale X, è caratterizzata da più
parametri θ1, ..., θk, per trovare il massimo occorrerà uguagliare a 0 ciascuna delle
derivate parziali rispetto ad ogni singolo parametro (lo score è quindi un vettore a k
componenti, una per ogni parametro incognito) e poi ricavare la stima dei parametri
risolvendo il sistema delle equazioni ottenute.
Si riporta nelle righe seguenti la derivazione delle stime di massima
verosimiglianza, elencandone proprietà e legge di distribuzione, per campioni relativi
ad alcune v.c. tra quelle esaminate nel Cap. 2; si tratta sempre di distribuzioni che
appartengono alla famiglia esponenziale per le quali è, quindi sempre possibile
individuare stimatori sufficienti e, a ragione della disuguaglianza di Cramèr-Rao,
ottimali nell’ambito degli stimatori corretti.
V.C. di Bernoulli
La log-verosimiglianza della v.c. di Bernoulli è data da
l(p) = log f(x∑=
n
i 1i; p) = log ( ) = log p∑ x∑
=
n
i 1
ii xx qp −1
=
n
i 1i + log (1-p) (n – x∑
=
n
i 1i).
derivando l(p) rispetto a p per ottenere lo score ed uguagliando a 0 si ha
S(p) = p1 ∑ x
=
n
i 1i –
q1 (n – x∑
=
n
i 1i) = 0.
risolvendo l’equazione rispetto a p si ricava la stima di massima verosimiglianza di p
p~ = n1 ∑ x
=
n
i 1i = x .
Lo stimatore di massima verosimiglianza di p è quindi la media campionaria
p~ = X = n1 X∑
=
n
i 1i,
25
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Poiché ciascuna Xi è una v.c. di Bernoulli ne consegue che ∑ X=
n
i 1i è la somma
degli 1, nel campione (somma dei successi nelle n prove), e X =n1 ∑
=
n
i 1Xi è la
proporzione dei successi. L’immediata conclusione cui si perviene, ricordando quanto
esposto nel Cap.2, è che lo stimatore∑ ha distribuzione binomiale con parametri n
e p, mentre la la media campionaria
=
n
iiX
1
X è una binomiale relativa; questa distribuzione
per n sufficientemente grande può essere approssimata con la distribuzione Normale
avente la stessa media (p) e la stessa varianza (pq/n).
∑=
n
i 1Xi (e qualsiasi altra trasformazione biunivoca della stessa) è una statistica
sufficiente per p, quindi p~ = X è uno stimatore sufficiente, essendo funzione di tale
statistica sufficiente, e corretto di p, inoltre, il suo EQM coincide con la varianza e
raggiunge il limite di Cramér-Rao; infatti:
( ) ( )
( ) ( )( ) pq
npq
npnqp
pnpnpnpn
pnp
pdpd
Xnp
Xpdp
dEpSdpdEpI
n
i
n
iii
=+
=−
−+=⎥
⎦
⎤⎢⎣
⎡−
−−−=
=⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦
⎤⎢⎣
⎡⎟⎠
⎞⎜⎝
⎛−
−−−=⎥
⎦
⎤⎢⎣
⎡−= ∑ ∑
= =
22
1 1
11
111
111
da cui
( ) npq
pI=
1
che è pari alla varianza di X ; pertanto, lo stimatore di massima verosimiglianza Xp =~
è in assoluto lo stimatore migliore di p nella classe degli stimatori corretti.
Infine, Xp =~ è consistente in senso forte, dato che:
( ) ( ) 0 ar ===∞→∞→∞→ n
pqLimXVLimXEQMLimn
nn
nn
Poiché la consistenza forte implica quella debole, X è anche consistente in senso
debole.
V.C. di Poisson
26
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
La log-verosimiglianza della v.c. di Poisson è data da
l(λ) = ∑ log f(x=
n
i 1i; λ) = ∑ log
=
n
i 1 !i
x
xei λλ −
= log λ x∑=
n
i 1i – nλ – log x∑
=
n
i 1i!
derivando rispetto a λ per ottenere lo score ed uguagliando a 0 si ha
S(λ) = λ1 ∑
=
n
i 1xi – n = 0⇒ λ~ =
n1 ∑
=
n
i 1xi = x .
La distribuzione campionaria della v.c. ∑ , per la proprietà additiva della v.c.
di Poisson, è ancora una v.c. di Poisson con parametro nλ che coincide con la media e la
varianza della v.c. stessa; mentre di
=
n
iiX
1
λ~ = X è una v.c. di Poisson relativa di media λ e
varianza λ/n. Tale distribuzione per n sufficientemente grande può essere approssimata
con la distribuzione normale avente la stessa media (λ) e la stessa varianza (λ/n) della
Poisson relativa.
∑=
n
i 1Xi (e qualsiasi altra trasformazione biunivoca della stessa) è una statistica
sufficiente per p, quindi λ~ = X è uno stimatore sufficiente, essendo funzione di tale
statistica sufficiente, e corretto di λ, quindi, il suo EQM coincide con la varianza e
raggiunge il limite di Cramér-Rao; infatti:
( ) ( )
λλ
λλλ
λλ
nXE
nXddES
ddEI
n
ii
n
ii
=⎟⎠
⎞⎜⎝
⎛−−=
=⎥⎦
⎤⎢⎣
⎡⎟⎠
⎞⎜⎝
⎛−−=⎥⎦
⎤⎢⎣⎡−=
∑
∑
=
=
1
2
1
/
1
da cui
( ) npIλ
=1
che è uguale alla varianza di X ; pertanto, lo stimatore di massima verosimiglianza
X=λ~ è in assoluto lo stimatore migliore di λ nella classe degli stimatori corretti.
Inoltre, X=λ~ è consistente in senso forte, dato che:
( ) ( ) 0 ar ===∞→∞→∞→ n
LimXVLimXEQMLimn
nn
nn
λ .
27
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Poiché la consistenza forte implica quella debole, X è anche consistente in senso
debole per λ.
V.C. Normale
La log-verosimiglianza della v.c. Normale è data da:
( ) ( ) ( )
( ) ( )∑
∑∑
=
−−
==
−−−−=
=⋅==
n
ii
xn
i
n
ii
xnn
exfli
1
22
2
21
12
1
22
21 log
22log
2
21log,; log,
22
µσ
σπ
πσσµσµ
µσ
Poiché la log-verosimiglianza dipende da 2 parametri è possibile distinguere quattro
diverse situazioni di stima:
• stima di µ ;
• stima di ; notocon 2 µσ
• stima di ; incognitocon 2 µσ
• stima simultanea di . 2 σµ e
Stima di µ
Per quanto concerne la stima di µ non è stata specificata l’eventuale conoscenza del
parametro in quanto non influente; infatti, se si considera la funzione score, che
si ottiene come più volte specificato derivando ed eguagliando a 0 la log-
verosimiglianza rispetto al parametro d’interesse si ha:
2 σ
S(µ) = – 221σ
∑=
n
i 12(xi – µ)(–1) = 2
1σ
( x∑=
n
i 1i – nµ) = 0⇒ µ~ =
n1 ∑
=
n
i 1xi = x .
pertanto lo stimatore di massima verosimiglianza di µ è la media campionaria
µ~ = X = n1 ∑
=
n
i 1Xi.
Come si è già avuto modo di verificare X=µ~ , si distribuisce normalmente con
media µ e varianza σ2/n. X , è uno stimatore sufficiente, perché basato sulla statistica
28
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
sufficiente , corretto ed il più efficiente nella classe degli stimatori corretti in
assoluto di µ; infatti, se si considera il limite della disuguaglianza di .Cramér-Rao
∑=
n
iiX
1
I(µ) = –E ( )⎟⎟⎠
⎞⎜⎜⎝
⎛µµ
dds = –E( 2
1σ
(– n)) = n/σ2,
si ha
1/I(µ) = σ2/n
che è uguale alla varianza di X=µ~ .
Inoltre X è consistente in senso forte per µ ; poiché la consistenza forte implica
quella debole, X è anche consistente in senso debole per µ.
Stima di σ2 con µ nota
La funzione score è data da
S(σ2) = – 22σn + 42
1σ
∑=
n
i 1(xi – µ)2 = 0⇒ 2~σ =
n1 ∑
=
n
i 1(xi – µ)2 = . 2
**s
Questo significa che lo stimatore di massima verosimiglianza di µ è
2~σ = = 2**S
n1 ∑
=
n
i 1(Xi – µ)2,
detta varianza campionaria con µ nota.
Come già visto nel Cap. 3 la distribuzione campionaria di
∑=
⎟⎠⎞
⎜⎝⎛ −
==n
i
iXnSn1
2
2
2**
2
2~
σµ
σσσ
è di tipo Chi-quadrato con n gradi di libertà ( )2nχ la cui media e varianza sono
rispettivamente pari ad n e a 2n, cioè
E ⎟⎟⎠
⎞⎜⎜⎝
⎛2
2**
σnS = n Var ⎟
⎟⎠
⎞⎜⎜⎝
⎛2
2**
σnS = 2n,
da cui deriva:
( )2~σE =E( ) = σ2**S 2 Var( 2~σ ) =Var( ) = 2σ2
**S 4/n.
29
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Pertanto 2~σ = è uno stimatore corretto di σ2**S 2 e che, quindi, il suo EQM
coincide con la varianza. Si tratta, inoltre, di uno stimatore sufficiente perché basato
sulla statistica sufficiente ed il più efficiente nell’ambito degli stimatori
corretti come si verifica facilmente attraverso il computo del limite fissato dalla
disuguaglianza Cramér-Rao.
(∑=
−n
iiX
1
2µ)
I(σ2) = –E ( )⎟⎟⎠
⎞⎜⎜⎝
⎛2
2
σσ
ddS = –E( 42σ
n – 621σ
∑=
n
i 1(xi – µ)2) = – 42σ
n + 4σn = 42σ
n
da cui
1/I(σ2) = 2σ4/n
che è uguale alla varianza di 2~σ . 2~σ = è consistente in senso forte per σ2
**S 2, dato che
( ) ( ) 02~~4
2 ===∞→∞→∞→ n
LimVarLimEQMLimn
onnnn
σσσ .
Poiché la consistenza forte implica quella debole, 2~σ = è anche consistente in
senso debole per σ
2**S
2.
Stima di σ2 con µ incognito
Nel caso in cui si voglia stimare la varianza, ma non è noto il valore assunto da µ ,non
si può procedere come indicato al punto precedente in quanto nella formula della stima
della varianza 2~σ = = 2**S
n1 ∑
=
n
i 1(Xi – µ)2 è presente tale elemento che, in quanto tale,
cioè non noto e non di interesse ai fini della stima, assume la natura di parametro di
disturbo. Disturbo che può essere facilmente eliminato procedendo ad una sua stima
che pur non interessando direttamente è strumentale all’obiettivo che si vuol perseguire
che è quello della stima di . Piuttosto che trattare questo problema, facilmente
risolvibile se si considera quanto detto ai due punti precedenti, si procede alla
risoluzione del problema della stima congiunta di entrambi i parametri
2σ
µ e . 2σ
Stima di µ e σ2 entrambi incogniti
Le funzioni score eguagliate a zero per i due parametri incogniti µ e sono quelle 2σ
30
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
viste in precedenza:
s(µ) = 21
σ(∑ x
=
n
i 1i – nµ) = 0,
s(σ2) = – 22σn + 42
1σ
∑=
n
i 1(xi – µ)2 = 0.
risolvendo il sistema rispetto ai due parametri incogniti si ottengono le stime:
µ~ = x =n1 ∑
=
n
i 1xi 2~σ =
n1 ∑
=
n
i 1(xi – x )2 = . 2
*s
Gli stimatori di massima verosimiglianza di µ è di σ2 sono quindi
µ~ = X =n1 ∑
=
n
i 1Xi 2~σ = = 2
*Sn1 ∑
=
n
i 1(Xi – X )2,
cioè la media campionaria e la varianza campionaria.
Le statistiche X∑=
n
i 1i e ∑ (e qualsiasi altra trasformazione biunivoca di tale
coppia) sono congiuntamente sufficienti per µ e σ
=
n
i 1
2iX
2 (per verificare tale risultato basta
svolgere il quadrato nel termine (x∑=
n
i 1i – µ)2 e operare le relative somme). Di
conseguenza µ~ = X e 2~σ = sono stimatori congiuntamente sufficienti, essendo
funzione di statistiche congiuntamente sufficienti.
2*S
Per quanto detto nel Cap. 3, risulta che le v.c. X e sono fra loro indipendenti,
che
2*S
X è una stima corretta di µ mentre è una stima distorta di ; inoltre, la
v.c.
2*S 2σ
2
2*
σnS
= ∑=
n
i 1
2
⎟⎟⎠
⎞⎜⎜⎝
⎛ −σ
XX i
ha distribuzione del tipo chi-quadro con n-1 gradi di libertà ( )21−nχ .
Per le proprietà della v.c. Chi-quadrato
E ⎟⎟⎠
⎞⎜⎜⎝
⎛2
2*
σnS = n – 1 V ⎟
⎟⎠
⎞⎜⎜⎝
⎛2
2*
σnS = 2(n – 1)
31
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
da cui
E( ) = 2*S
nn 1− σ2 Var( ) = 2σ2
*S 421
nn − .
Essendo uno stimatore distorto di σ2*S 2, il teorema di Cramér-Rao non si applica
perché viene a cadere una delle ipotesi fondamentali dello stesso. Comunque, poiché
EQM( ) = σ2*S 4(2n – 1)/n2 tende a 0 per n → ∞, è uno stimatore consistente in
senso forte. Dato poi che la consistenza forte implica quella debole, è anche
consistente in senso debole per σ
2*S
2*S
2. Inoltre, per quanto esposto nel capitolo precedente,
è invece stimatore corretto di la varianza campionaria corretta 2σ
S2 = 1
1−n ∑
=
n
i 1(Xi – X ).
Ed avendo la v.c.
( )2
21σ
Sn − = 2
2*
σnS
= ∑=
n
i 1
2
⎟⎟⎠
⎞⎜⎜⎝
⎛ −σ
XX i
distribuzione di tipo chi-quadro con n-1 gradi di libertà, la cui media e varianza sono:
E ( )⎟⎟⎠
⎞⎜⎜⎝
⎛ −2
21σ
Sn = n – 1 Var ( )⎟⎟⎠
⎞⎜⎜⎝
⎛ −2
21σ
Sn = 2(n – 1),
ne risulta
E(S2) = σ2 Var(S2) = 2σ4/(n – 1).
Lo stimatore (non di massima verosimiglianza) S2 , è, quindi, uno stimatore
corretto e sufficiente di σ2 ma non il più efficiente nella classe degli stimatori corretti.
Infatti, il limite di Cramér-Rao sopra individuato 1/I(σ2) = 2σ4/n è inferioe alla varianza
dello stimatore xche è pari a 2σ4/(n-1). Quindi S2 non è in assoluto lo stimatore
migliore di σ2 nella classe degli stimatori corretti, anche se la differenza rispetto al
limite di Cramér-Rao è esigua e diminuisce rapidamente al crescere di n. Infine, risulta
facile verificare che S2 è uno stimatore consistente in senso forte, e, quindi, anche in
senso debole, di σ2.
32
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
V.C. Gamma
La log-verosimiglianza della v.c. Beta con parametri α e β è data da
l(α, β) = ∑ log f(x=
n
i 1i; α, β) = log ∑
=
n
i 1 ( ) ⎥⎥⎦
⎤
⎢⎢⎣
⎡
⋅Γ
−− βα
αβα
ix
i ex 11
che dopo alcune semplificazioni diviene
( ) ( ) ( ) ∑∑==
−−−Γ−−=n
ii
n
ii xxnnl
11
1log1loglog,β
ααβαβα
l(α, β) = -nα log β – n log Γ(α) – (α – 1) ∑ log x=
n
i 1i – β x∑
=
n
i 1i.
Per ricavare le stime di massima verosimiglianza di α e β occorre derivare
rispetto ad entrambe le variabili, ottenendo le due componenti del vettore score, ed
uguagliarle a 0:
s(α) = -n log β – n ( )( )αα
ΓΓ' – ∑ log x
=
n
i 1i = 0,
s(β) = –βαn – x∑
=
n
i 1i = 0.
Dalla seconda delle due espressioni è semplice ricavare β in funzione di α.
Tuttavia sostituendo tale risultato nella prima equazione, la funzione gamma ivi
coinvolta non consente la derivazione analitica della stima di α., il che significa che non
si possono derivare analiticamente le stime di massima verosimiglianza α~ e β~ anche
se, osservando la formula della log-verosimiglianza si conclude che le statistiche
log x∑=
n
i 1i e∑ x
=
n
i 1i (e qualsiasi altra trasformazione biunivoca di tale coppia) sono
congiuntamente sufficienti per α e β. Di conseguenza anche se non si riesce a dare
l’espressione analitica di α~ e β~ tali stimatori esistono e sono stimatori congiuntamente
sufficienti.
Questa situazione, apparentemente strana e complicata, in realtà è (quasi) la
regola. Infatti solo pochi modelli statistici, fra i quali quelli visti in precedenza,
consentono di esplicitare la formula degli stimatori, di ricavarne l’esatta distribuzione
33
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
campionaria, di indicare l’esatto valore degli indici caratteristici quali valore atteso,
varianza e EQM.
Quando non è possibile derivare l’espressione analitica degli stimatori di massima
verosimiglianza si procede, usualmente, alla massimizzazione della verosimiglianza
tramite algoritmi iterativi, implementati su calcolatore, che trovano valore in
corrispondenza del massimo per approssimazioni successive iniziando da un punto di
partenza (starting point).
4.4.3 Proprietà degli stimatori di massima verosimiglianza
Da quanto visto ai punti precedenti, gli stimatori di massima verosimiglianza cui si è
pervenuti godono di buone proprietà, ci si deve ora domandare se in tutte le situazioni
(per tutti i modelli) è possibile pervenire agli stessi risultati, la risposta non è
affermativa: le proprietà degli stimatori di massima verosimiglianza, per campioni di
dimensione finita, vanno valutate caso per caso, anche se, nella generalità dei casi c, tali
stimatori godono di buone proprietà che vengono di seguito richiamate.
Invarianza: Si dimostra che se θ~ è lo stimatore di massima
verosimiglianza di θ allora g(θ~ ) è lo stimatore di massima
verosimiglianza di g(θ). In altri termini per stimare tramite massima
verosimiglianza una qualche trasformazione di un parametro già stimato
basta prendere la stima precedente e trasformare questa allo stesso modo.
Ad esempio: nel modello normale la stima di massima verosimiglianza di
σ è la radice quadrata di 2~σ ; oppure nel modello di Poisson la stima di
massima verosimiglianza di 1/λ è direttamente 1/ λ~ .
Sufficienza: Se esistono delle statistiche sufficienti allora gli stimatori di
massima verosimiglianza sono funzione di questi e pertanto sono
stimatori sufficienti. Questa proprietà è una conseguenza del criterio di
fattorizzazione; infatti se esistono stimatori sufficienti allora la log-
verosimiglianza è la somma di due componenti: una dipende solo dal
parametro e dalle statistiche sufficienti, l’altra solo dal campione
Efficienza “per campioni finiti”: Si dimostra che se esiste uno stimatore
corretto la cui varianza è pari al limite di Cramér-Rao, allora il metodo
34
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
della massima verosimiglianza individua “automaticamente” tale
stimatore.
Efficienza asintotica: Si dimostra che sotto condizioni molto generali di
regolarità, lo stimatore di massima verosimiglianza θ~ è asintoticamente
(cioè per n → ∞) efficiente, cioè:
- è asintoticamente corretto E(∞→n
lim nθ~ ) = θ;
- la sua varianza tende al limite di Cramér-Rao che a sua volta tende a 0
V(∞→n
lim nθ~ ) = 1/Ι(θ);
- poiché di norma 1/Ι(θ) tende a 0 per n → ∞ ne deriva come conseguenza
la consistenza in senso forte e quindi anche in senso debole.
Normalità asintotica: Si dimostra che, per n → ∞, nθ~ ha distribuzione
Normale con media il vero valore di e varianza pari al limite inferiore di
Cramér-Rao. In simboli
nθ~ ≈ N[θ, 1/I(θ)].
Per caratterizzare le ultime due proprietà asintotiche è stato introdotto l’acronimo
BAN(E) (Best Asymptotically Normal Estimator).
4.4.4 Altri metodi di stima
Oltre al metodo di stima della minimizzazione dell’EQM e della massima
verosimiglianza, molti altri metodi di stima sono stati proposti in letteratura: il metodo
dei momenti, il metodo della minima distanza, il metodo del minimo χ2 ecc. In
seguito si parlerà diffusamente del solo metodo dei minimi quadrati (minimizzazione
dell’EQM nella classe ristretta degli stimatori lineari e corretti), nei punti seguenti si
procederà, invece, ad una sintetica illustrazione di altri metodi tra quelli di più frequente
impiego.
Metodo dei momenti
Se con si indica il momento r-esimo di una v.c. X, la cui funzione di
densità o di massa di probabilità e
][ rr XE=µ
( )θ;xf e ( )kθθθθ ,....,, 21= , nella generalità dei casi
35
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
][ rr XE=µ è funzione nota dei k parametri θ ( ( )krr θθµµ ,...,1= ). Dato che il
corrispondente momento campionario risulta essere ∑= rr X
nM 1 , si impongono le k
relazioni di uguaglianza (momenti empirici = momenti teorici)
( )krjM θθµ ,...,1= con j = 1,…, k
ne risulta, quindi, un sistema di k equazioni in k incognite che risolto (quando
possibile) fornisce la stima dei momenti dei k parametri incogniti kθθ ˆ,...,1
( )kθθθθ ,....,, 21= .
Esempio 3
Sia un campione casuale da una distribuzione con media µ e varianza σnXX ,...,12.
Siano ( ) ( )221 ,, σµθθ = . Stimando i parametri con il metodo dei momenti le equazioni cui
si perviene sono:
( )( ) 222
22
211
,
,
µσσµµ
µσµµ
+==
==
M
M
e la soluzione è:
( )2
1
2 1ˆ
ˆ
∑=
−=
=n
ii xx
n
X
σ
µ
Esempio 4
Sia un campione casuale da una distribuzione di Poisson con parametro λ.
Poiché un solo parametro caratterizza la distribuzione, allora il metodo dei momenti
suggerisce banalmente la seguente soluzione:
nXX ,...,1
X=λ
Il metodo dei momenti, seppur intuitivo, non è in generale un buon metodo per la
derivazione degli stimatori; infatti, se da questo metodo si ottenessero stimatori con
buone proprietà, allo stesso risultato si può pervenire attraverso l’impiego di un altro
metodo di stima.
36
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Metodo del minimo chi-quadro
Sia un campione casuale estratto da una densità nXX ,...,1 );( θxf X , e sia
una partizione del campo di variazione di X. La probabilità
kSS ,...,1
)(θjp che un’osservazione
appartenga all’intervallo della partizione è data da . Si indichino
con N
jS ∫=jS Xj dxxfp );()( θθ
j il numero di Xi che cadono nell’intervallo (ovviamente con ), e si
costruisca la sommatoria
jS ∑=
=k
jjNn
1
∑= ⋅
⋅−=
k
j j
jj
pnpnn
1
22
)()]([
θθ
χ
dove nj è il valore osservato di Nj. Il numeratore dei termini della sommatoria altro non
è che il quadrato dello scarto tra il numero osservato e quello atteso di determinazioni
che cadono nell’intervallo Sj. La stima del minimo quadrato di θ è il valore che
minimizza . È, cioè, quel valore di Θ che, mediamente, rende il numero atteso di
osservazioni nell’intervallo “più vicino possibile ” al numero realmente osservato.
θ
2χ
jS
Si osservi che questo metodo introduce spesso un fattore di arbitrarietà dovuto
alla finezza della partizione adottata. kSS ,...,1
Esempio 5
Sia un campione casuale da una distribuzione di Bernoulli di parametro p. nXX ,...,1
Poiché il campo di variazione di X consiste unicamente nei due valori 0 e 1
allora,
( )( )
)1( 1] [] [
)1()]1([
][)1(
)]1([][
21
21
21
21
20
1
0
22
ppnpnn
nppnn
pnpnnn
npnpn
pnpnn
ppnppnn
j j
jj
−⋅
−=
−+
−−−−
=
−+
−−−
=⋅
⋅−= ∑
=
χ
Dato che , in questo caso si può individuare il minimo in modo diretto osservando
che se
02 ≥χ
02 =χ nnp 1ˆ = . Si osservi che in questo esempio la partizione poteva
essere scelta in un unico modo, e che lo stimatore trovato è lo stesso di quello che si
sarebbe ottenuto col metodo dei momenti o con quello della massima verosimiglianza.
kSS ,...,1
37
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Poiché può risultare difficile individuare il punto di minimo di , si preferisce
talvolta sostituire il denominatore
2χ
( )ppn j⋅ direttamente con il valore, ottenendo il
cosiddetto chi-quadro modificato. La stima del minimo chi-quadro modificato è allora
quel che minimizza il modificato. θ 2χ
Metodo della minima distanza
Sia un campione casuale estratto dalla distribuzione nXX ,...,1 );( θxFX , e sia
d(F,G) una funzione che misura la distanza che intercorre tra due funzioni di
ripartizione F e G (ad esempio, )()(sup),( xGxFGFdx
−= misura la massima distanza
verticale tra F e G).
La stima di minima distanza di θ è quel valore tra tutti i possibili in Θ che
minimizza dove è la funzione di ripartizione campionaria o
empirica. Lo stimatore di minima distanza è intuitivamente attraente ma è spesso di
difficile derivazione essendo problematico minimizzare .
))(),(( xFxFd n )(xFn
))(),(( xFxFd n
Esempio 6
Sia un campione casuale da una distribuzione di Bernoulli di parametro p.
Allora,
nXX ,...,1
)()()1();( ),1[)1,0[ xIxIppxF ∞+−=
Sia nj = n° osservazioni uguali a j (j = 0,1). Allora
)()();( ),1[)1,0[0 xIxI
nn
pxFn ∞+=
Se si usa la funzione di massa )()(sup),( xGxFGFdx
−= , risulta
massimizzata per
))(),(( xFxFd n
nn
p 0ˆ1 =− , cioè nn
p 1ˆ = .
38
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
4.5. Stima statistica di intervallo (intervalli di confidenza)
Nelle pagine precedenti è stato considerato il problema della scelta della “migliore”
stima puntuale di uno o più parametri incogniti θ, sulla scorta di un campione di
osservazioni. E' stato detto che se il metodo di stima adottato possiede, nell'universo dei
campioni, determinate proprietà, si può presumere che il valore effettivo ottenuto sia
“abbastanza prossimo” al valore incognito che si vuol stimare. Comunque un singolo
numero non dà nessuna indicazione sulle probabilità che la stima ottenuta assuma un
valore prossimo al vero valore del parametro incognito. Con il metodo di stima di
intervallo si supera questo inconveniente, infatti, la sua applicazione fornisce
informazioni sia sul valore numerico del parametro incognito che sul grado di
attendibilità (intesa in senso probabilistico) della stima stessa.
La procedura della stima mediante intervalli (di confidenza) consiste nella
determinazione, sulla scorta delle informazioni campionarie, di due valori L1 (limite
inferiore) e L2 (limite superiore) in modo da soddisfare la relazione
P (L1 ≤ θ ≤ L2) = 1 - α per 0 < α < 1
Dove L1 = T1(X1,X2,…,Xn) e L2 = T2(X1,X2,…,Xn) (L1 < L2) sono, nell'universo dei
campioni, variabili casuali in quanto funzioni degli n elementi campionari, e 1 - α
(usualmente pari a 0,95; 0,99; 0,999) è il così detto livello di confidenza. Un livello di
confidenza ad es. pari a 0,95 sta ad indicare che su 100 campioni 95 dovrebbero
produrre intervalli che includono il vero valore del parametro incognito. Evidentemente
nelle situazioni reali si disporrà di un solo campione, e quindi di una sola
determinazione , dell'intervallo casuale di confidenza [ 21 l,l ] [ ]21 L,L , che potrà essere
uno dei 95 sui 100 includenti θ o uno dei 5 su 100 che non lo includono. Pertanto,
relativamente all’intervallo [ non si potrà dire che lo stesso ha probabilità 1-α di
al suo interno il vero valore del parametro incognito θ: o lo contiene, allora la
probabilità è pari ad 1 , o non lo contiene, allora la probabilità è 0 ; da tale
constatazione deriva anche la dizione, per 1-α , di livello di confidenza e non di livello
di probabilità.
]21 l,l
Ogni intervallo di stima risulta, quindi, caratterizzato da due elementi essenziali:
1. l’affidabilità o attendibilità, misurata dal livello di confidenza;
39
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
2. l’informatività, misurata dall’ampiezza dell’intervallo.
Ovviamente, l’obiettivo da perseguire è quello dell’individuazione di intervalli
molto affidabili ma di ampiezza modesta. Purtroppo, tra livello di confidenza e
ampiezza dell'intervallo risulta sempre una relazione diretta; cioè, succede che
all'aumentare dell'attendibilità della stima (di intervallo) aumenta anche la sua ampiezza
e, quindi, diminuisce la sua capacità informativa. Non sarà quindi possibile, nella
determinazione di un intervallo di stima, perseguire il duplice obiettivo di
massimizzazione del livello di confidenza e di minimizzazione dell’ampiezza
dell’intervallo. Un modo per ridurre l'ampiezza degli intervalli, a parità di livello di
confidenza (o aumentare il livello di confidenza a parità di ampiezza degli intervalli) è
naturalmente quello di aumentare la dimensione del campione.
L’ultima considerazione svolta suggerisce una possibile via operativa per il
perseguimento simultaneo del duplice obiettivo: si fissano a priori, sia il livello di
confidenza sia l’ampiezza massima dell’intervallo, per poi procedere alla
determinazione della dimensione campionaria necessaria. Comunque, la procedura
usualmente seguita è quella basata sulla fissazione del livello di confidenza 1-α con la
conseguente individuazione dell’intervallo di ampiezza minima (intervallo ottimale).
Verranno considerati ora alcuni problemi specifici di determinazione degli
intervalli di confidenza. Si segnala in proposito che la procedura seguita è quella basata
sull’elemento pivotale, dove per elemento pivotale s’intende una qualunque funzione
degli elementi campionari e del parametro incognito di interesse la cui
distribuzione campionaria è completamente nota, ed essendo completamente nota
non può dipendere da θ il cui valore è incognito; cioè, l’elemento pivotale dipende da
θ ma non dipende da θ la sua distribuzione. Quanto affermato può essere espresso
dalla definizione che segue.
Definizione 12 (Elemento pivotale): Sia X una v.c. con funzione di massa o di densità
f(x; θ), dove θ ∈ Θ, e sia X = (X1, …, Xn) un campione casuale semplice
bernoulliano estratto da X. Allora un pivot (o cardine) è una quantità
Q(X; θ)che possiede le seguenti caratteristiche:
1. è funzione del campione X = (X1, …, Xn);
40
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
2. è funzione di θ (il parametro di cui si vuol trovare l’intervallo di confidenza);
3. non contiene altri parametri incogniti (oltre a θ);
4. la sua distribuzione è completamente nota;
5. è invertibile rispetto a θ.
La procedura per la determinazione di un intervallo di confidenza attraverso il
metodo dell’elemento pivotale si articola nei passi sotto riportati:
1. si individua un pivot Q(X; θ) per il problema in analisi; nella generalità
dei casi, la via più facile per individuare l’elemento pivotale è quella che
prende avvio da uno stimatore puntuale θ , eventualmente ottimale, del
parametro incognito θ rispetto al quale si vuol determinare l’intervallo
di confidenza;
2. si fissa il livello di confidenza 1 – α;
3. si determina l’intervallo di ampiezza minima (più informativo) [q1, q2]
all’interno del quale il pivot è compreso con probabilità pari al livello di
confidenza scelto, cioè P[c1 ≤ Q(X; θ) ≤ c2] = 1 – α;
4. si inverte la relazione c1 ≤ Q(X; θ ) ≤ c2 rispetto a θ in modo da
ricavare l’intervallo di confidenza cercato per θ, che quindi soddisferà
P[L1(X) ≤ θ ≤ L2(X)] = 1 – α.
4.5.1 Intervallo di confidenza per la media di una variabile casuale normale con
varianza nota.
Sia x1, x2,...,xn, una specifica determinazione di un campione estratto da una
popolazione distribuita normalmente con media µ incognita e varianza nota; si
voglia determinare un intervallo di confidenza per la media µ.
2σ
La variabile media campionaria
∑=
=n
1iiX
n1X
ha, nell'universo dei campioni, distribuzione normale con media µ e varianza . La
variabile standardizzata della
/nσ 2
X
41
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
( )10~n / σ
µ-X Z ,N=
è elemento pivotale in quanto funzione degli elementi campionari, del parametro
incognito µ ed ha una distribuzione normale , completamente nota, di media 0 e
varianza pari ad 1; si potranno, allora, sulla scorta delle tavole della distribuzione
normale standardizzata, determinare due valori c1 e c2 tali che
P (c1 ≤ Z ≤ c2) = 1 - α
generalmente si scelgono per c1 e c2 valori simmetrici, cioè c2 = - c1 = c= 2αz ,
comportando questi valori l’individuazione dell’intervallo di ampiezza minima a
ragione della simmetria e dell’accentramento dei valori intorno alla media della
distribuzione normale. Ovviamente, l’intervallo ottenuto è quello più informativo.
In tal caso, per quanto detto in precedenza, se si scegliesse ad esempio, α = 0,05
si avrebbe c1= - 2αz = -1,96 e c2 = 2αz = 1,96. L'uguaglianza sopra scritta è
perfettamente equivalente alla relazione
[ ( ) ( ) ] α-1 n /σ X µ n /σ - X P 22 =+≤≤ αα zz
Per α = 0,05 si avrebbe quindi l'intervallo di confidenza
[ ( ) ( ) ] ασµσ -1 n/ 1,96 X n/ 1,96 - X P =+≤≤
Esempio 7
Il peso medio alla nascita relativo ad un campione di 200 animali è risultato pari
a 0,824 grammi. Sapendo che lo scostamento quadratico medio della variabile
(approssimativamente normale) peso alla nascita è gr. 0,042, si vogliono determinare
gli intervalli di confidenza (ai livelli del 95% e del 99%) per l'indice caratteristico µ
(peso medio).
Applicando la formula sopra riportata si ha
( ) ( ) 0,95 n/ 0,042 1,96 0,824 200/ 0,042 1,96 - 0,824 P =⋅+≤≤⋅ µ
42
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
e quindi l'intervallo
0,8298 µ 0,8182 ≤≤
Per α = 0,01 si ha
( ) ( ) 0,99 n/ 0,042 , 0,824 200/ 0,042 , - 0,824 P =⋅+≤≤⋅ 582µ582
e quindi l'intervallo
0,8153 ≤ µ ≤ 0,8317
Si noti come all'aumentare del livello di confidenza sia cresciuta di conseguenza
l'ampiezza dell'intervallo, e come questa diminuirebbe (a parità di livello di confidenza)
se si aumentasse la numerosità del campione.
Esempio 8
Si consideri ora il seguente esempio dove la numerosità del campione, anziché
essere fissata a priori, viene determinata in funzione del livello di confidenza e
dell'ampiezza dell'intervallo (errore ammesso).
Uno sperimentatore, sapendo che lo scostamento quadratico medio del tempo di
reazione delle cavie ad un certo stimolo è pari a 0,05 secondi, vuole determinare il
numero minimo di cavie da sottoporre ad esperimento affinché, nella stima del tempo
medio di reazione, l'eventuale errore non superi 0,01 secondi ai livelli di confidenza del
95% e del 99%.
Al livello del 95% i limiti di confidenza sono
n0,051,96XL1 ⋅−= ,
n0,051,96XL2 ⋅+=
dovendo essere soddisfatto il vincolo sull'errore
0,01 n / 0,05 1,96 ≤⋅
si avrà
n ≥ 96,04
43
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Al livello di confidenza del 99% la disuguaglianza relativa all'errore risulta
essere
0,01 n / 0,05 2,58 ≤⋅
da cui
n ≥ 166,4
Si può quindi concludere che se lo sperimentatore vuole contenere l'errore, nella
stima del tempo medio di reazione, nel limite di 0,01 secondi, dovrà fissare la
dimensione del campione a 97, nel caso in cui sia interessato ad un livello di
confidenza del 95%; dovrà invece estendere l'esperimento a 167 cavie nel caso in cui
porti il livello di confidenza al 99%.
4.5.2 Intervallo di confidenza per la media di una variabile casuale normale con
varianza incognita.
Se ci si trova nella situazione espressa nel punto precedente, supponendo però
incognita la varianza, l'intervallo di confidenza sopra individuato non potrà più essere
utilizzato; infatti, nei due limiti, inferiore e superiore, dell'intervallo compare lo
scostamento quadratico medio incognito della popolazione (parametro di disturbo). Il
problema della determinazione dell'intervallo di confidenza può essere risolto
sostituendo, allo scostamento quadratico medio incognito σ una sua stima
campionaria.
Se si stima σ mediante la formula
( )∑=
−−
==n
ii xx
nσs
1
2
11ˆ
la variabile casuale
1~ / S
- −= ntnµXV
ha una distribuzione del tipo t di Student con n - 1 gradi di libertà. Infatti per quanto
44
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
detto nelle pagine precedenti, tale variabile resta definita dal rapporto tra la variabile
casuale normale standardizzata n / σ
µ - X Z = e la radice della variabile casuale χ2
divisa per i rispettivi gradi di libertà
( )1)/(n
σ
XXY 2
n
1i
2i
−−
=∑
=
La variabile V sopra definita è elemento pivotale in quanto funzione degli
elementi campionari, del parametro incognito µ ed ha distribuzione campionaria
completamente nota.
Mediante l'uso delle tavole si potranno allora determinare due valori c1 e c2 tali
che
P (c1 ≤ V ≤ c2) = 1 - α
Se si sceglie un intervallo simmetrico, seguendo lo schema di ragionamento
adottato sopra, si dimostra che la relazione sopra scritta è equivalente alla relazione
[ ( ) ( ) ] α-1 / µ / - P 22 =+≤≤ nStXnStX αα
dove, naturalmente, il valore numerico di c dovrà essere individuato sulle tavole della
distribuzione t in corrispondenza del prefissato livello di confidenza 1 - α e degli n -1
gradi di libertà.
Esempio 9
Avendo somministrato ad un campione casuale di cavie una particolare dieta,
dalla nascita fino all'età di tre mesi, ed avendo riscontrato i seguenti incrementi nel
peso:55, 62, 54, 57, 65, 64, 60, 63, 58, 67, 63 e 61 grammi; si vuol determinare un
intervallo di confidenza, al livello del 95%, relativamente all'incremento medio di peso.
Attribuendo al caso le differenze riscontrate negli aumenti di peso, si potrà
presumere normale la popolazione teorica di tutte le cavie sottoponibili a quella
particolare dieta. In questo caso l'intervallo simmetrico di confidenza può essere deri-
vato dall'uguaglianza.
45
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
[ ( ) ( ) ] α-1 n/ St X µ n/ St - X P 2α/2α/ =+≤≤
dove, rispetto alla formula sopra definita, è stato sostituito al simbolo c il simbolo
per indicare che si sta trattando di un intervallo simmetrico il cui livello di
confidenza è pari a 1 -
2α/t
α e che la distribuzione campionaria di riferimento è la t di
Student.
Sulle tavole della distribuzione t , in corrispondenza di 12 - 1 = 11 gradi di
libertà e per α = 0,05 si trova tα/2 = t0,025 = 2,20 ( dove 2,20 è il valore che soddisfa la
relazione P(t ≤ 2,20) = F (2,20) = 0,975) si avrà allora
( ) ( ) 0,9512
16,382,2060,75 12
16,382,2060,75 P =⎥⎦
⎤⎢⎣
⎡⋅+≤≤⋅− µ
dove 60,75 è naturalmente l'incremento medio di peso riscontrato nelle dodici cavie e
16,38 è la stima corretta della varianza incognita della popolazione teorica. 2σ
Dall'ultima uguaglianza scritta risulta l'intervallo di confidenza
58,17 ≤ µ ≤ 63,32
4.5.3 Intervallo di confidenza per la varianza di una variabile casuale normale con
media incognita
La variabile casuale
21
2
12
2
~1−
=∑ ⎟⎟
⎠
⎞⎜⎜⎝
⎛ −=
−= n
n
i
i
σXX
σ)S(nV χ
ha nell’universo dei campioni distribuzione del tipo χ2 con n-1 gradi di libertà. Si
tratta, quindi, di elemento pivotale essendo completamente nota la sua distribuzione e
dipendendo solo dai valori campionari e dal parametro incognito di interesse σ2 .
Pertanto utilizzando i valori riportati nelle tavole della distribuzione χ2 si potranno
determinare due valori c1 e c2 per i quali è soddisfatta la relazione
( ) α1cV cP 21 −=≤≤
Anche se l’intervallo che ne risulta non è di lunghezza minima, essendo la
distribuzione χ2 non simmetrica, c1 e c2 vengono scelti usualmente in modo
46
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
simmetrico 2
222
211 // c,c αα χχ == −
dove i simboli 2 stanno ad indicare i valori della variabile casuale χ/2/1 e αα χχ −2
che hanno, rispettivamente, l’α/2% dei casi a sinistra e l’α/2% dei casi a destra.
L’intervallo sopra scritto diventa
α1χσ
S1)(nχP 22α/2
22
2α/1 −=⎟⎟⎠
⎞⎜⎜⎝
⎛≤
−≤−
che è perfettamente equivalente all’intervallo
αχ
)S(n σχ
)S(nPα/α/
−=⎥⎦
⎤⎢⎣
⎡ −≤≤
−
−
1112
21
22
22
2
4.5.4 Intervallo di confidenza per la media di una variabile casuale con legge di
distribuzione arbitraria.
I metodi per la derivazione degli intervalli di confidenza illustrati, si riferiscono a
campioni estratti da popolazioni aventi distribuzione normale; evidentemente,
ragionamento analogo può essere fatto nel caso della distribuzione bernoulliana, della
distribuzione di Poisson, ecc.
Sembra naturale però chiedersi come determinare gli intervalli di confidenza
relativi a parametri caratteristici di interesse quando non è nota la forma della
distribuzione della popolazione cui si riferisce il campione di osservazioni disponibile.
Se esistono le condizioni richieste dal teorema del limite centrale, nel caso in cui il
parametro d'interesse è la media, la risposta è immediata; infatti, in tale situazione, la
media campionaria avrà una distribuzione approssimativamente normale, potrà allora
essere applicata la metodologia esposta nelle pagine precedenti.
Ad esempio, se con X si indica il numero di successi osservabili in corrispondenza
di un esperimento casuale replicato n volte, la variabile casuale X ha distribuzione
binomiale, si potrebbe, pertanto, procedere alla determinazione degli intervalli di
confidenza facendo, eventualmente, ricorso alle tavole della distribuzione binomiale.
Ma, come già segnalato nelle pagine precedenti, la variabile
( ))1,0Nnpq
npXZ ≈−
=
47
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
per n abbastanza grande, dove naturalmente p è la misura delle probabilità di
successo, ha una distribuzione approssimativamente normale con media 0 e varianza 1;
quindi, per n abbastanza grande, la variabile X ha distribuzione approssimativamente
normale con media n p e varianza n p q . Si ricorda in proposito che
l'approssimazione è tanto migliore quanto più p è prossimo al valore 0,5.
Per quanto sopra detto, utilizzando le tavole della distribuzione normale, risulta
facile determinare il valore che soddisfa la relazione
P ( - c ≤ Z ≤ c) = 1 - α
dove α è un prefissato livello di confidenza. Infatti:
P ( - c ≤ Z ≤ c) = P (Z2 ≤ c2) = ( )( ) =
⎭⎬⎫
⎩⎨⎧
≤−
− 22
cp1np
npXP
= P (n + c2) p2 - (2X + c2)p + X2/n ≤ 0 = 1 - α
Essendo positivo il coefficiente n + c2 della disuguaglianza
(n + c2) p2 - (2X + c2) p + X2/n < 0
ne deriva che essa risulterà soddisfatta per valori di p interni all'intervallo p1⎯ p2; dove
p1 e p2 indicano le soluzioni dell'equazione di secondo grado
(n + c)2 p2 - (2X + c2) p + X2/n = 0
L’uguaglianza sopra scritta risulta pertanto equivalente alla relazione
P (p1 ≤ p ≤ p2) = 1 - α
Se oltre ad n anche X ed (n - X) assumono valori sufficientemente elevati, le
quantità p1 e p2 potranno essere derivate più semplicemente, ma in modo approssimato
dalle uguaglianze
( ) ( ) p 2221 n
nn-XnX z nX ; p
nnn-XnX z
nX αα
⋅+=
⋅−=
Esempio 10
In una certa stazione sperimentale sono stati osservati 550 germogli di pisello,
420 dei quali presentavano colorazione verde (carattere dominante) mentre i rimanenti
130, colorazione gialla (carattere recessivo). Si vuol determinare un intervallo di con-
fidenza, al livello del 95%, per la percentuale p di piselli verdi.
Essendo n = 550 piuttosto elevato si potrà ricorrere all'approssimazione
48
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
normale; dalle tavole di tale distribuzione risulta, come noto, che c = 1,96 è il valore
che soddisfa l'uguaglianza
P ( - c ≤ Z ≤ c) = 0,95
per cui
( ) ( )( ) 0,72637
1,965502550/4201,9655041,9642021,964202
p 2
22222
1 =+
+−+⋅−+⋅=
( ) ( )( ) 0,79724
1,965502550/4201,9655041,9642021,964202
p 2
22222
2 =+
+−+⋅++⋅=
pertanto l'intervallo di confidenza sarà
0,73 ≤ p ≤ 0,80
Qualora fossero state applicate le formule approssimate si sarebbe ottenuto
p1 = 0,7263 , p2 = 0,7976
4.5.5 Intervalli simultanei di confidenza per la media e la varianza di una variabile
casuale normale
Sia x1, x2,...,xn, una specifica determinazione di un campione estratto da una
popolazione distribuita normalmente con media µ e varianza entrambe incognite; si
vogliano determinare intervalli simultanei (regione) di confidenza per la media µ e
per la varianza .
2σ
2σ
Una prima possibilità di soluzione del problema è quelle di utilizzare gli intervalli
già determinati in precedenza: per la media µ in presenza del parametro di disturbo
incognito e per la varianza in presenza del parametro di disturbo incognito µ: 2σ 2σ
[ ( ) ( ) ]
2221
22
22
2
122
111
1
22
11
αχ
)S(n σχ
)S(nP
-α n S/ t X µ n S / - tX P
/α/α
αα
−=⎥⎥⎦
⎤
⎢⎢⎣
⎡ −≤≤
−
=+≤≤
−
49
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Questa via deve essere essere esclusa per due ragioni fondamentali:
1. la regione (intervalli simultanei) di confidenza che si ottiene combinando i
due intervalli non è ottimale (non è di minima dimensione);
2. i due intervalli casuali non sono indipendenti (presenza in entrambi gli
intervalli della v.c. varianza campionaria), quindi, la probabilità congiunta
non è uguale al prodotto delle due probabilità ( ) ( )21 11 αα −⋅− .
Se si tiene presente che, nella derivazione dell’intervallo di confidenza per la
media, alla mancata conoscenza del parametro di disturbo si è sopperito attraverso
una sua stima puntuale corretta
2σ
(∑ −−
=22
11 XX
nS i ) , nella situazione in esame è
forse più ragionevole pensare ad un diverso modo di eliminazione del “disturbo”, ad
esempio, facendo ricorso non alla stima puntuale di ma ad una stima per intervallo.
I due intervalli causali, che risultano anche indipendenti, da prendere in considerazione
sono:
2σ
[ ( ) ( ) ]
2221
22
22
2
122
111
1
22
11
αχ
)S(n σχ
)S(nP
-α n σσ z X µ n σσ - zX P
/α/α
αα
−=⎥⎥⎦
⎤
⎢⎢⎣
⎡ −≤≤
−
=+≤≤
−
Se ora si considera che:
( ) ( )⎥⎥⎦
⎤
⎢⎢⎣
⎡≤⎟⎟
⎠
⎞⎜⎜⎝
⎛≤−=−=⎟⎟
⎠
⎞⎜⎜⎝
⎛≤≤− 2
2
22
2122 11111 αααα z
nσ / -µXzPα z
nσ / -µXzP
si ottiene la relazione funzionale (parabola):
( ) /n σ z-µXα
222
21⋅=
che consente di tracciare i confini della regione di confidenza per µ e . 2σ
Nella Fig. 2 sono riportati gli intervalli simultanei di confidenza per µ e : il
rettangolo in grassetto rappresenta la regione di confidenza ottenuta combinando i due
intervalli cui si è pervenuti attraverso elaborazioni separate e per la quale non si è in
grado di calcolare il livello
2σ
( ) ( ) ( )21 111 ααα −⋅−≠− essendo i due intervalli casuali
non indipendenti, mentre la determinazione simultanea, non solo consente di calcolare il
livello di confidenza ( ) ( ) ( )21 111 ααα −⋅−=− ma individua anche una regione di
confidenza di minore dimensione (quella racchiusa tra i due rami della parabola e le due
50
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
linee che definiscono l’intervallo di confidenza per la varianza ) anche se non è
quella ottimale.
2σ
22
21 α/χ)s(n −
( ) /σ z-µXα
222
21⋅=
221
22
1 /αχ)s(n −−
n/ 21stx α+ n/ 21
stx α+
s
x µ
2σ
Fig.2 – Intervalli simultanei di confidenza per la media e la varianza di una
distribuzione normale
4.5.6 Intervalli di confidenza, per la differenza fra medie e tra proporzioni
Partendo da considerazioni analoghe a quelle fatte nelle pagine precedenti, risulta facile
verificare che l’intervallo di confidenza simmetrico per la differenza fra le medie xµ e
yµ di due distribuzioni normali con varianze note e , risulta dall’uguaglianza 2xσ 2
yσ
( ) ( ) α1/nσ/mσc YX µµ /nσ/mσcYXP 2y
2xyx
2y
2x −=++−≤−≤+−−
dove Y e X sono le medie campionarie, m e n le numerosità dei due campioni
casuali supposti indipendenti. La costante c dovrà essere determinata sulla scorta delle
tavole della distribuzione normale, in corrispondenza del prefissato livello di confidenza
1-α .
L’elemento pivotale che ha consentito la derivazione dell’intervallo è:
( ) ( ))1,0~22
N
nm
YX
nx
YX
σσ
µµ
+
−−−
51
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Nel caso in cui i due campioni casuali si riferissero a popolazioni normali aventi
la stessa varianza incognita σ2 , la formula per l’intervallo simmetrico di confidenza,
per la differenza fra le medie yx e µµ è
[ ( ) ]
( ) α
µµ
−=⎪⎭
⎪⎬⎫
⎟⎠⎞
⎜⎝⎛ +
−+
−+−+−≤
⎪⎩
⎪⎨⎧
≤−≤⎟⎠⎞
⎜⎝⎛ +
−+
−+−−−
1n1
m1
2nmS1)(nS1)(m
cYX
n1
m1
2nmS1)(nS1)(m
cYXP
2y
2x
yx
2y
2x
dove Y e X sono le due medie campionarie; le due varianze campionarie
(stime corrette di σ
22yx S e S
2); m , n le numerosità dei due campioni. La costante c dovrà
essere determinata in corrispondenza di m + n - 2 gradi di libertà, sulla scorta delle
tavole della distribuzione t di Student, al prefissato livello di confidenza 1-α .
L’elemento pivotale che ha consentito la derivazione dell’intervallo è:
( ) ( ) ( ) ( )
( )
( ) ( )( )2
11S
t~ 11
211
22
2-nm
2
2
2
2
22
−+
−+−=
⎟⎠⎞
⎜⎝⎛ +
−−−=
=−+⎥⎥⎦
⎤
⎢⎢⎣
⎡ −+
−
+
−−−
+
nmSnSm
dove
nmS
YX
nmSnSm
nm
YX
yx
YX
yxYX
µµ
σσσσ
µµ
Analogamente a quanto detto sopra, l’intervallo di confidenza per la differenza fra
proporzioni, qualora i campioni siano numerosi e px , py siano vicini a 0,5, è espresso
dalla formula
( )
( ) α1n
)p(1pm
)p(1pcpp
ppn
)p(1pm
)p(1pcppP
yyxxyx
yxyyxx
yx
−=⎪⎭
⎪⎬⎫−
+−
+−≤
⎪⎩
⎪⎨⎧
≤−≤−
+−
−−
52
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
dove , al solito sono le due proporzioni campionarie; pyx p e p x e py le proporzioni
incognite delle popolazioni; m e n le numerosità dei due campioni. La costante c
dovrà essere determinata, sulla scorta della distribuzione normale, in corrispondenza del
prefissato livello di confidenza 1-α .
Gli intervalli di confidenza per la somma di medie e di proporzioni, relativamente
a situazioni analoghe a quelle sopra esposte, saranno perfettamente identici a quelli già
considerati, a meno del segno (µx + µy e px + py anziché µx - µy e px - py).
4.5.7 Intervalli di confidenza, per la differenza fra medie per dati appaiati
Se X ~ N(µx, ) e Y ~ N(µ2xσ y, ) sono due v.c. con varianze 2
yσ 2xσ ≠ incognite e si
vuole costruire un intervallo di confidenza per µ
2yσ
x − µy sulla base dell’evidenza
campionaria, l’elemento definito nella sezione precedente non è più pivotale virtù del
fatto che le due varianze e (parametri di disturbo) non sono note. Si può allora
pensare di sostituire alle quantità incognite una loro stima ed ottenere la v.c..
2xσ 2
yσ
( )nSmS
YX
yx
yx
// 22 +
−−− µµ,
dove e sono, rispettivamente, le varianze campionarie corrette di X e di Y
utilizzate come stimatori di e . Purtroppo, questa v.c., pur non dipendendo da
parametri incogniti, non è elemento pivotale non essendo nota la sua distribuzione.
Infatti, la v.c. di cui si conosce la distribuzione (t di Student con n+m-2 gradi di
libertà)è quella definita dal rapporto tra la v.c. la normale standardizzata relativa alla
differenza tra medie e la radice di un divisa per i propri gradi di liberta relativa alla
combinazione delle varianze:
2xS 2
yS
2xσ 2
yσ
2χ
( ) ( ) ( ) ( )211
// 2
2
2
2
22−+
⎥⎥⎦
⎤
⎢⎢⎣
⎡ −+
−
+
−−−nm
SnSm
nm
YX
y
y
x
x
yx
yx
σσσσ
µµ
Ma in questa espressione le due varianze incognite e , che compaiono al
numeratore e al denominatore, non si semplificano.
2xσ 2
yσ
Per campioni di dimensioni modeste il problema della determinazione
dell’intervallo di confidenza per yx µµ − in presenza di due varianze e diverse 2xσ 2
yσ
53
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
ed incognite trova la sua soluzione ottimale nel caso in cui le due v.c. X e Y non sono
indipendenti, anzi, si presume che la rilevazione dei due caratteri sia stata effettuata
sulle stesse unità statistiche (dati appaiati). In tale situazione si avranno a disposizione
n coppie di osservazioni ( e si può, pertanto considerare la v.c. V = X – Y che è
ancora una
)ii yx ,
v.c. normale (essendo combinazione lineare di v.c. normali) con media
( ) ( ) ( ) yxv YEXEVE µµµ +=+==
e varianza
( ) ( ) ( ) ( ) xyyxv YXCovYVarXVarVVar σσσσ ++=++== 222 , .
Per la determinazione dell’intervallo di interesse basterà applicare la procedura
illustrata in precedenza quando si è trattato della stima di intervallo per la media di una
v.c. normale con varianza incognita. Da rilevare che per risolvere il problema non
occorre procedere alla stima delle varianze e e della covarianza2xσ 2
yσ xyσ bastando la
stima della varianza della v.c. V = X – Y. L’elemento pivotale è
( )1~ −
−−−n
v
yx tnS
YX µµ dove ( )∑∑
==
−−
=−
=n
iiii
n
iiv YX
nV
nS
1
2
1
2
11
11 .
Si segnala che trattare con dati appaiati riduce drasticamente il numero dei gradi
di libertà che sono pari a n-1 rispetto ai gradi di libertà che si sarebbero avuti (2n-2)
nel caso di campioni indipendenti.
4.5.8 Intervallo di confidenza per il rapporto di varianze
Se si vuole determinare l’intervallo di confidenza per il rapporto di due varianze
,di popolazioni normali indipendenti con medie µ22yx e σσ x e µy incognite, disponendo
di m informazioni campionarie su X ed n su Y, basterà fare riferimento all’elemento
pivotale rappresentato dalla variabile casuale
( )
( )1,12
x
2y
n
1i
2i
m
1i
2i
2x
2y
2y
2x
2y
2y
2x
2x
~σσ
1)/(nYY
1)/(mXX
σσ
SS
1)/(nσ
S1)(n
1)/(mσ
S1)(m
W −−
=
= ⋅−−
−−=⋅=
−−
−−
=
∑
∑nmF
che ha, nell’universo dei campioni, distribuzione del tipo F di Fisher-Snedecor con m-1
e n-1 gradi di libertà.
54
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
Si può, pertanto, determinare l’intervallo
( ) α1cWcP 21 −=≤≤
Anche in questo caso se si scelgono valori di c1 e c2 simmetrici
α/22α/211 Fc,Fc == −
cioè valori della variabile casuale non simmetrica F che hanno, rispettivamente,
l’α/2% dei casi a sinistra e l’α/2% dei casi a destra, si otterrà un intervallo non ottimale.
Sotto le ipotesi introdotte si ha l’intervallo
α1Fσσ
SS
FP 2α/2x
2y
2y
2x
2α/1 −=⎟⎟⎠
⎞⎜⎜⎝
⎛≤⋅≤−
che è perfettamente equivalente all’intervallo
α1FSS
σσ
FSS
P 2α/2x
2y
2x
2y
2α/12x
2y −=⎟
⎟⎠
⎞⎜⎜⎝
⎛≤≤−
ed anche
α1F
1SS
σσ
F1
SS
P2α/1
2y
2x
2y
2x
2α/2y
2x −=⎟
⎟⎠
⎞⎜⎜⎝
⎛⋅≤≤⋅
−
55
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
4.6. Determinazione della numerosità campionaria
La teoria degli intervalli di confidenza consente anche di affrontare in modo razionale la
problematica della scelta della dimensione del campione.
Nelle pagine precedenti è stato sottolineato che un intervallo di confidenza è
caratterizzato da due elementi fondamentali: il livello di confidenza, che ne misura
l’affidabilità, e l’ampiezza, che ne misura l’informatività. L’obiettivo che si vuol
perseguire è quello della determinazione di un intervallo per il quale siano massime sia
l’affidabilità che l’informatività; purtroppo, come già detto, fra questi due elementi
esiste un legame diretto, nel senso che all’aumentare del livello di confidenza aumenta
anche l’ampiezza, e che quindi non è possibile, contemporaneamente, massimizzare il
livello di confidenza e minimizzare l’ampiezza.
Pertanto, in presenza di una dimensione campionaria predeterminata, se si vuole
incrementare l’informatività si dovrà rinunciare a qualcosa in termini di affidabilità e
viceversa. Nelle situazioni in cui la dimensione non è prefissata si può, una volta fissato
il livello di confidenza, procedere alla determinazione della dimensione campionaria in
modo da ottenere un intervallo di confidenza per il parametro d’interesse di ampiezza
prefissata.
La procedura da seguire è quella illustrata nelle due esemplificazioni che seguono.
Sia X ~ N(µ, σ2) e supponiamo in prima istanza che σ2 sia nota. Si vuol determinare la
dimensione del campione affinché l’ampiezza dell’intervallo di confidenza per µ, al
livello di confidenza (1 – α), sia pari ad A.
Si supponga di voler procedere alla determinazione di un intervallo di confidenza
per la media di una popolazione normale la cui varianza è nota prefissando sia il livello
di confidenza α−1 sia l’ampiezza indicata con A.
L’espressione dell’intervallo di confidenza per il caso in esame è già stata
individuata ed è
[ ( ) ( ) ] α122 - n σσ z X µ n σσ - zX P αα =+≤≤
Avendo prefissato sia il livello di confidenza che l’ampiezza dell’intervallo deve
valere la relazione:
( ) ( ) AznzzA / 4n /σz 2n /σ X n /σ X 222222 σαααα =⇒=+−+=
56
B. Chiandotto Versione 2006 Statistica per le decisioni Stima statistica
si ricava n come incognita
n = (2 zσ/A)2,
che, dovendo sempre essere un intero, va arrotondato per eccesso.
La formula fornisce la dimensione campionaria cercata, nel rispetto dei vincoli
prefissati, ma è basata sull’assunto della conoscenza del parametro , circostanza
questa che si riscontra molto raramente nei contesti operativi; nella generalità dei casi,
la varianza σ
2σ
2 è incognita. In tale contesto, per stabilire la dimensione del campione si
dovrà ricorrere ad una sua stima, che potrà derivare da conoscenze pregresse o da
un’indagine campionaria “pilota”, che sarà, ovviamente, di dimensione ridotta ed il cui
unico scopo è quello di pervenire ad una stima della varianza incognita.
Come seconda esemplificazione si ipotizzi di voler determinare la dimensione
campionaria per un intervallo di confidenza del parametro p relativo ad una v.c. di
Bernoulli, , nel rispetto dei vincoli di confidenza ed informativa prefissati.
Come già visto, se risulta ragionevole l’approssimazione con la distribuzione
normale, l’intervallo di confidenza per il parametro p è:
( ) ( ) α−=⎥⎦
⎤⎢⎣
⎡ −⋅+≤≥
−⋅− 111
22 npp z
nX p
npp z
nXP αα
Avendo prefissato il livello di confidenza ( α−1 ) e l’ampiezza A dell’intervallo,
deve essere soddisfatta l’uguaglianza
( ) ( ) ( ) 1211222 n
ppzn
pp z nX
npp z
nXA ααα
−⋅=
−⋅+−
−⋅+=
Da cui deriva
( )An
ppzn
1 4 22
−⋅= α
Relazione che non può essere utilizzata essendo p l’incognita del problema;
problema che può, comunque, essere risolto o seguendo le indicazioni fornite nella
esemplificazione precedente (informazioni pregresse o indagine pilota), oppure, ed è la
procedura usualmente impiegata, ponendo p = (1-p) = 0,5 , valore questo che
massimizza l’espressione, cioè il valore di n. Si tratta di un atteggiamento prudenziale
che comporta generalmente un sovradimensionamento della numerosità campionaria.
57