Post on 19-Feb-2019
transcript
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
1
TEORIA DEI PROCESSI STOCASTICI
1. Generali tà dei processi stocastici
L’utili zzo dei processi stocastici deriva dall ’esigenza di descrivere un
fenomeno aleatorio in evoluzione nel tempo.
Si definisce processo stocastico una famiglia di variabili casuali i ndicizzate
da un parametro Tt ∈ e lo si denota con Ttxt ∈; .
Se T coincide con l’ insieme dei numeri naturali , allora si ha il caso di una
successione di variabili casuali .
Il processo stocastico è detto a parametro discreto se T è discreto, mentre è
detto a parametro continuo qualora T sia continuo.
Poiché la singola variabile casuale tx del processo è funzione dello spazio
degli eventi Ω , per mettere in risalto questo aspetto spesso si è soliti
indicare un processo stocastico con la notazione Ttxt ∈:)(ω .
Fissato Tt ∈ , )(ωtx è una variabile casuale, mentre fissato un evento Ω∈ω ,
allora )(ωtx è una funzione reale della variabile t e viene chiamata
traiettoria o realizzazione del processo stocastico.
Ogni variabile casuale assume valori in un insieme E detto spazio degli
stati. Un processo è detto discreto o continuo a seconda che i valori assunti
dalle variabili casuali )(ωtx siano discreti o continui.
Un processo si dice che è noto se si conoscono tutte le distribuzioni
congiunte di quante e quali si vogliono variabili della famiglia. Seguendo
l’ impostazione assiomatica di Kolmogorov, un processo Ttxt ∈; è noto se
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
2
si conosce Ttttn n ∈∀ℵ∈∀ ,,,; 21
( ) ntttnttt xXxXxXxxxFnn
≤≤≤= ,,,Pr,,, 2121,,, 2121
.
La famiglia di funzioni ( )nttt xxxFn
,,, 21,,, 21
è chiamata legge temporale del
processo.
Le funzioni appartenenti a tale famiglia devono soddisfare le seguenti
proprietà:
devono essere funzioni simmetriche delle variabili ( )ii xt , ;
Ttttn n ∈∀ℵ∈∀ ,,,; 21 e ( ) 1
121 ,,, −− ℜ∈∀ n
nxxx deve verificarsi che
( ) ( )121,,,21,,, ,,,,,,12121lim −
+∞→−
= nttttttx
xxxFxxxFnn
.
Si dice distribuzione o funzione di ripartizione del primo ordine del
processo stocastico tX , la funzione di ripartizione della singola variabile
casuale tX , per t fissato, ossia:
xXtxF t ≤= Pr),( .
Dati due istanti temporali 1t e 2t e le variabili casuali 21
, tt XX , la loro
distribuzione congiunta si dice distribuzione del secondo ordine del
processo e si indica:
212121 21,Pr),,,( xXxXttxxF tt ≤≤= .
La funzione di densità, se esiste, sarà:
21
21212
2121
),,,(),,,(
xx
ttxxFttxxf
∂∂∂
= .
La funzione caratteristica associata al processo tX sarà:
( ) ( )[ ]ntnt
ntt
xuxui
nxx eEuu++=
11
1,,1,,ϕ .
Si definisce momento se esiste, la funzione:
( ) n
nn
rt
rt
rtnrr XXXEttm
2
2
1
11,,1,, = .
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
3
Quindi, la funzione valor medio, indicata con m(t), è definita da
[ ]tXEtm =)( ; mentre la funzione ( )21, ttK è la funzione di autocovarianza del
processo stocastico e precisamente:
( ) ( )21
,cov, 21 tt XXttK = .
Un processo stocastico si definisce ad incrementi non correlati se ii tt XX −
+1,
per ogni i, è una successione di variabili non correlate; si dice ad
incrementi ortogonali se ii tt XX −
+1 è una successione di variabili aleatorie
ortogonali , cioè per cui [ ] 01
=⋅+ ii tt XXE , mentre è denominato ad incrementi
indipendenti se tale successione è una successione di variabili casuali
indipendenti.
Particolare attenzione meritano i processi gaussiani, ossia processi in cui le
distribuzioni congiunte sono di tipo normale, per cui Tttn n ∈∀≥∀ ,,;1 1 , si
ha:
( ) ( ) ( )( ) ( )( )
−−Γ−⋅⋅Γ= ∑∑−
p qqqpppq
n
ntt tmxtmxxxfn 2
1exp2,, 22
1
1,,1π
.
Un processo stocastico è detto stazionario in senso stretto se la funzione di
distribuzione ( )nttt xxxFn
,,, 21,,, 21
è invariante rispetto ad uno spostamento
sull ’asse del tempo T, ovvero:
nttntt xXxXxXxXnn
≤≤=≤≤ ++ ττ ,,Pr,,Pr 11 11 .
Un processo stocastico è stazionario in senso debole se i primi due
momenti della distribuzione non dipendono dagli i ndici temporali; ovvero
la media [ ]tXE e la varianza [ ]tXVar sono costanti al variare di Tt ∈ e se
( )21 tt XXE ⋅ è funzione della differenza di indici in valore assoluto e non dei
singoli i ndici Ttt ∈21, .
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
4
Un processo stocastico tX è ad incrementi stazionari se il processo
thtt XXY −= + è stazionario per ogni h. Si dice che è asintoticamente
stazionario se ∃ ( )hthtxxF nnh
++∞→
,;,, 11lim ed è indipendente da h.
Un processo stocastico tX , con m(t)=0 e var(t)= 2σ uguale per ogni t e con
[ ] 0,cov =+ktt XX 0≠∀k , ossia una successione di variabili casuali
indipendenti e identicamente distribuite (i.i.d.) è chiamato processo white
noise e si indica ( )2,0~ σWNX t .
Dato un processo a parametro discreto, considerando la successione delle
medie temporali ∑=
=T
ttT X
TM
1
1 , si dice ergodica se la sua varianza tende a
zero al divergere della dimensione tempo. In un processo ergodico la
successione delle medie temporali approssima bene il suo valore atteso
( )TME .
Il seguente teorema fornisce una condizione necessaria e suff iciente
aff inché le medie temporali di un processo stocastico siano ergodiche.
Teorema: Sia nX un processo per il quale ),(),cov( stKXX st = sia limitata,
cioè esiste una costante 0K tale che K(t,t) 0K≤ , per t=1,2,…; sia
∑=
==t
stt tsK
tMXtC
1
),(1
),cov()( ; affinché valga che 0)(lim =∞→ T
TMVar è
necessario e sufficiente che 0)(lim =∞→
tCt
.
Ossia TM sono ergodiche se e solo se, quando la grandezza campionaria t
cresce, vi è man mano minore covarianza fra la media del campione tM e
l’ultima osservazione tX , in modo che l’ informazione “campionaria”
contenuta in tX non sia troppo connessa a quella di tM e quindi sia
ridondante.
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
5
Il teorema ergodico di Slutsky dimostra che le medie temporali di un
processo stazionario in senso debole sono ergodiche se e solo se la
funzione R(v), pari a ( )vtt XXE + , converge a zero nel senso di Cesàro per
∞→v , ossia 0)(1
lim1
0
=∑−
=∞→
t
vt
vRt
Considerando un processo a parametro continuo TtX t ≤≤0; , si definisce
valor medio ∫=T
tT dtxM0
.
L’ergodicità del valor medio è la “versione nel tempo” della legge dei
grandi numeri.
In generale, considerando il processo stocastico tX e una funzione
momento ( )( )tXE ν , allora si dice che il processo è ergodico rispetto tale
parametro se lo stimatore temporale ( )tn Xν converge in media quadratica a
( )( )tXE ν .
2. Processi stocastici più comuni
Se tW è un processo white noise a media nulla e varianza 2σ , ossia
( )2,0~ σWNWt ed il processo tX è definito come ∑∞
=−=
0jjtjt WX α , con 10 =α
e ∞<∑∞
=0
2
jjα , allora il processo tX è detto lineare. Se un processo è lineare,
allora è stazionario in senso debole. Nell ’ambito dei processi stocastici
lineari rientrano i processi ARMA, molto utili zzati per l’analisi delle serie
storiche di tipo lineare.
Un processo ARMA di ordine (p,q) è il processo nX soluzione
dell ’equazione:
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
6
∑∑=
−=
− =+q
jjnj
p
iinin ZaXX
01
λ
dove il processo ℵ∈nZ n ; è un processo white noise.
Casi particolari di un processo ARMA(p,q) sono i processi a medie mobili
di ordine q, indicati con MA(q), in cui:
∑=
−=q
jjnjn ZaX
0
e i processi autoregressivi di ordine p, indicati con AR(p), ossia:
n
p
jjnjn ZXaX += ∑
=−
1
.
Definendo un modello ARMA(p,q) sulle differenze d-esime del processo
nX si ottiene un processo ARIMA di ordine p,d,q, indicato con
ARIMA(p,d,q), dove p indica le componenti autoregressive, d l’ordine di
differenziazione e q l’ordine delle componenti di tipo MA.
Un processo stocastico è indipendente se la distribuzione congiunta è
uguale al prodotto delle distribuzioni marginali , ossia:
∏=
≤=≤≤n
iitntt xXxXxX
in
11 Pr,,Pr
1 .
Un processo a tempo discreto è detto di rinnovamento se le variabili casuali
,, 21 XX sono indipendenti, identicamente distribuite e a valori non
negativi. In altre parole, un processo stocastico di rinnovamento si ripete
probabili sticamente, ovvero è possibile identificare una sequenza di punti
detti di rigenerazione, a partire dai quali il processo si comporta, in termini
probabili stici, sempre nello stesso modo. Il tempo fra due punti di
rigenerazione è detto ciclo di rigenerazione.
Un processo stocastico a tempo discreto ℵ∈nX n ; è detto di Markov se la
probabilit à di stato al tempo n+1 dipende soltanto dallo stato al tempo
attuale, n, e non dalla storia precedente, ovvero se si ha:
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
7
nnnnnon iXjXiXiXiXjX ======= ++ |Pr,,,|Pr 11101 .
Un processo a tempo continuo Ttxt ∈; è detto di Markov se per ogni
sequenza di valori tttt n ≤≤≤≤
10 si ha:
nttnttt iXjXiXiXjXnn
====== |Pr,,|Pr 00 .
Dal vincolo sulle distribuzioni che definisce i processi markoviani, si
deduce che per un processo markoviano a tempo discreto il tempo di
permanenza in uno stato segue una distribuzione geometrica, mentre un
processo markoviano a tempo continuo è una variabile casuale con
distribuzione esponenziale negativa. Ciò si verifica poiché un processo
markoviano è un processo “privo di memoria” e le uniche distribuzioni che
godono di tale proprietà sono appunto le distribuzioni geometrica ed
esponenziale.
Un processo molto interessante è quello chiamato “ random walk” ossia
passeggiata aleatoria, che rappresenta il movimento di una particella nello
spazio, identificandone la sua posizione al tempo n. Tale posizione dipende
dalla posizione precedente e da una variabile casuale indipendente;
formalmente è definito come somma di una sequenza di variabili
iY indipendenti e identicamente distribuite, per cui ∑=
=n
iin YX
1
. Il processo
nX è discreto o continuo a seconda che siano discrete o continue le
variabili iY .
Dall ’analisi di una passeggiata aleatoria in 2 dimensioni scaturisce il noto
processo di Wiener W(t), caratterizzato dal fatto di avere una distribuzione
marginale di tipo gaussiano con media nulla e varianza t⋅α .
Considerando due istanti temporali si ha ),min(),( 2121 ttttR ⋅= α . Il processo
di Wiener, detto anche moto Browniano, è un particolare processo
Markoviano continuo, la cui densità soddisfa “l’equazione del calore”. In
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
8
generale un moto Browniano è un processo 0);( ≥ttW , avente le seguenti
caratteristiche:
- W(0)=0;
- ha incrementi indipendenti e stazionari;
- per ogni t>0, ),0(~)( tNtW ⋅α ;
Nel caso 1=α si parla di Moto Browniano Standard.
Un processo stocastico molto noto in letteratura è quello “di conteggio” Si
definisce processo di conteggio una famiglia di variabili casuali 0);( ≥ttN
a valori interi non negativi, ognuno dei quali conta il numero di “successi”
o “arrivi” nell ’ intervallo temporale (0,t]. Per cui N(t) è un processo che
gode delle seguenti proprietà:
- 0)( ≥tN ;
- N(t) è a valori interi;
- se s<t allora )()( tNsN ≤ ;
- per s<t, N(t)-N(s) è uguale al numero di eventi verificatisi
nell ’ intervallo (s,t).
Un processo stocastico di conteggio possiede incrementi indipendenti, se il
numero di eventi che si verificano in intervalli di tempo disgiunti sono
indipendenti; mentre possiede incrementi stazionari se la distribuzione del
numero di eventi che si verificano in un intervallo di tempo dipende
soltanto dalla lunghezza dell ’ intervallo, per cui il numero di eventi
nell ’ intervallo ( )stst ++ 21 , , cioè ( ) ( )[ ]stNstN +−+ 12 , ha la stessa
distribuzione del numero di eventi in ( )21, tt , cioè ( ) ( )[ ]12 tNtN − .
Al processo di conteggio N(t) si può associare una successione di variabili
casuali positi ve a valori reali ℵ∈nTn ; che sia strettamente crescente, ossia
<<<<< nTTT 210 , che indica il tempo di attesa per l’n-esimo arrivo.
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
9
Precisamente se N(t)=n, ossia nell ’ intervallo (0,t) si sono verificati n arrivi,
allora 1+≤≤ nn TtT , cioè il tempo di attesa per l’ennesimo arrivo è minore o
uguale a t, mentre il tempo di attesa per l’(n+1)-esimo arrivo è maggiore o
uguale a t.
La successione ℵ∈nTn ; è detta processo di punto su +ℜ e nT è l’n-esimo
punto aleatorio del processo di punto. Il principale processo di punto è il
processo di Poisson; il processo ℵ∈nTn ; si dice processo di Poisson
omogeneo di intensità 0>λ se e solo se il processo di conteggio associato
0);( ≥ttN verifica le seguenti condizioni:
- 0, ≥∀ ts , [ ])()( tNstN −+ è una variabile casuale di Poisson di media
( )sλ , cioè ( )!
)()(Prk
sektNstN
ks λλ ⋅==−+ − ;
- N(t) ha incrementi indipendenti;
- N(0)=0.
Dalle precedenti condizioni si nota che un processo di Poisson ha
incrementi stazionari e che ( ) [ ] ttNVartNE λ== )()( .
Se N(t) è un processo di Poisson di intensità λ , la distribuzione di nT si
ottiene osservando che ntNtTn ≥⇔≤ )( e si ricava quindi la distribuzione
Erlangiana: ( ) ( )( )!1
1
−=
−−
n
tetf
nt
Tn
λλ λ .
Per n=1 si ha la distribuzione esponenziale negativa.
Il processo di Poisson non omogeneo, invece, è un processo stocastico nel
quale λ è una funzione non negativa definita su +ℜ tale che ( ) ∞<∫t
odssλ ,
per 0≥t ; ed N(t) è tale che:
- 21 tt ≤∀ )()( 12 tNtN − è una variabile casuale di tipo Poisson con valor
medio ∫2
1
)(t
tdssλ ;
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
10
- N(t) è un processo ad incrementi indipendenti.
Tale processo è di intensità )(tλ , per cui si ha:
∫
==−∫ t
dss
kt
ek
dssktN 0
)(0
!
)()(Pr
λλ
.
Si parla, invece, di processo di punto generale se dalle condizioni
precedenti si toglie il vincolo degli i ncrementi indipendenti.
Una generalizzazione consiste nel supporre che la probabilit à che un evento
si verifichi ad un dato istante di tempo dipenda dal numero di eventi che si
sono già verificati, come nel caso delle “nascite” in una popolazione,
poiché si pensa che dipendano dal numero di genitori.
Assumendo N(0)=N, e che la popolazione iniziale sia soggetta a soli
“arrivi” , il sistema delle equazioni che definisce il processo è:
+−=−=
−− )()()('
)()('
11 tptptp
tptp
jjjjj
NNN
λλλ
per j=N+1,N+2,… con le condizioni iniziali 1)0( =Np e 0)0( =jp se j>N.
Un processo che soddisfa tali equazioni è detto di pura nascita. Se λλ NN =
il processo si dice di Yule-Furry e vale:
( ) NjttNj ee
Nj
jtp
−−− −⋅⋅
−−
= λλ 11
)( .
Condizione necessaria e suff iciente aff inché l’unica soluzione del sistema
di equazioni di un processo di pura nascita sia una distribuzione di
probabilit à propria, ossia che 1)( =∑j
j tp , è che la serie ∑j jλ
1 diverga. Se
tale serie converge allora risulta 1)( <∑j
j tp , per cui con probabilit à
− ∑
jj tp )(1 la popolazione può superare in un intervallo finito di tempo
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
11
qualunque li vello finito, ossia il processo diverge e si registra il fenomeno
“dell ’esplosione”.
Se invece si assume che nella popolazione si verifichino sia “partenze” che
“arrivi” , cioè ingressi e uscite (nascite e morti) il sistema che definisce tale
processo, detto di nascite e morti, si ottiene considerando anche
un’ intensità di uscite o morti, per cui:
+++−=+−=
++−− )()()()()('
)()()('
1111
11000
tptptptp
tptptp
jjjjjjjj µλµλµλ
con 1)0( =Np e 0)0( =jp se Nj ≠ .
3. I processi di Markov
Nell ’ambito dei processi stocastici particolare attenzione meritano una
classe di processi che prende il nome di processi markoviani.
Considerando il caso di processi stocastici a parametro discreto, con T
coincidente con l’ insieme dei numeri naturali , per cui facendo esplicito
riferimento ad una successione di variabili casuali ℵ∈nX n ; indicizzate dal
parametro n, un processo di Markov finito è caratterizzato da una
particolare relazione di dipendenza: precisamente, qualunque sia l’ intero n,
qualunque siano i valori 11
,,,,−niiij xxxx nell ’ insieme delle loro possibili
determinazioni Nxxx ,,, 21 , la distribuzione di 1+nX condizionatamente
alla sua “storia” precedente, ossia all ’ insieme ( )nXXX ,,, 21 è uguale alla
probabilit à di 1+nX condizionatamente alla singola variabile nX , ossia vale
la seguente relazione:
injniininjn xXxXxXxXxXxXn
======= +−+ − 1111 Pr,,,Pr11
.
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
12
La distribuzione di X al tempo 1 è detta distribuzione iniziale del processo;
indicando con ( ) ixXia == 11 Pr , con i=1,2,…,N, la distribuzione iniziale
sarà indicata con il vettore 1a , che è composto da:
( ) ( ) ( )( )Naaaa 1111 ,,2,1 =
Le varie probabilit à condizionate injn xXxX ==+1Pr , ossia la generica
probabilit à che ha il sistema di passare dallo stato i al tempo n allo stato j al
tempo (n+1), sono dette probabilit à di transizione del sistema ed in
generale dipendono dagli i ndici (i,j,n); se tale probabilit à non dipende dal
tempo n allora il processo è detto omogeneo, inteso come omogeneo nel
tempo e si parla di catene markoviane omogenee. In questo caso si indicano
tali probabilit à con il parametro ijp , dove precisamente vale:
injnij xXxXp === +1Pr .
Poiché si stanno considerando processi finiti , con N stati, allora le
probabilit à ijp vengono raccolte in una matrice quadrata P di dimensioni
( )NN × , detta matrice stocastica di transizione:
=
NNNN
N
N
ppp
ppp
ppp
P
21
22221
11211
I parametri ijp , essendo delle probabilit à, devono soddisfare i seguenti
vincoli:
- 0≥ijp per ogni coppia (i,j);
- 11
=∑=
N
jijp per ogni i.
In virtù della relazione che definisce un processo di Markov, si deduce che
basta conoscere la distribuzione iniziale del sistema e la matrice stocastica
di transizione, per conoscere la distribuzione dell ’ intero processo
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
13
stocastico. Vediamo, quindi, come ricavare da queste informazioni le varie
distribuzioni del processo.
Posto ( ) kxXka == 22 Pr , con k=1,2,…,N, tali probabilit à sono ricavabili
dalla relazione:
( ) ( ) ( ) ( ) Nkkk pNapapaka 121112 21 +++=
in base al teorema di disintegrazione della probabilit à di un evento, per cui
considerando 2a il vettore delle probabilit à di 2X , ossia ( ) ( )( )Naaa 222 ,...,1= ,
esso può essere espresso nella seguente notazione matriciale:
Paa ⋅= 12
analogamente si può determinare la distribuzione di probabilit à della
variabile X al tempo 3 3a :
Paa ⋅= 23
in cui i singoli termine del vettore sono determinati da: ( ) ( )∑=
=N
iikpiaka
123 .
Allo stesso modo si possono determinare le altre distribuzioni di probabilit à
di X ai vari istanti temporali . È però interessante studiare il comportamento
delle probabilit à di transizione in vari passi. Precisamente, se si indica con )2(
ijp la probabilit à di transizione “in due colpi” ossia
injnij xXxXp === +2)2( Pr , si può verificare che tale valore è dato:
∑=
=N
kkjikij ppp
1
)2( .
Successivamente è possibile calcolare la probabilit à di transizione in “ tre
colpi” ossia:
∑∑==
==N
kkjik
N
kkjikij ppppp
1
)2(
1
)2()3(
e indicando con ν un numero intero inferiore ad n, la probabilit à di
transizione di ordine n:
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
14
( ) ( )∑=
−=N
k
nkjik
nij ppp
1
)( νν .
Queste equazioni sono dette relazioni di Chapman - Kolmogoroff .
Se si raccolgono le probabilit à di transizione del generico ordine n in una
matrice, indicata con )(nP , le relazioni precedenti possono essere scritte
nella seguente forma matriciale:
( )
......................
.......................)1(
1
)2(1123
12
−⋅=
⋅=⋅⋅=⋅=⋅=
nn Paa
PaPPaPaa
Paa
Le distribuzioni congiunte a coppie, ossia jkih xXxX == ,Pr , per ogni
coppia k>h, sono ricavabili i n virtù di semplici leggi di calcolo delle
probabilit à, per cui vale:
( ) )(,Pr hkijhjkih piaxXxX −=== .
Le distribuzioni congiunte di tre o più variabili sono ricavabili
considerando, iterativamente, la legge delle probabilit à composte per eventi
qualsiasi e non indipendenti, nella quale si fa un forte uso delle probabilit à
condizionate.
3.1 Classificazione e ordinamento degli stati
Nella sezione precedente si è notato come lo studio di catena markoviana
sia ricondotto allo studio della matrice di transizione P ed alle sue potenze,
che esprimono le probabilit à di transizione di ordine n.
Se l’ insieme degli N stati possibili è indicato con S, considerando due
generici stati i e j, si dice che lo stato i comunica con lo stato j se esiste un
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
15
intero n tale che 0)( >nijp , ossia se è possibile che il sistema passi dallo stato
i allo stato j, in un numero qualsiasi di “colpi” . Se i comunica con j si
scriverà jiΓ , dove il simbolo Γ indica la relazione di comunicatività. Per
convenzione si pone 1)0( =iip , in modo che ogni stato i comunichi con se
stesso, per cui vale iiΓ .
L’evento certo può essere partizionato in quattro eventi:
- ( ) ( ) ijji ΓΓ
- ( ) ( ) ijji ΓΓ
- ( ) ( ) ijji ΓΓ
- ( ) ( ) ijji ΓΓ .
Dove l’evento ( )A rappresenta la negazione dell ’evento (A). Considerando
il primo evento, in base al quale i comunica con j e j comunica con i, si
definisce con T tale relazione di “bi-comunicatività” fra i due stati, ossia:
( ) ( ) ijjiiTj ΓΓ= .
Godendo delle proprietà riflessiva, simmetrica e transiti va, la relazione T è
una relazione di equivalenza, per cui è possibile classificare i vari stati del
sistema in classi di equivalenza; tutti gli stati equivalenti allo stato i
apparterranno alla stessa classe di equivalenza, che denotiamo con [i].
In generale l’ insieme degli stati S sarà decomposto in varie classi
[ ] [ ] [ ]kiii ,...,, 21 ; considerando due diversi classi di equivalenza [ ]ai e [ ]bi , può
accadere che uno stato della prima classe possa comunicare con uno stato
della seconda classe, in tal caso tutti gli stati della prima classe
comunicheranno con gli elementi della seconda classe, ma ovviamente non
è possibile il viceversa, perché altrimenti gli stati delle due classi
apparterrebbero ad un' unica classe di equivalenza. Se si verifica una tale
situazione, allora si dirà che [ ]bi è una classe inferiore alla [ ]ai , in tal modo,
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
16
pertanto, si stabili sce un ordinamento parziale tra le classi di equivalenza;
una classe è detta massima se non è inferiore a nessun altra, mentre è detta
minima se nessuna classe è inferiore a questa.
Quanto scritto sopra, corrisponde ad affermare che una classe di
equivalenza è massima se nessuno dei suoi stati può essere raggiunto da
stati di altre classi, mentre è minima se nessuno dei suoi stati può
raggiungere stati di altre classi.
Considerando catene finite, ossia con un numero di stati N finito, queste
avranno sempre una classe minima ed una massima; le classi minime
vengono dette ergodiche, se tale classe si riduce ad un solo stato allora
questo è detto stato assorbente. Le classi non ergodiche sono dette di
passaggio e lo stesso nome viene attribuito agli stati che le compongono.
Individuate le classi di equivalenza è conveniente riordinare gli stati, in
modo che stati appartenenti a classi di ordine inferiore vengano posizionati
prima rispetto a stati delle altre classi; in questa maniera si ottiene una
forma particolare della matrice stocastica di transizione, detta canonica. La
forma canonica della matrice stocastica di transizione è del tipo:
=
55555
4444
333
22
1
0
0
00
000
PRRRR
PRRR
PRR
PR
P
P
Gli elementi appartenenti al triangolo superiore della matrice sono tutti
nulli e indicano stati non comunicanti. Le sub-matrici quadrate indicate con
il simbolo iP sono le matrici di transizione corrispondenti alle classi di
equivalenza [i], le sub-matrici iR possono avere valori tutti nulli , se la
classe [i] è ergodica, oppure no. Se la matrice iR è una matrice con tutti
valori nulli , allora anche la matrice 1−iR ha tutti valori nulli .
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
17
Le potenze n-esime della matrice P espressa in forma canonica, sono
matrici aventi la stessa struttura.
3.2 Problemi di assorbimento
Lo studio del comportamento della matrice )(nP al variare di n, consente di
capire il comportamento asintotico del processo. Da un punto di vista
intuiti vo, si capisce che in un sistema finito si finirà ad un certo punto in
una classe ergodica, per cui da quel momento in poi il sistema “salterà” da
uno stato all ’altro di tale classe, senza più giungere in uno stato di altre
classi, si dice in tal caso che il sistema viene assorbito, e risulta interessante
studiare la probabilit à ed i tempi medi di attesa del sistema in classi
ergodiche.
In ogni catena finita, quindi, la probabilit à che il sistema raggiunga in un
numero finito di colpi una classe ergodica è pari ad 1, ossia è certo.
Indicando con [ ]jkg la probabilit à che il sistema sia assorbito prima o poi
nella classe [j] a partire da un qualsiasi stato di passaggio k e con [ ])(njkg la
probabilit à che l’assorbimento avvenga esattamente all ’n-esimo colpo, si ha
che:
[ ] [ ] 11
)( ≤=∑∞
=jk
n
njk gg
dove l’uguaglianza si ha qualora esista una sola classe ergodica e questa sia
proprio [j]; indicando con τ l’ insieme degli stati di passaggio, valgono
inoltre le seguenti uguaglianze:
[ ][ ]
[ ] [ ]∑
∑
∈
+
∈
=
=
τi
njiki
njk
jlkljk
gpg
pg
)()1(
)1(
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
18
Combinando le due precedenti equazioni, in maniera iterativa, si perviene
ad un sistema di equazioni li neari, la cui soluzione fornisce le probabilit à di
assorbimento nella classe [j], precisamente, considerando un qualsiasi stato
di passaggio k:
[ ] [ ][ ]
∑∑∈∈
+=jl
kli
jikijk pgpgτ
.
Trovata la probabilit à di assorbimento nella classe [j]del sistema, partendo
da un generico stato di passaggio k, è interessante calcolare il tempo medio
di attesa aff inché tale fenomeno si verifichi. A tal fine, si indichi con kT la
variabile casuale che esprime il tempo di attesa per l’assorbimento del
sistema in una classe ergodica a partire dallo stato di passaggio k;
considerando una coppia generica (i,k) di stati di passaggio, si ha che il
numero medio delle volte in cui il sistema, uscendo da k, passa allo stato i ,
in un qualsiasi numero di passi, indicato con il simbolo kim è:
∞<= ∑∞
=0
)(
n
nkiki pm
generalizzando tale numero medio all ’ insieme degli stati di passaggio τ , si
trova che, uscendo da k, il tempo medio di permanenza nell ’ insieme τ ,
ossia ( )kTE , è pari a ∑∈τi
kim .
3.3 Catene ergodiche
Nella sezione precedente si è osservato che, non appena il sistema giunge
in una classe ergodica, vi rimarrà definiti vamente, per cui non potrà più
pervenire in stati appartenenti ad altre classi di equivalenza. Considerando
una classe ergodica, la sub-matrice di transizione relativa a tale classe,
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
19
indicata per convenzione con P, è di tipo stocastico, per cui lo studio di una
classe ergodica di stati, corrisponde allo studio di una catena ergodica.
Una catena ergodica è detta regolare se esiste un numero intero 0n tale che
per valori di n maggiori di esso, ossia per 0nn ≥ , tutti gli elementi )(nijp
relativi alla potenza n-esima della sua matrice di transizione P risultino
positi vi, ossia se si verifica che ogni stato della classe è raggiungibile a
partire da tutti gli altri stati, in un numero finito di colpi e, a partire da un
valore abbastanza grande 0n , ciò si verifichi in ogni istante in cui si
considera il sistema. Se si considera una catena regolare, un risultato molto
importante è fornito dal teorema di Markov, secondo il quale la potenza n-
esima della matrice di transizione, ossia )(nP , converge, per n che diverge,
ad una matrice stocastica U che ha tutti gli elementi strettamente positi vi e
le righe tutte uguali; in termini formali , vale:
0lim )( >=∞→ j
nij
nup .,...,2,1 Nj =∀
La probabilit à asintotica di appartenenza al generico strato j è espressa dal
valore ju e ciò evidenzia come il sistema ammetta una distribuzione
asintotica u indipendente dalla distribuzione iniziale, con ( )Nuuuu ,...,, 21=
che soddisfa l’equazione:
Puu ⋅= .
La determinazione numerica del vettore u delle probabilit à di appartenenza
asintotiche è ottenuta risolvendo il sistema di equazioni seguente:
=
==
∑
∑
=
=
1
,...,2,1
1
1N
ii
N
iijij
u
Njpuu
Un’ importante proprietà di cui gode la distribuzione limite u è che essa è
stazionaria ed è l’unica distribuzione stazionaria del processo. In relazione
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
20
ad una catena markoviana, si dice che una distribuzione di probabili tà v è
stazionaria, se soddisfa la relazione: )(nPvv ⋅= .
Una catena regolare, inoltre, è un processo stocastico stazionario in senso
forte, poiché la distribuzione congiunta di qualsiasi numero di variabili del
processo non varia effettuando una traslazione rispetto al tempo, cioè
qualunque sia l’ intero h e la traslazione temporale t, la distribuzione
congiunta di ( )hnnn XXX ,...,,
21 e quella di ( )tntntn h
XXX +++ ,...,,21
è la medesima.
Le probabilit à asintotiche u hanno un’ulteriore proprietà; infatti il valore
ju
1 rappresenta il tempo medio di ritorno nello stato j.
Considerando il processo ( )
n
jSn che indica il numero relativo di volte in
cui il processo nX si trova nello stato j, considerandolo in funzione di n,
qualunque sia la distribuzione iniziale 1a tale processo converge in
probabilit à verso ju , in altri termini il valor medio della percentuale di
tempo in cui il sistema si trova nello stato j è asintoticamente uguale a ju :
tale risultato è noto in letteratura come teorema ergodico. Inoltre, se
( )[ ]j
n
nc
n
jS=
∞→
varlim , con jc costante reale diversa da zero, qualunque sia la
distribuzione iniziale del processo, la successione ( )
−
j
jn
nc
nujS converge in
distribuzione ad una normale standardizzata: tale proprietà è denominata
teorema centrale del li mite per le catene markoviane regolari.
3.4 Catene ergodiche cicliche
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
21
Considerando una catena markoviana, la probabilit à )(niip esprime la
probabilit à che il sistema uscente dallo stato i vi ritorni esattamente dopo n
colpi. Si ipotizzi che tale probabilit à sia positi va soltanto per valori n
multipli di un certo intero id' , ossia:
0)( =niip se n non è multiplo di id' ,
0)( ≥niip se n è multiplo di id' .
Ciò si verifica ovviamente per 1' =id ; se ciò si dovesse verificare solo per
tale valore di id' , allora lo stato i è detto aperiodico, viceversa se esistono
altri valori di id' per cui tale proprietà è soddisfatta allora lo stato i è detto
periodico ed il numero intero massimo fra quelli che soddisfano la
precedente proprietà, indicato con id è detto periodo dello stato i.
In una classe di equivalenza è stato dimostrato che tutti gli stati hanno lo
stesso periodo oppure sono tutti aperiodici, per cui in una classe di
equivalenza che contiene gli stati i e j, si avrà che ddd ji == e si dirà che d
è il periodo della classe e che la classe è cicli ca di periodo d. Se tutti gli
stati della classe sono aperiodici, ossia d=1, allora la classe è detta
aperiodica.
Prendendo in considerazione classi ergodiche cicli che di periodo d, è stato
dimostrato che la classe può essere decomposta in d sottoclassi distinte,
indicate con dCCC ,...,, 21 , che godono della seguente proprietà:
- se il sistema è in uno stato di hC , con h=1,2,…,d, allora passerà in un
solo colpo in uno stato di 1+hC ;
- se il sistema si trova nella sottoclasse dC , nel colpo successivo
passerà nella sottoclasse 1C .
In una catena cicli ca, le potenze successive di una matrice di transizione
non possono presentare mai tutti gli elementi positi vi, ma ci saranno alcuni
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
22
valori nulli; se si considera un indice l tale che dl <≤0 , allora si può
dimostrare che:
∈∈>
= ++
∞→ altrimenti
CjeCiseup hhjlnd
ijn 0
0lim 1)(
nel caso particolare in cui l=0, si ottiene che:
∈>
=∞→ altrimenti
Cjiseup hjnd
ijn 0
,0lim )(
Quanto mostrato implica che la successione delle potenze della matrice di
transizione P, ossia )(nP , di una catena cicli ca non converge. Se si
considera la successione delle medie aritmetiche, ossia
( ))()2( ...1 nPPPn
+++ , questa risulta convergente e la sua matrice limite ha
tutte le componenti positi ve e tutte le righe uguali . Se converge la
successione delle medie aritmetiche, si dice che la successione converge
alla Cesaro.
Volendo studiare il comportamento asintotico di una generica catena
markoviana, ossia volendone studiare la distribuzione )1(1
−⋅= nn Paa per n
che diverge, si può affermare che qualora la catena sia regolare o contiene
una sola classe ergodica e questa è aperiodica, allora esiste una
distribuzione limite u indipendente dalle condizioni iniziali del sistema.
Tale vettore ha tutte le componenti positi ve nel primo caso, mentre sono
positi ve soltanto le componenti relative a stati ergodici nel secondo caso. In
assenza di classi ergodiche cicli che esiste la distribuzione limite, ma
qualora siano presenti più classi ergodiche essa dipende dalla distribuzione
iniziale ed in particolare risulta:
[ ] jjin
ijn
ugp =∞→
)(lim
dove lo stato i è di passaggio, mentre lo stato j è ergodico e con [ ]jig che
rappresenta la probabilit à che il sistema uscendo dallo stato i venga
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
23
assorbito nella classe [j]. In tale situazione occorre considerare le
probabilit à che il sistema sia inizialmente allo stato i, ossia ( )ia1 .
Se la catena è cicli ca oppure contiene una sola classe ergodica cicli ca, si ha
una distribuzione limite indipendente dalla distribuzione iniziale qualora si
considera un limite alla Cesaro, ossia la convergenza della successione
delle medie aritmetiche.
Il ritorno ad uno stato i in una catena markoviana è un evento “ ricorrente”,
che è certo se i è ergodico, mentre può non esserlo se è invece uno stato di
passaggio. Il ritorno nello stato i è un evento ricorrente anche se
inizialmente il sistema si trova in uno stato j diverso e i è raggiungibile da j,
si parla al riguardo di “evento ricorrente ritardato” .
È interessante notare come lo studio delle proprietà di un processo
markoviano sia conducibile attraverso l’analisi degli autovalori N
ii 1=λ della
matrice stocastica di transizione P. In generale risulta che essi sono, in
modulo, minori o uguali all ’unità, qualora esista un unico autovalore pari
all ’unità allora si può osservare che esiste una distribuzione limite, che non
dipende dalle condizioni iniziali del sistema, con componenti che possono
essere tutte positi ve. Se esiste solo un autovalore che in modulo è pari
all ’unità, allora la catena ammette una sola classe ergodica, se invece
esistono r autovalori che in modulo sono pari ad uno, allora la catena
presenta r classi ergodiche regolari.
3.5 Catene markoviane con un’ infinita numerabile di stati
Supponiamo, adesso, che l’ insieme S degli stati di una catena markoviana
non sia finito, ma che presenti una cardinalità del numerabile. Come per le
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
24
catene finite, è possibile considerare le relazioni di comunicatività e “bi-
comunicatività” fra gli stati del sistema e quindi raggruppare gli stati in
classi di equivalenza.
Mentre nelle catene finite è sempre presente una classe minima ed una
massima, in questo caso ciò non è detto che si verifichi. Ad esempio,
potrebbe verificarsi che tutte le classi siano di passaggio e quindi siano di
passaggio tutti gli stati; si aggiunga che in una classe minima, ammesso che
esista, il ritorno in uno stato può non essere un evento certo e pure qualora
sia certo, non è detto che il suo tempo medio sia finito. Per tali ragioni, nel
caso di catene con un’ infinità numerabile di stati, è conveniente operare
una classificazione degli stessi basata sul carattere della ricorrenza o del
ritorno. Si diranno, quindi, persistenti quegli stati per i quali il ritorno è
certo e, a seconda che il suo tempo medio sia finito o meno, vengono detti
ergodici o nulli . Gli stati per i quali , invece, il ritorno non è certo vengono
definiti transitori e tali stati vengono abbandonati dal sistema con
probabilit à pari ad uno, in analogia agli stati di passaggio delle catene
finite. Considerando una catena costituente un’unica classe di equivalenza,
detta irriducibile, si nota che tutti i suoi stati apparterranno ad uno ed uno
solo dei tre tipi sopra definiti .
3.6 Introduzione alle catene markoviane finite a parametro
continuo
Un processo TtX t ∈; nel quale le variabili casuali della famiglia sono
discrete, ma con l’ insieme T continuo, è detto processo markoviano
discreto a parametro continuo se per ogni numero intero n,
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
25
121 +<<<<∀ nn tttt in T e per ogni determinazione 11
,...,,,−niiij xxxx delle
variabili casuali del processo vale la seguente relazione:
itjtitititjt xXxXxXxXxXxXnnnnnn
=======+−−+ 111111
Pr,...,,Pr .
Ponendo ( ) itjtnnij xXxXttpnn
===++ 1
Pr, 1 , se tale probabilit à oltre gli i ndici
(i,j) dipende esclusivamente dalla differenza temporale ( )nn tt −+1 , il
processo in questione viene detto omogeneo. Si ipotizzi che tale processo
sia discreto e finito, per cui esistono solo un numero finito di stati N, si
parla dunque di catena markoviana. La distribuzione iniziale del sistema è
( ) ( ) ( )( )0,...,00 1 Naaa = , in cui il generico termine i ha il seguente significato:
( ) ii xXa == 0Pr0 ; la matrice di transizione al tempo t, detta funzione di
transizione, è:
( )
( )( )
( )
( )( )
( )
=
tp
tp
tp
tp
tp
tp
tP
NN
N
N
N
2
1
1
21
11
dove il generico termine vale ( ) ijtij xXxXtp === 0Pr e dove valgono i
seguenti vincoli:
( )( )
∀=
∀≥
∑=
ttp
tjitpN
jij
ij
1
,,0
1
Le relazioni di Chapman – Kolmogorov sono adesso:
( ) ( ) ( )∑=
=+N
kkjikij sptpstp
1
con ( )
≠=
==ji
ji
se
sep ijii 0
10 δ
Il vettore ( )ta che contiene le probabilit à di appartenenza agli N stati al
tempo t è quindi determinato da:
Antonio Manno, mannoanto@libero.it, www.statistica.too.it
26
( ) ( ) ( )tPata ⋅= 0 .
Come nel caso di catene discrete, se esiste un valore 0t tale che per ogni
0tt ≥ e per ogni coppia (i,j) risulti ( ) 0>tpij , allora la matrice P(t), per t che
diverge, converge verso una matrice avente tutte le righe uguali , si verifica
cioè che:
( ) 0lim >=∞→ jij
tutp .
La distribuzione asintotica ju , anche in questo caso, non dipende dalla
distribuzione iniziale del processo ed è una distribuzione stazionaria.