ANALISI QUALITATIVA DI FENOMENI ALEATORI
Luigi Carassale Settembre 2011
Dottorato di ricerca in Ingegneria delle CostruzioniDipartimento di Ingegneria delle Costruzioni, dell’Ambiente e del Territorio
Università di Genova
Strumenti di analisi MPST – Principal Component Analysis
Representazione modale
, k k
k
q t p tx x
=
1 x 2 x 3 x 4 x
* p1(t) + * p2(t) + * p3(t) + * p4(t)
k k
k
t p tq
N
v vettore aleatorio in n a media nulla
(in pratica disponiamo delle misure v(1),…,v(T))
Principal Component Analysis (PCA)
La PCA può essere formulata in diversi modi alternativi (e sostanzialmente equivalenti)
1. Cercare una direzione (deterministica) in n che rappresenti una
realizzazione tipica di v2. Cercare una trasformazione lineare ortogonale (rotazione) che
trasformi v in un vettore x con componenti non correlate3. Cercare un sistema di riferimento opportuno in n per definire un
modello ridotto di v
Principal Component Analysis (PCA)
1. Cercare una direzione (deterministica) in n che
rappresenti una realizzazione tipica di x
La direzione “tipica” di v è la direzione in n che è più possibile parallela
a v, ovvero che massimizza la grandezza:
2
1
TJ E v con il vincolo 1
Ciò equivale a massimizzare la grandezza:
2 2
1
TJ E v Dove è un moltiplicatore di Lagrange
1 2 2TJE
vv
vv 0
C
vvC I 0
T1,..., n i j ij
Il problema agli autovalori fornisce n direzioni per le quali J1 è stazionario (massimo o minimo)
Principal Component Analysis (PCA)
Il problema agli autovalori fornisce n direzioni per le quali J1 è stazionario (massimo o minimo). Il massimo assoluto è fornito da 1 corrispondente al massimo autovalore 1
1. Cercare una direzione (deterministica) in n che
rappresenti una realizzazione tipica di v
T
k kx v Componenti principali
T
T T 2
j
k k
j k j k j jk y j
E x E
E x x E
vv
v 0
vv
C
La massimizzazione di J1 massimizza la varianza di xj2
1 jxJ
Tx w v
E’ possibile trovare gli autovettori k massimizzando combinazioni lineari delle vj del tipo
con il vincolo ||w||=1
Principal Component Analysis (PCA)
La massimizzazione di J1 massimizza la varianza di Tx w v
2
1, 1TJ E v
22 2 , 1T
xE x E w v w
Esempio n=2
-40 -30 -20 -10 0 10 20 30 40
-30
-20
-10
0
10
20
30
v1
v2
Principal Component Analysis (PCA)
cos
sinw x
2 è funzione di w, e quindi di
22 2 , 1T
xE x E w v w
0 20 40 60 80 100 120 140 160 1800
50
100
150
200
(°)
y2
1 2
w1 w2
Principal Component Analysis (PCA)2
2 2 , 1T
xE x E w v w
-40 -30 -20 -10 0 10 20 30 40
-30
-20
-10
0
10
20
30
v1
v2 x1
x2
w1w2
2
1
-40 -30 -20 -10 0 10 20 30 40
-30
-20
-10
0
10
20
30
Principal Component Analysis (PCA)
x1
x2
Principal Component Analysis (PCA)
Principal Component Analysis (PCA)
1. Cercare una direzione (deterministica) in n che
rappresenti una realizzazione tipica di v
L’equazione vvC I 0
fornisce una soluzione analitica per il problema 1, ma è ovviamente possibile operare numericamente come segue:
1
1. arbitrario | 1
2.
3.
4. torna a 2 fino a convergenza
5. k
J
w w
w ww
ww
w
w
1 2J
xC ww
w così ottenuto è un autovettore di Cvv (non sappiamo quale, dipende dal valore da cui parte l’algoritmo). Per trovare tutti gli autovettori è sufficiente ripetere n volte la procedura aggiungendo alla condizione di normalizzazione 3 la condizione di ortogonalità rispetto a tutte le soluzioni già trovate.
Principal Component Analysis (PCA)
2. Cercare una trasformazione lineare ortogonale (rotazione) che trasformi v in un vettore x con componenti non correlate
T
1 nx vLa trasformazione
ottenuta dalla soluzione del problema 1 risolve anche il problema 2 (le componenti principali sono non correlate e gli autovettori sono ortonormali)
Principal Component Analysis (PCA)
3. Cercare un sistema di riferimento opportuno in n per definire un
modello ridotto di v
Minimizzazione dell’errore medio quadratico: trovare uno spazio di dimensione m < n che rappresenti al meglio i dati, cioè minimizzando la misura dell’errore:
2
T
31
T T
1
Tr Tr
m
k kk
m
k kk
J E
vv vv vv vv
v w v w
C w C w C W C W
con il vincolo che wk sia una base ortonormale
La minimizzazione di J3 fornisce m vettori wk che definiscono lo stesso sottospazio di Rn definito dai primi m autovettori. La base ottenuta risolvendo il problema 3 corrisponde alla base dei primi m autovettoria meno di una rotazione indeterminata.
3 3J JUW W per ogni U matrice ortogonale m x m
Meteorology (Holmstrom, 1963)
500 mb height – 21.10.1959 1st EOF Mode
Applicazioni
500 mb height – 21.10.1959 2nd EOF Mode
Meteorology (Holmstrom, 1963)
Applicazioni
500 mb height – 21.10.1959 3rd EOF Mode
Meteorology (Lorenz, 1956-1959)
Applicazioni
Meteorology (Lorenz, 1956-1959)
Applicazioni
Bluff-Body Aerodynamics
Armitt (1968), Lee (1975), Best & Holmes (1983), Kareem & Cermak (1984), Kareem et al (1989) Holmes (1990), MacDonald et al (1990), Letchford & Mehta (1993)
Kareem et al (1989)
Applicazioni
3-II BLI: 4,
4 = 10.7 3-II BLI:
5,
5 = 7.4
3-II BLI: 3,
3 = 14.8
Kareem et al (1989)
3-II BLI: 1,
1 = 26.6 3-II BLI:
2,
2 = 25.8
1 2 3 4 50
5
10
15
20
25
30
k
k
Bluff-Body Aerodynamics
Applicazioni
Bienkiewicz et al (1995)
Bluff-Body Aerodynamics
Applicazioni
Tamura et al (1997, 1999)
Bluff-Body Aerodynamics
Bienkiewicz et al (1995), Tamura et al (1997),Kikuchi et al (1997), Holmes et al (1997),Tamura et al (1999), Baker (2000, 2001),Kitagawa et al (2002), Chen et al (2003), …
Applicazioni
Bluff-Body Aerodynamics
Kikuchi et al (1997)
mean std
Applicazioni
Bluff-Body Aerodynamics
Kikuchi et al (1997)
Applicazioni
Bluff-Body Aerodynamics
Kikuchi et al (1997)
1
2
Applicazioni
Bluff-Body Aerodynamics
Kikuchi et al (1997)
3
4
Applicazioni
Bluff-Body Aerodynamics
Kikuchi et al (1997)
Applicazioni
longitude (m)
lati
tude
(m)
longitude (m)
lati
tude
(m)
Aircraft landing or takeoffat airports in complex terrain
Applicazioni
Turbulence representation in the ABL
0 1000 2000 3000 4000 5000-0.2
-0.1
0
0.1
0.2
k
k(x)
Longitudinal turbulence comp. (u)
0 1000 2000 3000 4000 5000-0.2
-0.1
0
0.1
0.2
k
k(x)
Lateral turbulence comp. (v)
0 1000 2000 3000 4000 5000-0.2
-0.1
0
0.1
0.2
k
k(x)
Vertical turbulence comp. (w)
k=1
k=2
k=3
k=4
k=5
covariance eigenfunctions
ApplicazioniTurbulence representation in the ABL
Applicazioni
Convezione naturale (Venturi, 2006)
Applicazioni
Convezione naturale (Venturi, 2006)
Applicazioni
Mappa genica – modo 1
Applicazioni
Mappa genica – modo 2
Applicazioni
Mappa genica – modo 3
1
2
3
4
10
0 1 2 3 4 5 6 7 8 9 100
0.2
0.4
0.6
0.8
1
1.2
1.4
k
k
Applicazioni
Analisi immagini (compressione)
n=1, c=1:57
n=3, c=1:20
n=5, c=1:12
n=7, c=1:9
n=9, c=1:7
Originale
PCA – Pressure modes
1 2 3
4 5 6
* x1(t) +
* x4(t) +
* x2(t) +
* x5(t) +
* x3(t) +
* x6(t) + …+
1
N
k
k
k xt t
q tq
PCA – Importance of modes
1 2 3
4 5 6
1 6 10 15 20k
0
0.2
0.4
0.6
k
k = E[xk(t)2]
1
N
k
k
k xt t
q
PCA – Convergence of the representation
1 2 3
4 5 6
( )
1
k
jj
k
k
x
q
1 4 8 12 16 20j
0
0.2
0.4
0.6
0.8
1
||q
(j) ||
/
||q(N
) ||
PCA – Convergence of the representation
1 2 3
4 5 6
1 4 8 12 16 20j
0
0.2
0.4
0.6
0.8
1
q
14
(j) /
q1
4(N
)
( )
1
k
jj
k
k
x
q
PCA – Convergence of the representation
1 2 3
4 5 6
1 4 8 12 16 20j
0
0.2
0.4
0.6
0.8
1
q
18
(j) /
q1
8(N
)
( )
1
k
jj
k
k
x
q
PCA – Convergence of the representation
1 2 3
4 5 6
1 4 8 12 16 20j
0
0.2
0.4
0.6
0.8
1
f x(j
) /
f x(N)T( )
1
j
x k
k
j
x k x
f n
PCA – Convergence of the representation
1 2 3
4 5 6
1 4 8 12 16 20j
0
0.2
0.4
0.6
0.8
1
f y(j
) /
f y(N)T( )
1
j
y k
k
j
y k x
f n
PCA – Convergence of the representation
1 2 3
4 5 6
1 4 8 12 16 20j
0
0.2
0.4
0.6
0.8
1
m
z(j) /
mz(N
)
Principal Component Analysis (PCA)
1. La PCA identifica componenti principali non correlate. Questa proprietà è utilizzata nel problema di separazione delle sorgenti (se v è la combinazione lineare di sorgenti non correlate, allora è possibile che queste corrispondano alle xj). In realtà il problema così posto sarebbe indeterminato (esistono infinite trasformazioni che estraggono da v componenti non correlate), quindi è necessario aggiungere la condizione di ortogonalità dei vettori wj, che in genere non ha una giustificazione fisica. Se le sorgenti hanno energie molto diverse fra loro, allora queste tendono a corrispondere alle componenti principali della PCA.
2. La PCA identifica una base ortogonale ottima per definire modelli ridotti. Il carattere gerarchico (in termini di varianza) della PCA permette la separazione segnale-rumore (ammesso che il rumore sia piccolo rispetto al segnale)
Nota: se le componenti di v sono non correlate, la PCA non produce alcun risultato
Principal Component Analysis (PCA)
1. La PCA identifica componenti principali non correlate. Questa proprietà è utilizzata nel problema di separazione delle sorgenti (se v è la combinazione lineare di sorgenti non correlate, allora è possibile che queste corrispondano alle xj). In realtà il problema così posto sarebbe indeterminato (esistono infinite trasformazioni che estraggono da v componenti non correlate), quindi è necessario aggiungere la condizione di ortogonalità dei vettori wj, che in genere non ha una giustificazione fisica. Se le sorgenti hanno energie molto diverse fra loro, allora queste tendono a corrispondere alle componenti principali della PCA.
2. La PCA identifica una base ortogonale ottima per definire modelli ridotti. Il carattere gerarchico (in termini di varianza) della PCA permette la separazione segnale-rumore (ammesso che il rumore sia piccolo rispetto al segnale)
Nota: se le componenti di x sono non correlate, la PCA non produce alcun risultato
ˆ x
y
f zz
f zf
x
y
x
y
x
y
x
y
x
y
x
y
0.7 0.8 0.9 1 1.1 1.2 1.3
1
2
3
4
1, 2
1(x), 1
(y)
1. La PCA identifica componenti principali non correlate. Questa proprietà è utilizzata nel problema di separazione delle sorgenti (se x è la combinazione lineare di sorgenti non correlate, allora è possibile che queste corrispondano alle yj). In realtà il problema così posto sarebbe indeterminato (esistono infinite trasformazioni che estraggono da x componenti non correlate), quindi è necessario aggiungere la condizione di ortogonalità dei vettori wj, che in genere non ha una giustificazione fisica. Se le sorgenti hanno energie molto diverse fra loro, allora queste tendono a corrispondere alle componenti principali della PCA.
2. La PCA identifica una base ortogonale ottima per definire modelli ridotti. Il carattere gerarchico (in termini di varianza) della PCA permette la separazione segnale-rumore (ammesso che il rumore sia piccolo rispetto al segnale)
Nota: se le componenti di v sono non correlate, la PCA non produce alcun risultato
Principal Component Analysis (PCA)
1 2 3 4 5 6 7 8 9 10k
0
0.5
1
1.5
2
2.5
k
• The reduced-order models derived by PCA are optimal in the
mean square sense and may be employed to synthesize the
relevant content of experimental datasets.
• Does PCA modes have any physical meaning?... NO
PCA – Limitations
1 Deterministically antisymmetric
1 2 3
4 5 6
PCA – Limitations
4
1 2 3
4 5 6
Symmetrical vortex shedding?Not at this Reynolds number
PCA – Limitations
PCA – Limitations
