APPROSSIMAZIONE APPROSSIMAZIONE DI FUNZIONIDI FUNZIONI
AF - 1
• La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE
• Le MLP possono essere viste come particolari REGRESSORI NON LINEARI
PROBLEMAPROBLEMA
Sia: x inputd = f ( x ) funzione incognita
f (.)incognita
+
d
-
x
wxf ,ˆy
rispostadesiderata
Obiettivo : trovare f (.) assegnato un numero finito di coppie ( x , w )
• dipende dalla scelta di w che può essere modificato per minimizzare la discrepanza tra y e d
wxfy ,ˆ
• quando y approssima d, il sistema adattativo sta approssimando con la sua mappa input-output wxfy ,ˆ
xf
AF - 2
• La natura di f (.) e il criterio di errore definiscono il problema di learning
– Se f (.) lineare e criterio di errore MSE REGRESSIONE LINEARE
– Se f (.) produce valori 1/0 ( -1/ 1 ) classificazione.In tale caso la funzione è chiamata FUNZIONE INDICATORE
– Anche il problema della generalizzazione può essere trattato matematicamente nell’ottica dell’approssimazione di funzioni
UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONEUTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONEUTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONEUTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE
– SONO APPROSSIMATORI UNIVERSALI
– SONO APPROSSIMATORI EFFICIENTI
– POSSONO ESSERE IMPLEMENTATE COME SISTEMI ADATTATIVI
OBIETTIVO DELLA AF
Descrivere il comportamento di funzioni altamente complesse utilizzando insiemi di funzioni più semplici
Es:
- Legendre e Gauss uso di polinomi
- Sviluppo in serie di Taylor approssimazione nell’intorno di un punto
- Serie di Fourier uso dei polinomi trigonometrici
Generalizzazione
Hp: reale ,, reale )( 1T
Dxxxxf
eintegrabil mentequadratica )(xf
TEOREMA DELLA PROIEZIONE LINEARE
Si può descrivere f(x), in una area compatta S dello spazio degli ingressi attraverso una combinazione di funzioni semplici x), cioè:
N
iii xwwxf
1)(),(ˆ
),(ˆ)( :che tale,,con 1 wxfxfwww N
Con arbitrariamente piccolo
elementari funzioni
)( di nteapprossima ),(ˆ
i
xfwxf
AF - 3
REALIZZAZIONE
Quando si determinano i coefficienti wi che rendono arbitrariemente piccolo per qualunque f (.) nel dominio d’interesse si dice che l’insieme {i (.)} ha la proprietà di approssimatore universale sulla classe f (.), o anche che l’insieme è completo
PROBLEMI
1. SCEGLIERE LE FUNZIONI ELEMENTARI
2. CALCOLARE I PESI wi
3. SELEZIONARE IL NUMERO N DI FUNZIONI ELEMENTARI
1. AMPIA SCELTA (TRIGONOMETRICHE, SINC, WAVELET, etc.)
(.)i
Nota: I neuroni nascosti di una MLP con 1 strato nascosto implementano una possibile scelta delle funzioni elementari (.)i
AF - 4
x1
x2
xd
2
k
N
w1
w2
wN
wkf (x,w)
1
2. La scelta dei wi dipende dal criterio usato per calcolare la discrepanza tra e
Es: criterio LS i wi possono essere calcolati analiticamente
Se N è pari al numero di pattern d’ingresso xi: si può scrivere:
)(xf ),(ˆ wxf
fw
xf
xf
w
w
xx
xx
NNNNN
N1
11
1
111
)(
)(
)()(
)()(
fw
xf
xf
w
w
xx
xx
NNNNN
N1
11
1
111
)(
)(
)()(
)()(
CRITERI PER LA SCELTA DELLE {i(.)}
• Devono essere approssimatori universali per la classe di funzioni f(.)
• Devono essere facilmente trattabili matematicamente
• Deve esistere verificato se le costituiscono una base, cioè sono linearmente indipendenti
)(1 x i0),,( se solo e se 0)()( 111 NNN wwxwxw
SPESSO SI ASSUME CHE LE {i(.)} SIANO UNA BASE ORTONORMALE
è un vettore dei valori della funzione negli N puntif
AF - 5
TEOREMA DEL CAMPIONAMENTO
Si può approssimare qualunque segnale reale che sia smooth in un intervallo conoscendo i valori del segnale in un insieme finito di punti equispaziati (detti campioni) nell’intervallo
i
iii xx
xxsinxxsincx
)(
)()(i
iii xx
xxsinxxsincx
)(
)()(
Si può dimostrare che i pesi sono i valori del segnale nei punti di campionamento
a) Funzioni sinc
b) Serie di Fourier
AF - 6
c) Wavelet
• Nella trasformata di Fourier le funzioni elementari hanno estensione infinita nel tempo
• In molte applicazioni i segnali hanno durata temporale finita (es. transitori)
• L’idea alla base dell’analisi wavelet è di scegliere una forma d’onda adatta a rappresentare il segnale e poi creare molte versioni traslate e scalate dell’onda “madre”
• La decomposizione wavelet ha due parametri:
)2(2)(
)(),(ˆ
2/ ixx
xwwxf
jjij
i jijij
)2(2)(
)(),(ˆ
2/ ixx
xwwxf
jjij
i jijij
Traslazione e scanalatura di una wavelet
AF - 7
• Usando sistemi adattativi i pesi possono essere trovati attraverso il learning piuttosto che analiticamente
• Le basi sono dipendenti dai dati
X1
X2
XD
+1 b1
a11
w1
w1
1
i
y
iii
kikiki
wy
bxax
)(
iii
kikiki
wy
bxax
)(
La MLP realizza l’approssimazione di funzione usando come basi esattamente le uscite dei neuroni nascosti
Basi per l’approssimazione di funzioni non lineari con le MLP
• Funzioni elementari locali: rispondono primariamente ad un’area limitata dello spazio degli ingressi
• Funzioni elementari globali: rispondono all’intero spazio degli ingressi
AF - 8
Approssimazione con funzioni logistiche
Nota: i neuroni sigmoidali realizzano funzioni elementari globali
Interpretazione: la MLP sta realizzando una approssimazione di funzione con un set di BASI ADATTATIVE che vengono realizzate dai dati di input-output
Esse dipendono dai pesi del primo strato e dagli ingressi
AF - 9
• La gaussiana è centrata in x i con varianza : ha il massimo della risposta nell’intorno dell’ingresso x i e decade esponenzialmente col quadrato della distanza
• Sono funzioni elementari locali
• Dalla:
RADIAL BASIS FUNCTION (RBF)
)()( ii xxx )()( ii xxx
• di norma è una gaussiana:
ledimensiona-multi 2
exp)(
ediemsional-mono 2
exp)(
1
2
2
xxxG
xxG
T
covarianza di matrice :
varianza:2
2
I
iii
N
iii
xxGwwxf
xwwxf
),(ˆ
)(),(ˆ1
iii
N
iii
xxGwwxf
xwwxf
),(ˆ
)(),(ˆ1
APPROSSIMAZIONE CON RBF monodimensionale
AF - 10
L’APPROSSIMAZIONE CON RBF RICHIEDE:
• Il posizionamento delle Gaussiane per coprire lo spazio degli ingressi
• Il controllo dell’ampiezza di ciascuna Gaussiana
• Il controllo della larghezza di ciascuna Gaussiana
RBF:
- basi locali modificandone una non si influenza l’approssimazione nelle altre zone dello spazio
- il numero di RBF cresce esponenzialmente con le dimensioni dello spazio da coprire
- Allenamento efficiente una volta determinati i centri delle funzioni infatti l’errore è lineare coi pesi
- Convergenza al minimo globale purché i pesi siano posizionati in modo ottimo
LE RBF SONO MOLTO ADATTE PER L’IDENTIFICAZIONE DI SISTEMI
DIFFERENZE TRA MLP E RBF
AF - 11
Una scelta ottimale discende da un compromesso tra l’errore sul modello e la sua varianza
Analogia col fitting polinomialeAlto bias (errore) Alta varianza non generalizza
• I fiducial sono gli esempi del trainig set
• Il dominio completo è costituito da tutti i dati possibili d’ingresso
• Il polinomio corrisponde alla mappa input/output creata dalla rete
• I coefficienti del polinomio equivalgono ai pesi delle connessioni
• Il grado del polinomio corrisponde al numero di pesi
AF - 12Scelta del numero di basiScelta del numero di basi