Alcune tecniche di
Pablo Genova [email protected]
I. I. S. “Angelo Omodeo” Mortara Indirizzo Tecnico-Economico A. S. 2016 – 2017
BEST FIT BEST FIT
UTILIZZANDO EXCEL
con approfondimento sulla StatisticaStatistica vista in precedenza
Argomenti che affronteremoArgomenti che affronteremo
Approfondiremo alcuni aspetti che abbiamo trascurato:
Metodo Monte Carlo e Finanza
Metodo dei Minimi Quadrati nel confronto tra modello e teoria
Esempi di linee di tendenza in Excel
Regressione Lineare con Excel
Confronto tra due misure o due dati statistici gaussiani (test statistico)
Distribuzione Esponenziale Negativa
Distribuzioni in due dimensioni (uniforme bidimensionale)
That's MMonte onte CCarloarlo,, STATSTAT(istic)S & BBestest FFitit: enjoy ;-)
Monte Carlo Method & FinanceMonte Carlo Method & FinanceL'utilizzo di numeri casuali distribuiti secondo opportune leggi (da quelle semplici che abbiamo visto ad altre ben più complicate) è detto Metodo Monte Carlo.
L'espressione deriva proprio dal famoso casinò di Monte Carlo (dove a quanto pare i processi casuali sono ampiamente utlizzati ;-)).
Pionieri del metodoPionieri del metodo: Enrico Fermi che lo utilizzò per la diffusione dei neutroni, Stanisław Ulam, John von Neumann e Nicholas Metropolis.
Per approfondire: https://en.wikipedia.org/wiki/Monte_Carlo_methods_in_financehttps://en.wikipedia.org/wiki/Monte_Carlo_methods_for_option_pricing
E la finanza? Ecco un semplice esempio... si prenda un'opzione (option).
Opzione: contratto che conferisce al possessore il diritto, ma non l'obbligo (dunque una possibilità da cui appunto il termine opzione), di acquistare o vendere il titolo (asset, titolo sottostante l'opzione) ad un determinato prezzo prestabilito (strike price o strike) entro una determinata data, a fronte di un premio pagato non recuperabile.
Esempio di opzione: opzione binaria (binary option) basate sulla logica VERO/FALSOSarà o non sarà il titolo al di sopra (al di sotto) di un certo prezzo in un dato istante?
Quale strategia razionale adottare? Come prevedere/stimare il prezzo di un'opzione? → Utilizzare modelli matematici ed in particolare nei casi più complessi, in cui l'opzione dipende da più titoli sottostanti, simulazioni Monte Carlo!
Metodo dei Minimi QuadratiMetodo dei Minimi Quadrati
E' il classico metodo utilizzato per confrontare dei dati sperimentali con un modello teorico, in modo tale da vedere se c'è o non c'è accordo tra modello e dati e, se c'è accordo, trovare i parametri corretti del modello teorico che riproducono i dati.In inglese si usano i termini least squares (minimi quadrati) e data fitting (“fitting” dei dati) o anche best fitbest fit: ovvero il miglior modo di trovare accordo (se esiste) tra i dati e la teoria.
Siano i dati del problema e una funzione, che dipenderà da opportuni parametri e dai dati, si deve trovare questa funzione in modo tale che sia MINIMA la seguente quantità:
O. L. S. Ordinary Least Squares
Più in generale se i dati presentano degli errori, statistici o sperimentali si minimizza la funzione:
W. L. S. Weighted Least Squares
Minimi quadrati pesati
Ciascun termine della somma è anche noto come residuo o scarto dato che rappresenta la differenza tra il valore misurato e il valore teorico, quindi stiamo rendendo minima la somma dei quadrati dei residui o degli scarti tra modello e teoria
Metodo dei Minimi Quadrati Metodo dei Minimi Quadrati
Nei casi più semplici e di uso comune la minimizzazione delle formule precedenti permette di ottenere i parametri della funzione teorica ad esempio
CASO LINEARE
Altri casi “semplici” e di uso comune sono i fit con funzione esponenziale, polinomiale, logaritmica, in generale è un problema complicato non risolubile in modo analitico ovvero non esiste una formula esplicita per trovare i parametri, ma vengono trovati con calcoli numerici approssimati.
Quando con Excel aggiungiamo una linea di tendenza ai dati Excel utilizza un metodo di best fit semplificato (e grossolano) per trovare la funzione interpolante
https://support.office.com/en-us/article/Equations-for-calculating-trendlines-12cfdaa5-0652-436f-839c-0561e8620ba5?ui=en-US&rs=en-US&ad=US
Senza entrare nei dettagli del modello diciamo almeno che Excel calcola un coefficiente di determinazione R2 che ci permette di stimare la bontà del fit: più è vicino ad 1, meglio è
con
somma dei residui
somma totale dei quadrati
0 ≤ R2 ≤ 1
Linee di Tendenza Caso LineareLinee di Tendenza Caso LineareVediamo in pratica con Excel degli esempi di linea di tendenza, visualizzando il coefficiente di determinazione sul grafico (attenzione i fit della mia presentazione sono fatti con LibreOffice quindi i valori del fit non saranno identici rispetto ad Excel)
inserendo dati “perfettamente” lineari e fittando con una retta → R2=1
inserendo dati “quasi” lineari e fittando con una retta → R2 ≈ 1
f(x) = 1x - 1,12346670994454E-015R² = 1
dati
f(x) è la funzione interpolante, la linea di tendenza, con il suo coefficiente di determinazionein questi casi semplici è tutto “facile e chiaro” l'accordo è ottimo/molto buono
Nel caso a sinistra la retta è esattamente x = 1 (10-15 ≈ 0) come ci si deve aspettare
x 1 2 3 4 5 6 7 8 9 10
y 1 1,9 2,9 4,1 4,9 6 6,9 8,2 9,5 9,9
x 1 2 3 4 5 6 7 8 9 10
y 1 2 3 4 5 6 7 8 9 10
Linee di Tendenza in situazioni più complesseLinee di Tendenza in situazioni più complessePresto le cose si complicano e, in generale, non basta una “semplice” linea di tendenza per capire rigorosamente se un modello è in accordo o meno con i dati
Prendiamo questi datiy=x2
andamento quadratico ovvero polinomiale di secondo gradoovvero legge di potenza
fit lineare con dati quadratici:ehm non quadra molto ;-)
fit quadratico con dati quadratici:così va meglio ;-)
Come si osserva dal valore di R2, nel caso “sbagliato”, quello a sinistra, comunque il valore risultaR2 = 0,95 ben più vicino ad 1 che a 0 → quando devo rigettare il modello?
E' un problema complesso che richiede test statistici più raffinati (ad es. test del Chi quadro )
la retta trovata non ha molto senso qui si interpola correttamente con y = x2
R2 = 1R2 = 0,95
x 1 2 3 4 5 6 7 8 9 10
y 1 4 9 16 25 36 49 64 81 100
Linee di Tendenza Caso EsponenzialeLinee di Tendenza Caso EsponenzialeUn'altra classica funzione di fit è l'esponenziale, per esempio prendiamo questi dati il dato yè indicato nelle tre notazioni (ordinaria, scientifica, scientifica al calcolatore “con E”)
si noti la comodità/necessità della notazione scientifica con grandi numeriEcco il nostro fit esponenziale
troviamo f(x) = e (2,302585903 · x)
Giacché la crescita è moooolto rapida i primi dati sono “schiacciati”, c'è rimedio per vedere meglio?
Yes! In questo grafico sull'asse delle y ho messo la scala logaritmica: l'esponenziale diventa una retta e vedo bene tutti i punti wow!!wow!!
dati e fit esponenziale visualizzati su grafico semilogaritmico
dati e fit esponenziale visualizzati su grafico normale
asse con scala non lineare, bensì logaritmica
x 1 2 3 4 5 6 7 8 9 10
y 1 101
1 E 1
100 102
1 E 2
100103
1 E 3
10000104
1 E 4
100000105
1 E 5
1000000106
1 E 6
10000000107
1 E 7
1...0108
1 E 8
1…0109
1 E 9
1…01010
1 E 10
Tips for exponentials (suggerimenti per le esponenziali)Tips for exponentials (suggerimenti per le esponenziali)
Per visualizzare bene la crescita (o decrescita) di dati secondo una legge esponenziale
y= b · a x con a > 0 b > 0
(ad es y = 2 x
y = 3 x
y = 10 x
y = e x y = 3 · 2
x )
è utile disegnare i dati con grafico semilogaritmico cioè bisogna inserire una scala logaritmica sull'asse delle y (e lasciarla lineare sull'asse delle x). Opzioni asse y → scala logaritmica
Così la rapida (de)crescita dei dati può essere visualizzata in modo evidente.
L'andamento lineare in tale grafico significa che l'andamento dei dati è esponenziale e quindi stiamo in qualche modo riconducendo un'esponenziale ad un retta, più facile da “vedere”(questa è una delle grandi comodità dei logaritmi),
Linee di Tendenza legge di potenza Linee di Tendenza legge di potenza Per i dati che seguono una legge di potenza di grado n: y = a · x
b
Ad esempio →
y = 3 · x4
Risultato fit f(x) = 3 · x4
R2 = 1
2 3
Fit in scala normale fit in scala logaritmica in entrambi gli assi
Con un grafico logaritmico ovvero in scala logaritmica in entrambi gli assi “log – log”
si può trasformare una legge di potenza y = a · x b
in una legge lineare! WOW!WOW!
E' un caso particolare del fit polinomiale (vedi slide successiva)
Grafico log-log
ma che linearità ;-)
x 1 2 3 4 5 6 7 8 9 10
y 3 48 243 768 1875 3888 7203 12288 19683 30000
Linee di Tendenza caso polinomiale Linee di Tendenza caso polinomiale Per i dati che seguono una legge polinomiale di grado n:
Esempio 86 punti con x = [ -4,5; -4,4; -4,3 ;... ; 3,9; 4]
y = 1/10 · (x+4) · (x+1) · (x-1) · (x-3) + 0.5
Sviluppando le potenze la legge corrisponde a y = 0,1 · x4 + 0,1 · x
3 – 1,3 x
2 – 0,1 x + 1,7
Ecco il grafico con il fit con una polinomiale di quarto grado (funzione quartica)
Attenzione che in questo caso non ha senso utilizzare scale logaritmiche: log(0) NON esiste e gli assi includono l'origine
In questo tipo di dati si mantiene la scala lineare usuale.Il fit, come deve essere, trova i parametri della polinomiale
ovvero i coefficienti a0... a
4
Se questi coefficienti hanno un significato economico pratico → li avete determinati ;-)
Linee di Tendenza Caso LogaritmicoLinee di Tendenza Caso Logaritmico
Vediamo ora un esempio di fit logaritmico (da non confondersi con quello esponenziale)I dati in ingresso sono x= [1,...., 100] e (rispettivamente) y = [ln (1), ln(2), ...., ln(100)]
Andamento lentooooo … ln(100) ≈ 4,61
La crescita logaritmica è una crescita costante, ma molto lenta, di tipo “sotto-lineare” ovvero meno che lineare...
Si userà mai anche in Economia? Chissà ;-)
ln (1) = 0 perché e0= 1
Attenzione: qui la funzione di fit è logaritmica, ma la scala è LINEARE in entrambi gli assiNon fare confusione con le scale logaritmiche dei grafici esponenziali o di potenza.Non ha senso trasformare gli assi in scala log in questo caso (peraltro per l'asse y è impossibileperché !!! log(0) !!!! NON ESISTE!) Achtung!!
Regressione Lineare con ExcelRegressione Lineare con Excel
In analogia con quanto visto in slide N° 6, fit lineari, un altro modo sostanzialmente equivalente di fare un fit lineare con Excel è utilizzare la funzione:
REGR.LIN(y_nota; [x_nota]; [cost]; [stat])
Ulteriori dettagli in:https://support.office.com/it-it/article/REGR-LIN-funzione-REGR-LIN-84d7d0d9-6e50-4101-977a-fa7abf772b6d
Questa è una funzione di matrice quindi per utilizzarla occorre prima inserirla nella cella, poi selezionare un area in cui andranno i parametri e infine digitare CTRL MAIUSCOLO INVIO (vedi funzione FREQUENZA vista nel modulo didattico precedente).
Attenzione: in y_nota bisogna mettere i valori y, in x_nota i valori x (facoltativi, se non li si scrive li mette Excel, cost mettere VERO (default) o FALSO, stat mettere VERO o FALSO (default). Se cost = FALSO → si forza l'intercetta a 0 (retta y=ax, b=0) altrimenti si cerca retta y=ax+bSe stat = VERO → visualizzo le statistiche aggiuntive, altrimenti solo i parametri a,b del fit
Risultato: calcola nel foglio Excel, i parametri a (pendenza) b (intercetta) e, se abilitate, le seguenti statistiche: errori standard su a e su b, coefficiente di determinazione, errori standadard sui dati previsti (y), ed altri dati statistici (che qui ignoriamo)
y = a · x + b
Rispetto alla linea di tendenza, REGR.LIN mi dà più informazioni statistiche e di analisi dati e riporta i risultati sul foglio excel (non solo sul grafico)
si può utilizzare anche con rette a più variabili ad es y = a·x + b·z + d con x,z variabili wow!
Distribuzione normale o gaussiana Distribuzione normale o gaussiana Distribuzione gaussianaCon media μ e deviazione standard σ
f(x)Le percentuali indicano i valori dellearee ovvero le probabilità:
68,3% tra μ – σ e μ + σ95,4% tra μ – 2σ e μ + 2σ99,7% tra μ – 3σ e μ + 3σ
34,13%
fuori da 3 sigmasolo nel 3 per mille dei casi!
0,13 %
L'area di questa curva in un intervallo dà la probabilità in un intervallo secondo la distribuzionenormale
e = 2,71828 18284 ...
e è la costante di Nepero
La ricordate? Ora vediamo un suo utilizzo pratico in un test statistico gaussiano a 2 codeper il confronto tra due misureCoda: ciascuna delle due estremità della gaussiana → valori LONTANI dalla media, valori “anomali” → a seconda dei casi da rigettare o di interesse particolare
coda dxcoda sx
Confronto tra due misure con errore: esempio di test statisticoConfronto tra due misure con errore: esempio di test statisticoVediamo il metodo in un esempio pratico (sarebbe troppo lungo spiegarne la teoria)
Pensate ad una ditta che produce due oggetti dalle dimensioni seguenti e deve verificare se sono compatibili o meno (scartando quelli incompatibili) più in generale qualsiasi misura, purché valga la distribuzione gaussiana:
x1 = 12,3 ± 0,5
x2 = 13,5 ± 0,8
errori della misuraSono compatibili?
1. Calcoliamo l'errore totale sommando in quadratura i due errori:
2. Calcoliamo la variabile statistica standard t
3. Facciamo il test a due code calcolando la probabilità di sbagliare rigettando l'ipotesi di compatibilità = area della gaussiana con eventi “nelle code”:
s=√(0,5)2+(0,8)2=0,943
t =|12,3 −13,5|
s=1,200,943
= 1,27
errore totale
variabile statistica tpiù grande èpiù sono“nella coda”
P = 1 – 2 · 0,3980 ~ 0,20 = 20 %SONO COMPATIBILI PERCHE'> 5 % (o 1 %)
questo valore è ricavato dalle tavole per t = 1,27 vedi slide tavole (o calcolato con excel)
Confronto tra due misure: esempio di test statistico (tavole)Confronto tra due misure: esempio di test statistico (tavole)
La tabella si legge guardando la riga per il valore di t fino al primo decimale, la colonna per il secondo decimale e all'intersezione si trova il valore di t corrispondente.
Si noti come per t=0 l'area è nulla → siamo nel massimo della gaussiana, per t=4 l'area è 0,5 siamo nella coda della gaussiana.
Ricavato il valore della probabilità, lo si inserisce nel calcolo del test a 2 code (vedi slide precedente)
Questa tabella è un esempio di tabella statistica standard indica l'area della gaussiana dal valore medio al valore standard t scelto.
Ho evidenziato i valori per l'esercizio precedente avevamo ottenuto
t=1,27 → P = 0,390
Si può ricavare con Excel utilizzando la
funzione DISTRIB.NORM()
impostandola per la cumulativa facendo attenzione alle diverse convenzioni utilizzate
Confronto tra due misure: altri esempiConfronto tra due misure: altri esempix
1 = 12,3 ± 0,5
x2 = 14,5 ± 0,4
Sono compatibili?
s=√(0,5)2+(0,4)2=0,640
t =|12,3 −14,5|
s=2,200,640
= 3,44
errore totale
t è grande (>3) → sono nella coda, vado a leggere in tabella per t=3,44 → trovo 0,4997
P = 1 – 2 · 0,4997 ~ 0,0006 = 0,06 % → P < 5 % (e < 1%) sono INCOMPATIBILI
x1 = 12,3 ± 0,5
x2 = 13,6 ± 0,3
Sono compatibili?
s=√(0,5)2+(0,3)2=0,583
t =|12,3 −13,6|
s=
1,30,583
= 2,23 P = 1 – 2 · 0,4871 ~ 0,0258 ~ 2,6 %
INCOMPATIBILI CON TEST A 5 % COMPATIBILI CON TEST A 1%
QUESTO CASO E' “DELICATO”le misure sono “al limite”
Attenzione: t tra 2 e 3 siamo vicini alla soglia! 2,6 % < 5% ma 2,6 % > 1%
Distribuzione esponenziale negativaDistribuzione esponenziale negativaProviamo a generare dati secondo questa formula:
- ln ( UNIFORME())
il logaritmo naturale di un numero casuale uniforme tra 0 e 1 cambiato di segno
Istogramma delle frequenze
Questa è la forma della distribuzione esponenziale negativaCome si vede questa distribuzione è
molto diversa dalla gaussiana
f(x) = e – x
Funzione di densità
media m = 1
varianza s2 = 1
f(x) = a ·e – a · x
con a > 0Più in generale la sua funzione di densità è:
UTILIZZO: statistica dei tempi di arrivoEsempio: in una strada poco trafficata transitano un certo numero di veicoli, osservato un veicolo, qual è la probabilità di osservarne un altro al tempo t? → è più probabile osservare gli eventi a “grappoli” che ad intervalli di tempo regolari (tipico problema di chi è ad uno sportello...) è molto diversa da una gaussiana!!!
Un altro modo di visualizzare i dati, utilizzando un grafico semilogaritmico
Cosi si vedono gli eventirari “in coda”
È esponenziale→ lineare con grafico semilogmedia m = 1/a
varianza s2 = 1/a2occhio al –
Distribuzione uniforme in due dimensioni (cenno)Distribuzione uniforme in due dimensioni (cenno)
Tutto ciò che abbiamo visto in questa nostra breve introduzione alla statistica e alla simulazionepuò essere generalizzato a funzioni e distribuzioni a più variabili...
NOI NON CI ADDENTRIAMO, MA SI POSSONO TRATTARE ANCHE QUESTI CASI ;-)
In generale i fenomeni sono complessi e dipendono da tante cause → funzioni di più variabili
x
y
Caso più semplice (in Excel): x = CASUALE() (ad es colonna A)
y = CASUALE() (ad es colonna B)
Scatter plot/ grafico a dispersione x-y10 000 uniformi su x · 10 000 uniformi su y
Così facendo ottengo una distribuzione uniforme IN DUE VARIABILI
Il grafico a dispersione mostra “qualitativamente” l'uniformità, si osserva un quadrato riempito in modo uniforme
E' possile generare uniformemente su un cerchio, sulla superficie di una sfera etc etc
Attenzione: questo grafico non è il grafico delle frequenze, per fare quello bisogna fare un grafico tridimensionale con altezza pari alla frequenza in opportuni intervalli bidimensionali...
