Date post: | 02-May-2015 |
Category: |
Documents |
Upload: | vanna-molteni |
View: | 215 times |
Download: | 0 times |
Business IntelligenceDai dati alle decisioni
Modulo 4Come reperire e trattare i dati
Sono sbalordito dalla gente che vuole conoscere l'universo, quando è già abbastanza difficile non perdersi nel quartiere cinese. (Woody Allen)
Architettura e ruolo di un data warehouse
Vediamo lo schema concettuale di un data warehouse:
William H. Inmon, il primo a parlare esplicitamente di data warehouse,lo definisce come una raccolta di dati integrata, orientata al soggetto, variabile nel tempo e non volatile di supporto ai processi decisionali.
Metadati Logistic
a
Marketing
Analisi delle
prestazioni
Dati esterni
Sistemi Transazionali
Strumenti
ETLOLAP
Analisi dei cubiAnalisi esplorativa serie storiche Dataminingottimizzazione
Datawarehouse
Bilancio
ERPCRM
Funzioni per manipolare il testo in Excel
DESTRA
SINISTRA
LUNGHEZZA
STRINGA.ESTRAI
Datawarehouse
Per DATA WAREHOUSE si intende un “magazzino dati” che contiene tutte le informazioni passate di una azienda.Tali informazioni devono essere immagazzinate in un database disegnato per favorire efficienti analisi dei dati e reporting dei dati e, usualmente,non per gestire dati correnti.
Questi “magazzini”, conservano grandi quantità di dati che vengono solitamente suddivise in unità logiche più piccole, chiamati DATA MART, che sono i database che poi vengono utilizzati dai vari utenti aziendali.
Il datawarehouse è quindi un database dove confluiscono tutte le informazioni aziendali e che attraverso tecniche olap vengono messe insieme per creare un punto unico dove andare a reperire le informazioni.
Le fonti di questi dati sono solitamente i sistemi transazionali come ad esempio i sistemi ERP e CRM, e i dati esterni che possono essere conloro integrati.
Architettura e ruolo di un data warehouse
ERP = Enterprise Resource PlaningCRM = Customer Relationship Mnagment
Datawarehouse
Riassumendo:
Concettualmente
Formalmente
Architettura e ruolo di un data warehouse
Il data warehouse è una casa per i dati di “seconda mano” generati da tutte quelle attività usuali dell’azienda, o appositamente ricercate
Il data warehouse è un archivio stand-alone (repository) di informazioni integrate da tutti i database aziendali.
…dal DATA WAREHOUSE dobbiamo ottenere dei cubi dati da poter
analizzare con le tecniche tipiche della Business Intelligence.
Cubo dati OLAP
OLAP
Cubo Dati
Architettura di un cubo OLAP
Stringhe (Record) multidimensionali di dati.
I record di dati sono indicizzati da elementi (Periodi, Prodotti,…) , costituiti non da numeri.
OLAP
Architettura di un cubo OLAP
I benefici della tecnologia OLAP Mostra come i risultati sono funzione dei diversi
indici di prestazioni (Key Drivers).
Dare la possibilità agli utenti di creare i loro
propri record.
Scegliere il livello di dettaglio che si vuol vedere.
Navigando all’interno del database OLAP da la
sensazione della dinamicità del business
OLAP
Architettura di un cubo OLAP
Alchimia dell’Analisi L’utilizzo della Business Intelligence non è solo un
software.
L’utilizzo della Business Intelligence deve anche
includere la conoscenza della progettazione delle
misure e la comprensione dei processi analitici di
pertinenza delle varie funzioni aziendali.
Ci sono tecniche e strategie per disegnare
(progettare) misure OLAP.
OLAP
Architettura di un cubo OLAP
Elementi di Analisi Le classiche applicazioni di Business Intelligence
nei cubi OLAP.
Attributi di suddivisione.
Dimensionamento dei profili.
Conteggio delle misure
Manipolazione della misura tempo (periodo).
Altro…
Modulo DatabaseCome immagazzinare i dati
La sisumanità del computer sta nel fatto che, una volta programmato e messo in funzione, si comporta in maniera perfettamente onesta . (Isaac Asimov)
Database
Tabelle - insieme di record e campi che si identificano con le entità del database.
Relazioni (o join) - Sono le relazioni tra più tabelle che permettono di associare campi di tabelle diverse ad uno stesso record. Si possono suddividere in tre tipologie.
• Uno a uno - Se ad ogni elemento di una entità di una tabella può corrispondere una ed una sola delle entità di un’altra tabella. • Es. Nazione 1_________1 Capitale
• Uno a molti- Se ad ogni elemento di una entità di una tabella possono corrispondere più elementi e a quest’ultima tabella possiamo associare solo un elemento della prima. • Es. Squadra di calcio 1_________∞ Calciatore
• Molti a molti- Se ad ogni elemento di una entità possiamo far corrispondere più elementi di un’altra tabella e viceversa. • Es. Autore ∞_________∞ Libro
Architettura di un database
Database
Query – una tabella che rappresenta una selezione delle informazioni della tabella principale che risponde a particolari richieste (vincoli o filtri).
Maschere – utilizzato per immettere, modificare e visualizzare record di dati disposti in un layout personalizzato.
Report – per stampare i record disposti in un layout personalizzato. Un report può essere utilizzato per raggruppare record e per visualizzare i totali parziali e i totali complessivi dell’intero report.
Architettura di un database
Modulo 5Customer Profiling e Data Mining
Togli la causa e l’effetto sparirà. (Miguel De Cervantes)
Customer Profiling
Sistema informativo in grado di fornire, per ogni singolo cliente, un dettaglio del suo comportamento d’acquisto attuale e atteso.
Siamo identificati attraverso la transazione.
BANCA N. CONTOASSICURAZIONE N. POLIZZACASA EDITRICEN.ABBONAMENTOGAS N. CONTATORETELEFONO N. TELEFONO
TRANSAZIONE
Customer Profiling
Avere come obbiettivo il monitoraggio della transazione è un sistema naturale di controllo se vogliamo aumentare l’efficienza della PRODUZIONE e/o DISTRIBUZIONE, ma se l’obbiettivo è riconoscere, soddisfare e mantenere fedele il cliente dobbiamo cambiare punto di vista.
Rapporto personale e sulla relazione.
METODI DI ESPOSIZIONE DEI PRODOTTI
TESSERE FEDELTÀRELAZIONE
Struttura di un sistema di customer profiling
Le informazioni di cui un’azienda può disporre sono descrittive e comportamentali.
Tali informazioni sono solitamente disponibili sui sistemi amministrativi e vanno quindi integrati aumentando l’interattività tra azienda e cliente.
Struttura di un sistema di customer profiling
Persone
Programmi
Premio
Aziende
dati anagraficisocio-economicisocio-demografici settore
dimensionelocalizzazione
comportamento di acquisto
comportamento d’uso
descrittive
descrittive
comportamentali
Struttura di un sistema di customer profiling
Esempio Transazioni in banca.
N. transaz.
Cliente
Conto 1 20 A
Conto 2 5 B
Conto 3 5 C
Conto 4 10 B
Conto 5 5 B
Conto 6 5 B
20 transazione a settimana
10 transazione a settimana
5 transazione a settimana
Focus sul Cliente
B
A
C
Focus sulla
transazione
Struttura di un sistema di customer profiling
Bisogna quindi pensare a degli indici predittivi del comportamento futuro.
Lufthansa Audi Vailant
Indici predittivi
Indice della probabilità di abbandono
Indice del valore attuale netto
Indice della probabilità di frode e morosità
Indice della probabilità di acquisto
- Telefonia
- Quattroruot
e
- Finanziame
nti
- Amazon
Indici predittivi probabilità di
abbandono valore attuale netto probabilità di frode probabilità di acquisto
Tali indici vengono calcolati utilizzando come base il comportamento in un particolare periodo trascorso e applicando degli algoritmi di DATA MINING
DATI STORICI + ESEMPI GIA’ NOTI =
MODELLI PREVISIONALI
Si parte quindi dai dati storici che utilizziamo per trovare indici applicabili ai nuovi dati.
Possiamo così classificare
Direct Marketing
Punti Vendita Venditori
efficacia Customer Services
Agentiper l’effettivo potenziale affidato
Esempio di Customer Profiling
Reddito
Deb
ito
Concediamo il prestito al cliente?debito pagato
debito non pagato
Esempio di Customer Profiling
Dobbiamo cercare un modello (DATA MINING) che mi possa “assistere” alla decisione:
- Media
- Iperpiano
- Iperpiani paralleli
- Clustering
s
If (red < s)Then (“debito non pagato”)
sIf (a red + b red < s)Then (“debito non pagato”)
b
a
(Non Supervisionato)
(Non Supervisionato)
(Supervisionato)
(Supervisionato)
Data MiningSi stima che ogni 1.100 giorni, nel
mondo, raddoppiano le
informazioni memorizzate in
formato elettronico
I dati restano semplici dati finché non
vengono gestiti, ossia organizzati
in maniera significativa
Se da un lato le aziende hanno a
disposizione un’enorme
quantità di dati, dall’altro risulta
sempre più difficile districarsi tra informazioni
rilevanti e superflue.
Il Data Mining si pone come
processo che impiego più
tecniche computerizzate
per l’analisi automatica
e”l’estrazione di conoscenze”
Data Mining
Il DATA MINING si pone come processo di selezione, esplorazione e modellazione di grosse masse di dati, al fine di scoprire strutture, regolarità o relazioni non note a priori, e allo scopo di ottenere un risultato chiaro e utile al proprietario del database.
Le regole statistiche tradizionali di analisi dei dati (ad esempio la regressione) vengono utilizzate per cercare conferma a fatti che l’utente ipotizza o già conosce. Se il database è molto grande non si riesce ad avere una visione completa da cui estrapolare una regolarità e simmetrie.
L’idea è che tali strutture non sfuggano ad una elaborazione automatica.
Tra le tecniche più diffuse troviamo: Clustering Reti Neurali Reti Bayesiane Alberi di decisioni Apprendimento genetico Analisi delle associazioni
Tutte le tecniche comprendo metodi e algoritmi.
Clustering con l’algoritmo k-meansData Mining
Tecniche di Data
Mining
Supervisionate
Reti Neurali
Reti Bayesiane
Alberi di decisioniAnalisi delle
associazioni
Non-Supervision
ateClustering
Clustering con l’algoritmo k-meansData Mining
Clustering (tecnica di Cluster Analysis)
Esempio – Metodo k-means (k-medie)
metodo partizionante
ALGORITMO K-
MEANS
k-clusterrecord
INPUT OUTPUTkfunzione di media metrica
Clustering (tecnica di Cluster Analysis)
1. Scegliere un valore k=numero di cluster da determinare.
2. Scegliere in modo casuale k dati del detaset che saranno i (bari)centri del cluster.
ALGORITMO K-
MEANS
k-clusterrecord
INPUT OUTPUTkfunzione di media metrica
Clustering (tecnica di Cluster Analysis)
3. Definire una metrica per calcolare la distanza dei punti dai centri.
4. Calcolare la media per ogni cluster.
ALGORITMO K-
MEANS
k-clusterrecord
INPUT OUTPUTkfunzione di media metrica
Clustering (tecnica di Cluster Analysis)
5. Se le nuove medie sono identiche a quelle precedenti il processo termina; altrimenti utilizzare le nuove medie come centri dei cluster e ripetere i passi da 3. a 5.
Solitamente si preferisce fermarsi quando siamo arrivati ad un errore quadratico predefinito.
ALGORITMO K-
MEANS
k-clusterrecord
INPUT OUTPUT
Clustering (tecnica di Cluster Analysis)
Esempio su Excel
Algoritmi di Classificazione
Valutati da• Velocità• Robustezza
• Scalabilità• Interoperabilità
Esempi di alberi di classificazione
ALBERO BINARIO ALBERO GENERICO
Accetta Comunicazione
Età Zona di residenza
SI NO ≤45 >45 Nord Centro Sud Isole
Algoritmi di Classificazione
Esempio di rete neurale
Vettore di Input
Vettore di Outputx1
x2
xn-1
xn
…
f(x)
Nodo di
OutputNodi di
Input
Nodi Nascos
tiesempio…
Metodi Bayesiani di classificazione
Metodo di Bayes è un metodo di inferenza statistica utilizzato per il calcolo delle probabilità a posteriori.
Questi metodi hanno il vantaggio di giungere a descrizioni razionali anche quando non vi sono abbastanza informazioni.
Esempio Banale - zona di residenza
Esempio Complesso -
Esempio di probabilità a posteriori (probabilità a posteriori)
A Londra in inverno piove nel 50% dei casi.
A Londra è nuvoloso nell’80% dei casi
A Londra, quando piove è nuvoloso (100% dei casi)
Oggi a Londra è nuvoloso, che probabilità c’è che stia piovendo?
Algoritmi di Classificazione
Regola di Bayes(Teorema di Bayes)
Ci sono 5 probabilità su 8 che a Londra
piova!