2014 ottobre Big Data per Madee 6

transcript

@webeconoscenza

Big Data

di cosa stiamo parlando

Big Data è un tormentone!

Nell’approccio ‘folkloristico’ sentiamo dire spesso:

‘i Big Data creeranno milioni di posti di lavoro!’

Ma l’Italia non è l’America!

Quando diciamo: ‘tutto ciò succederà tra poco!’ dovremmo contestualizzare: dove?

Dato e Informazione non sono sinonimi!

Il dato è un elemento conosciuto (o informazione grezza) ed è spesso costituito da simboli non ancora elaborati.

I fondamentali

L’informazione è un elemento più ricco, che deriva dall’elaborazione di più dati e che restituisce un valore, solitamente consapevolezza, comprensione dei fatti e verità.

L’informazione è il risultato di un’elaborazione dati.

I fondamentali

La CONOSCENZA è la consapevolezza e la comprensione di fatti, verità o informazioni!

Meglio ancora è l'autocoscienza del possesso di informazioni connesse tra di loro,le quali, prese singolarmente, avrebbero un valoree un'utilità inferiori.

I fondamentali

Il tutto è maggiore della somma delle sue parti! (Aristotele – l’inventore dell’approccio sistemico)

I fondamentali

Il concetto di Big Data è proprio del campo dei database:il termine indica grandi aggregazioni di dati, la cui mole richiede strumenti differenti da quelli tradizionali, in tutte le fasi del processo (dalla gestione, alla curation, passando per condivisione, analisi e visualizzazione).

(Wikipedia)

I fondamentali

Il progressivo aumento della dimensione dei dataset è legato alla necessità di analisi su un unico insieme di dati correlati rispetto a quelle che si potrebbero ottenere analizzando piccole serie con la stessa quantità totale di dati ottenendo informazioni che non si sarebbero potute ottenere sulle piccole serie.

(Wikipedia)

I fondamentali

Due termini relativamente nuovi:curation e dataset!

I fondamentali

DEFINIZIONI

http://ed.ted.com/lessons/exploration-on-the-big-data-frontier-tim-smith/

I Big Data sono l'elemento fondamentale per la creazione di nuovi livelli di valore per il business. Grazie a storage integrato, analisi e applicazioni, i Big Data contribuiscono a migliorare efficienza, qualità, prodotti e servizi personalizzati, producendo livelli più elevati di soddisfazione ed esperienza del cliente. (EMC2)

DEFINIZIONI

I Big Data sono la grande, enorme massa di dati di cui dispongono oggi le aziende, che costituiscono un problema se non utilizzati o usati poco o male, ma che possono trasformarsi in una formidabile opportunità quando vengono sfruttati nel modo corretto. (SAS)

DEFINIZIONI

Le aziende sono sommerse di dati più che mai. L’informazione che può fare la differenza per il vostro business è nascosta in questa mole di dati. L’analisi dei Big Data, vi aiuterà a trasformare i vostri dati, apparentemente senza significato e sconnessi tra di loro, in informazioni utili creando il vantaggio competitivo. (R. Jacobs).

DEFINIZIONI

http://youtu.be/7D1CQ_LOizA/

DEFINIZIONI

Hot on the heels of Web 2.0 and cloud computing, Big Data may well be the Next Big Thing in the IT world. Whereas Web 2.0 links people and things online, and cloud computing is about the transition to an online computing infrastructure, Big Data generates value ……… (CONTINUA)

http://www.explainingcomputers.com/big_data.html/

Oggi le aziende devono essere in grado di utilizzare pienamente tutte le loro risorse di dati.

Purtroppo i dati non strutturati vengono integrati in quelli strutturati o, molto spesso, nemmeno soggetti a raccolta e tantomeno a conservazione.

RIFLESSIONI

Flusso:

- collezione e memorizzazione dei dati- classificazione dei dati per categorie- analisi e trasformazione dei dati- generazione di risultati

RIFLESSIONI

L'aumento del volume, velocità e varietà dei dati spesso supera la reale capacità delle aziende di gestirli ed elaborarli con efficacia nei tempi utili. Una complessità che rende difficile far fronte alle sempre più urgenti e crescenti esigenze del business.

Il paradigma delle 3V riassume l'impatto dei big data sulle aziende (SAS)

RIFLESSIONI

3V = le proprietà dei Big Data

Volume: la mole di dati, spesso destrutturati, aumenta in maniera esponenziale. Diventa sempre più difficile individuare per tempo quelli a maggior valore per il business (Brontobyte?). Varietà: la tipologia di dati non è più uniforme e legata solo ai sistemi legacy. Ci troviamo di fronte a dati in formato testuale, audio, video, streaming, provenienti da blog, web e social network (social-unstructured-data > enterprise-structured-data).

Velocità: i dati vengono prodotti con una velocità e frequenza sempre maggiore. Il "time to decision" richiesto all'IT si sta riducendo sempre di più. La sfida è quella di riuscire a gestire ed elaborare informazioni in tempi sempre più rapidi.

+ Valore o Veridicità: i modelli analitici sono sempre più complessi e impongono capacità elaborative fino a poco tempo fa impensabili. Diventa determinante sapere individuare i dati a valore rispetto agli altri .

RIFLESSIONI

Nel 2000 il 75% delle informazioni era raccolto sulla carta, sulla plastica magnetica, su altri supporti analogici e solo il 25% era in digitale.

Nel 2013, l’analogico è ridotto al 2% mentre il 98% delle informazioni è registrato in digitale.

Lo dice Martin Hilbert, Annenberg School for Communication and Journalism, della università della Califonia del Sud.

http://blog.debiase.com/2013/09/big-data-the-book/

RIFLESSIONI

Le decisioni che un’organizzazione deve prendere, oggi possono (o meglio devono) essere basate anche sui feedback dei clienti, sui report di stato, sulle valutazioni delle prestazioni e non solo sui dati demografici e operativi.

SUGGESTIONI

- ascoltare- capire- rielaborare- visualizzare

MOLTI VANTAGGI PER LE AZIENDE SONO DUNQUE CONSEGUENZA DIRETTA DELLA LORO CAPACITA’ DI PREDIZIONE

SUGGESTIONI

L'analisi dei dati è un processo di ispezione, pulizia, trasformazione e modellazione di dati con il fine di evidenziare informazioni che suggeriscano conclusioni e supportino le decisioni strategiche aziendali.

http://it.wikipedia.org/wiki/Analisi_dei_dati

L'analisi predittiva permette alle aziende (o meglio alle organizzazioni) di capire cosa succederà nel futuro e reagire di conseguenza.

Prevedendo cosa accadrà nel futuro si potranno pianificare e portare avanti strategie che supportino e migliorino il processo decisionale.

Data Mining: con l’ausilio delle tecnologie) è il processo di estrazione di conoscenza da banche dati di grandi dimensioni tramite l’applicazione di algoritmi che individuano le associazioni “nascoste” tra le informazioni e le rendono visibili. Viene anche detto: ‘Knowledge Discovery in Databases’ (KDD)

La statistica viene tradizionalmente considerata un’analisi primaria (sperimentale) dei dati raccolti per verificare ipotesi specifiche. La statistica viene quindi classificata come un’analisi (confermativa) condotta dall’alto, una verifica o valutazione d’ipotesi

Il data mining è considerato generalmente come un tipo di analisi secondaria (osservazionale) dei dati raccolti per altre ragioni. Il DM viene quindi classificato come analisi (esplorativa) condotta dal basso, un processo di generazione d’ipotesi e di conoscenze (knowledge discovery).

http://www.slideshare.net/duccioschiavon/data-mining-e-open-data/

Che cosa "non è" data mining? - cercare un numero di telefono nell'elenco; - fare una ricerca web su "vacanze in America".

Che cosa "è" data mining?- scoprire che alcuni cognomi sono molto comuni in certe aree dell'Italia; - fare una ricerca nel web su una parola chiave e classificare i documenti trovati secondo un criterio semantico; - scoprire le relazioni tra tipi di clienti e certi prodotti o campagne pubblicitarie.

http://www.slideshare.net/andreafrison93/big-data-data-mining-35523413/

L’analisi predittiva attraverso la Sentiment Analysis prevede l’analisi qualitativa delle conversazioni in rete e mira a comprendere lo stato d’animo degli utenti rispetto un particolare brand, prodotto, tema, servizio. Viene anche detta: ‘Opinion Mining’

http://vincos.it/2012/08/30/cose-la-sentiment-analysis/ Video:

Prendendo in esame le conversazioni degli utenti nei diversi spazi della rete (blog, forum, social network) si può determinare come è percepito e considerato un determinato brand o prodotto e orientare le strategie di comunicazione future di conseguenza aqueste analisi.

http://hedonometer.org/index.html

Sentiment analysys

http://www.blogsvoices.unimi.it/

Sentiment analysys

di quali dati stiamo parlando

I dati sono solo numeri?

- quanti utenti per quel servizio- quanto prodotti venduti in quel luogo- quante chiamate al call-center per assistenza- ecc.

non solo ….

E il perimetro di riferimento, grazie alla consumerization, diventa più ampio!

E con il mobilediventa infinito!

Social media e consumerization cambiano tutto!

http://onesecond.designly.com/

Esempio: digital advertising

Se fino ad oggi il digital advertising era una pratica approssimativa e spesso si procedeva per tentativi, nell’ultimo decennio si è evoluto in un metodo scientifico che permette di realizzare campagne personalizzate per un pubblico targettizzato.

Ogni azienda dispone ormai di enormi quantità di dati relativi ai propri clienti: da quelli delle transazioni raccolti quando un cliente acquista un prodotto online o in store, a quelli acquisiti nel momento in cui un cliente contatta il call center. Per non parlare poi dei dati raccolti dalle newsletter, dalle email, da mobile, ecc.

Questi dati rappresentano una fonte preziosissima di informazioni e costituiscono il punto di partenza per conoscere a fondo e meglio il proprio pubblico/target. Dunque basta capire come poter gestire le informazioni che si hanno a disposizione al fine di ottimizzarle e allinearle agli obiettivi di business per ottenere il miglior ritorno possibile.

L’esempio di Turn, piattaforma leader nel cloud marketing, permette di riassumere l’intero processo fornendo cinque linee guida utili a capire chi sono gli utenti con cui si sta interagendo e come rapportarsi con loro non perdendo d’occhio l’obiettivo finale di intraprendere campagne di successo e replicabili.

http://www.turn.com/why-turn/#technology/

1. La consapevolezza: prendere atto dei dati di cui si dispone

2. La struttura: creare un ritratto completo del pubblico3. La strategia: coinvolgere il pubblico con una

comunicazione mirata4. La replicabilità: ampliare il mercato attraverso un

modello Lookalike (la funzione Lookalike analizza i dati dei profili caricati come Custom Audience e identifica altri profili simili a quelli

presenti e, quindi, potenziali clienti)5. La conclusione: analizzare, ottimizzare, ripetere

Link da leggere: http://tinyurl.com/BDPIONERO/

Esempio: LAPD ‘Minority Report’Il Dipartimento di polizia di Los Angeles (LAPD) utilizza i Big Data per censire le aree dove sono stati commessi i crimini e prevedere in quali zone potrebbero verificarsi altreAzioni criminose.

I risultati sono sorprendenti:- 33% di furti, - 21% di crimini violenti- 12% in reati contro la proprietànelle zone in cui viene utilizzato il software predittivo

http://www.bigdata-startups.com/BigData-startup/los-angeles-police-department-predicts-fights-crime-big-data/

Esempio: @WalmartLabs

http://www.walmartlabs.com/category/bigdata/

Esempio: @WalmartLabs

http://www.internetretailer.com/2012/10/31/wal-marts-online-marketing-technology-gets-mup-date/

The retailer also uses Mupd8 to collect video, images, location information and status updates from social media streams to determine which trending products it should carry in stores or feature in online marketing, Wal-Mart says. For example, the retailer noticed that social chatter aboutTakis tortilla chips was growing insome states, which influenced its decision to stock those chips in nearby stores, it says. So far Wal-Mart is using Mupd8 in more than a dozen projects, processing more than 300 million status updates per day, it says.

Esempio: Tesco Loyalty into Royalties

Il colosso britannico Tesco utilizza un sistema di monitoraggio delle abitudini di acquisto dei clienti che misura l’efficacia delle offerte speciali.

L’analisi sulle preferenze dei clienti ha permesso alle aziende fornitrici di comprenderne meglio i bisogni dei clienti, migliorare le azioni di marketing ed ottimizzare futuri prodotti.

Il tutto ha generato un risparmio di 16 milioni di sterline all’anno.

http://dataconomy.com/tesco-pioneers-big-data/

Esempio: Vite.netBig Data per l’ottimizzazione dei vigneti. Soluzione Horta (spin-off università di Piacenza)

http://www.horta-srl.com/nqcontent.cfm?a_id=11663/

Si tratta di un sistema di supporto alle decisioni basatosu una rete agrometeorologica e un database in gradodi archiviare i dati meteo e le informazioni agronomiche di ogni vigneto.

I dati vengono raccolti da raccolti da sensori distribuitifra i filari e non solo.

Una volta raccolti i dati, questi vengono analizzati da specifici algoritmi matematici e confrontati con i pareri degli esperti in modo da garantire un sistema previsionale su come gestire al meglio le coltivazioni. Si analizzano: insetti, malattie, pioggia, trattamenti, stress termici, ecc.

Ovviamente il tutto è fruibile su smartphone, tablet e pc.

Esempio: Vite.net

Esempi: SDA casi di eccellenza

Lezione per le imprese

I Big Data aiutano

• ad accelerare il marketing

• favorire la fidelizzazione con l’utente

Cosa serve?

• Capacità di raccogliere dati

• Capacità di organizzare dati

• Capacità di analizzare dati

• Capacità di reagire a ciò che i dati dicono

E tutto ciò si fa ANCHE con le tecnologie, ma non SOLO!

Campi applicativi

Chi vincerà?Chi saprà integrare dati strutturati e non strutturati e coordinarli/organizzarli per favorire un miglioramento/cambiamento

Tecnologie

Dove stanno i dati?

Chi è obbligato a raccoglieri?

Perchè tenere anche quelli non obbligatori?

UNICA CERTEZZA: I DATI CRESCERANNO SEMPRE E DA QUALCHE PARTE VANNO RACCOLTI

• Costi (storage costa meno ma ne serve di più)

• Servono spazi per i data center …. CLOUD ECONOMY!

• Nuove tecnologie come I dischi SSD ….

• Consumi di energia?

Tecnologie

Lezione per tuttiMi serve un dato:

- Ho archiviato tutto per bene e ho un sacco di storage, ma quel dato che cerco non riesco a trovarlo;

- Non basta disporre di tecnologie, spazi e strumenti, è necessario agevolare la ricerca e per poterlo fare bisogna ripensare i modelli stessi di ricerca in funzione di quello che fa il consumatore e non a quello che fanno le aziende;

- Google è nato per questo. O no?

Lezione per la PA

La Pubblica Amministrazione raccoglie datiLa Pubblica Amministrazione gestisce datiLa Pubblica Amministrazione produce dati

Un recente studio sulla sanità americana ci spiega che l’intero settore potrebbe beneficiare significativamente dell’uso dei Big Data e della loro definizione a livello di gestione e controllo, migliorando l’efficienza del sistema, ma anche di ricerca e sviluppo, incrementando la qualità di cure e medicinali. Si stima che, nel 2018, la spesa sanitaria USA toccherà la cifra incredibile di 4.400 miliardi di dollari ma l’8% di essi (352 milioni!) potrebbero essere risparmiati grazie ad un controllo degli sprechi.

http://www.beantech.it/blog/articoli/big-data-definizione-esempi/

Lezione per la PALa Swedish Tax Agency, grazie all’incrocio delle informazioni suicontribuenti, riesce a inviare ai cittadini un modulo delle imposte già compilato.

Ai contribuenti spetta così il solo onere di confermare o modificarele informazioni via web o SMS.

http://www.ilsole24ore.com/art/SoleOnLine4/Tecnologia%20e%20Business/2009/04/tasse-via-cellulare.shtml

Telecom contest: http://www.telecomitalia.com/tit/it/bigdatachallenge/contest/finalisti.html/

Bando MIUR: http://startup.miur.it/bigdata/

Bando Regione Piemonte: http://www.regione.piemonte.it/bandipiemonte/appl/dettaglio_bando_front.php?id_bando=322

Analytics As A Service: http://www.forbes.com/sites/oracle/2014/09/26/the-road-to-analytics-as-a-service/

Nuovi mestieriA data scientist is somebody who is inquisitive, who can stare at data and spot trends. It's almost like a Renaissance individual who really wants to learn and bring change to an organization. (IBM)

Analisi dei fatti (Big Data e giornalismo)

https://www.youtube.com/watch?v=1cSKVrstsJY/

Esempio: datainterfaces

http://www.datainterfaces.org/

Esempio: i forconi a Torino

http://www.datainterfaces.org/2014/03/protest-maps/

http://www.linkalab.it/it/articles/big-data-e-giornalismo-con-rainews

Al giornalista potrebbero interessare gli Open Data come elemento pubblico e gratuito e già disponibile nel grande universo dei Big Data.

Con gli Open Data a supporto per le inchieste giornalistiche si potrebbero tracciare molti flussi di denaro pubblici.Il decreto sulla Trasparenza obbliga le Amministrazioni pubbliche a creare portali ad hoc per la diffusione dei dati, la maggior parte delle volte offerti in formato excel e/o pdf non di immediata interpretazione e utilità.

Il giornalista deve accettare una nuova sfida, ovvero imparare a decifrare i dati, confrontarli, leggerli in modo scientifico e al tempo stesso critico per poi diffondere informazioni ai cittadini che abbiano alla base il dato come origine e supporto al fatto!

I numeri nascondono potenzialità incredibili. Essi raccontano una realtà diversa, oggettiva anche se al tempo stessopuò sembrare asettica nella sua purezza.

Un giornalistica con il camice bianco.Un po’ tecnocrate e un po’ statistico è la sfida che lo aspetta per i prossimiAnni.

Il primo approccio a questo nuovo Scenario è indubbiamente l’uso massiccio di infografiche che ormai diventano il complemento naturale di ogni inchiesta.

Le infografiche assolvono al delicato compito di rendere la complessità e la crudezza dei numeri valore.

Le infografiche trasformano i numeriin concetti semplici e fruibili a tutti.

http://www.theguardian.com/guardian-masterclasses/an-introduction-to-visualising-data-adam-frost-tobias-sturt-course

Non solo rose e fiori …..

http://fivethirtyeight.com/

Si tratta di un cambiamento nella pragmatica della conoscenza. I dati sono più numerosi, facili da trovare e meno costosi da archiviare. La fine della scarsità dei dati non riduce il rispetto del loro significato e non annulla la necessità di una profonda consapevolezza epistemologica. Ma certamente favorisce una pratica della sperimentazione matematica alla ricerca di pattern emergenti e correlazioni, piuttosto che un ricorso all’approccio basato sui campioni statistici, le ipotesi causali a priori, le teorie in attesa di verifica. «Meno why e più what».

Si tratta di un cambiamento economico, perché lo sfruttamento dei giacimenti di dati è un grande valore per le mega compagnie che li raccolgono ma anche per le startup che ne individuano nuovi utilizzi.

http://blog.debiase.com/2013/09/big-data-the-book/

Conclusioni

Big Data non è più una novità, una buzz, un fenomeno del contesto IT. In Italia, pur essendo ancora una novità per molti, offre scenari e suggestioni per potenziali utilizzi in ogni campo:

• La tecnologia (sotware per l’analisi, hardware per lo storage, ecc.) sta evolvendo rapidamente in modo da facilitare l’analisi e la ricerca sui grandi basi di dati

• Il cittadino/utente deve valutare i servizi a cui può avere accesso sacrificando parte della privacy e aumentando il livello di profilazione

• La Pubblica Amministrazione deve vigilare sugli abusi a cui può condurre la divulgazione di informazioni personali

• Chi sfrutta i Big Data, ne trae profitto, a tutti i livelli.

Link di approfondimento:

http://vincos.it/2013/08/20/conversando-di-big-data-su-radio3-scienza/

http://www.tomshw.it/cont/articolo/big-data-diversi-modi-per-tradurre-analytics-in-risultati-di-business/49919/1.html

http://h30565.www3.hp.com/t5/Primo-Piano/Big-Data-cosa-sono-perch%C3%A9-sono-importanti-e-perch%C3%A9-occorre/ba-p/6404?profile.language=it

http://www.pionero.it/2013/09/05/big-data-per-raggiungere-il-pubblico-giusto-da-turn-le-5-mosse-per-una-campagna-digital-advertisin-di-successo/

http://www.repubblica.it/tecnologia/2014/03/29/news/turismo_tempi_big_data-82212933/

Grazie

@webeconoscenza http://www.gigicogo.it

2014 ottobre Big Data per Madee 6

Technology