Opendata, Datasharing, Linked Open Data, Big Data

transcript

"Il fatto imbarazzante è che io la frase la penso giusta, solo che esce smontata.

Se me ne accorgessi per tempo, basterebbe tenere la bocca chiusa. Invece quella si apre, e mi rovina la reputazione."

Alessandro Capezzuoli

L’ironia è una dichiarazione di dignità. È l’affermazione della superiorità dell’essere umano su quello che gli capita.

Romain Gary

Datasharing, www, hyperlink, Semantic Web, Opendata, Linked Open Data

Vorrei un chilo di dati freschi.

Sò un chilo e mezzo.

Che faccio? Lascio?

Se tu hai una mela, e io ho una mela, e ce le scambiamo,

allora tu ed io abbiamo sempre

una mela per uno. Ma se tu hai

un'idea, ed io ho un'idea, e ce le

scambiamo, allora abbiamo entrambi

due idee.(George Bernard

«Se tu hai un dato ed io ho un dato, e ce li scambiamo, tutti hanno due dati»

www, c’era una volta un inizio.

…in principio era vuvuvu

Il modello OSI (Open System Interconnection)

il modello OSI è un modello che prevede 7 livelli, mentre il modelli TCP/IP ne prevede solo 4. In realtà, il modello TCP/IP è stato sviluppato quasi nello stesso momento del modello OSI, ed è la ragione per cui ci si ispira ma non è totalmente conforme alle specifiche del modello OSI. I livelli del modello OSI sono i seguenti :

Il livello fisico definisce il modo in cui di dati sono fisicamente convertiti in segnali digitali sui media di comunicazione (impulsi elettrici, modulazioni della luce, ecc.)

Il livello collegamento dati definisce l'interfaccia con la scheda di rete e la condivisione del media di trasmissione.

Il livello rete permette di gestire l'indirizzamento e il routing dei dati, cioè il loro invio tramite la rete.

Il livello trasporto è incaricato del trasporto dei dati, della loro divisione in pacchetti e della gestione degli eventuali errori di trasmissione.

Il livello sessione definisce l'apertura e la distruzione delle sessioni di comunicazione tra i terminali di rete.

Il livello presentazione definisce il formato dei dati manipolato dal livello applicativo (loro rappresentazione, eventualmente loro compressione e loro codifica) indipendentemente dal sistema.

Il livello applicazione assicura l'interfaccia con le applicazioni. Si tratta quindi del livello più vicino agli utenti, gestito direttamente da alcuni software.

TCP/IP (4 livelli OSI) non garantisce la consegna dei pacchetti tra il trasmittente e il ricevente.

PROBABILITA’ CHE I PACCHETTI ARRIVINO:Po’ esse, nun po’ esse, po’ esse che sì, po’ esse che no

Condividere dati senza fatica

Quando la necessità aguzza l’ingegno…

TIM BERNERS LEE, 1990

hypertext markup language

Libertà è partecipazione(Giorgio Gaber)

Spesso la gente non ha le emozioni chiare,

altro che le idee.

Diego De Silva

AI LINK MANCA LA SEMNATICA

Agli hyperlink manca la semantica. E a voi?

DOVE SONO I DATICHE MI SERVONO?

La risposta è dentro di te, ma purtroppo è sbajata!

Elena vedi, per cui tanto reotempo si volse, e vedi 'l grande Achille,che con amore al fine combatteo.Vedi Parìs, Tristano; e più di milleombre mostrommi e nominommi a dito,ch'amor di nostra vita dipartille.

Poscia ch'io ebbi il mio dottore uditonomar le donne antiche e' cavalieri,pietà mi giunse, e fui quasi smarrito.

I' cominciai: "Poeta, volontieriparlerei a quei due che 'nsieme vanno,e paion sì al vento esser leggeri".Ed elli a me: "Vedrai quando sarannopiù presso a noi; e tu allor li priegaper quello amor che i mena, ed ei verranno".

Sì tosto come il vento a noi li piega,mossi la voce: "O anime affannate,venite a noi parlar, s'altri nol niega!".Quali colombe dal disio chiamatecon l'ali alzate e ferme al dolce nidovegnon per l'aere dal voler portate;

«LE COSE CHE NON SI SANNO, NON

SONO.»Leonardo Sciascia

Conterò poco, è vero: - diceva l'Uno ar Zero - ma tu che vali? Gnente: propio gnente.Sia ne l'azzione come ner pensierorimani un coso voto e inconcrudente.lo, invece, se me metto a capofilade cinque zeri tale e quale a te, lo sai quanto divento? Centomila. È questione de nummeri. A un dipressoè quello che succede ar dittatore che cresce de potenza e de valore più so' li zeri che je vanno appresso.

Trilussa - 1944

www, si dice vuvuvu

Poi dissero: «Venite, costruiamoci una città e una torre, la cui cima tocchi il cielo e facciamoci un nome, per non disperderci su tutta la terra»

Perché le pupille abituate a copiare inventino i mondi sui quali guardare

Ontologia = «Discorso sull’essere»

Ontologia = Schema concettualeLINKED OPEN DATA

SoggettoPredicato Oggetto

URI =>Hyperlink

URI, uniform resource identifierUn URI identifica univocamente un contenuto su Internet, un file di testo, un’immagine, un video, un programma o quanto altro. Lo schema generale di URI:

· descrive il meccanismo da usare per accedere alla risorsa

· specifica in quale computer la risorsa può essere trovata

· specifica il percorso all’interno del computer e il nome della risorsa.

Un URL (Uniform Resource Locator) è un indirizzo unico che identifica univocamente una risorsa (pagine html, file, immagini e quant’altro) su Internet. Un URL, considerato anche una sottoclasse degli URI, è un URI nel quale si conosce il protocollo per recuperare una risorsa sul web.

http://www.prefettura.it/roma/multidip/index.htm

ftp://www.prefettura.it/milano/multidip/index.htm

telnet://www.prefettura.it/napoli/multidip/index.htm

RDF (Resource Description Framework) : TRIPLETTA

Soggetto - Predicato - Oggetto

Si supponga di voler serializzare la frase

Soggetto : «Goethe»Predicato: «è_autore_di»Oggetto: «le_affinita_elettive»

il risultato in RDF/XML sarà:

<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:au="http://description.org/schema/"> <rdf:Description about="http://www.book.it/le_affinita_elettive/">

<au:author>Goethe</au:author> </rdf:Description> </rdf:RDF>

C'avete fatto caso che, se a una cosa che non c'avevate fatto mai caso, ve ce fanno fà caso,

poi ce fate sempre caso? Fatece caso.

DatiServizi

Pubblicazioni

ItaliaProvinciaRegioneComuneSez. di cens.to

LavoroIstruzioneSalutePopolazione

HTML (senza microdati)

<div>Mi chiamo Alessandro Capezzuoli. Abito a Roma nel Lazio, sono un fisico e lavoro in ambito

informatico </div>

HTML (con i microdati)

<div itemscope itemtype="http://schema.org/Person">Mi chiamo

<span itemprop="name">Alessandro Capezzuoli</span>. <span itemprop="address" itemscope

itemtype="http://schema.org/Address">Abito a

<span itemprop="locality">Roma</span> nel

<span itemprop="region">Lazio</span> sono un

<span itemprop="title">Fisico</span> e lavoro in ambito informatico

</div>

schema.org

www o wwwwwwww?

N°Summa Theologiae

San Tommaso d’Aquino

Valutazione AZIONE MORALE

Italiano 5 W

1. QUIS «Chi» “Who”2. QUID «Che cosa» “What”3. QUANDO «Quando» “When”4. UBI «Dove» “Where”5. CUR «Perché» “Why”6. QUANTUM «Quanto» assente7. QUOMODO «In che modo» assente8. QUIBUS AUXILIIS «Con quali mezzi» assente

A pentirsi c’è sempre tempo, a peccare no!

«Chi ha rubato?» «Chi cerca i dati?»

«Che cosa ha rubato?» «Che cosa cerca?»

«Quando ha rubato?» «Quando cerca i dati?»

«Dove ha rubato ?» «Dove cerca i dati?»

«Perché ha rubato?» «Perché cerca i dati?»

«Quanto ha rubato?» «Quanti dati cerca?»

«In che modo ha rubato?» «In che modo cerca i dati?»

«Con quali mezzi ha rubato?» «Con quali mezzi cerca i dati?»

Io senza legge rubai in nome mio,quegli altri nel nome di dio

Soggetto = Fisico

Predicato = Quali conoscenze deve avere?

Oggetto = Indagine sulle professioni

Sistema informativo sulle professioni

http://fabbisogni.isfol.it/scheda.php?limite=1&id=2.1.1.1.1

Soggetto = Fisico

Predicato = Cerco lavoro

Oggetto = ClicLavoro

Sistema informativo sulle professioni

http://http://www.cliclavoro.gov.it/Cittadini/Pagine/RisultatiRicerca.aspx?tipo=RF/sptWsLUCRpDJKJ/9XOg==&descrizione=fisico&firstview=false&open=false

… i migranti, per esempio.

- Voi siete napoletano?- Sì, ma non emigrante, eh! No, no, pecché ccà pare ca 'o napulitano

nun po' viaggia', po' sulamente emigra', perciò uno esce, nun po' ffa' 'nu viaggio, 'o napulitano invece viaggia.

Non c’è più il futuro di una volta!

REPORT CARTACEI? No, grazie!

Per chi viaggia in direzione ostinata econtraria col suo marchio speciale

di speciale disperazione

TutteAlbaniaMarocco Tunisia

DatiServiziPubblicazioni

LavoroIstruzioneSaluteMigrazioni

La semantica degli immigratiCittadinanza Tipologia Ambito tematico Territorio

LavoroIstruzioneSalutePopolazione

LAVORO: Fabbisogni e andamenti occupazionali IMMIGRATI

LAVORO: Fabbisogni e andamenti occupazionali IMMIGRATI CINESI

LAVORO:Fabbisogni e andamenti occupazionali IMMIGRATI CINESI A ROMA

SALUTE degli IMMIGRATI

SALUTE: IMMIGRATI CINESI

SALUTE: IMMIGRATI CINESI A ROMA

MIGRAZIONI

La DBpedia Italiana è un progetto aperto e collaborativo per l’estrazione e il riutilizzo di informazioni semi-strutturate alla Wikipedia in italiano.

L’obiettivo è il consumo di tali informazioni da parte di software, applicazioni e… esseri umani!

La DBpedia Italiana permette di fare domande complesse sui contenuti di Wikipedia e di collegare altre banche dati Linked Data a Wikipedia.

Oggi la versione inglese di DBpedia è al centro della Linked Open Data Cloud e costituisce un importante riferimento per il collegamento tra diverse banche dati.

http://data.cnr.it/sparql/

SPARQL è pronunciato come sparkle (scintilla) ed è frutto di un acronimo recursivo che significa Sparql Protocol And Rdf Query Language (protocollo sparql di interrogazione di RDF). Sebbene la sua sintassi sia relativamente semplice e ricordi il più noto SQL, non sempre risulta immediato e naturale; una query SPARQL semplicemente chiede al sistema di estrarre tutte le triple che soddisfano gli schemi di triple che sono contenuti nella clausola WHERE della query stessa.Per esempio, la query:SELECT ?nome WHERE { ?soggetto rdf:type foaf:person. ?soggetto foaf:name ?nome. ?soggetto foaf:mbox mailto:info@dati.lazio.it. } estrae tutte le triplette (in verità solamente il nome del soggetto) che hanno l'indirizzo email uguale a mailto:info@dati.lazio.it. Quei tre schemi di triplette presenti nella clausola WHERE devono essere provati su ogni tripletta contenuta nel database e quelle che soddisfano il triplo filtro sono presentate come risultato.

http://dati.lazio.it/virtuoso/sparql/

- Fantocci, ci dichi, lei cosa ne pensa di utilizzare la logica LOD per rappresentare i dati strutturati aziendali?

- Secondo me…la logica LOD…per rappresentare i dati strutturati aziendali… è una…>>

<< Fantocci, ci dichi, lei cosa ne pensa di utilizzare la logica LOD per rappresentare i dati strutturati?>>

92 minuti di applausi

FREE DATA PROGRAM.REPEAT AFTER ME: I AM FREE

«Accominzamo con nova promissa

‘sta gran sulenni pigliata pi fissa»

Domani

«I dati si chiamano così perché debbono essere

DATI, altrimenti si sarebbero chiamati

TENUTI»

www, si dice vuvuvu

Ci sono api…C'è un'ape che si posa su un bottone di rosa: lo succhia e se ne va. Tutto sommato, la felicità è una piccola cosa.Trilussa

…e API (Application Programming Interface)

Un approccio è basato sul protocollo standard SOAP (Simple Object Access Protocol), per lo scambio di messaggi per l’invocazione di servizi remoti, si prefigge di riprodurre in ambito Web un approccio a chiamate remote, Remote Procedure Call, tipico di protocolli di interoperabilità come CORBA, DCOM e RMI.

Un secondo approccio è ispirato ai principi architetturali tipici del Web e si concentra sulla descrizione di risorse, sul modo di individuarle nel Web e sul modo di trasferirle da una macchina all’altra. Questo è l’approccio che analizzeremo in questa guida e che prende il nome di REST (REpresentational State Transfer).

L’approccio dei SOAP Web service ha mutuato un’architettura applicativa denominata SOA,Service Oriented Architecture, a cui si è recentemente contrapposta l’architettura ROA,Resource Oriented Architecture, ispirata ai principi REST.

Il protocollo SOAP (Simple Object Access Protocol) definisce una struttura dati per lo scambio di messaggi tra applicazioni, riproponendo in un certo senso parte di quello che il protocollo HTTP faceva già. SOAP utilizza HTTP come protocollo di trasporto, ma non è limitato nè vincolato ad esso, dal momento che può benissimo usare altri protocolli di trasporto.

Inoltre i Web Service basati su SOAP prevedono lo standard WSDL, Web Service Description Language, per definire l’interfaccia di un servizio. Questa è un’ulteriore evidenza del tentativo di adattare al Web l’approccio di interoperabilità basato su chiamate remote. Infatti il WSDL non è altro che un IDL (Interface Description Language) per un componente software.

In conclusione, i Web service basati su SOAP costruiscono un’infrastruttura prolissa e complessa al di sopra del Web per fare cose che il Web è già in grado di fare. Il vantaggio di questo tipo di servizi è che in realtà definisce uno standard indipendente dal Web e l’infrastruttura può essere basata anche su protocolli diversi.

All'interno del file WSDL Sono descritte:

• le "operazioni" messe a disposizione dal servizio;• il protocollo di comunicazione da utilizzare per accedere al servizio;• il formato dei messaggi accettati in input;• gli output restituiti e il loro formato;• gli endpoint di ogni funzione.

Il WSDL è solitamente utilizzato in combinazione con SOAP e XML Schema per rendere disponibili i servizi web, e permettereil dialogo automatico macchina/macchina.Ad esempio, un software client può leggere il documento WSDL relativo ad un Web Service e, conseguentemente, comporre messaggi SOAP per usufruirne correttamente.Gli elementi principali che compongono un documento WSDL sono:•types - definisce i tipi di dato che possono essere scambiati tra client e web service•message - descrive i messaggi che possono essere scambiati tra il web service e i client•portType - definisce i punti di connessione verso il webservice (ogni operazione esposta ha un elemento portType);•binding - descrive un operazione esposta dal servizio web con gli elementi in input, output ed i loro vincoli•service - fornisce una descrizione testuale del servizio (leggibile dall'uomo), e informa i client da dove accedere a quest'ultimo.

Struttura di base di un file WSDL:

•<?xml ... ?> - dichiarazione versione XML•<wsdl:definitions ... > - dichiarazione del WSDL•<wsdl:types>... </wsdl:types> - definizione dei tipi di dato•<message> ... </message> - elenco dei messaggi•<portType> ... </portType> - elenco delle porte•<binding> ... </binding> - associazione tra operazioni e trasporto•<service> ... </service> - definizione del servizio

RESTREST non è un’architettura nè uno standard, ma un insieme di linee guida per la realizzazione di un’architettura di sistema. Ma quali sono questi principi che rendono il Web adatto a realizzare Web Service secondo l’approccio REST? Il tutto può essere riassunto nei seguenti cinque principi (CRUD):

1) Identificazione delle risorse

http://apistat.istat.it/?dataset=DCIS_VEICOLIINCID1&dim=,2,4,8,1,2,13,2148&idLayer=1002&q=getdatajsonnuts

2) Utilizzo esplicito dei metodi HTTP

Metodo HTTP Operazione CRUD DescrizionePOST Create Crea una nuova risorsa

GET Read Ottiene una risorsa esistente

PUT Update Aggiorna una risorsa o ne modifica lo stato

DELETE Delete Elimina una risorsa

(Representational State Transfer)

3) Risorse autodescrittive

I principi REST non pongono nessun vincolo sulle modalità di rappresentazione di una risorsa. Virtualmente possiamo utilizzare il formato che preferiamo senza essere obbligati a seguire uno standard. Di fatto, però, è opportuno utilizzare formati il più possibile standard in modo da semplificare l’interazione con i client (jsonSTAT?).

REST4) Collegamenti tra risorse

Un altro vincolo dei principi REST consiste nella necessità che le risorse siano tra loro messe in relazione tramite link ipertestuali. Questo principio è anche noto come HATEOAS, dall’acronimo di Hypermedia As The Engine Of Application State, e pone l’accento sulle modalità di gestione dello stato dell’applicazione.

5) Comunicazione senza statoÈ importante sottolineare che sebbene REST preveda la comunicazione stateless, non vuol dire che un’applicazione non deve avere stato. La responsabilità della gestione dello stato dell’applicazione non deve essere conferita al server, ma rientra nei compiti del client.

«Amico caro, te lo dico da Tim Bruce Lee:fatti un formato per lo scambio dati tutto tuo…»

JSON-STAT

Lo standard SDMX (Statistical Data and Metadata eXchange) è un linguaggio XML per lo scambio di dati e metadati statistici. L'iniziativa è promossa e incoraggiata da istituzioni internazionali tra le quali la Bank for International Settlements, la Banca centrale europea, l'Ufficio statistico della comunità europea (Eurostat), il Fondo monetario internazionale, l'OCSE, le Nazioni Unite (Statistics Division) e la Banca Mondiale.Il formato dei messaggi SDMX ha due espressioni di base, SDMX-ML (che usa la sintassi XML) e SDMX-EDI (che usa la sintassi EDIFACT).Lo standard include anche specifiche addizionali (ad es. sui web service). Lo standard SDMX è stato riconosciuto come uno standard ISO (ISO/Technical Specification 17369:2005).

SDMX si basa sul modello OSI (Internet)http://www.istat.it/it/files/2013/07/Step_funz_client_SDMXWS1.pdf

E il web?

le verità cercate per terra, da maialitenetevi le ghiande, lasciatemi le alitornate a casa nani, levatevi davantiper la mia rabbia enorme mi servono giganti.Ai dogmi e ai pregiudizi da sempre non abboccoe al fin della licenza io non perdono e tocco.

Beppe Dati

JSON vulevom savuar

JSON (JavaScript Object Notation) è un semplice formato per lo scambio di dati. Per le persone è facile da leggere e scrivere, mentre per le macchine risulta facile da generare e analizzarne la sintassi. Si basa su un sottoinsieme del linguaggio Javascript

JSON è un formato di testo completamente indipendente dal linguaggio di programmazione, ma utilizza convenzioni conosciute dai programmatori di linguaggi della famiglia del C, come C, C++, C#, Java, JavaScript, Perl, Python, e molti altri. Questa caratteristica fa di JSON un linguaggio ideale per lo scambio di dati.

JSON è basato su due strutture:

•Un insieme di coppie nome/valore. In diversi linguaggi, questo è realizzato come un oggetto, un record, uno struct, un dizionario, una tabella hash, un elenco di chiavi o un array associativo.

•Un elenco ordinato di valori. Nella maggior parte dei linguaggi questo si realizza con un array, un vettore, un elenco o una sequenza.

Queste sono strutture di dati universali. Virtualmente tutti i linguaggi di programmazione moderni li supportano in entrambe le forme. E' sensato che un formato di dati che è interscambiabile con linguaggi di programmazione debba essere basato su queste strutture.In JSON, assumono queste forme:

Un oggetto è una serie non ordinata di nomi/valori. Un oggetto inizia con { (parentesi graffa sinistra) e finisce con } (parentesi graffa destra). Ogni nome è seguito da : (due punti) e la coppia di nome/valore sono separata da ,(virgola).

Un array è una raccolta ordinata di valori. Un array comincia con [ (parentesi quadra sinistra) e finisce con ] (parentesi quadra destra). I valori sono separati da , (virgola).

Un valore può essere una stringa tra virgolette, o un numero, o vero o falso o nullo, o un oggetto o un array. Queste strutture possono essere annidate.

Una stringa è una raccolta di zero o più caratteri Unicode, tra virgolette; per le sequenze di escape utilizza la barra rovesciata. Un singolo carattere è rappresentato come una stringa di caratteri di lunghezza uno. Una stringa è molto simile ad una stringa C o Java.

http://apistat.istat.it/?dataset=DCIS_PERMSOGG1&dim=,123,1,513,12,16,182,8,2167&idLayer=1002&q=getdatajsonnuts

BIG DATABig data è il termine usato per descrivere una raccolta di dati così estesa in termini di volume, velocità e varietà da richiedere tecnologie e metodi analitici specifici per l'estrazione di valore.

Il progressivo aumento della dimensione dei dataset è legato alla necessità di analisi su un unico insieme di dati, con l'obiettivo di estrarre informazioni aggiuntive rispetto a quelle che si potrebbero ottenere analizzando piccole serie, con la stessa quantità totale di dati.

I termini “big data” sono utilizzati per descrivere la quantità voluminosa di dati strutturati, non strutturati e semi-strutturati che si creano all'interno di un'organizzazione; dati che in molti casi non vengono caricati su database relazionali, per sottoporli a successive analisi, perché questo richiederebbe uno sforzo titanico in termini di tempo e denaro.

Domani

Oracle

CASSANDRA- MONGO DB

BIG DATA, OPENDATA

ENTERPRISE SEARC /SOLR/ LUCENE

PUBBLICHE AMMINISTRAZIONI

DomaniNo SQL: un modello per l’opendata

BIG DATA, OPENDATA

{"keyspace" : { "columnfamily" : { "rowkey" : { "supercolumn" : { "column name" : "column value" } } } }}

Questo folle non sta bene, ha bisogno di un dottorecontraddirlo non conviene, non è mai di buon umore

È la più triste figura che sia apparsa sulla Terracavalier senza paura di una solitaria guerra

cominciata per amore di una donna conosciutadentro a una locanda a ore dove fa la prostitutama credendo di aver visto una vera principessa

lui ha voluto ad ogni costo farle quella sua promessa.E così da giorni abbiamo solo calci nel sedere

non sappiamo dove siamo, senza pane e senza beree questo pazzo scatenato che è il più ingenuo dei bambini

proprio ieri si è stroncato fra le pale dei muliniÈ un testardo, un idealista, troppi sogni ha nel cervello

io che sono più realista mi accontento di un castello.Mi farà Governatore e avrò terre in abbondanza

quant'è vero che anch'io ho un cuore e che mi chiamo Sancho Panza

Opendata, Datasharing, Linked Open Data, Big Data

Data & Analytics