Date post: | 20-Feb-2019 |
Category: |
Documents |
Upload: | nguyendang |
View: | 214 times |
Download: | 0 times |
Scuola Politecnica e delle Scienze di Base Corso di Laurea in Ingegneria Informatica Elaborato finale in Programmaione 1
Cognitive science e IBM Watson
Anno Accademico 2013-2014 Candidato: Plamen Zdravkov Ivanov matr. N46 000 621
Alla mia madre, tutti miei compagni di studio universitari E a tutti che mi sono stato vicino
Indice
Indice .................................................................................................................................................. III Introduzione ......................................................................................................................................... 4 Capitolo 1: Cognitive Science.............................................................................................................. 7 Capitolo 2:Introduzione a sistemi QA ................................................................................................ 9
2.1 Evoluzione dei sistemi QA ...................................................................................................... 11 2.2 Stato attuale dei sistemi QA ..................................................................................................... 12 2.3 Principio di funzionamento di Watson ..................................................................................... 13 2.4 Integrazione di QA in dispositivi mobili.................................................................................. 15
2.5 Problemi principali ................................................................................................................... 15 2.6 Motivazione ............................................................................................................................. 16
2.7 Campi coinvolti nel sviluppo di sistemi QA ............................................................................ 16 Capitolo 3:Il progetto IBM Watson ................................................................................................... 18
3.1 Classificazione della domanda e tipi di risposta ...................................................................... 19 3.2 Profonda analisi........................................................................................................................ 20 3.3 Estrazione di Conoscenze ........................................................................................................ 20
3.4 Ricerca e generazione di candidati ........................................................................................... 21 3.5 Costruzione di tipi .................................................................................................................... 21
3.6 Punteggio delle Evidenze ......................................................................................................... 22 3.7 Conoscenze di base e Interfaccia ............................................................................................. 23 3.8 Decomposizione delle Domande ............................................................................................. 23
3.9 Clasifica delle Risposte ............................................................................................................ 23 Capitolo 4:Watson durante il gioco ................................................................................................... 26
4.1 Analisi della domanda ......................................................................................................... 27 4.2 Generazione di Ipotesi ............................................................................................................. 28
4.3Valutazione di ipotesi................................................................................................................ 28 4.4 Fusione finale e classifica .................................................................................................... 29 4.5 Hardware ............................................................................................................................. 30
Conclusioni ........................................................................................................................................ 31 Bibliografia ........................................................................................................................................ 32
4
Introduzione
Noi siamo all’inizio di un salto enorme nella evoluzione della tecnologia. Nei prossimi 20
anni sarà trasformata la vita e il lavoro di tutti gli essere umani esattamente come e stato con la
rivoluzione dei computer circa mezzo secolo fa. Le opportunità e le sfide che arrivano con
questa nuova era richiedono la generazione di nuove tecnologie e di riscrivere le regole nella
informatica. Oggi giorno ci sono una quantità di dati di una dimensione enorme che dovranno
aiutare alle persone di capire meglio situazioni complesse. Ma in realtà non e cosi perché più
dati abbiamo a disposizione maggiore sarà la confusione. Noi facciamo troppi decisioni con
informazioni non corrette o irrilevanti con dati che rappresentano soltanto una parte della
problema. Eco perché abbiamo bisogno di generare nuove strumenti tecnologie cognitive che
aiuteranno di penetrare la complessità e di capire meglio il mondo circostante in modo in che
possiamo fare migliori decisioni. Alcuni tecniche della informatica e ingegneria stanno
raggiungendo gli suoi limiti. L’industria della tecnologia deve cambiare il modo con qui sta
progettando e usando gli computer e il software se vuole continuare con il progresso di
migliorare il modo in qui viviamo e lavoriamo. Questa prospettiva del futuro della tecnologia
del informazione e il risultato di un grande e continuo sforzo di un gruppo di IBM. Qualche
anno fa e stato formato un gruppo di scienziati di IBM che e stato impegnato in un progetto
intrigante. Lo scopo di questo progetto era di creare un sistema che e capace di giocare in
tempo reale in un famoso TV show Americano basato sulle domande di dominio aperto
chiamato Jeopardy, dove milioni di spettatori hanno capito quanto “intelligente” può essere un
computer. Questo non era un semplice trucco, gli scienziati hanno spesso più di 10 anni con
ricerca nel campo della l’intelligenza artificiale e l’elaborazione del linguaggio naturale e
5
hanno prodotto una serie di innovazioni. Il loro impegno ha prodotto la possibilità di sviluppo
di un sistema che richiede conoscenze enciclopediche e veloci risposte. Nella fase di
preparazione per il gioco, la macchina e stata caricata con milioni di pagine di informazione.
Durante lo show televisivo che e stato trasmesso nel febbraio 2011, il sistema aveva a
disposizione una vasta database per rispondere alle domande, era in grado di calcolare livello
di confidenza e se questo livello risultava abbastanza alto di battere gli giocatori umani al
buzzer. Dopo più di 5 anni di ricerca e sviluppo, il team di una 20-na scienziati hanno fatto
vedere al mondo un passo avanti nella scienza. Loro hanno dimostrato che un sistema
computerizzato e in grado di battere esperti umani in una competizione di domande e risposte
usando il linguaggio naturale. Adesso questi scienziati e ingegneri del software sono occupati
con miglioramento della tecnologia di Watson per renderlo più grande. “Jeopardy” era solo
con un scopo limitato. Il sistema era vincolato delle regole del gioco e il fatto che tutte le
informazioni che Watson richiedeva potevano essere espresse come parole sulla pagina. In
futuro Watson sarà in grado di apprendere problemi, interpretare immagini, numeri, voci e
informazioni da sensori. Lui parteciperà in dialogo con gli uomini e sarà in grado di risolvere
problemi molto complicati. I ‘obbiettivo e di trasformare il modo in cui le persone fanno le
cose, per esempio assistenza sanitario, educazione, servizi finanziari e governo. Uno dei
prossimi obbiettivi e di mettere in carico Watson per aiutare a mettere diagnosi e aiutare ai
dottori. L’idea non e di far vedere che Watson e in grado di fare il lavoro dei medici, ma di
fare Watson un utile aiuto per un medico. Il potenziale aiuto di Watson nella medicina e solo
una possibilità aperta per la generazione di nuove tecnologie. Gli scienziati di IBM stanno
spingendo gli confini dei settori scientifici e tecnologici che vanno dalla nanotecnologia per
l’intelligenza artificiale con l’obbiettivo di creare macchine che fanno molto di più otre a
calcolare e organizzare dati – i loro senso e di imparare, ragionare e interagire con le persone
in nuovi modi. Le prove di Watson in TV sono stati gli primi passi di una nuova fase di
evoluzione della tecnologia delle informazioni e introduzione di una nuova era di cognitive
computing. Questa nuova era non e solo opportunità per le società ma anche necessita. Solo
con aiuto di machine pensanti noi saremo in grado di trattare adeguatamente la complessità del
6
mondo oggi e di affrontare con successo problemi come la malattia e la povertà e il stress sul
nostro sistema naturale. IBM Watson è un sistema innovativa che introduce una nuova era del
computing , congnitive computing è radicalmente nuovo tipo di computing molto diverso da
gli sistemi programmabili che lo hanno preceduto come quelli sistemi come le machine
tabulate un secolo fa , oppure soluzioni informatiche tradizionali basate su principi matematici
che emanano dagli anni 1940 che sono programmati sulla base di regole e la logica destinati a
scrivere matematicamente precisi risposte spesso seguendo approccio albero decisionale .
Watson è un sistema di intelligenza artificiale che e in grado di rispondere a domande di
dominio aperto che e stato sviluppato all’interno del progetto DeepQA di IBM. Questo
sistema e stato progettato per rispondere a domande di un gioco di quiz molto famoso negli
Stati Uniti chiamato Jeopardy. Nel 2011 ha partecipato a 3 episodi di questo gioco
sconfiggendo i suoi anniversari umani facendo la storia. Unico gioco al mondo che si
scontrano uomo e machina, oltre il Deep Blue sviluppato lo stesso dal IBM negli anni 90 che e
stato in grado di battere il campione al mondo in carica Garry Kasparov, in una partita di
scacchi. Durante questi episodi Watson ha sconfitto gli 2 più grandi campioni che hanno
partecipato a Jeopardy. Watson ha costantemente surclassato I suoi avversari umani con
rapidità di prenotazione della risposta, perché il gioco si basa su un interruttore che viene
premuto nel momento in qui il partecipante e sicuro di saper rispondere alla domanda
correttamente. Il sistema ha avuto difficoltà con alcune categorie di domande, per esempio
quelle con indizi corti che contenevano poche parole. Per ogni indizio, le risposte più probabili
di Watson venivano mostrate a video. Watson aveva accesso a 200 milioni di pagine di
contenuti strutturati e non. Durante il gioco Watson non era connesso a Internet.
7
Capitolo 1: Cognitive Science
La scienza cognitiva può essere vista in ogni aspetto della nostra vita. Cognitivita non e
invocata solo in risolve equazioni matematici ma anche in risoluzione di ogni azione che
viene svolta da un essere umano in modo naturale. La ricerca dalla scienza cognitiva
proviene da diversi campi nella scienza come Informatica, filosofia, linguistica,
neuroscienza, psicologia e antropologia, quello che hanno in comune e la interessante
profonda cognizione, fenomeni che gli essere umani condividono. Questi diversi discipline
che pur operando in campi differenti coniugano i risultati delle loro ricerche al fine comune
di chiarire il funzionamento della mente.
Fig. 1 Discipline che costituiscono le scienze cognitive
8
Gli scienziati di cognizione studiano come le persone risolvono problemi come fanno
complessi plani, come ricordiamo le facce degli amici, come riconoscono oggetti, come
capiamo diversi lingue anche come creammo musica o qualsiasi arte. Le scienze cognitive
principalmente si occupano delle modalità di formazione del pensiero, dell’emozione
dell’immaginazione e della creatività. Essendo le scienze cognitive multidisciplinari essi
sfruttano orientamenti di ricerca differenti è difficile dire a priori le discipline costituendi.
Qualunque studio che possa connettersi sia scientifico, psicologico o filosofico, può essere
utile a fornire contributi a questa multi-scienza. La idea di base di queste scienze e che la
ragione possa essere ricondotta in analisi di puro calcolo quindi di pensare che il cervello
come una Macchina di Turing. Ricordando che questa machina e un modello astratto che e
in grado di eseguire algoritmi e dotata di un nastro potenzialmente infinito su cui può
leggere e scrivere simboli. Si vede in questo senso al cervello come a un manipolatore di
simboli dove ogni informazione e rappresentata da un simbolo e viene elaborata (e quindi
calcolata) seguendo regole ben precise. Ci sono due tipi di scienze cognitive, una scienza
cognitiva computazionale e una scienza cognitiva neurale. La scienza cognitive
computazionale è nata con il computer, nel senso che essa è emersa sulla base del analogia
tra la mente umana e il computer, o meglio, tra la mente e il software del computer. Il
cervello e il corpo di un essere umano sono come l’hardware di un computer, la sua mente è
il software del computer. L’analogia ha portato a uno stretto collegamento tra l’informatica
e la psicologia. Da un lato gli informatici hanno cercato di dotare il computer di capacità e
comportamenti tipici della mente umana e cosi e nata l’intelligenza artificiale. Da altro lato
gli psicologi hanno cominciato a usare i concetti di informatica per analizzare, modellare e
spiegare la mente. I modelli dei psicologi sono diventati modelli di elaborazione
dell’informazione la mente ha cominciata contenere rappresentazioni e regole per
recuperare questi rappresentazioni da memorie e lavorarci sopra il funzionamento della
mente e cominciata ad essere vista come l’esecuzione di algoritmi. La ragione per cui
queste discipline stanno assieme è che tutte condividono l’idea che la mente sia, come il
computer, un sistema computazionale.
9
Capitolo 2:Introduzione a sistemi QA
IBM Watson rappresenta il primo passo nelle sistemi cognitive e la nuova era di compiting.
Watson e stato costruito con gli strumenti della era corrente di calcolatori programmabili ma e
differente in molti aspetti. La combinazione delle seguenti capacita fanno Watson unico
1) Elaborazione del linguaggio naturale con aiuto di capire complessi dati
nonstrutturati, che rappresentano 80% delle dati a livello globale
2) Generazione e valutazione di ipotesi applicando analisi avanzate per pesare e
valutare un panello di risposte basate solo su prove rilevanti
3) Apprendimento dinamico contribuendo a migliorare l’apprendimento basato sui
output per diventare sempre più intelligente con ogni interazione
Anche se nessuno di queste funzionalità da solo e unico per Watson, la combinazione di
questi capacita offre una potente soluzione:
- Per superare gli limiti delle machine programmabili
- Per passare la dipendenza di dati strutturati e locali e per aprire il mondo globale
di dati non strutturati
- Per passare dal approccio albero-decisionale, applicazioni deterministici al
sistemi probabilistici che evolvono con i propri utenti
- Per passare da ricerca basata su parole che provoca lista di locazioni dove la
risposta può essere localizzata, a un intuitivo strumento di conversazione di
scoperta di un set di riposte confidenti e classificate
10
Question Answerng (QA) è il compito di generare risposte in lingua naturale di domande di
persone. Questo fornisce una interfaccia naturale (spesso via testuale, immagine o parlato)
per Human Computer Interaction (HCI), con l’obbiettivo di dare risposte soddisfacenti a
più domande possibili. QA è uno dei pochi task che e svolta nel modo naturale da maggior
parte degli umani tutti i giorni, anche altri compiti comuni come comprensione e
generazione linguaggio naturale. Ci sono un’ampia varietà di tipi di domande che facciamo
tutti gli giorni
• Domande di realtà (factoid) - domande su cultura generale del mondo.
Tipicamente vengono definite risposte standard è può essere giudicato come giuso o
sbagliato
Per esempio:
- Quanto e vecchio il mondo? (Risposta con una breve frase)
- Quali pianetti sono in sistema solare? (Risposta con una lista di frasi)
- Che cosa e il pianeta? (Risposta con una definizione)
- Perché l’acqua e essenziale per la vita? (Risposta con una spiegazione)
• Domande soggettivi - domande sulla credenza soggettiva. Di solito non hanno
risposte definitive, ma possono essere giudicate come rilevanti/ accettabili o
irrilevanti/inaccettabili
11
Per esempio:
- Quale e la più epica foto fatta? (La domanda più famosa su Quora.com)
- Che cosa succede se la gallina non attraversa la strada? (Ipotetica)
- Quale investito devo prendere? (Uomini state attenti con la risposta)
- Come far crescere il giardino? (Con una risposta spiegativa)
Con risposte ben definite, e possibile misurare in termini di valori e precisione le risposte
alle domande di tipo factoid. Le domande di tipo Ricerca soggettiva non hanno risposte
standard e spesso usano la strategia di votazione dell’utente per classificare una lista di
candidati come possibili risposte. Le risposte di domande di tipo (factoid) spesso possono
essere automaticamente estratti da fonti esistenti, mentre le risposte domande di tipo
Ricerca soggettiva sono tipicamente prodotti partendo da graffiature. Riconosciamo il fatto
che le persone dovrebbero giocare il ruolo più importante nelle domande di tipo Ricerca
soggettiva, specialmente nel processo di generazione del contenuto originale e intelligente.
E ancora un problema difficile per le macchine, di capire la lingua naturale.
2.1 Evoluzione dei sistemi QA
Negli anni gli sistemi factoid QA sono evoluiti in vari modi:
• Da dominio chiuso a dominio aperto: gli primi sistemi QA come BASEBALL e
LUNAR avevano scopi molto limitati per il mondo loro sapevano solo informazioni
per il gioco di baseball e gli pianete sula luna dopo sono stati prodotti sistemi QA
che avevano conoscenze in tutti gli campi e potevano rispondere a tutte le domande.
• Da basati sul testo a basate sul discorso: gli sistemi QA possono essere assistite
con interfaccia discorsiva con la quale le domande possono essere tradotte con
software per riconoscimento vocale e le risposte possono essere riprodotte son un
12
software di sintesi. Questa e una configurazione popolare sugli dispositivi mobili
• Da fuori contesto a contestuali: domande usati per capire indipendentemente dal
contesto precedente; adesso gli sistemi QA hanno una capacita limitata di capire
dialoghi discorsivi che variano dinamicamente
2.2 Stato attuale dei sistemi QA
Lo stato corrente della arte dei sistemi QA e rappresentato da IBM Watson, che ha sconfitto
due concorrenti campioni mondiali nello TV show Jeopardy nel 2011. Lo show e basato
sugli quiz ha iniziato nel 1964. In Jeopardy il stilo di domande e rappresentato da frasi
dichiarative, comunemente chiamate indizi (clues) come:
Nel 1903 con il permesso presidenziale, Morris Michtom ha iniziato la
commercializzazione di questi giocatoli.
Gli concorrenti devono identificare la informazione mancante nella domanda, e di proporre
una domanda che può essere risolta dato il indizio, per esempio come:
Quali sono Teddy Bears?
Questo e il tipico stile di indizi e domande del gioco Jeopardy. Le coppie possono essere
facilmente convertiti in convenzionali coppie di domande e risposte.
Battendo il campione in carico umano, Watson rappresenta il successo più importante per
gli sistemi QA factoid finora. Molti domande naturali sono state sorse dopo il successo di
Watson.
13
1) Watson ha risolto intelligenza artificiale?
2) Watson può davvero pensare?
3) Cosa è rimasto per la ricerca nel campo QA dopo che Watson ha battuto
l’uomo?
Dal mio punto di vista la risposta di queste domande e:
1) No, Watson non risolve l’intelligenza artificiale (AI)
2) Watson ha una limitata capacità di ragionare, non e al livello di processo
intellettuale nel cervello umano
3) Con l’esistenza di Google abbiamo smesso di fare ricerca di informazioni?
2.3 Principio di funzionamento di Watson
Il successo di Watson ha segnato un progresso nel campo della ricerca di QA (o in senso
più generale di AI, IR1 e NLP2). E stato un blocco (nel senso positivo) per gli partecipanti
umani nello quiz show, ma non sarà un blocco (nel senso negativo) per la ricerca QA.
Watson e stato addestrato per fare decisioni prendendo con la raccolta da centinaia di
classificatori, ciascuno dei quali con obbiettivo su una o più tipi specifici di domande di
Jeopardy. Ad esempio, ha un categoria per rispondere alle domande su presidenti degli stati
uniti, e un categoria per fatti che gli esseri umani normalmente considerano interessanti.
Watson e un sistema che e stato ottimizzato per partecipare nel formato Jeopardy. Con
classificatori progettati specialmente per le tipi di domande fatti in Jeopardy. A questo e
basato il successo di Watson nello show. IBM aveva contratti sicuri per adattare Watson per
1 IR – Information Retrieval - Recupero delle informazioni
2 NLP – Natural Langiage Processing - Elaborazione del linguaggio naturale
14
assistenza sanitaria e governo. In questa tesi io propongo l’architettura feature-driven che
può essere considerata come il cuore di uso generico di un sistema QA. Questa architettura
in grado di modellare le routine per particolari tipi di domande dotato di corrispondenti
caratteristiche. Io sono anche interessato di vedere gli risultati di come questo architettura
general-purpose incontra esperti umani utilizzando dati di Jeopardy.
Diamo una rapida occhiata al risultato, un confronto con la curva delle prestazioni di
Watson nella figura successiva. Watson è iniziato con una re-implementazione di
documenti di ricerca, ma ha iniziato con risultati più bassi del previso indicato con 12/06
nella figura. Con un incremento utilizzando l’architettura DeepQA con linea 12/07 , il team
di Watson è stato in grado di spingere la curva verso in alto verso le prestazioni umane (gli
punti colorati nella figura).
15
2.4 Integrazione di QA in dispositivi mobili
Nella era dei dispositivi mobili, le sistemi che rispondono alle domande possono essere
applicati come una naturale estensione di ricerca, specialmente in combinazione con
tecnologie vocali su dispositivi mobili. Vediamo qualche sistema commerciale di questo
tipo: Siri(Apple), Google Now (Google), Graph Search (Facebook) e Cortana (Microsoft).
Questi sistemi hanno iniziato con lo scopo di concentrarsi sugli utenti, questo sviluppi
offrono un’esperienza molto piacevole della ricerca personalizzata. Per affrontare il
problema di rispondere alle domande questi applicazioni usano strategie differenti. Ad
esempio, Siri spesso prepara una risposta umoristica; Google e Cortana usano solo ricerca
di tipo testuale; Facebook Graph Search vincola gli suoi utenti con il tipo di domande che e
in grado di rispondere.
2.5 Problemi principali
La domanda fondamentale nella ricerca in QA:
Cercare di rispondere alle domande con una alta precisione e ancora persistente. Cosi anche
se QA in virgolette e comprensione di lingua naturale, la ricerca è ancora molto attiva in
questo settore. Prevedo che l’attenzione degli attuali servizi di QA commerciali si sposterà
gradualmente dall’approccio di consapevolezza del utente al una maggiore consapevolezza
del mondo. Immaginiamo che un utente chiede al suo telefono per indicazioni per un museo
o un cinema. L’assistente personale al telefono dovrebbe non solo essere in grado di
calcolare il percorso ottimale, ma anche di rispondere a domande riguardanti vari fatti
durante la visita al museo o del film. IBM Watson ha dimostrato questo tipo di factoid
risposte alla domande, come nel dominio di Jeopardy.
16
2.6 Motivazione
Le sistemi che rispondono alle domande è una cosa magnifica per AI e NLP che le persone
hanno immaginato di creare, abbiamo visto le conversazioni con roboti in molti film
fantastici e romanzi. Ma non e ancora completamente risolta. Questa e la motivazione
fondamentale. Tuttavia la tecnologia non ha mai smesso di evolvere. Questo un campo
recente di rapido sviluppo che utilizza discipline strettamente correlate ai campi, come AI,
Knowledge Discovery, Machine Learning e riconoscimento automatico della voce, che
hanno creato nuovi dati e strumenti per la ricerca in QA. Abbiamo la necessità di nuovi
cambiamenti nel settore QA per gli seguenti fattori:
1) Grande quantità di dati
2) Progressi del campo di Machine Learning
3) Creazione di conoscenze di base
4) L’aumento delle richieste da parte degli utenti
Questi sono gli problemi principali affrontati nel campo QA che devono essere risolti con
integrazione di nuovi algoritmi e metodi per Machine Learning.
2.7 Campi coinvolti nel sviluppo di sistemi QA
Un metodo veloce e automatico per un rapido inizio di un sistema statistica basata su
risposte alle domande usando fonti strutturati e non.
La natura dei sistemi QA richiedono un complesso assemblaggio ingegneristico,
coinvolgendo ma non limitandosi con gli seguenti campi
17
• Information Retrieval (IR) recupero di informazioni da testo o conoscenze di base
• Natural Language Processing (NLP) elaborazione del linguaggio naturale, con varie
tecniche di codifica, partizionamento, l’analisi, riconoscimento di entità, risoluzione
di coreferenze, monitoraggio di stato del dialogo, generazione di riepilogo
• Intelligenza Artificiale (AI) e Machine Learning (ML), coinvolgendo ragionamento
su conoscenze globali e apprendimento dai dati
18
Capitolo 3:Il progetto IBM Watson
IBM Watson e il più grande sistema di QA finora. E stata il capolavoro nella ricerca QA,
ingegneria del software, e la programmazione. Il modo in qui Watson ha giocato in
Jeopardy e stato incredibile. Per me il risultato più significativo di Watson è che si e stato
dimostrato possibile che una macchina e in grado di fare meglio del uomo un task di alta
intelligenza. Questo capitolo supervisiona Watson, con una particolare attenzione a ciò che
Watson ha fatto in modo differente.
Il progetto Watson ha iniziato nel 2006 con adattamento di IBM di una sua sistema QA,
PIQUANT (Pratical Inteligent Question Answering Technologi). PIQUANT ha partecipato
in TREC (Text REtrieval Conference) ed e stato uno dei top 5 per qualche anno. E stato
sviluppato da un team di 4 persone per il periodo di 6 anni prima del gioco in Jeopardy.
Dopo 4 settimane di adattamento per Jeopardy, gli risultati erano scoraggianti: PIQUANT
aveva una performance di 16% e precisione di 70% di risposte corrette, mentre gli giocatori
umani tentavano tra 40% e 50% di domande e hanno registrato risposte corrette tra 85% e
95%. Questo risultato ha portato ad una revisione completa del approccio tecnico e
architetturale del team di IBM. Il risultato era di espandere l’architettura DeepQA e di
adattare la metodologia usata da Watson per un avanzamento rapido e una integrazione di
algoritmi di base. Alla fine del 2007, la framework DeepQA e stata implementata e
ricostruita la versione 0.1 di Watson (la seconda linea nella figura). Negli prossimi 5 anni,
miglioramento dei metodi di Watson e stato impiegato con migliaia di ripetizioni di
sviluppo, gradualmente spingendo la curva al di sopra di 85% per precisione 70%
abbastanza alto per fare competizione con gli esseri umani.
19
Il framwork DeepQA consiste in più di 100 classificazioni di algoritmi fondamentali, ogni
uno dei quali effettivo in qualche campo di domande. Dato la enorme dimensione di dati di
test, era difficile a disegnare una visione significativa basata sulla statistiche, quanto e un
nuovo classificatore veniva aggiunto agli altri 99 classificatori. Cosi e stata prodotta un
sistema di votazione interna, chiamato Watson answer-scoring baseline (WASB). Il WASB
include la maggior parte dei componenti della framework DeepQA, come analisi della
domanda, recupero di passo, generazione di candidati, ma solo uno componente evidence-
scroring basato su ricerca della risposta. Ricerca della risposta e molto usata e intuitiva
tecnologia che e stata implementata nella maggior parte dei sistemi TREC QA. Ecco perché
e stato incluso in WASB. Tipicamente solo gli esperti sono in grado di migliorare
l’accuratezza da 2% a 5% su WASB. Poi con un paio di centinaia di differenti
miglioramenti, il sistema vero e proprio e raggiunto il livello umano.
3.1 Classificazione della domanda e tipi di risposta
Question Classification and Answer types
Watson ha due regole manuali e regressione logistica per l’analisi della domanda. Nel intero
suite di strumenti e incluso un analizzatore di English Slot Grammar (ESG). Con un
argomento predicato e associato allo sviluppo della struttura, nominato entity recognizer
(ER), che e un componente di risoluzione dei riferimenti, e la estrazione di componenti. Gli
principali problemi sono di cercare di rilevare la domanda di fuoco (spesso pronunciata nei
indizzi di Jeopardy) e il tipo di risposta lessicale (LAT lexical answer type). Gli algoritmi di
base contengono regole per più di 6000 clausole di prologo. Queste regole falliscono in casi
complicati come più pronomi appaiono in un indizio e errata rilevazione di parola a causa di
frasi innestati. Inoltre una classificazione di regressione e stata addestrata per individuare il
LAT.
Esperimenti per la individuazione di LAT ha mostrato circa 10% (70% su 79.6%)
incremento.
20
Una domanda interessante e se Watson ha usato una predefinita ontologia LAT. La risposta
e mista. Da un lato Watson ha usato molti componenti esistenti. Ma non esiste un tipo
comune e unico di sistema: loro hanno mappato il LAT per ogni tipo di componente
interno. Da altra parte le domande di Jeopardy sono molto ampi: circa 2500 distinti ed
espliciti LAT dove sono stati trovati 20 000 domande campioni.
3.2 Profonda analisi
Deep Parsing
Watson usa un argomentata versione di English Slot Grammar (ESG). Il analizzatore di
Watson specifico produce un albero di frasi che essenzialmente e dipendente dalla struttura
di seguenti informazioni: analisi morfologica, costruzione di frasi, analisi grammaticale,
partizionamento, prevista di struttura di argomenti di frame (sostantivi e verbi possono
condividere frames), il senso della parola etc.
L’analisi e usata da ogni componente di Watson, in particolare nel analisi della domanda,
ranking strutturato e recupero del percorso, digitazione della risposta e estrazione di
conoscenza. Watson usa solo frasi di alta qualità soprattutto per motivi di velocità. ESG
(implementato in C) elabora circa 5000 parole per secondo sugli laptop standard.
3.3 Estrazione di Conoscenze
Knowledge Extraction
Il output di ESG contiene frame e filtri, che sono aggregate con una forte evidenza per
alcuni task, come la digitazione della risposta. Una decisione importante per la estrazione
di informazioni era che i frame non sono stati limitati solo su verbi, relazioni binari o di
specifico tipo di gerarchia. Anche negli modificatori di frasi ERG sono possibili relazioni di
frames. Il componente di estrazione di conoscenza di Watson , PRISMATIC, e stato in
grado di estrarre milioni di frames da qualche GB di testo, con media di 1.4 frames per
sentenza.
21
3.4 Ricerca e generazione di candidati
Search and Candidate Generation
Watson cerca tra in entrambi fonti testo e fonti strutturati. Quanto cerca testo
Ha implementato Idri e Lucene per il reupero di dati dai documenti. Una distinzione tra
domande di Jeopardy e TREC3 QA e che alcuni domande di Jeopardy sono molto
complicati con molti vincoli. Le evidenze dovevano essere generati da tutti gli documenti,
in tal modo il titolo del documento serve come risposta. Per esempio consideriamo la
domanda
“this country singer was imprisoned for robbery and in 1972 was pardoned by Ronald
Reagan”
Il articolo di Wikipedia per Merle Haggard menziona come un cantante country, suo
imprigionamento per rapina, e il suo perdono da Reagan. Ciò favorisce nel richiamo di
recupero di documento. Selezionati 3500 domande a caso, circa 5% delle domande erano
sugli titoli di Wikipedia. Questo modo di generare candidati di risultati di Watson e molto
differente dai tradizionali approcci TREC. Gli sistemi TREC QA tipicamente usano entità
che sono stati trovati da passaggi recuperati. Tuttavia Watson usa documenti di metadati
come titoli e testo. Questo metodo e stato estremamente effettivo
3.5 Costruzione di tipi
Type Coercion
Le domande di Jeopardy hanno un ampio e flessibile tipo di risposta. Watson usa una
tecnica chiamata type coercion, processo che determina se la risposta sodisfa il tipo di
risposte, per affrontare questa domanda. Il tipo contiene molti componenti basati su fonti di
ontologia o algoritmi. Ogni componente provvede qualche elemento di prova per la sua area
di competenza e tutte le prove sono raccolti e classificati statisticamente. Per esempio
WordNet e isInstanceOf relazioni sono di alta precisione e basso richiamo. Le ontologie di
3 TREC - Text REtrieval Conference – Conferenza di Recupero Testo
22
Wikipedia e YAGO hanno una ampia copertura di entità. IBM usa un riconoscitore di entità
interno che ha più di 100 LAT; PRISMATIC contribuisce con evidenze per la risposta
utilizzando relazioni di tipo IS_A. In qualche senso, il tipo di coercizione nel Watson e un
modello piccolo dell’team di Watson e la strategia di classificazione.
3.6 Punteggio delle Evidenze
Evidence Scoring
Gli primi ricerce di Watson generano una lista di possibili risposte. Ma questi non sono
classificati a questo punto. Ogni di questi candidati e diviso in un parallelo processo che
include questo candidato nella ricerca di recuperare ulteriori prove. Quanto le evidenze sono
restituiti un componente di votazione con quattro algoritmi fa una classifica. Gli algoritmi
sono le seguenti:
- Passage Term Match – misura quanto spesso un candidato di risposta appare
negli stessi passaggi nelle termini della domanda.
- Skip-Bigram – che calcola quanti termini sono condivisi nella semantica di
sintassi della domanda. Lui cattura le somiglianze strutturali e li compara con un
insieme di parole e le occorrenze più vicine.
- Textual Aligneìment – che alinea la domanda con un passaggio utilizzando
l’algoritmo di Waterman_Smit per calcolare se combaciano.
- Logical Form – che fa un punteggio nelle tabelle logiche mettendo un peso e un
grado di corrispondenza
Dopo che sono stati applicati questi 4 algoritmi su ogni passaggio, gli risultati sono
confrontati in modo in che viene rispettato ogni algoritmo individuale. Modi comuni per
confortare include di usare, massimo, somma, oppure soma in decomposizione di questi
23
risultati di passaggi. Il migliore adattamento del Team di Watson e: la somma per SKIP-
Bigram, decadimento di somma per allineamento testuale e Passage Term Match, e la
massimizzazione per Logical Form.
3.7 Conoscenze di base e Interfaccia
Knowledge Base and Interface
Watson usa DB-pedia, YAGO, piccole porzioni di Freebase per trovare le informazioni e
alcuni speciali artigianali collezioni per gli presidenti di US, lavori per Shakespare, stati di
US e paesi. Alcuni sforzi manuali sono state fatte per una più precisa risosta. Un atro
metodo per usare e il ragionamento temporale e geo spaziale. Questo ha portato a Watson
un miglioramento al Watson di 2% sulla versione finale di Watson
3.8 Decomposizione delle Domande
Question Decomposion
Alcuni domande di Jeopardy sono complicati. Quindi Watson decompore le domande in
parallelo oppure se e necessario in sotto domande. Questi soto-domande possono esere
risolti con alberi indipendenti, quindi in componibili unita e segmenti con qualificatori.
Queste regole sono applicati su 45% delle domande. Accuratezza di Watson e stata
incrementata. Euristica e anche necessaria per definire le domande annidate e loro anche
hanno incrementato il performance di Watson
3.9 Clasifica delle Risposte
Watson e stato addestrato con domande che comprendono milioni di domande e risposte.
Gli problemi maggiori sono questi differenti tipi di domande e questo ampio gamma di
caratteristiche. Il seguente e una introduzione delle idee che potrebbe far luce su ricerche in
corso.
• Answer Merging – contiene multipli componenti basati su morfologia e il modello
24
di analisi. Ispezionando tutte le candidati di risposte Watson fa una classifica
applicando un giudizio binario. Se combaciano allora il candidato con risultati più
alti sarà rimasto.
• Ranking: una regressione logica che trova coerentemente migliore performance tra
le altri classificatori, includendo SVM, boosting, reti neurali, alberi decisionali, e il
apprendimento locale
• Feature Normalization: esistenti caratteristiche con il loro relativo valore, quindi
essi sono aumentati con caratteristiche standard. La standardizzazione e per “query”:
tutte le caratteristiche sono normalizzate con la sottrazione del senso e di tutte le
caratteristiche di quel tipo.
• Missing Feature Indicator: una caratteristica di valore di 0 potrebbe significare sia
il valore zero sia la mancanza di informazione. Quindi un extra indicatore e stato
aggiunto per ogni caratteristica. E stato dimostrato che un guadagno considerevole
può essere ottenuto con le caratteristiche del indicatore
• One Model Per Question Class: ogni classe della domanda potrà favorire una
differente caratteristica quindi un modello individuale e addestrato per ogni classe.
Un altro classificatore automaticamente determina la classe della domanda con
informazioni dal LAC
• Feature Selection: per modelli di dati di addestramento, Watson rimuove
caratteristiche per utilizzare funzionalità di regolarizzazione. Per modelli con piccoli
dati di allenamento e troppi caratteristiche, Watson usa un consistente sottoinsieme
di attributi.
25
• Successive Refinement: Watson per prima raffina le candidati risposte con membri
top 100, dopo di che vicino alla fine dello studio considera solo gli candidati top 5
• Instance Weighting: la frequenza di positive verso negative istanze delle risposte
candidati prodotti da Watson. La soluzione finale e di usare una ponderazione di 0.5
per le negative istanze della regressione logica
• Evidence Diffusion: evidenze che sono condivise tra gli candidati risposte. Un
esempio e che quanto chiediamo “l’aeroporto di Sunan in quale paese e?” dove
veniva evidenziato una evidenza per Pyongyang (La citta), piuttosto di Corea Del
Nord (il paese). Lo stesso criterio (come la relazione tra candidati di risposta) e stato
fatto per la diffusione delle evidenze, dove Il valore di Corea Del Nord e stato
combinato con quelli di Pyongyang.
I componenti sopra sono differenti stadi della pipeline. Tutte queste tecniche hanno
incrementato il funzionamento della sistema con 67% e accuratezza di 4.5
26
Capitolo 4:Watson durante il gioco
In questo capitolo sarà spiegato come Watson risponde alle domande in 4 non semplici passi
Per esempio prendiamo il seguente domanda:
The first person mentioned by name
in ‘The Man in the Iron Mask’
is this hero of a previous book
by the same autor.
Questa e una tipica domanda di Jeopardy presente nel tipico formato del gioco rendendo molto
difficile per una persona di capirlo cosa e stato richiesto e ancora di più per un computer.
Come di solito un computer e in grado di capire solo codice binario di zero e uno e non nomi e
verbi persone e luoghi e le relazioni tra loro. Watson non e in grado di vedere o ascoltare
quindi l’audio e le domandi visibili sono fuori dai suoi limiti. Ma tutto il resto e un gioco
coretto e naturalmente non e possibile di sapere tutto. Come tutti gli partecipanti dicono che la
domanda più difficile nel gioco e quella che non sai rispondere. Come gli sistemi informatici
27
Sono in grado di rispondere a indizi utilizzando la lingua umana? Gli database tradizionali
sono progettati per il computer. La lingua reale e implicita, grande e piena di complessità.
Questo e il motivo per qui fine adesso gli ricercatori di informatica hanno cercato di risolvere
utilizzando documenti con parole e le relazioni tra di loro per cercare la risposta in questi
documenti. Come nostri cervelli anche il Watson ha le conoscenze di base e quindi è
interamente autosufficiente la differenza e che il nostro cervello ha la dimensione di una
scatola per scarpe. Il cervello di Watson occupa uno spazio più grande di 8 frigoriferi messi
insieme. Quanto Watson risponde alle domande di Jeopardy lui non ha connessione con
Internet e telefono.
E quindi Watson consuma una vasta quantità di informazione per prepararsi per il gioco.
Watson ha bisogno di assorbire molta informazione perché Jepardy e un gioco di dominio
aperto che significa che può chiedere domande di qualsiasi campo e argomento. E quindi
Watson legge fa analisi e cerca di capire milioni contenuti di libri e documenti scritti in
linguaggio con il quale le persone comunichiamo tra di noi, Prima di vedere la domanda nella
forma testuale. Mai prima una macchina aveva la possibilità di rispondere così preciso a una
domanda con una ampio spettro di domande in un tempo brevissimo.
Vediamo come fa Watson questo.
4.1 Analisi della domanda
The first person mentioned by name
in ‘The man in the Iron mask’
is this hero of a previous book
by the same autor.
Il primo passo che Watson fa e di analizzare la domanda separando in parti di discorso. E di
identificare gli ruoli delle parole e le frasi di una condanna di gioco. Questo aiuta a Watson di
determinare due cose distinte:
28
- Che tipo di domanda e stato richiesto
- Che cosa richiede la domanda
In questa prima frase del processo Watson non sa come trovare la risposta corretta ancora.
Quindi sta cercando di incrementare la possibilità di trovare la risposta cercando tra differenti
opzioni cercando cosa la domanda potrà chiedere
4.2 Generazione di Ipotesi
Per ogni interpretazione della domanda Watson fa una ricerca veloce tra milioni di documenti
Per la produzione di migliaia di possibili risposte. A questo punto una vasta quantità di
possibili risposte e generata dal Watson. Questi dati saranno ristretti in una fase successiva ma
la cosa importante è di avere una lista abbastanza ampia di risposte perché se la risposta
corretta non e al interno di questa lista nella prima fase dopo non ce possibilità che Watson
risponde correttamente e di trovare la risposta corretta in questa lista.
4.3Valutazione di ipotesi
Naturalmente non e abbastanza solo di trovare la lista con risposte lui deve anche sostenere e
difendere le risposte possibili. Dopo di che elimina le risposte che sono ovviamente sbagliate
Watson costruisce strade da molti sorgenti differenti. Per fare una collezione di evidenze
positive e negative per tutti le rimanenti possibilità. Watson capisce questi passaggi avendo
capito le relazioni tra le parole. Relazioni come per esempio “gli libri hanno eroi” oppure
“attori creano personaggi”. Dopo di che fa esecuzione di algoritmi che non fanno altro ma di
votare la qualità di questi prove basate su tutto come materiali sorgenti affidabili a se
coincidono gli tempi e la posizione corretta. Ma anche dopo questa eliminazione ci sono
29
ancora centinaia di possibili risposte rimanenti ci sono molti algoritmi che vengono eseguiti in
parallelo per fare una sorta di votazione delle prove per ogni uno di loro. Ricordiamo che tutto
questo processo deve essere eseguito in 3 secondi.
4.4 Fusione finale e classifica
Le differenti tipi delle evidenze sono migliori per risolvere differenti tipi di domande
esattamente come le persone Watson usa la esperienza per provare di rispondere a domande
simili per tarare importanza delle differenti tipi di evidenze. Non si tratta di memorizzare
Facendo pratica con molti giochi Watson impara di come tarare, applicare e combinare i suoi
algoritmi. Aiutando di misurare per ogni pezzo di evidenza gli risultati vengono fuse insieme
per la decisione della classifica finale per ogni possibile risposta. Gli risultati con posti più alti
nella classifica appaiono nel ordine sul panello di risposta di Watson. In Jeopardy gli
partecipanti perdono soldi se premono il bottone e rispondono sbagliato. Eco perché Watson
fa una stima di confidenza su tutte le risposte assegnata in percentuale. Questa confidenza e
basata su quanto alto e stata valutata la risposta durante il processo della ricerca di evidenze.
Se la confidenza di Watson su una specifica domanda e più bassa di 50 % Watson non
risponde ovvero non preme il bottone. Questo passo e importante in quando anche Watson
“sa cosa sa e sa cosa non sa”. Non esiste un livello di confidenza che decide oppure no di
premere il bottone la soglia della confidenza e in continua evoluzione e basandosi su quanto
Watson sta giocando con relazione con gli altri giocatori e quanti soldi sono rimasti sulla
bacheca. Ma in questo caso il livello di confidenza e arrivato a 78% e quindi e abbastanza per
prenotare la risposta e ecco come Watson ha vinto 800 $.
IBM ha usato Jeopardy come un modo per spingere la scienza in profondi analisi della
elaborazione lingua naturale. La stessa tecnologia può essere usata in una quantità enorme di
applicazioni da assistenza sanitaria, finanza o una qualsiasi industria che le persone che usano
informazione per darli aiuto di fare migliori decisioni. Il successo finale di Watson sarà
misurato non con le raddoppio giornaliero ma con il significato di Watson per la società.
30
4.5 Hardware
Gli primi implementazioni di Watson sono stati eseguiti sul singolo processore e infatti sono
stati necessari 2 ore per rispondere a singola domanda. Fortunatamente le computazioni del
Software si potevano eseguire in parallelo.
Dove la “magia” viene svolta?
Watson e composto da un Cluster di 90 IBM Power 750 Servers, ogni server ha 4 socket in
In ogni uno dei quali possiede un processore Power 7 a 3,5 GHz che e equipaggiato da 8
Core con 4 treads per Core.
In totale il sistema e composto da 2880 Power 7 cores ovvero 11. 520 treads che sono in
grado lavorare in parallelo e ha una RAM di 16 TeraBytes .
Watson e in grado di processare 500 GB equivalenti a milioni di libri solo in un secondo.
Il hardware di Watson e in grado di processare circa
80 TeraFLOPs equivalenti a 80,000,000,000,000 operazioni a secondo
Watson e circa 114 nella lista dei Top 500 Super Computers
31
Conclusioni
Il futuro promette tecnologie innovative in grado di cambiare la nostra vita. Il futuro nasce nei
nostri sogni. Il futuro forse avrà robot, che ni aiutano, teleporti, che ci muoviamo con
centinaia di chilometri al secondo, macchine, che generano con pensiero oggetti e molto altri
fantastici successi. La mente umana non ha limiti, ma ciò che ci unisce è la forte fede, che la
strada per un futuro più intelligente è pieno di soluzioni innovative e alta tecnologia. In
un’economia mondiale sempre più competitivo il successo dipende sempre di più dalla
innovazione nelle imprese e nella società. L’innovazione nella tecnologia sarà guidato da
singoli inventori e talenti, anche di grandi corporazioni. Tecnologie oltre gli confini
dell’immaginazione e soluzioni digitali innovative, quali facilitano la vita e il business. Questa
e la visone che e associata con il prossimo futuro. “Let's build smart planet”
32
Bibliografia
[1] D.M. Bikel, R. Schwart, Machine learning
[2] Smart Machines: IBM’s Watson and the Era of Cognitive Computing
[3] http://www.ibm.com/smarterplanet/us/en/ibmwatson/
[4] youtube.com/ibm
[5] Cognitive Systems Institute 20140505 External.pdf, file pdf
[6] Da Wikipedia, def. Scienze cognitive http://it.wikipedia.org/wiki/Scienze_cognitive
[7] IBM Watson.pdf, file pdf