EXTRAEXTRAProgetto e Sviluppo di un Ambiente per Progetto e Sviluppo di un Ambiente per

Traduzioni Multilingua AssistiteTraduzioni Multilingua Assistite

Riccardo MartogliaRiccardo Martoglia

Università degli Studi di Modena e Reggio EmiliaUniversità degli Studi di Modena e Reggio EmiliaFacoltà di Ingegneria – Corso di Laurea in Ingegneria InformaticaFacoltà di Ingegneria – Corso di Laurea in Ingegneria Informatica

Anno Accademico 2000/2001Anno Accademico 2000/2001

Relatore: Relatore:

Prof. Paolo TiberioProf. Paolo Tiberio

Correlatore:Correlatore:

Dott. Federica MandreoliDott. Federica Mandreoli

ControrelatoreControrelatore:

Prof. Sonia BergamaschiProf. Sonia Bergamaschi

Traduzione EBMT (Example-based)Traduzione EBMT (Example-based)Translation MemoryTranslation Memory

Testo da Testo da tradurretradurre

Testo Testo tradottotradotto

Ricerca di frasi Ricerca di frasi (Pre-traduzione)(Pre-traduzione)

AllineamentoAllineamento

TranslationTranslationMemoryMemory

Suggerimenti per Suggerimenti per la traduzionela traduzione

TraduttoreTraduttore professionistaprofessionista

esattaesattaapprossimataapprossimata

~ 50.000 frasi~ 50.000 frasi

CodiceCodice Frase originariaFrase originaria

(Lingua sorgente)(Lingua sorgente)

Frase tradottaFrase tradotta

(Lingua destinazione)(Lingua destinazione)

56735673 Welcome to the world of Welcome to the world of computer generated art!computer generated art!

Benvenuti nel mondo della grafica Benvenuti nel mondo della grafica generata al computer!generata al computer!

1354313543 The area to the left of the The area to the left of the toolbox is where you work on toolbox is where you work on your pictures.your pictures.

L’area a sinistra degli strumenti è L’area a sinistra degli strumenti è dove si opera sulle immagini.dove si opera sulle immagini.

3256732567 Now press the right mouse Now press the right mouse button and draw over a figure.button and draw over a figure.

Ora premere il pulsante destro del Ora premere il pulsante destro del mouse e disegnare una figura.mouse e disegnare una figura.

…… …… ……

Progetto EXTRAProgetto EXTRA (EXample-based TRanslation Assistant)(EXample-based TRanslation Assistant)

Metrica di similarità tra frasiMetrica di similarità tra frasi Flessibile (Flessibile (stemmingstemming)) Rigorosa (Rigorosa (edit distanceedit distance)) EfficaceEfficace Indipendente dalle lingueIndipendente dalle lingue

Algoritmi di ricerca di similarità tra frasiAlgoritmi di ricerca di similarità tra frasi Completi (Completi (full-matchfull-match e e partial-matchpartial-match)) Efficienti (Efficienti (filtrifiltri ed ed indici indici ad hoc)ad hoc) Portabili (query Portabili (query SQL / JDBCSQL / JDBC + + stored procedure Javastored procedure Java))

Algoritmi di allineamentoAlgoritmi di allineamento Allineamento frasi e paroleAllineamento frasi e parole AutomaticiAutomatici Indipendenti dalle lingueIndipendenti dalle lingue

Ambiente integratoAmbiente integrato Strumenti perStrumenti per gestione ed analisi Translation Memorygestione ed analisi Translation Memory Interfaccia utente graficaInterfaccia utente grafica

Svolto in collaborazione con Logos S.p.A.Svolto in collaborazione con Logos S.p.A.

Metrica di similarità tra frasiMetrica di similarità tra frasiEdit DistanceEdit Distance

L’L’editedit distancedistance ed(fed(f11,f,f22)) tra due frasi tra due frasi ff11 e e ff22 è il minimo costo della è il minimo costo della

sequenza di operazioni sulle parole (inserimenti, cancellazioni, sequenza di operazioni sulle parole (inserimenti, cancellazioni, sostituzioni) che trasformano sostituzioni) che trasformano ff11 in in ff22. .

Esempio.Esempio.ff11:: On completion of electrical connections, fit the cooktop in place from the topOn completion of electrical connections, fit the cooktop in place from the top

ff22:: After the electrical connection, fit the hob from the top After the electrical connection, fit the hob from the top

stemmingstemming complete electric connect fit cooktop place topcomplete electric connect fit cooktop place top

electric connect fit hob top electric connect fit hob top

O O OO O O

ed(fed(f11,f,f22) = ) = 3 3 distanza tra le frasi di 3 (parole) distanza tra le frasi di 3 (parole)

INSERT INTO FULLMATCHINSERT INTO FULLMATCH

SELECTSELECT R2.COD AS COD2, R1.COD AS COD1, R1.TARG_SENT AS SUGG, R2.COD AS COD2, R1.COD AS COD1, R1.TARG_SENT AS SUGG,

ed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DISTed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DIST

FROMFROM TM R1, Q R2 TM R1, Q R2

WHERE <filtri>WHERE <filtri>

……

ANDAND ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN)) ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN)) >= 0>= 0

ORDER BY COD2, DIST, COD1ORDER BY COD2, DIST, COD1

INSERT INTO FULLMATCHINSERT INTO FULLMATCH

SELECTSELECT R2.COD AS COD2, R1.COD AS COD1, R1.TARG_SENT AS SUGG, R2.COD AS COD2, R1.COD AS COD1, R1.TARG_SENT AS SUGG,

ed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DISTed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DIST

FROMFROM TM R1, TMq R1q, Q R2, Qq R2q TM R1, TMq R1q, Q R2, Qq R2q

WHERE R1.COD = R1q.CODWHERE R1.COD = R1q.COD

ANDAND R2.COD = R2q.COD R2.COD = R2q.COD

ANDAND R1q.Qgram = R2q.Qgram R1q.Qgram = R2q.Qgram

ANDAND ABS (R1q.POS – R2q.POS) ABS (R1q.POS – R2q.POS) ≤ round (d*R2.LEN)≤ round (d*R2.LEN)

ANDAND ABS (R1.LEN – R2.LEN) ≤ round (d*R2.LEN) ABS (R1.LEN – R2.LEN) ≤ round (d*R2.LEN)

GROUP BY R2.COD, R1.COD, R1.STEM_SENT, R2.STEM_SENT, R1.LEN, R2.LENGROUP BY R2.COD, R1.COD, R1.STEM_SENT, R2.STEM_SENT, R1.LEN, R2.LEN

HAVINGHAVING COUNT (*) COUNT (*) ≥ (R1.LEN – 1 – (round(d*R2.LEN) – 1) *q)≥ (R1.LEN – 1 – (round(d*R2.LEN) – 1) *q)

ANDAND COUNT (*) COUNT (*) ≥ (R2.LEN – 1 – (round(d*R2.LEN) – 1) *q)≥ (R2.LEN – 1 – (round(d*R2.LEN) – 1) *q)

ANDAND ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN)) ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN)) >= 0>= 0

ORDER BY COD2, DIST, COD1ORDER BY COD2, DIST, COD1

Ricerca di similarità tra frasiRicerca di similarità tra frasiFull matchFull match

Dato un insieme di frasi da pre-tradurre Dato un insieme di frasi da pre-tradurre QQ, un insieme di frasi della Translation , un insieme di frasi della Translation Memory Memory TMTM, e una massima distanza relativa , e una massima distanza relativa dd, per ogni frase , per ogni frase ffqq in in QQ di lunghezza di lunghezza |f|fqq||

si ricercano tutte le frasi si ricercano tutte le frasi ffTMTM in in TMTM (i suggerimenti) tali che (i suggerimenti) tali che ed(fed(fqq,f,fTMTM,round(d*|f,round(d*|fqq|))|))≥≥00

(ordinate sulla base del risultato dell’edit distance).(ordinate sulla base del risultato dell’edit distance).

Filtri:Filtri:

basati sul concetto di basati sul concetto di q-grammaq-gramma posizionale posizionale

garantiscono garantiscono correttezzacorrettezza (assenza di false esclusioni) (assenza di false esclusioni)

garantiscono garantiscono efficienza efficienza (pochi falsi positivi)(pochi falsi positivi)

filtri di filtri di lunghezzalunghezza, , conteggioconteggio e e posizioneposizione

31:31: On completion of electrical connections, fit the cooktop in place On completion of electrical connections, fit the cooktop in place from the top and secure it by means of the clips as shown.from the top and secure it by means of the clips as shown.

((complete electric connect fit cooktop place top secure mean clip show)complete electric connect fit cooktop place top secure mean clip show)LEN = 11 d = 0.3 LEN = 11 d = 0.3 Massima distanza ammessa = Massima distanza ammessa = 3 parole3 parole

Frase Frase Cercata:Cercata:

Frasi in Frasi in Translation Translation Memory:Memory:

CODCOD SOURCE_SENTSOURCE_SENT STEM_SENTSTEM_SENT LENLEN

35723572 This is computer generated art.This is computer generated art. be compute generate artbe compute generate art 44

46314631 The cooling fan switches on only The cooling fan switches on only when the oven or cooktop has when the oven or cooktop has reached a certain temperature.reached a certain temperature.

cool fan switch oven cooktop cool fan switch oven cooktop have reach certain temperaturehave reach certain temperature

99

58485848 After the electrical connection, fit After the electrical connection, fit the hob from the top and hook it to the hob from the top and hook it to the support springs, according to the support springs, according to the illustration.the illustration.

electric connect fit hob top electric connect fit hob top hook support spring illustratehook support spring illustrate

99

4178041780 On completion of electrical On completion of electrical connections, put the cooktop in connections, put the cooktop in place and fix it by means of the place and fix it by means of the clips as shown.clips as shown.

complete electric connect put complete electric connect put cooktop place fix mean clip cooktop place fix mean clip showshow

77

Ricerca di similarità tra frasiRicerca di similarità tra frasiFull matchFull match

ed(31,3572) ed(31,3572) ed(31,4631) ed(31,4631) ed(31,5848) ed(31,5848) ed(31,41780)ed(31,41780) = 3= 3

Ricerca di similarità tra frasiRicerca di similarità tra frasiPartial matchPartial match

Estensione del concetto di Full match. Si ricercano match di similarità:Estensione del concetto di Full match. Si ricercano match di similarità:

tra tra qualunque sottopartequalunque sottoparte delle frasi da pretradurre (estratta automaticamente) delle frasi da pretradurre (estratta automaticamente)

rispetto a rispetto a qualunque sottopartequalunque sottoparte delle frasi della Translation Memory delle frasi della Translation Memory

non solo in modo esatto, ma anche non solo in modo esatto, ma anche approssimatoapprossimato

utilizzando la stessa utilizzando la stessa metrica di similaritàmetrica di similarità vista per le frasi intere vista per le frasi intere

II Partial match Partial match devono essere:devono essere:

di lunghezza superiore ad una soglia minima di lunghezza superiore ad una soglia minima lMinlMin

di distanza non maggiore a di distanza non maggiore a dSubdSub

non contenuti in altri Partial Match più ampinon contenuti in altri Partial Match più ampi

che soddisfano le condizioni precedentiche soddisfano le condizioni precedenti

TranslationTranslationMemoryMemory

Query 1:Query 1:RicercaRicerca

parole ugualiparole ugualiPartial MatchPartial Match

Query 2:Query 2:Ricerca miglioriRicerca miglioripartial matchpartial match

Nuovi Nuovi filtri:filtri:

conteggioconteggio (partial match) (partial match)

posizioneposizione (partial match) (partial match)

lunghezzalunghezza (partial match) (partial match)

inclusioneinclusione

ridondanzaridondanza

Ricerca di similaritRicerca di similarità tra frasià tra frasiEsempi di suggerimenti di pre-traduzioneEsempi di suggerimenti di pre-traduzione

Frase cercata:Frase cercata: On completion of electrical connections, fit the cooktop in place from the top On completion of electrical connections, fit the cooktop in place from the top and secure it by means of the clips as shown.and secure it by means of the clips as shown.

Frase con parte simile 1:Frase con parte simile 1: After the electrical connection, fit the hob from the top and hook it to the After the electrical connection, fit the hob from the top and hook it to the support springs, according to the illustration.support springs, according to the illustration.

Traduzione completa 1:Traduzione completa 1:Dopo aver eseguito il collegamento elettrico, montare il piano cottura dall'alto Dopo aver eseguito il collegamento elettrico, montare il piano cottura dall'alto e agganciarlo alle molle di supporto come da figura.e agganciarlo alle molle di supporto come da figura.

Suggerimento 1 (Dist=0.33):Suggerimento 1 (Dist=0.33):collegamento elettrico, montare il piano cottura dall'altocollegamento elettrico, montare il piano cottura dall'alto

Frase con parte simile 2:Frase con parte simile 2:Secure it by means of the clips.Secure it by means of the clips.

Traduzione suggerita 2 (Dist=0):Traduzione suggerita 2 (Dist=0): Fissare definitivamente per mezzo dei ganci.Fissare definitivamente per mezzo dei ganci.

AllineamentoAllineamentoAllineamento parole: esempio di funzionamentoAllineamento parole: esempio di funzionamento

..riciclaggioriciclaggio

del del simbolosimbolo

daldalindicatoindicato

comecome,,

100%100%alal

riciclabilericiclabileèè

imballoimballod'd'

materialematerialeIl Il

Uguaglianza (sigle, punteggiatura, parole)

Somiglianza LCS (parole)

TheThe packingpacking isis 100%100% recyclablerecyclable ,, asas indicatedindicated byby thethe recyclingrecycling symbolsymbol.. ..

AllineamentoAllineamentoAllineamento frasi: esempio di funzionamentoAllineamento frasi: esempio di funzionamento

IngleseInglese FranceseFrancese

According to our survey, 1988 sales of According to our survey, 1988 sales of mineral water and soft drinks were mineral water and soft drinks were much higher than in 1987, reflecting much higher than in 1987, reflecting the growing popularity of these the growing popularity of these products. Cola drink manufacturers in products. Cola drink manufacturers in particular achieved above-average particular achieved above-average growth rates. The higher turnover was growth rates. The higher turnover was largely due to an increase in the sales largely due to an increase in the sales volume. Employment and investment volume. Employment and investment levels also climbed. Following a two-levels also climbed. Following a two-year transitional period, the new year transitional period, the new Foodstuffs Ordinance for Mineral Water Foodstuffs Ordinance for Mineral Water came into effect on April 1, 1988. came into effect on April 1, 1988. Specifically, it contains more stringent Specifically, it contains more stringent requirements regarding quality requirements regarding quality consistency and purity guarantees.consistency and purity guarantees.

Quant aux eaux minérales et aux Quant aux eaux minérales et aux limonades, elles rencontrent toujours limonades, elles rencontrent toujours plus d’adeptes. En effet, notre sondage plus d’adeptes. En effet, notre sondage fait ressortir des ventes nettement fait ressortir des ventes nettement supérieures à celles de 1987, pour les supérieures à celles de 1987, pour les boissons à base de cola notamment. boissons à base de cola notamment. La progression des chiffres d’affaires La progression des chiffres d’affaires résulte en grande partie de résulte en grande partie de l’accroissement du volume des ventes. l’accroissement du volume des ventes. L’emploi et les investissements ont L’emploi et les investissements ont également augmenté. La nouvelle également augmenté. La nouvelle ordonnance fédérale sur les denrées ordonnance fédérale sur les denrées alimentaires concernant entre autres alimentaires concernant entre autres les eaux minérales, entrée en vigueur les eaux minérales, entrée en vigueur le 1er avril 1988 après une période le 1er avril 1988 après une période transitoire de deux ans, exige surtout transitoire de deux ans, exige surtout une plus grande constance dans la une plus grande constance dans la qualité et une garantie de la pureté.qualité et une garantie de la pureté.

IngleseInglese FranceseFrancese MatchMatch DistDist

According to our survey, 1988 sales of According to our survey, 1988 sales of mineral water and soft drinks were much mineral water and soft drinks were much higher than in 1987, reflecting the higher than in 1987, reflecting the growing popularity of these products.growing popularity of these products.

Quant aux eaux minérales et aux Quant aux eaux minérales et aux limonades, elles rencontrent toujours limonades, elles rencontrent toujours plus d’adeptes. plus d’adeptes.

2 :22 :2 460460

En effet, notre sondage fait ressortir des En effet, notre sondage fait ressortir des ventes nettement supérieures à celles ventes nettement supérieures à celles de 1987, pour les boissons à base de de 1987, pour les boissons à base de cola notamment. cola notamment.

Cola drink manufacturers in particular Cola drink manufacturers in particular achieved above-average growth rates.achieved above-average growth rates.

The higher turnover was largely due to The higher turnover was largely due to an increase in the sales volume.an increase in the sales volume.

La progression des chiffres d’affaires La progression des chiffres d’affaires résulte en grande partie de résulte en grande partie de l’accroissement du volume des ventes.l’accroissement du volume des ventes.

1 :11 :1 173173

Employment and investment levels also Employment and investment levels also climbed. climbed.

L’emploi et les investissements ont L’emploi et les investissements ont également augmenté.également augmenté.

1 :11 :1 4646

Following a two-year transitional period, Following a two-year transitional period, the new Foodstuffs Ordinance for the new Foodstuffs Ordinance for Mineral Water came into effect on April Mineral Water came into effect on April 1, 1988. 1, 1988.

La nouvelle ordonnance fédérale sur les La nouvelle ordonnance fédérale sur les denrées alimentaires concernant entre denrées alimentaires concernant entre autres les eaux minérales, entrée en autres les eaux minérales, entrée en vigueur le 1er avril 1988 après une vigueur le 1er avril 1988 après une période transitoire de deux ans, exige période transitoire de deux ans, exige surtout une plus grande constance dans surtout une plus grande constance dans la qualité et une garantie de la pureté.la qualité et une garantie de la pureté.

2 :12 :1 340340

Specifically, it contains more stringent Specifically, it contains more stringent requirements regarding quality requirements regarding quality consistency and purity guarantees.consistency and purity guarantees.

Ambiente integratoAmbiente integrato StrumentiStrumenti aggiuntivi e aggiuntivi e interfaccia utente interfaccia utente

78

78 204

78 165 397

0 100 200 300 400 500 600 700

Secondi

1 pass no sub

2 pass fast

2 pass accurate

Full

Pre-Sub

Sub

78

291

640

95%

4%

1%

11%

42%

47%

11%

60%

29%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Copertura

Coll 1 Coll 2 (Fast) Coll 2 (Accurate)

Frasi non trovate

Frasi Sub

Frasi Full

(Fast/Accurate)

78

258

89

139

192

0 50 100 150 200 250 300

Secondi impiegati

Test1: Filtri ON

Test1: Filtri OFF

Test2: Filtri ON e Indici ON

Test2: Filtri OFF e Indici ON

Test2: Filtri ON e Indici OFF

Collezione 1 (35000 frasi): copertura totale Collezione 1 (35000 frasi): copertura totale 99%99%

Collezione 2 (1500 frasi): copertura totale Collezione 2 (1500 frasi): copertura totale 71%71%

Prestazioni del sistemaPrestazioni del sistemaEfficaciaEfficaciaEfficienzaEfficienza

Tempi di pre-traduzione di 420 frasi Tempi di pre-traduzione di 420 frasi (Translation Memory di 35000 frasi)(Translation Memory di 35000 frasi)

Circa Circa 1,51,5 secondi per frasesecondi per frase

I filtri e gli indici permettono una riduzione I filtri e gli indici permettono una riduzione dei tempi di circa dei tempi di circa 70%70%

EXTRAEXTRA ConclusioniConclusioni

Obiettivi conseguiti:Obiettivi conseguiti:è stata definita una è stata definita una metrica di similaritàmetrica di similarità tra frasi efficace ed tra frasi efficace ed indipendente dai linguaggiindipendente dai linguaggiè stato definito e affrontato il problema di è stato definito e affrontato il problema di ricerca di similaritàricerca di similarità tra tra frasi frasi intereintereè stata estesa la ricerca di similarità alle è stata estesa la ricerca di similarità alle parti di frasiparti di frasisono stati mappati tali problemi in sono stati mappati tali problemi in query SQL/JDBCquery SQL/JDBC portabili ed efficienti portabili ed efficientisono stati implementati in Java una serie di algoritmi di sono stati implementati in Java una serie di algoritmi di allineamentoallineamento, , automatici ed indipendenti dalle lingueautomatici ed indipendenti dalle lingueè stato realizzato in Java un è stato realizzato in Java un ambiente comuneambiente comune, che riunisce tali , che riunisce tali funzionalità sotto un’interfaccia comune e ne fornisce di aggiuntivefunzionalità sotto un’interfaccia comune e ne fornisce di aggiuntive

Sviluppi futuriSviluppi futuriProseguire il lavoro di ricerca:Proseguire il lavoro di ricerca:

studiando estensioni della ricerca di similarità in ambito studiando estensioni della ricerca di similarità in ambito semanticosemanticomigliorando ulteriormente le prestazioni (migliorando ulteriormente le prestazioni (nuovi filtrinuovi filtri …) …)studiando l’applicabilità del sistema ad studiando l’applicabilità del sistema ad altri ambitialtri ambiti