www.consorzio-cometa.it
FESR
Consorzio COMETA - Progetto PI2S2
Paradigma del Grid Computing
Marcello Iacono-MannoConsorzio COMETACorso Grid presso l’ITIS “Cannizzaro” - Catania05/05/2010
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 5 Maggio 2010 2
La Griglia e Internet
• La Griglia– E’ il prossimo
passo nell’evoluzione dei sistemi di calcolo distribuiti
– Si basa su Internet come rete globale per lo scambio di informazioni
– E’ considerata l’equivalente computazionale del World Wide Web (WWW)
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 3
La Griglia da una semplice analogia
Centrali elettriche disperse sul territorio producono energia elettrica
L’energia elettrica viene distribuita
tramite opportune reti elettriche
Un utente ha bisogno di
energia elettrica per i propri
consumi
Firma un contratto con la
società che gestisce la rete
La società elettrica
fornisce un punto per
accedere alla rete elettrica
Adesso l’utente può
usare l’energia
elettrica per I propri
consumi
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 4
Nel caso di rete elettrica
• La società elettrica– Produce energia elettrica in grosse quantità adottando le
tecnologie di produzione che ritiene più opportune– Distribuisce l’energia tramite una appropriata rete elettrica di
distribuzione– Definisce i termini e le condizioni di contratto per accedere
alla rete elettrica– Può modificare le tecnologie di produzione/distribuzione in
qualunque momento secondo necessità
• Il consumatore– Può richiedere di allacciarsi alla rete elettrica accettando e
firmando un contratto con la società elettrica– Accede alla rete elettrica utilizzando semplicemente un
opportuno punto per l’allacciamento fornito dalla società elettrica
– Non necessita di conoscere tutta la tecnologia che sta dietro la produzione/distribuzione dell’energia elettrica
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 5
Analogamente
Un utente ha bisogno di
grosse potenze di calcolo
L’organizzazione fornirà una interfaccia per accedere
all’infrastruttura di griglia insieme a opportuni strumenti di
sistema
Si registra presso una
organizzazione virtuale che
fornisce servizi di griglia
Adesso l’utente è autorizzato ad
accedere alla griglia
Internet
La potenza viene messa a
disposizione sulla rete Internet
Alcuni siti forniscono potenza di calcolo e/o
spazi per i dati
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 6
La Griglia Computazionale
• Una Virtual Organization (VO)– Fornisce una determinata potenza di calcolo mettendo a
disposizione cluster di computer– Fornisce una determinata quantità di spazio per
l’immagazzinamento dei dati– Mette a disposizione tali risorse accessibili tramite la rete
globale Internet– Definisce i termini e le condizioni per accedere a tali
risorse
• Un utente di griglia– Necessita di grosse potenze computazionale e opportuni
spazi per i dati– Accede alle risorse indipendentemente da dove si trovino
(ubiquità) utilizzando gli strumenti forniti dall’organizzazione virtuale (User Interface)
– Non necessita di conoscere l’architettura che sta dietro la User Interface
Internet
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 7
Perché le Griglie adesso ?
• Perché la quantità di risorse di calcole necessarie alle applicazioni cresce a dismisura
• Perché l’ammontare dei dati richiede sistemi di immagazzinamento sempre più complessi
• Per rendere più semplice la collaborazione tra persone e risorse appartenenti a diverse organizzazioni
• Per accedere a strumentazioni che non che non sono facilmente accessibili in altro modo
• Perché è la naturale evoluzione della computazione distribuita
Migliaia di CPU che lavorano per ottenere un
risultato comune
Da centinaia di Gigabytes a Petabytes (milioni di gigabytes) di dati da
immagazzinare
Persone di organizzazioni diverse che lavorano per
raggiungere i medesimi scopi
Perchè non possono essere spostate, replicate o i costi per
far ciò sono troppo alti
Per creare un nuovo mercato di servizi di calcolo su Internet
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 8
Organizzazioni virtuali
• Una Organizzazione Virtuale (VO)– E’ un insieme di persone e risorse che concorrono a raggiungere il
medesimo obiettivo– Normalmente abbraccia sottoinsiemi di persone e risorse di domini
amministrativi diversi• Un utente
– Può appartenere a più VO allo stesso tempo– Deve registrarsi e ottenere appositi certificati per essere identificato– Può avere conoscenze informatiche di base
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 9
Virtual Laboratory
• Un nuovo modo di concepire gli esperimenti
• Una piattaforma che consente a persone di diverse organizzazioni di lavorare nello stesso laboratorio “virtuale”
• Fortemente correlato con il concetto di Organizzazione Virtuale. Ad ogni Laboratorio Virtuale si associa una Organizzazione Virtuale
??
Dispositivi
Persone
Strumenti
Dati
Calcolo
Grid Infrastructure
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 10
Proprietà delle Griglie
• Trasparenza– Gli utenti di griglia non hanno bisogno di conoscere i dettagli architetturali– Gli utenti devono avere la percezione di aver a disposizione un supercomputer
virtuale– In termini di geografia delle risorse– In termini di tolleranza ai guasti
• Apertura– Ogni sottosistema è un sistema a sé e può essere acceduto direttamente
• Scalabilità– Nuove risorse di griglia possono aggiunte all’infrastruttura in qualunque
momento• Tolleranza ai guasti
– La Griglia deve continuare a funzionare anche se uno o più nodi cadono• Concorrenza
– Differenti processi devono poter lavorare su differenti nodi nello stesso momento
• Ubiquità– Tutti i servizi devono poter acceduti da un utente indipendentemente da dove
egli si trova
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 11
Problematiche di Griglia (i)
• Sicurezza– Autenticazione di un utente e autorizzazione ad accedere alle risorse– Integrità– Riservatezza e non ripudio– Single Sign On (SSO)
• Sistemi di Informazione e Monitoraggio– Per localizzare e monitorare le risorse di Griglia– Per accertarsi dello stato di salute delle risorse– Per verificare le condizioni di carico attuali delle risorse
• Gestione dei file– Creazione, modifica e cancellazione dei file– Replicazione dei file su più sistemi di storage e mantenimento della
consistenza– Accesso ai file di Griglia in remoto evitando di spostarli dalle postazioni
in cui si trovano
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 12
Problematiche di Griglia (ii)
• Amministrazione– Gestione delle risorse di griglia che non interferisca con le politiche
degli amministratori di tali risorse
• Gestione del Carico (Workload Management System)– Per schedulare i task della griglia sulle varie risorse disponibili– Per allocare le risorse seguendo criteri di ottimizzazione e rispetto dei
vincoli specificati dagli amministratori
• Servizi di Naming– Gestione dei nomi delle risorse in modo da garantire la non ambiguità
• Interfacce User Friendly– Perché la maggior degli utenti di griglia non hanno conoscenze
avanzate di informatica– Adozione di Graphical User Interfaces (GUIs)– Adozione di Grid Portals (Web Portals)– Adozione di Command Line Interfaces (CLIs) per gli utenti esperti
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 13
La Globus Alliance
• Globus Alliance– E’ una comunità di persone e organizzazioni coinvolte nella
progettazione e nello sviluppo di tecnologie di griglia– Università dell’Illinois, Argonne National Laboratory, University of
Edinburgh, EPCC, etc…
• Il Globus Toolkit (GT)– E’ uno standard di fatto– E’ un insieme di servizi– Adesso adotta interfacce Web Services
• Il Global Grid Forum (GGF)– E’ un forum per ricercatori in ambito di tecnologie di griglia– Lavora alla definizione di standard e protocolli per tecnologie di griglia– E’ diviso in Work Groups (WGs) – http://www.ggf.org
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 14
Il Modello a clessidra di Globus
• Il modello a clessidra– Accettato come modello di riferimento
per la costruzione di infrastrutture di griglia
– Similare al modello ISO/OSI usato dagli sviluppatori di reti
• Tre livelli di servizi– Local Operating Systems: Gestione
di una miriade di tipi di risorse, sistemi di schedulazione e così via
– Core Globus Services: Pacchetti di servizi per creare le infrastrutture di griglia
– Diverse Global Services:Vere e proprie applicazioni di griglia
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 15
Più in dettaglio. . .
• Fabric– Gestisce le risorse localmente
• Connectivity– Comunicazione (IP, DNS, etc. )– Sicurezza: autenticazione . . .– Single Sign On
• Resource– Allocazione, prenotazione e monitoraggio di
risorse– Accesso e trasporto dei dati– Collezione di informazioni sulle risorse
• Collective– Vista dei servizi come collezioni– Scoperta e allocazione di servizi– Replica e catalogazione dei dati– Gestione del flusso di lavoro
• Application– Applicazioni utente– Tool e interfacce
Fabric
Connectivity
Resource
Collective
Application
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 17
Un esempio: SETI@Home
• SETI@Home– Searches for Extra Terrestrial Intelligence
(SETI) Campiona le onde elettromagnetiche
provenienti dallo spazio (telescopio) Schedula I task sui nodi della griglia
– Usa desktop computers come nodi– I nodi si aggiungono alla griglia
dinamicamente– Il proprietario della macchina decide come
contribuire offrendo la sua potenza di calcolo
• Per contribuire– http://setiathome.berkeley.edu/– Scarica e installa il software– Quando la tua macchina è poco utilizzata
diventa un nodo di griglia (screensaver)
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 18
Integrazione con EGEE
• Finanziata dall’Unione Europea con 30 milioni di euro
• Basata sulla rete di ricerca europea GEANT
• 70 partners di 27 diversi paesi
• Nata per applicazioni di fisica (CERN) e biomediche. Estesa per ulteriori applicazioni come l’osservazione della terra e la geofisica
• http://www.eu-egee.org/
EGEE is providing a production quality grid infrastructure spanning more than 30 countries with over 150 sites to a myriad of applications from various scientific domains, including Earth Sciences, High Energy Physics, Bioinformatics and Astrophysics."
Bob Jones (Project Director)
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 19
Integrazione con INFN Production Grid
• Progetto iniziato nel 1999
• Basata sulla rete italiana GARR che mete in comunicazione I centri di ricerca e le università
• Gestita dall’INFN
• Al momento più di 20 siti
• http://grid-it.cnaf.infn.it/
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 20
TriGrid Virtual Laboratory
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 21
Struttura
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 22
Partners
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 23
Infrastruttura di TriGrid
• Polo di Catania:– INAF, INFN, DMI, DIIT– Circa 100 macchine dual CPU 32/64 bit. Potenza aggregata di 300
kSpecInt2000.– 30 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5– 20 stazioni di lavoro per sviluppo e porting di applicazioni
• Polo di Messina:– Facoltà di Ingegneria e CECUM– Circa 80 macchine dual CPU 32/64 bit. Potenza aggregata di di circa
240 kSpecInt2000.– 20 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5
• Polo di Palermo:– Dipartimento di Fisica e Tecnologie Relative– Circa 30 macchine dual CPU 32/64 bit. Potenza aggregata di di circa
100 kSpecInt2000.– 10 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 24
Attività di TriGrid
• Work Package 1 – Progettazione e realizzazione dell’infrastruttura di griglia– Creazione dell’infrastruttura di calcolo comprendente l’insieme di
risorse computazionali e di storage messe a disposizione dalle tre università, INAF e INFN siciliane
• Work Package 2 – Collezione dei requirements, test di compatibilità del middleware ed accesso alle risorse dell’infrastruttura– Collezionare i requisiti delle varie applicazioni industriali,
analizzarli in dettaglio e verificare (test-suite) la loro soddisfazione man mano che le diverse versioni del middleware verranno installate sull’infrastruttura
– Studio delle problematiche della gestione di licenze software nell’ambiente di griglia
– Studio delle problematiche relative all’accesso alle risorse e all’integrità dei dati
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 25
Attività (ii)
• Work Package 3 – Trasferimento tecnologico e promozione del servizio– Diffusione delle informazione relative allo stato del progetto e ai
risultati ottenuti nel mondo accademico, industriale e istituzionale
– Organizzazione di conferenze ed eventi per mettere in comunicazione i partecipanti al progetto con soggetti sia pubblici sia privati che hanno interesse verso l’uso delle griglie
– Workshop, tutorial ed esercitazioni pratiche a rotazione nelle 3 sedi universitarie siciliane
• Work Package 4 – Porting di applicazioni sulla griglia– Sviluppo di interfacce di alto livello (grid/web portals) tra le
applicazioni industriali e i servizi di griglia– Porting delle applicazioni sulla infrastruttura di griglia
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 26
Obiettivi
• Creazione della prima infrastruttura di griglia computazionale regionale siciliana per applicazioni scientifiche e industriali
• Interfacciamento di applicazioni scientifiche e industriali con il software e l’hardware della griglia
• Disseminazione della filosofia con organizzazione di corsi ed eventi di formazione aperti a soggetti sia pubblici sia privati, eventualmente non partecipanti al progetto
• Creazione e agevolazione di spin-off nell’imprenditoria privata con alto valore aggiunto nell’ambito delle Tecnologie dell’Informazione e della Comunicazione
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 27
Consorzio COMETA e progetto PI2S2
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 2828
The COMETA Consortium(http://www.consorzio-cometa.it)
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 2929
The PI2S2 e-Infrastructure
~11,5 M€ (01/01/2006-31/12/2008)
~300 FTEs (2/3 new hired people)
1500+ CPUs250+ TB of storage
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 30Padova, V Workshop INFN Grid, 18.12.2006 30
First tender for infrastructure completed!(Running since Summer 2007)
INFN-CT
UNI-ME
UNI-PA
(expansion w.r.t. TriGrid)
Second tender u
nder way
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 31
Computing, Networking, and Storage (1/2) • 8 IBM BladeCenter H enclosures
• 84 IBM LS21 “blades”
• 336 cores AMD Opteron 2218 rev. F
• 772 GB of RAM (2 GB/core)
• 0.55 MSpecInt2000
• 0.66 MSpecFP2000
• More than 6 kSpec(Int/FP)Rate
• ~ 48.8 mW/SpecInt2000 at full load !
• G-Ethernet service network
• CISCO Topspin Infiniband-4X additional low-latency network for HPC applications
• LSF 6.1 HPC included !
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 32
Computing, Networking, and Storage (2/2)
• 4 IBM DS4200 Storage Systems (sites 1, 2, 3, and 6)
• FC-2-SATA technology• 136 500-GB disks• 68 TB of storage (raw) in total• Expandability up to 0.45 PB• GPFS distributed/parallel file
sytem included !
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 33
Photo Gallery
INFN Catania
(Trigrid + Cometa)
CECUM Messina
(Trigrid)
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 34
The NEW COMETA WebSite(http://www.pi2s2.it/)
Recently updated
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 35
The COMETA AUP
Usage policies in PI2S2
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 36
The “Cometa” Virtual Organization(https://voms.ct.infn.it:8443/voms/cometa/)
>150 users already registered !
Authorization for PI2S2
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 37
The PI2S2 User Interface on VM(http://www.pi2s2.it/tc/download.php)
Already usable on the TriGrid VL e-Infrastructure
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 38
The PI2S2 Application Questionnaire(http://www.consorzio-cometa.it/questionario/quest.php)
http://www.pi2s2.it/tc/show_quest_2006.php
>50 questionnaires filled so far
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 39
Statistics of Application Questionnaires
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 4040
Applicazioni proposte
Applicazioni Industriali• Umanistiche
– Beni culturali• Numidia
– Simulazioni fluido-dinamiche – Simulazioni chimiche, termo-dinamiche,
elettromagnetiche• SCIRE – FIAT auto
– Simulazioni di modelli aerodinamici– Simulazioni fluido-dinamiche
• Italcompany e Microsol– Fluent
• Seasoft– Manipolazione di documenti
• Inquadro srl– Misura di performance sw– Grid per streaming multilediale
• Hitec2000 srl– Simulazione di processi critici– Beni culturali
Act. Area di interesse
4.5 Ingegneria
4.6 Fisica ed Astrofisica
4.7 Geologia
4.8 Bio-Informatica
4.9 Chimica
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 41
Relationships with Private Companies
• Official agreement signed with ORACLE for the S-Sicilia Project aiming at set-up a Competence Centre in Sicily for accounting on the Grid in collaboration with the Consorzio COMETA and a University of Messina spin-off SME.
• Agreement finalized with MICROSOFT: – for the porting of gLite on Windows including the integration of
MS CCS 2003 as LRMS;– for the adoption of Conference-XP as a platform to be used
for/during Grid training
• Other agreements are foreseen in the next future with Ferrari, FIAT, and Technipetrol.
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 42
Aree di Applicazione (1/2)
• Applicazioni di Fisica – GryPhiN, http://www.gryphin.org/– Particle Physics DataGrid (PPDG), http://grid.fnal.gov/ppdg/– GridPP, http://www.gridpp.ac.uk/– AstroGrid, http://www.astrogrid.org/
• Applicazioni di Scienze Umanistiche– Protein Data Bank (PDB), http://www.rcsb.org/pdb/Welcome.do– Biomedical Informatics Research Network (BIRN),
http://www.nbirn.net/– Telemicroscopy, http://ncmir.ucsd.edu/– myGrid, http://www.mygrid.org.uk/
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 43
Aree di Applicazione (2/2)
• Applicazioni di Ingegneria – NASA Information Power Grid (IPG), http://www.ipg.nasa.gov/– Grid Enabled Optimization and Design Search for Engineering
(GEODISE), http://www.geodise.org/
• Applicazioni Commerciali– Butterfly Grid, http://www.butterfly.net/– Everquest, http://www.everquest.com/
• E-Utility– ClimatePrediction experiment, http://www.climateprediction.net/
Catania, Corso IFTS “Tecnico di Laboratorio per la Ricerca e l’Innovazione Informatica”, 7 Maggio 2008 44
Riferimenti
• TriGrid Homepage– http://www.trigrid.it
• Consorzio COMETA Homepage– http://www.consorzio-cometa.it
• INFN Production Grid– http://grid-it.cnaf.infn.it/
• EGEE– http://www.eu-egee.org/