Post on 03-May-2015
transcript
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Inaugurazione CRESCO4Portici 12 Marzo 2014
CRESCO4 & ENEAGRID per TEDAT e per il calcolo scientifico in ENEA
G.Braccobracco@enea.it
S.Migliori,A.Quintiliani,R.Guadagni,F.Ambrosino,G.Aprea,F.Beone,M.Caporicci,P.DAngelo,A.Funel,G.Guarnieri,S.Podda,G.Ponti,F.Palombi,G.Furini,A.Mariano,
G.Mencuccini,P.Ornelli,A.Perozziello,S.Pierattini,F.Poggi,D.Giammattei,M.DeRosa,B.Calosso,M.Chinnici,C.Ferrelli,S.Pecoraro,F.Simoni,R.Bertini,S.Magagnino,D.Abate,P.DeMichele,S.Giusepponi,A.Rocchi,C.Sciò,A.Italiano,A.Colavincenzo,B.Mastroianni
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Contenuto
• ENEAGRID ospita le risorse HPC di ENEA– L'architettura– Le interfacce utente e i laboratori virtuali– L'utenza e le applicazioni– I cluster CRESCO
• I nuovi progetti PON 2007-2013– TEDAT, (IT@CHA, LAMRECOR)
• Le nuove infrastrutture 2013/2014–CRESCO4 (TEDAT)–CRESCO3 (IT@CHA, LAMRECOR)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per un ambiente utente amichevole:–Autenticazione Kerberos 5– File systems: • AFS/OpenAFS: file system geografico• GPFS: file system parallelo, anche su WAN
–Gestore delle risorse: LSF Multicluster– Interfacce grafiche Web per l'utente:• NX/FARO• Jobrama: Stato dei job & Accounting
–Sistema di monitoring: Zabbix–Gestione Web utenze e progetti: WARC
Architettura di ENEAGRID
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~10000 cores) e sistemi speciali dedicati (ad es. GPU). Storage AFS e GPFS. Le risorse sono distribuite su 6 Centri di Ricerca ENEA.
ENEAGRID: risorse di calcolo e storage
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
FARO - Fast Access to Remote Objects
Accesso WEB a dati,applicazioni,macchine virtuali realizzato con una integrazione di NX e applicazioni java
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
FARO e Laboratori Virtuali
Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Total displacemen
t (mm)
Post
Processor
Total displacemen
t (mm)
Total displacemen
t (mm)
Post
Processor
Post
Processor
FARO: la visualizzazione 3D
Rendering 3D Remoto
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli.
Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione– chimica computazionale– simulazioni climatiche– analisi della diffusione degli inquinanti nell'atmosfera– tecnologie nucleari– fluidodinamica per l'aerospazio– fisica della fusione nucleare– bioinformatica– sistemi complessi– ….
L'utenza e le applicazioni
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
z
Ripartizione per Aree Applicative
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
Ripartizione per Applicazioni
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
Ripartizione per Unità Tecniche ENEA
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
Utenze esterne ad ENEA impegnate in collaborazioni & progetti:648 year*core (29.4%)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Tempo macchina 2013 x le Unità Tecniche
CoreYear %
UTTMAT 972.242 33.38UTICT 512.868 17.61
UTRINN 413.754 14.21UTTEI 351.034 12.05UTFUS 255.877 8.78UTMEA 253.18 8.69
UTFISST 40.97 1.41UTFISSM 40.582 1.39
METR 28.9 0.99UTVALAMB 27.674 0.95
UTTRI 14.113 0.48UTAGRI 1.108 0.04
UTTP 0.356 0.01Totale 2912.664 100.00
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
I cluster CRESCO pre 2013
I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000-2006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012 (Casaccia,Frascati)
> Portici CRESCO1 (672 cores) CRESCO2 (2720 cores)IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere> Casaccia CRESCOC (192 cores, twin 1U)IB Qlogic Silverstorm DDR, AMD 2427 Istanbul> Frascati CRESCOF (480 cores twin square 2U, GPFS)IB Qlogic 12300 QDR, AMD 6172 Magnycours> Brindisi CRESCOB (80 cores, 4 U, GPFS)GEthernet, Intel Tigerton
Attualmente i nodi di CRESCO1 e CRESCO2 sono parte in dismissione e riuso per i servizi ICT di base
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
PON 2007-2013
• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011– TEDAT - Centro di eccellenza per le Tecnologie e la
diagnostica avanzata nel settore dei trasporti (2200 k€)
• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei
Beni Culturali (~300 k€)– LAMRECOR - Logistica avanzata per la Mobilità di persone e
merci (~550 k€)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Dai progetti LAMRECOR e IT@CHA:
CRESCO3 : in produzione estate 2013
84 nodi dualCPU AMD Interlagos 62342.4 GHz64 GB RAM24 coresTotale:2016 cores20 TFlopsStorage: DDN S2A9900 600 TB
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
CRESCO4
Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di acquisire il cluster CRESCO4, 100 Tflops
– 5 Rack di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB
– Processore Intel E5-2670, 2.6 GHz, 8 cores– 64 GB RAM/nodo 4 GB RAM/Core– Nodi di tipo Fat Twin (Chassis 4U con 8 nodi)– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3– Infiniband QDR QLogic/Intel 12800-180 (432 porte)– Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling – ~100KW potenza elettrica assorbita a pieno carico (HPL)
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
Rete infiniband CRESCO3/CRESCO4
4xDDR 20 Gbps
4xQDR40 Gbps
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Locali CRESCO e CRESCO4
CED CRESCO dal 2008
CED nuovo CRESCO4
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
CED CRESCO
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
CED CRESCO : in primo piano CRESCO2
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Locale CRESCO4 primavera 2013
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
Progetto dell'installazione
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
CRESCO4 collaudato ottobre 2013
G. Bracco - Inaugurazione CRESCO4 - Portici, 12 Marzo 2014
ENE
CRESCO4 : in produzione dal 20/1/2014
Utenza CRESCO4: le applicazioni di area TEDAT (scienza dei materiali/CFD) e progetti numerici concordati con alcune unità ENEA: UTTEI, UTMEA, UTFUS, METR, UTVALAMB
Ore di calcolo erogate daENEAGRID dal 20/1/2014 al28/2/2014
710 anni*core in 40 giorni
riportati all'anno~6500 anni*core