Date post: | 02-May-2015 |
Category: |
Documents |
Upload: | croccifixio-piccolo |
View: | 219 times |
Download: | 2 times |
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Casaccia 4 Febbraio 2013
UTICT e UTTEI e il calcolo scientifico
G.Bracco
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Contenuto
• ENEAGRID– L'architettura,l'utenza e le applicazioni– Le interfaccia utente e i laboratori virtuali– I Cluster CRESCO
• I nuovi progetti PON 2007-2013– IT@CHA, TEDAT, LAMRECOR
• Le nuove infrastrutture– CRESCO3– CRESCO4
• L'utilizzo di ENEAGRID/CRESCO da parte di UTTEI– cpu, storage,licenze...– commenti..
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfaccie Web sviluppate/customizzate per una ambiente utente amichevole:
– Authenticazione Kerberos 5– File systems:
• AFS/OpenAFS file system geografico• GPFS: file system parallelo anche WAN
– Gestore delle risorse: LSF Multicluster– Interfaccie grafiche Web per l'utente:
• NX/FARO• Jobrama: Stato dei job & Accounting
– Sistema di monitoring: Zabbix– Gestione Web utenze e progetti: WARC
Architettura di ENEAGRID
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Le piattaforme di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64, (i cluster CRESCO ~ 5000 cores), i sistemi AIX SP5, (~256 cpu), sistemi speciali dedicati ( ad es. GPU), risorse virtualizzate. Le risorse sono distribuite su 6 centri.
ENEAGRID : le risorse di calcolo
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
L'utenza di ENEAGRID
~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli.
Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione– chimica computazionale– simulazioni climatiche– analisi della diffusione degli inquinanti nell'atmosfera– tecnologie nucleari– fluidodinamica per l'aereospazio– fisica della fusione nucleare– bioinformatica
L'utenza e le applicazioni
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
FARO - Fast Access to Remote Objects
Accesso WEB a dati,applicazioni,macchine virtuali realizzato con una integrazione di NX e applicazioni java
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
FARO e Laboratori Virtuali
Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Laboratori Virtuali
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Total displacement
(mm)
Post
Processor
Total displacement
(mm)
Total displacement
(mm)
Post
Processor
Post
Processor
FARO: la visualizzazione 3D
Rendering 3D Remoto
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
I cluster CRESCO
I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000-2006 (Portici,Brindisi,Trisaia) o con risorse interne negli ultimi due anni (Casaccia,Frascati)
>Portici CRESCO1(672 cores 4U) CRESCO2(2720 blades)IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere>Casaccia CRESCOC (192 cores, twin 1U)IB Qlogic Silverstorm DDR, AMD 2427 Istanbul>Frascati CRESCOF (480 cores twin square 2U, GPFS)IB Qlogic 12300 QDR, AMD 6172 Magnycours>Brindisi CRESCOB (80 cores, 4 U, GPFS)GEthernet, Intel Tigerton>Trisaia CRESCOT (16 cores,4U)Intel Tigerton
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
CRESCO Portici - Rete IB e storage
SFS-7000D(D) SFS-7000D (e) SFS 7000D
SFS 7000D
SFS 7000D
SFS-7024-288P
4 X FRONT END GRAFICI
2X GPFS NODE
SFS 7012-144-P
4X FRONT END
FCFC
(2)
4
4
4
(4)
42 X 3850M210 X 3755
340 X HS21SECTION 2
SM (ACTIVE) SM (standby
4
4
4 X FRONT END GRAFICI
4X FRONT END
2X GPFS NODE
4)
4
4
2) 2)
2)2)
(2) 2)
4
BACK-UP
4
IBM DCS 9550 -180TBDDN S2A9900 120TB 2X GPFS NODE
IB 24 ports
4
20 TBServerSTORAGE
20 TBServerSTORAGE
20 TBServerSTORAGE
20 TBServerSTORAGE
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
PON 2007-2013
• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali– LAMRECOR - Logistica avanzata per la Mobilità di persone e merci– DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi
produttore -consumatore
• PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric 29/10/2010
– VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel settore dei trasporti
– DATABENC - Distretto ad ALta Tecnologia per i beni culturali nella regione Campania
• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011– TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel
settore dei trasporti
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
Progetto TEDAT
Centro di Eccellenza per le TEcnologie e la Diagnostica Avanzata nel settore dei Trasporti Il progetto è dedicato al potenziamento delle tecnologie e della strumentazione per i processi, le analisi e la diagnostica avanzata dei materiali e componenti nell'ambito del settore dei trasporti (aerospaziale, automotive, ferroviario, navale)
Progetto Infrastrutture interamente ENEA, localizzato principalmente a Brindisi ed in parte a Portici
Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e infrastrutturali
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
PON 2007-2013 Progetti operativi
Investimenti:
• IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€ (UTAPRAD,UTICT)
• LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€(UTICT)
• TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€ (UTTMAT,UTTP,UTICT)
– Portici (2.056 k€)– Brindisi (165 k€)
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Portici: CRESCO3
Con risorse dai progetti IT@CHA,LAMRECOR e DIRECTFOOD è stato acquisito su Portici un cluster AMD basato su macchine Twin Square SuperMicro & Acer 2 Rack (modello wide) in sala CED CRESCO + Rack di rete
Sono stati installati 84 nodi per un totale di 2016 cores; in produzione entro febbraio 2013Infiniband QDR QLogic 12800-040 (96 porte)Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag specifiche, Intel 12 specifiche flag librerie ACML)
Storage: DDN S2A9900 espanso ora a 600 TB
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
AMD Iterlagos 6234 2.4 GHz, 64 GB,24 cores,84 nodi, 2016 cores
CRESCO3 : twin square
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Portici: CRESCO4
Le risorse del progetto TEDAT sono più importanti e permettono di programmare l'acquisizione di un cluster di taglia ~80 Tflops utilizzando la tecnologia Twin Square
Il sistema è attualmente in fase di acquisizione (Bando europeo,aggiudicazione provvisoria) Estate 2013?
Schema di principio
– ~4 Rack di nodi di calcolo per un totale di 256 nodi (4096 cores Intel) 1 rack di servizio.
– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3– Infiniband QDR ad es. QLogic/Intel 12800-180 (max 528 porte)– Nuova sala CED; nuovo UPS – Sistema di condizionamento con free-cooling
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Portici: CRESCO4 - rete IB
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Locali CRESCO e CRESCO4
CED CRESCO attuale
CED nuovo CRESCO4
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
CED CRESCO
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
CED CRESCO
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Locale CRESCO4
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Schema di possibile installazione
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Test effettuati con Ansys FLUENT
Processori – Intel(R) E5620 @ 2.40GHz (Westmere) CRESCO2– AMD 6234 @ 2.40Ghz (Interlagos) CRESCO3– Intel(R) E5-2680 @ 2.70GHz (SandyBridge) ClusterINTEL
Test ANSYS FLUENT
M2: circa 250000 celle flusso turbolento, stazionarioM3: circa 350000 celle flusso turbolento, stazionario, trasporto di speci chimicheL1: circa 850000 celle flusso turbolento, compressibile
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Test effettuati con Ansys FLUENT
T(s) Norm
8 cores GHz M2 M3 L1 M2 M3 L1
Westmere 2.4 15.3 62.8 124 0.69 0.66 0.64
Interlagos 2.4 22.2 95.3 194.8 1 1 1
SandyBridge 2.7 9.8 39.1 77.3 0.5 0.46 0.45
24 cores GHz M2 M3 L1 M2 M3 L1
Interlagos 2.4 9.6 41 81.6 1 1 1
SandyBridge 2.7 7.14 30 55.2 0.84 0.82 0.76
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Altri elementi
Coda LSF privilegiata “combustione” (eugenio,dcecere) alta priorità 128 core
Contributo UTTEI – licenze ANSYS annuale ~26k€– sistema blade CRESCO2 2011 69Keuro ~136 cores
Il gruppo della combustione è uno dei pochi gruppi in ENEA che ha una attività significativa di sviluppo codici
Contributi UTTEI ai rapporti annuali CRESCO:– 2008-2009 - 2 contributi– 2009-2010 - 3 contributi– 2010-2011 - 2 contributi
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Alcuni spunti di attività sul campo
– Feed back sulla qualità di servizio,suggerimenti, osservazioni,criticità?
– Esigenze di supporto numerico? – Richieste hardware specifiche (RAM? SSD? GPU?..)– Chiusura sistemi SP5/AIX: un problema?– Modalità di uso degli storage e della gestione dati: analisi comune
delle esigenze.– E' in elaborazione un documento che formalizza un po' il rapporto
tra gli utenti dei sistemi HPC ed UTICT: sarebbe utile un contributo di review e commento.
– Rapporto CRESCO, che modifiche? [formato (LateX?), note su scalabilità?, lista delle pubblicazioni?,...]
– Accesso ad altri sistemi HPC? CINECA,PRACE,...
G. Bracco UTTEI/UTICT - 4 Febbraio 2013
ENE
Conclusioni
Date le note condizioni al contorno per poter garantire la disponibilità in ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi i fondi per le attività che loro competono.
La disponibilità di sistemi HPC interni all'ENEA garantisce l'accesso a risorse indispensabili per le attività di simulazione avvanzata in modo semplice e flessibile.
E' importante per UTICT che venga riconosciuto in ogni sede il contributo fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato al fine del raggiungimento dei risultati specifici raggiunti.