19
I sensori censiti e le fonti Big Data stefano micocci - area big data lepida scpa 1 SensorNet - IoT per un territorio smart - Bologna 9 ottobre 2019
I sensori censiti e le fonti Big Data
stefano micocci - area big data lepida scpa
1SensorNet - IoT per un territorio smart - Bologna 9 ottobre 2019
Di cosa parleremo
Lo scenario in cui ci muoviamo
I sensori nella nostra Regione
Come trasformare il dato in valore
La piattaforma big data di Lepida
2
Il contesto
● rapida innovazione tecnologica: opportunità che richiede strumenti culturali e
tecnici per saperla cogliere.
● Tema cruciale: ottimizzazione e governance delle risorse, intese come risorse
ambientali, energetiche, umane
● L’approccio: nasce l’idea delle “smart cities” e delle “smart landscape” (Piano
Agid 2019-2021) per affrontare il cambiamento delle città e del territorio
● Gli strumenti: disponibilità di dati diffusi provenienti dal territorio ( IoT), capacità
di raccolta (big data) ed intelligenza per creare valore (BDA - AI)
3
La sfida in Italia ed in Europa
Nel 2015, gli Stati Membri dell’Unione Europea hanno identificato 12 temi da affrontare:
○ Qualità dell’aria○ Adattamento al cambiamento climatico○ Economia circolare, promozione degli skills all’interno di economie locali○ Integrazione sociale, povertà e riqualificazione dei quartieri periferici○ Transizione digitale○ Mobilità urbana○ Energia, efficientamento abitativo
4
Non solo ottimizzare l’uso delle risorse, anche applicare nuovi modelli organizzativi e sociali.
Le parole d’ordine
Big data
5
Intelligenza Artificiale
Internet of Things
6
interesse crescente nel mondo...
7
… anche in Italia
Distribuzione sensori in RER: le fonti
Arpae
Servizio Viabilità Regione Emilia-Romagna
Università Modena – Reggio Emilia
Università Modena – Reggio Emilia
Servizi Tecnici di Bacini Romagna, Reno, Po
LepidaSpa
Università Modena – Reggio Emilia
8
Distribuzione sensori in RER: più di 2400 sensori
Fonti Portale Sensornet
Tipologie di sensori
monitoraggio idropluviometrico = 800 sensori (pluviometri tradizionali,
pluviometri microwaves, idrometri)
monitoraggio traffico = 595 (Spire su strade provinciali e statali)
monitoraggio frane = 244 (prismi, estensimetri, inclinometri, piezometri)
Sistema Indoor per il monitoraggio dei consumi energetici: 104 (sensori
temperatura+umidità+luminosità)
9
Tipologie di sensori
il rischio
10
non essere capaci di trasformare il dato in valore
Il rischio
Architettura per la raccolta dati dai sensori
11
sensori rete LoRA
sensori rete
Sensornet
server LoRa
front end LoRa
server sensornet
front end sensornethttp://sensornet.lepida.it
ingestion
data Lake
elaborazione
dashboard API REST
bigData Servizi Sensori
Architettura per trasformare il dato in valore
12
Big data non è solo grande
Le 5 V dei big data
piattaforma big data di Lepida: roadmap “orizzontale”
big data
platform
data ingesti
on
data storing
data modell
ing
data process
ing
data analitycs
Distributed streaming platform and general purpose ingestion
module
step1
storage HDFS data lake
data processing (MapReduce, generalisation, randomisation)
(non-relational, distributed database)
ingestion of IoT datanear real time streaming
management (speed layer)algorithms and data modeling
advancedstep
2
technological platform and data policy access
step3
management of heterogeneous data flows and
data mashing Services access / AI platforms
14
La piattaforma di Lepida: open source e moduli ad hoc
Batch layer
Apache hadoop - HDFS/YARN (distributed resource)
HBaseSpark
Spark streaming / Flume Spark AI
Superset /BI Project / Tableau/...
Distributed platform
Apache Hive
Apache Kafka
Speed layer
Data collection platform
Flume
ingestion legacy module
Rules Engine
Anonymization module
data
IoT
data
Rules and patterns
st. machines /algorithm
La piattaforma di Lepida: open source e moduli ad hoc
Architettura per la raccolta dati dai sensori
15
Modello di ingestion dei dati della rete wifi della RER
flume( hashmac)
Postgres(monitoraggio)
kafkaconsumer
kafka(parsing)
sync topic #1
aruba pipeline
switch
arubalogs
mikrotiklogs
req
speed layer
syncDHCPlogs
IoTdata
Rules engine
… pipeline
hdfs(snappy[json])
Hive tables
batch layer
topic #2
…...
Dashboard - utenti che conoscono la rete
16
Dashboard - utenti che conoscono la rete
https://bigdatatest.lepida.it/wifi/
Dashboard - distribuzione degli utenti in regione
17
Dashboard - distribuzione degli utenti in regione
Dashboard - utenti che usano la rete
18
3,5 ML di accessi al giorno
Dashboard - utenti che usano la rete
