Realtà aumentata markerless basata su algoritmi di Image Recognition e SLAM
Simone Sabbatini [email protected]
Sede dello stage: Interplay Software Tutor: Giovanni Cortese
OBIETTIVI • Comprendere funzionamento della Realtà
Aumentata • Approfondire tecniche markerless
• Image Recognition • SLAM
• Test tool di sviluppo • Realizzazione demo
Realtà aumentata – che cos’è Realtà Aumentata (AR) Rappresentazione alterata della realtà
Alla realtà percepita attraverso i sensi umani vengono sovrapposte informazioni ed elementi virtuali ed artificiali
Realtà Virtuale (VR)
Non si ha percezione della realtà
Realtà aumentata – come funziona
Marker-based Basata su riconoscimento di marker bidimensionali
Fotocamera
Webcam
Marker Modello 3D
Realtà aumentata – come funziona
Marker-less
Basata su algoritmi di Computer Vision
IMAGE RECOGNITION
(IR)
Non necessita di marker
SIMULTANEOUS LOCALIZATION AND
MAPPING (SLAM)
IMAGE RECOGNITION
Acquisizione immagine
Analisi immagine
I n d i v i d u a z i o n e features significative
Classificazione immagine
Simultaneous Localization and Mapping
Problema affrontato nel campo della robotica
LOCALIZZAZIONE
MAPPING
“Where I am?”
“What does the world look like?”
Simultaneous Localization and Mapping
E’ considerato un problema risolto
Esistono varie implementazioni ( alcune Open Source! )
Visual SLAM : risolve il problema della SLAM utilizzando solamente la camera come sensore
C r e a u n a m a p p a 3 D dell’ambiente circostante utilizzando i sensori dei robot
No riferimenti metrici e sistema di riferimento non noto
Obiettivo: Riconoscimento quadri interi o dettagli Visualizzare informazioni relative al quadro riconosciuto Visualizzare collegamenti a “Scheda Autore” e “Contesto storico”
DEMO – Image Recognition
https://github.com/SimoneSabba/DemoIR-PointCloud
Obiettivo: Riconoscere immagine ed “aumentarla” con contenuti 3D e video
DEMO – Image Recognition
https://github.com/SimoneSabba/DemoIR-Android-Metaio
DEMO – SLAM
Obiettivo: Demo misurazione ambiente Problemi: Mappa non scalata metricamente Sistema di riferimento non noto Soluzione: Utilizzo di Image Recognition + SLAM
https://github.com/SimoneSabba/DemoSLAM-PointCloud
DEMO – SLAM
Obiettivo: Visualizzazione modello 3D Problemi: Mappa non scalata metricamente Sistema di riferimento non noto Soluzione: Utilizzo di Image Recognition + SLAM
https://github.com/SimoneSabba/DemoSLAM-Android-Metaio
DEMO – SLAM
Aumentazione
M o d e l l o 3 D v isua l izzato ne l la scena inquadra ta dalla fotocamera
CONCLUSIONI
Nuove soluzioni di AR basate su Image Recognition e SLAM possibili grazie a dispositivi mobili sempre più “evoluti” Esperienza d’uso più stimolante ed immersiva per l’utente Nuovi scenari di utilizzo grazie a Google Glass ed affini Riconoscimento basato su SLAM sensibile ai cambiamenti esterni della scena (cambi di luce e variazione della scena) Problematica superabile grazie a nuove features quali tracking basato su modello CAD