Avatar VR: Interazione Immersiva

La tesi si propone di analizzare l'inserimento di un avatar utente in realtà virtuale (VR), considerando dispositivi di tracking all'avanguardia e diverse soluzioni di modellazione. Si utilizzano due dispositivi di acquisizione: una camera RGBD per il tracciamento della posizione dell'utente e la creazione di un avatar tramite un SDK di skeletal tracking, e una combinazione di visore head-mounted display (HMD) e tecnologie per la rappresentazione del movimento delle mani (controller, Leap Motion, Manus Prime Haptic Gloves). L'obiettivo principale è l'allineamento dei punti comuni tra i due sistemi di acquisizione per ricreare un avatar in prima persona che replichi fedelmente i movimenti del corpo dell'utente nell'ambiente virtuale. L'attuale mancanza di feedback visivo del corpo dell'utente nelle applicazioni VR, nonostante l'esistenza di tecnologie abilitanti, è dovuta principalmente all'alto costo di queste ultime, limitando la diffusione della VR, soprattutto nel settore dei videogiochi per utenti privati. L'adozione di questa strategia, basata sull'allineamento di punti comuni, è preferita per la sua non invasività e convenienza, soprattutto se si utilizzano controller e Leap Motion.

Il lavoro definisce e approfondisce i concetti chiave di presenza e immersione in realtà virtuale, richiamando la definizione di Milgram e Kishino del 1994 sul virtuality continuum e l'analisi dettagliata di Slater su immersione e presenza. L'immersione viene descritta come una caratteristica quantificabile della tecnologia, mentre la presenza è definita come il senso soggettivo di essere presenti nell'ambiente virtuale. La tesi si concentra sull'attributo di presenza personale, ipotizzando che l'utilizzo di un avatar in prima persona lo aumenti. Vengono analizzate ricerche precedenti che evidenziano l'importanza di un self-avatar per l'interazione naturale in VR, in particolare per i compiti motori. La mancanza di feedback visivo del proprio corpo spesso porta a un senso di disembodiment, mentre un avatar migliora l'esperienza, aumenta l'immersione e il senso di presenza, influenzando positivamente anche compiti specifici come la stima dell'altezza e riducendo il rischio di comportamenti pericolosi (es. cadute). L'utilizzo del questionario Igroup Presence Questionnaire (IPQ) per valutare il senso di presenza è giustificato dalla necessità di verificare l'influenza dell'avatar sull'esperienza VR.

La tesi descrive diverse soluzioni per la fusione di sensori per la creazione di avatar, tra cui l'utilizzo di Oculus Rift e Leap Motion, o sistemi più complessi con più tracker Vive. Vengono analizzate diverse soluzioni software, tra cui il plugin RootMotion Final IK e il plugin Manus Polygon, quest'ultimo più costoso ma con maggiore precisione e possibilità di integrazione con i guanti Manus Prime Haptic Gloves. Si descrivono le caratteristiche dei diversi dispositivi utilizzati: Oculus Rift e HTC Vive come HMD, Leap Motion e Manus Prime Haptic Gloves per il tracking delle mani, e una camera RGBD per la ricostruzione del corpo. L'integrazione di queste tecnologie richiede un'attenta fase di allineamento dei sistemi di riferimento, tramite trasformazione rigida e correzione in tempo reale, per garantire una corretta sovrapposizione dell'avatar al corpo dell'utente. Il software sviluppato permette all'utente di scegliere tra diverse configurazioni, con o senza avatar, e con diverse tecnologie di tracking delle mani.

Il progetto Unity è stato modificato per includere diverse scene, una per ogni combinazione di tecnologia di tracking delle mani (controller, Leap Motion, Manus Prime Haptic Gloves) e con o senza avatar. La scena di login permette all'utente di inserire il proprio nome e selezionare la tecnologia e la presenza o meno dell'avatar. Le scene con avatar includono una fase di allineamento, dove l'utente deve eseguire dei movimenti per permettere al sistema di calcolare la trasformazione rigida e la correzione in tempo reale, e una scena dove l'utente esegue il compito principale, ovvero l'assemblaggio dell'armatura di Iron Man. Il meccanismo di presa degli oggetti è implementato tramite il plugin VRTK per i controller e tramite il modulo Interaction Engine del plugin Leap Motion per Leap Motion. Per Manus Prime Haptic Gloves, si utilizza una combinazione di script VRTK e VRTK3. Sono stati affrontati problemi specifici per ogni tecnologia, come l'offset nell'asse Y con Leap Motion e la compatibilità dei guanti Manus con Oculus Rift (necessitando di calibrazione aggiuntiva). Per semplificare le sessioni sperimentali, è stata utilizzata solo la scena senza avatar per i Manus Prime Haptic Gloves, a causa di problemi di interferenza.

La fase sperimentale ha coinvolto 6 partecipanti, con l'obiettivo di validare le tecnologie e le tecniche utilizzate. Il compito consisteva nell'assemblaggio dell'armatura di Iron Man, utilizzando le tre tecnologie per il tracking delle mani, con e senza avatar. Sono stati misurati il tempo di completamento, il numero di errori e la lunghezza dell'avambraccio. Sono stati utilizzati questionari (User Experience Questionnaire e Igroup Presence Questionnaire) per valutare aspetti di usabilità e senso di presenza. I risultati suggeriscono che i controller sono la soluzione più semplice, mentre Leap Motion è la più complessa, con i guanti Manus in una posizione intermedia. L'avatar sembra migliorare leggermente il senso di presenza e ridurre gli errori, anche se ulteriori ricerche sono necessarie per comprendere meglio la curva di apprendimento delle tecnologie e testare con utenti esperti. La soluzione con controller e avatar si è dimostrata la migliore nel contesto specifico dell'esperimento.

La tesi analizza tre diverse tecnologie per il tracking delle mani in realtà virtuale, valutandone le prestazioni e l'idoneità all'integrazione nel sistema di creazione dell'avatar. La prima tecnologia considerata è quella dei controller standard inclusi nei kit degli HMD (come Oculus Rift e HTC Vive), che offrono una soluzione economica (circa 89$ per controller), ma con una rappresentazione delle mani poco precisa: il movimento delle dita dipende dalla posizione del controller e non dalla posizione reale della mano. La seconda tecnologia è rappresentata da Leap Motion, un dispositivo dedicato al tracking delle mani che, con un costo di circa 90$, offre una rappresentazione molto accurata dei movimenti. Tuttavia, la complessità degli oggetti con cui si interagisce influenza la qualità dell'interazione: con oggetti semplici, l'interazione è fluida, ma con oggetti complessi (come i pezzi dell'armatura di Iron Man utilizzati nell'esperimento) possono verificarsi problemi, con movimenti anomali che compromettono il senso di presenza e immersione. Infine, la terza tecnologia esaminata è rappresentata dai Manus Prime Haptic Gloves, guanti aptici che offrono un'elevata precisione e feedback tattile, ma con un costo superiore. Questi guanti, progettati per funzionare con il sistema HTC Vive, richiedono una calibrazione aggiuntiva per essere utilizzati con Oculus Rift. La loro integrazione nel sistema presenta delle difficoltà tecniche, che hanno portato alla decisione di non utilizzarli nella fase sperimentale con l'avatar, al fine di evitare problemi di interferenza e garantire un'esperienza utente più stabile e affidabile.

Il confronto tra le tre tecnologie di hand tracking evidenzia significative differenze in termini di costo, precisione e tipo di interazione con gli oggetti virtuali. I controller standard, pur essendo la soluzione più economica, presentano una modellazione imprecisa delle mani. Leap Motion, con un costo medio, offre un tracking accurato, ma la sua precisione è influenzata dalla complessità degli oggetti, con possibili problemi di interazione con oggetti complessi. I Manus Prime Haptic Gloves, invece, rappresentano la soluzione più costosa, ma offrono un'elevata precisione e il vantaggio del feedback aptico. Tuttavia, la loro compatibilità con Oculus Rift richiede una calibrazione aggiuntiva, e presentano problematiche tecniche che hanno condotto alla scelta di non impiegarli nelle prove con l'avatar durante l'esperimento. Le diverse prestazioni delle tecnologie sono state valutate in base ai tempi di completamento del task (assemblaggio dell'armatura di Iron Man), al numero di errori e al feedback degli utenti, rilevando che la semplicità di interazione dei controller si è rivelata la soluzione migliore per l'applicazione testata, in particolare in combinazione con l'avatar. Il costo delle tecnologie è un fattore rilevante da considerare nella scelta, suggerendo un trade-off tra costo e qualità dell'interazione.

Il processo di allineamento dell'avatar, generato da una camera RGBD e un SDK di skeletal tracking, con il corpo reale dell'utente è centrale nella tesi. Questo allineamento è ottenuto tramite una tecnica di sensor fusion, combinando i dati della camera RGBD con quelli di un HMD e di un dispositivo di hand tracking (controller, Leap Motion, o Manus Prime Haptic Gloves). L'allineamento avviene identificando punti comuni tra i diversi sistemi di acquisizione (testa, polsi e mani). Una trasformazione rigida viene applicata per allineare i diversi sistemi di riferimento, ma questa operazione, effettuata su un singolo set di punti comuni, può portare ad un allineamento visivamente scorretto. Per questo motivo, è stata implementata una fase di correzione in tempo reale (live correction) per affinare l'allineamento e migliorare la percezione dell'utente. La scelta di questa strategia di allineamento è motivata dalla sua non invasività e dalla sua economicità rispetto ad altre soluzioni più complesse. L'integrazione di diverse tecnologie per il hand tracking presenta sfide specifiche, come la gestione di diversi sistemi di riferimento e la necessità di una calibrazione aggiuntiva per i guanti Manus Prime Haptic Gloves con Oculus Rift. Il risultato finale è la sovrapposizione dell'avatar al corpo reale dell'utente, garantendo un'esperienza di realtà virtuale più immersiva e naturale.

Durante l'implementazione, sono emerse alcune problematiche nell'ottenere un allineamento preciso dell'avatar. Inizialmente, l'utilizzo di soli tre punti comuni (testa, mani) per la trasformazione rigida non ha permesso di ottenere risultati soddisfacenti a causa della mancanza di informazioni sulla posizione dei polsi nell'ambiente virtuale. Per ovviare a questo problema, si è sfruttato il plugin VRTK, che fornisce un modello delle mani basato sui controller utilizzati (Oculus o HTC Vive), permettendo di accedere anche alla posizione dei polsi. Questo ha consentito di utilizzare cinque punti comuni (testa, polsi e mani) per la fase di trasformazione rigida, migliorando significativamente l'allineamento. Tuttavia, anche con questa modifica, si sono riscontrati errori dovuti al rumore e alle imprecisioni della camera RGBD rispetto alla precisione delle altre tecnologie per la rappresentazione delle mani. La fase di correzione in tempo reale (live correction) è stata fondamentale per minimizzare questi errori e garantire un'esperienza utente coerente. Per Leap Motion, si sono riscontrati problemi di offset nell'asse Y, risolti con una soluzione basata sui prefab Leap Rig e Attachment Hands. Infine, per mantenere l'allineamento dell'avatar durante l'esecuzione del compito, le posizioni iniziali del Leap Rig o del CameraRig (a seconda della tecnologia utilizzata) sono state salvate e riapplicate in ogni frame.

Per validare il software sviluppato e confrontare le diverse tecnologie di hand tracking con e senza avatar, è stata condotta una sessione sperimentale con sei partecipanti. Sebbene si fosse previsto un numero maggiore di partecipanti, l'emergenza Covid-19 ha limitato la raccolta dati. Nonostante ciò, il campione di sei partecipanti, composto da uomini e donne di età compresa tra i 20 e i 55 anni, con vista normale o corretta, e con poca o nessuna esperienza in VR, è considerato statisticamente rilevante per l'analisi. Il compito assegnato ai partecipanti consisteva nell'assemblaggio di un'armatura di Iron Man in un ambiente VR, utilizzando tre diverse tecnologie per il tracking delle mani: controller standard, Leap Motion (con e senza avatar), e Manus Prime Haptic Gloves (solo senza avatar, a causa dei problemi di integrazione precedentemente descritti). La scelta di questo task specifico permette di valutare l'efficacia delle diverse soluzioni nel contesto di un'interazione complessa con oggetti virtuali.

La valutazione delle performance e dell'esperienza utente è stata effettuata tramite una combinazione di metodi oggettivi e soggettivi. Le metriche oggettive includono il tempo totale impiegato per completare il task di assemblaggio dell'armatura, il numero di errori commessi durante la manipolazione degli oggetti e la misurazione della lunghezza dell'avambraccio, confrontando i dati ottenuti con le diverse tecnologie di rappresentazione delle mani con la lunghezza reale dell'avambraccio. Per la valutazione soggettiva, sono stati impiegati due questionari: il User Experience Questionnaire, per misurare aspetti classici di usabilità come efficienza, chiarezza e affidabilità, e aspetti legati all'esperienza utente come originalità e stimolazione; e l'Igroup Presence Questionnaire (IPQ), per valutare il senso di presenza dell'utente, verificando l'influenza dell'avatar sull'esperienza VR e confrontando l'impatto di una rappresentazione completa del corpo con quella delle sole mani. Questo approccio multi-metodo permette una valutazione completa dell'efficacia delle soluzioni proposte.

I risultati dell'esperimento evidenziano differenze significative tra le tre tecnologie di hand tracking. I controller standard si sono dimostrati i più facili da utilizzare, mentre Leap Motion ha presentato la maggiore difficoltà, con i Manus Prime Haptic Gloves in una posizione intermedia. La maggiore semplicità dei controller è dovuta al meccanismo di presa basato sulla pressione di un pulsante, mentre Leap Motion richiede una simulazione più naturale della presa, con la necessità di mantenere le mani sempre visibili al sensore. I guanti Manus, grazie alla presenza costante delle mani nell'ambiente e al feedback aptico, risultano meno complessi di Leap Motion. L'utilizzo dell'avatar ha mostrato un leggero miglioramento del senso di presenza, riducendo i tempi di completamento e il numero di errori. Tuttavia, sono necessarie ulteriori ricerche per approfondire la curva di apprendimento di Leap Motion e Manus Prime Haptic Gloves, e per replicare l'esperimento con utenti esperti, al fine di ottenere una comprensione più completa delle prestazioni delle diverse tecnologie e dell'influenza dell'avatar sull'esperienza utente in VR.