La realtà virtuale per la vita quotidiana funziona con il tocco di un dito
Quando si digita, ogni dito fa vibrare il polso in modo diverso. I Lavoratori all'ETH stanno utilizzando questa scoperta per sviluppare un braccialetto con sensore che consente di lavorare a mani libere e in modo intuitivo nello spazio virtuale.
Le tecnologie di realtà virtuale stanno penetrando in un numero sempre maggiore di settori. Dall'addestramento dei piloti nei simulatori di volo agli studi spaziali, ad esempio in architettura, fino ai videogiochi sempre più realistici: La simulazione di ambienti, abbinata a tecnologie come gli occhiali VR, offre possibilità quasi illimitate. Tuttavia, i sistemi VR non sono ancora ampiamente utilizzati nella vita quotidiana. "Oggi la VR viene utilizzata principalmente per consumare contenuti. Le tecnologie non si sono ancora affermate nelle attività produttive, come il tradizionale lavoro d'ufficio", afferma Christian Holz, professore dell'Istituto per i sistemi interattivi intelligenti dell'ETH di Zurigo. Anche in questo caso c'è un grande potenziale: i contenuti non sono più legati a uno schermo, gli utenti possono interagire tridimensionalmente, in modo estremamente flessibile e intuitivo con le mani.
Ogni dito vibra in modo diverso
Cosa frena questo sviluppo? Christian Holz vede il problema centrale nell'interazione tra uomo e tecnologia. La maggior parte delle applicazioni VR oggi vengono utilizzate con controller da tenere in mano o con le mani in aria, la cui posizione viene catturata da una telecamera. Nella maggior parte dei casi, gli utenti stanno in piedi mentre utilizzano il sistema. "Se si devono sempre tenere le braccia alzate, diventa presto faticoso", dice Holz, "Un normale processo di lavoro, cioè interagire con il sistema per diverse ore, è inconcepibile in questo modo". Un altro problema sorge quando si digita su una tastiera virtuale, ad esempio. Le dita si muovono solo leggermente e le telecamere non possono catturare il movimento in profondità con la stessa precisione di una tastiera meccanica. Inoltre, quando si opera in aria manca il familiare feedback aptico.
Per il team di ricercatori guidato da Christian Holz, è quindi chiaro che le superfici passive sono ancora importanti per un uso produttivo significativo della VR. Può trattarsi del classico piano di un tavolo, ma anche di una parete o del proprio corpo. Per sfruttarle al meglio, i ricercatori hanno sviluppato un principio di sensore chiamato "TapID", che presenteranno alla conferenza pagina esternaIEEE VR conferenza alla fine di marzo. Il principio si basa su diversi sensori di accelerazione sul polso, incorporati in un normale braccialetto di gomma. Questi registrano quando la mano tocca una superficie e quale dito viene utilizzato. I ricercatori hanno scoperto che il nuovo design del sensore è in grado di risolvere le minime differenze nel profilo di vibrazione del polso, che ogni dito innesca in modo diverso durante il movimento. Una pipeline di apprendimento automatico appositamente sviluppata elabora i dati misurati in tempo reale. In combinazione con il sistema di telecamere degli occhiali VR, che registra la posizione delle mani, questo permette un input estremamente preciso. I ricercatori lo dimostrano in alcune delle applicazioni che hanno programmato per il loro sviluppo, come una tastiera virtuale e un pianoforte (vedi video).
Suonare un pianoforte virtuale con lo smartwatch
Secondo Holz, il pianoforte virtuale è particolarmente adatto a dimostrare i vantaggi di TapID: "Qui è essenziale non solo la precisione spaziale, ma anche il tempismo. Il momento in cui vengono toccati i tasti deve essere registrato con la massima precisione possibile. La tecnologia relativamente semplice su cui si basa il sistema offre molti vantaggi. Ad esempio, la produzione di un braccialetto di questo tipo dovrebbe costare solo pochi franchi. Il team di ricerca ha anche testato il sistema con le tecnologie esistenti: In una valutazione tecnica con 18 partecipanti, hanno potuto dimostrare che il principio non solo funziona in modo affidabile con l'elettronica appositamente progettata nel braccialetto, ma anche con braccialetti fitness e smartwatch di fornitori affermati, dotati di sensori inerziali. Guardando al futuro, i ricercatori intendono perfezionare il principio con un numero ancora maggiore di soggetti di prova e sviluppare ulteriori applicazioni.
Un altro punto che Christian Holz vede è la realtà virtuale mobile: "La nostra tecnologia dei sensori è così portatile che in futuro potremmo utilizzare la VR anche in movimento. Con TapID, è possibile utilizzare le applicazioni sulla propria mano o sulla propria coscia, ovunque e in qualsiasi momento". Il professore di informatica Holz vede il futuro della realtà virtuale nella possibilità di lavorare insieme indipendentemente dalla posizione fisica, senza limitazioni hardware, ma come se ci si trovasse nella stessa stanza. "TapID potrebbe essere un passo importante in questa direzione", conclude Christian Holz, che continuerà la ricerca con il suo team guidato da Manuel Meier, Paul Streli e Andreas Fender.
Riferimento alla letteratura
Meier M, Streli P, Fender A, Holz C: TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing. Atti di IEEE VR 2021 (in stampa), pagina esternaprestampa sul sito web del progetto)
Ulteriori informazioni
- pagina esterna call_made TapID: interazione rapida con il tatto nella realtà virtuale grazie alla sensoristica indossabile
- pagina esterna call_made Sensing, Interaction & Perception Lab all'ETH di Zurigo (inglese)
- pagina esterna call_made 2021 Conferenza IEEE sulla realtà virtuale e le interfacce utente 3D (IEEE VR)