We vinden het heel vanzelfsprekend dat een smartphone of een tablet doet wat wij willen als we het scherm aanraken. In werkelijkheid vereist dat heel wat technologisch vernuft. En er komen nog betere schermen, waarop je bijvoorbeeld kunt voelen of een trui van kriebelwol is gemaakt.
Typen op het beeldscherm van je telefoon, scrollen, swipen, uitzoomen met twee vingers, gamen, je aanmelden voor een afspraak in het ziekenhuis… Touchscreens zijn niet meer weg te denken uit het dagelijks leven. Maar er is altijd ruimte voor verbetering. Technici werken hard aan schermen die het gevoel van een echte aanraking geven. Zodat het bijvoorbeeld lijkt alsof je écht een knop indrukt, of alsof je een bepaalde stof door je vingers laat glijden. En dat is nog maar het begin, want met AR (augmented reality) en VR (virtual reality) kun je zelfs al met je handen in de ruimte voelen. Als dat zich verder ontwikkelt, opent zich een hele nieuwe wereld aan ‘touch-ervaringen’. Dat rechtvaardigt de vraag: waar staan de onderzoekers en ontwikkelaars nu en wat komt er in de toekomst aan?
Met een pennetje
Ontwikkelaar – bijna van het eerste uur – Luc Demets van het Belgische ClickTouch werkt al sinds 1990 aan deze technologie. Hij weet precies hoe de touchscreens functioneren die tegenwoordig in onze smartphones en tablets zitten en ook hoe dat in het verleden ging. “Vroeger had je veel surfacecapacitance- schermen”, vertelt Demets. “Daarop zit een detectielaag aan de bovenkant en komt de stroom vanuit de hoeken van het scherm. Op basis van veranderingen in de stroompjes in de hoeken bepaalt het scherm de positie van de vinger.” Maar die detectielaag was wel heel gevoelig voor vocht.
Ook zogeheten resistieve schermen waren vroeger populair. “Die werden vaak bediend met een pennetje, waarmee je twee lagen op elkaar moet duwen. Voor industriële toepassingen is daar nog wel vraag naar, vanwege het feit dat je er wat harder op moet drukken. Je kunt ze niet per ongeluk activeren”, vervolgt Demets.
“Maar de laatste jaren hebben de projected- capacitance-schermen (PCAP) het grootste marktaandeel. De komst van de iPhone in 2007 heeft deze techniek populair gemaakt onder consumenten en ook onder industriële gebruikers.” PCAP-schermen werken met een elektrisch veld dat van binnenuit geprojecteerd wordt, door de glaslaag van het scherm heen. Het kunnen ook andere materialen zijn, zolang die laag maar isoleert en transparant is. Er staat dus spanning op, maar die kan niet weg. Onder die laag zitten twee detectielagen, voor de bepaling van de x- en de y-coördinaat op de plek waar het scherm aangeraakt wordt. De vinger geleidt de stroom en de detectielaag registreert dat. Het voordeel van deze schermen is ook dat je ze met meerdere vingers tegelijk kunt bedienen.
Feedback voor de vingers
PCAP-schermen zijn dus een stuk gebruiksvriendelijker dan de andere technieken. Maar gebruiksvriendelijker betekent niet dat de touch-ervaring ook échter is. Dat wordt die pas als je meerdere zintuigen gaat prikkelen. Het liefst gebruiken we niet alleen onze ogen en oren om de wereld om ons heen te ervaren. Onze vingers zitten boordevol tastzintuigen die registreren hoe een oppervlak aanvoelt; bijvoorbeeld warm, koud, glad, ruw, hard of zacht. Een onveranderlijk, glad oppervlak geeft geen feedback aan de vinger die het aanraakt. De laatste jaren verandert dat langzaam: het toetsenbord op een smartphonescherm kan nu bijvoorbeeld trillen bij het aanraken van een letter. Dit soort reacties van het aangeraakte oppervlak wordt haptische feedback genoemd.
Maar het kan nog geavanceerder. “Motortjes laten je apparaat een klein beetje vibreren”, vertelt Demets. “De frequentie van die trillingen kan dan variëren bij aanraking. Zo kun je de illusie wekken dat een knop een andere textuur heeft dan het vlak eromheen, dus met bijvoorbeeld ribbels en bobbels.” Op de meeste smartphones kun je deze functie aanzetten, maar volgens Demets zijn de mogelijkheden nog beperkt. “Bij schermen groter dan een smartphone is het technisch gezien lastiger en daardoor erg prijzig.” De techniek voor haptische feedback ontwikkelt zich snel.
Onderzoekers van de TU Eindhoven zien vooral meerwaarde in lokale haptische feedback. Bijvoorbeeld als de vingers een duidelijk signaal krijgen van de plaats van een toets op het scherm. Dat maakt typen makkelijker, omdat je lettertoetsen voelt, zoals bij een echt toetsenbord. Maar het is vooral een uitkomst wanneer je het scherm niet kunt zien. “Blinden en slechtzienden kunnen moeilijk overweg met bestaande touchscreens”, zegt materiaalwetenschapper Danqing Liu. “Zij hebben grote behoefte aan iets wat je kunt voelen op het scherm.” Nu gebruiken blinde mensen vaak een brailleleesregel die ze aansluiten op een gewoon computerscherm of een touchscreen. Dit is een soort balk waaruit pennetjes in braillepatroon omhoogkomen.
Met haptische feedback zou dat dus ook zonder extra apparaten kunnen. Maar de trillingen van de meeste smartphones zijn hiervoor niet voldoende. “Veel smartphones geven dezelfde haptische feedback over het hele scherm. Daar hebben blinden niet zoveel aan. Zij hebben lokale haptische feedback nodig om braille op het scherm te kunnen lezen.”
Liu onderzoekt hiervoor de elektrische signaaltjes die moleculen op het scherm af kunnen geven in reactie op aanraking. Vervolgens werkt ze aan de techniek om die signaaltjes om te zetten in iets wat je met je vingers kunt voelen, dus alsof het scherm een 3D-structuur heeft. Je kunt de knop dan eerst aftasten en daarna virtueel indrukken. Maar een scherm dat je kunt voelen heeft meer toepassingen. “Deze techniek is voor veel meer mensen een uitkomst”, stelt Liu. “Denk bijvoorbeeld aan het makkelijk en veilig bedienen van een touchscreen voor navigatie in de auto. Zo kun je je ogen op de weg houden en tegelijk voelen welke knoppen je in moet drukken.”
Onbewuste illusie
Het gevoel van een 3D-structuur op een touchscreen kan virtuele ervaringen dus een stuk echter maken. Robin de Lange, oprichter van het Virtual Reality Learning Lab in Leiden, heeft wel een idee wat daarvoor nodig is. “Het gaat erom dat het intuïtief aanvoelt”, legt hij uit. “De timing is misschien wel het belangrijkst. Je wilt die feedback precies op het moment voelen dat je wat doet. Het gebeurt vaak onbewust, zonder dat je aandacht erop gericht is. Je weet vaak niet eens of je een trilling nu voelde of hoorde. Het gaat om de illusie. Het is behoorlijk moeilijk om dat echt goed te krijgen en daarom is het nog niet overal doorgedrongen in de apparaten die we dagelijks gebruiken.”
Lukt het goed om de illusie van aanraken of vastpakken te creëren, dan zijn de mogelijkheden in principe eindeloos. Je kunt feedback krijgen als je met je vingers iets zoekt op een kaart, bij een spel iets oppakt en neerlegt, of als je een penseelstreek op een doek maakt. Of je voelt een nieuwe broek in een online kledingwinkel. En wat denk je ervan om een dier te aaien of zelfs je partner op het scherm aan te raken? Maar onderzoekers en ontwikkelaars denken nog een stap verder, van 3D-structuren op het scherm naar 3Dstructuren in de ruimte. Hiervoor raakt de gebruiker geen scherm aan, maar een controller, zoals een toetsenbord of een joystick.
Chirurgen maken hier langzaamaan meer gebruik van. Zij voeren bepaalde operaties, bijvoorbeeld urologische ingrepen, met behulp van een robot uit. Vooral bij precisiewerk op moeilijk bereikbare plaatsen in het lichaam kan dat voordelen hebben. Om een gevoel te krijgen van de structuren in het lichaam kan een chirurg trillingen doorkrijgen via de joysticks. Op deze manier is het mogelijk om tijdens een operatie de weerstand van een weefsel te voelen. Behalve met een toetsenbord of een joystick helpen speciale handschoenen ook om een ervaring realistischer te maken.
Het Delftse bedrijf SenseGlove maakt dit soort handschoenen voor trainingsdoeleinden, onder andere voor chirurgen in opleiding. Ze worden gebruikt in combinatie met een VR-bril, waarbij de handschoenen weerstand simuleren als je een virtueel object vastpakt of een knop indrukt. Je denkt dan dat je iets aanraakt, maar je handen bewegen in het luchtledige. Sensors volgen de handbewegingen om de VR-ervaring nog beter af te stemmen op wat de gebruiker doet.
Likschermen?
Terugkomend op onze eigen smartphone kunnen we dus uitkijken naar het voelbare scherm van de Eindhovense onderzoekers. De Lange denkt dat we daarnaast iets mogen verwachten van de technologie van het Amerikaanse bedrijf Ultraleap. Dit maakt apparaatjes ter grootte van een halve tablet. “Met infraroodreflectie en machine learning, een vorm van kunstmatige intelligentie, weet dat apparaat precies waar je handen zijn, zonder dat je het scherm aanraakt. Het apparaatje van Ultraleap zendt vervolgens ultrasone geluidsgolven uit die de ervaring van tast simuleren. Die golven kun je niet horen, maar wel voelen”, legt De Lange uit. Je kunt dus virtueel iets aanraken wat zich op een afstandje van het scherm of apparaat bevindt. Ultraleap richt zich bijvoorbeeld op apparaten waarmee je zonder aanraking een scherm in een lift of kiosk kunt bedienen, attracties in pretparken, training bij herstel na een beroerte, en vliegsimulators.
De Lange ziet hier ook wel wat in voor onze smartphones, in combinatie met brillen voor augmented reality. Die voegen virtuele informatie toe aan de wereld om je heen, terwijl je tegelijkertijd de echte wereld ook gewoon ziet. Denk aan een restaurant waar je voor staat en meteen de virtuele menukaart ziet, of een spel als Pokémon GO. “Bij AR is het namelijk wat vreemd dat je, als je met je handen beweegt, niet echt iets voelt. Je ziet immers wel een virtueel voorwerp in de ruimte. Als AR-brillen populairder worden bij de consument, dan denk ik dat Ultraleap de ervaring echter kan maken.”
Een ervaring met drie zintuigen – zicht, gehoor en tast – is al heel wat, maar we hebben er natuurlijk vijf. Geur en smaak zijn nog over. Gek genoeg zou een scherm met een smaakje voor een bijzondere groep touchscreengebruikers misschien helemaal niet zo vreemd zijn: apen! Die hebben in dierentuinen ook steeds vaker touchscreens tot hun beschikking. Behalve hun behendige vingers gebruiken ze namelijk ook andere lichaamsdelen, zoals hun tenen en zelfs hun tong! Hopelijk blijft die laatste ontwikkeling beperkt tot apen, want om nou iedereen aan zijn smartphone te zien likken…
Dit artikel is gepubliceerd in KIJK 5/2021. Online staat een kadertekst over dieren die touchscreens gebruiken
Afbeelding van Firmbee via Pixabay
Meer artikelen in KIJK
Tags