OmniTouch

Een van de grote revoluties in de informatica zijn de aanraakschermen. Ze brachten een nieuwe manier van interactie met de computer, met een speciale aanwijzer of met je vinger. In 2011 ging Microsoft verder met de introductie van OmniTouch, een project dat elk oppervlak tastbaar maakte. Het basisidee is om een ​​camera en een projector op de schouder te monteren, die het scherm projecteert en de toetsaanslagen van de gebruiker leest. De mogelijkheden zijn eindeloos, waardoor we onze hand, de muur, een laken of elk ander oppervlak in een touchscreen kunnen veranderen.

Hoe OmniTouch werkt: toetsaanslagen herkennen

Het belangrijkste onderdeel van het OmniTouch-project is het volgen van de positie en diepte van de vingers, om te weten waar de gebruiker aanraakt. Hiervoor is in het prototype gebruik gemaakt van een dieptegevoelige PrimeSense camera. In tegenstelling tot een normale camera die kleuren meet, meet PrimeSense de afstand van elk punt in het beeld tot de cameralens. De nauwkeurigheid van 1 mm en het minimale bereik van 20 cm zijn de belangrijkste voordelen ten opzichte van de Kinect-camera, die oorspronkelijk in het project werd gebruikt.

"

Om vingers te lokaliseren, legt OmniTouch eerst de dieptekaart vast (A). Vervolgens wordt de hellingskaart berekend>"

In (B) zie je die kaart vertaald in kleuren: rood betekent dat er minder diepte is in de positieve richting van de X- of Y-as (naar boven of naar rechts) en blauw betekent dat er is minder diepte in de negatieve richting van de X- of Y-as (naar beneden of naar links).Paars betekent dat er nauwelijks verandering in diepte is.

Met deze kaart zoekt de software naar verticale cilindrische secties, een oppervlak dat de camera nadert, blijft staan ​​en uiteindelijk weg beweegt. Wat is een vinger geweest als je hem van de ene naar de andere kant laat lopen, wauw. Zoek op de kleurenkaart naar een rood gedeelte, dan een paars gedeelte en dan een blauw gedeelte, allemaal op dezelfde verticale as.

Mogelijke kandidaten worden gefilterd op hoogte, om alles eruit te filteren dat geen vinger kan zijn (een cilinder van 2 millimeter hoog kan bijvoorbeeld niet worden herkend als een vinger, dus die wordt weggegooid). In afbeelding (C) ziet u alle geïdentificeerde vingersecties.

Zodra dit is gebeurd, worden alle verticale secties samengebracht om de vinger te vormen (figuur D). Vingers die mogelijk te kort zijn, worden weggegooid en er wordt aangenomen dat, aangezien de gebruiker rechtshandig is, het meest linkse deel van de vinger de punt is.En voila, we weten nu waar de gebruiker naar wijst .

Hoe weten we nu of de vinger het oppervlak raakt? Ze noemen het vullen met water, maar het zal bekender zijn als ik je vertel dat het is als vullen met de verfemmer met verf.

De techniek is eenvoudig: lokaliseer het middelpunt van de vinger en begin de pixels naar boven, naar links en naar rechts te vullen, met een tolerantie van 13 millimeter. Dat wil zeggen, ze vullen alleen een pixel als het verschil tussen de diepte en die van het middelpunt van de vinger minder dan 13 millimeter is.

Als je vinger niets aanraakt, worden op deze manier alleen de pixels die overeenkomen met je vinger gevuld. Als je de hand aanraakt, worden er nog veel meer gevuld. In de afbeelding zie je wat er gebeurt als de vinger in de lucht is (links) of de hand aanraakt (rechts). Wanneer een bepaalde marge van gevulde pixels wordt gepasseerd, stuurt de software een tik of klik op de overeenkomstige plaats.

Hoe OmniTouch werkt: het beeld projecteren

Hoewel vingerherkenning centraal staat, mogen we niet vergeten dat OmniTouch ook een beeld op elk oppervlak moet projecteren. Hiervoor wordt ook de dieptekamer gebruikt. Alle oppervlakken in het beeld worden gedetecteerd met behulp van een algoritme voor verbonden componenten, dat zeer efficiënt onderling verbonden punten in het beeld detecteert.

Zodra de oppervlakken kleiner dan een hand zijn weggegooid, gaan we verder met het vastleggen van een middelpunt of referentiepunt om het beeld te projecteren. Dit punt helpt bij het detecteren van de oriëntatie van het oppervlak en maakt het daarom mogelijk een beeld te creëren dat er niet vervormd uitziet.

Het volgende moeilijke punt komt als het gaat om het detecteren van de grootte van het oppervlak.Omdat de randen van oppervlakken niet goed genoeg kunnen worden herkend, gebruikt OmniTouch het gemiddelde en de standaarddeviatie van de samenstellende punten om het in vijf punten te classificeren: hand, arm, notebook, muur en tafel. Elk van hen heeft een bepaalde grootte en een middelpunt voor de afbeelding.

De software genereert het te projecteren beeld met alle gegevens en vervormt het zodat het correct op het oppervlak verschijnt. Vervolgens geeft het het beeld door aan de projector, die het beeld op elk oppervlak weergeeft.

Nauwkeurige technologie met veel mogelijkheden

Tests die worden gebruikt om de nauwkeurigheid van OmniTouch te meten.

Tijdens testen bleek OmniTouch een zeer precieze technologie te zijn. 96,5% nauwkeurigheid als het gaat om het herkennen van een klik, een zeer goed cijfer en nog meer gezien het feit dat het een prototype is.Wat betreft de grootte van de interface, met knoppen van 2 centimeter in doorsnee, zou 95% van de toetsaanslagen worden herkend.

Deze maximale grootte is nodig voor een interface die in de hand wordt geprojecteerd. Op andere oppervlakken verder weg, zoals een tafel of een muur, kan deze worden verkleind tot 15 millimeter, min of meer dezelfde grootte die wordt aanbevolen voor een knop op een conventioneel aanraakscherm.

"

De mogelijkheden zijn eindeloos. Met het prototype werd een katheder gemaakt om te schilderen: op de muur tekende je en met je linkerhand koos je de kleuren. Wordt ook gebruikt als markeerstift>"

Maar het meest interessante is wat ze aan het einde van het document vermelden: de mogelijkheden die OmniTouch opent wanneer we stoppen met het beschouwen van tweedimensionale oppervlakken, gebruikmakend van de vormen van het lichaam om te veranderen hoe we communiceren met de computer.

"

OmniTouch is een echt opwindend project, zowel qua techniek als qua mogelijkheden. We zullen het binnenkort weer over hem hebben in de special De toekomst volgens Microsoft>"

In Xataka Windows | De toekomst volgens Microsoft Meer informatie | OmniTouch