Erkennen, wo Finger den Screen berühren

Entwickelt haben die ETH-​Forscher die KI für sogenannte kapazitive Touchscreens, also die Art von Bildschirmen, die in jedem unserer Handys, Tablets oder Laptops existiert: Bei diesen Berührungsbildschirmen erkennen die Sensoren die Position der Finger jeweils daran, dass sich das elektrische Feld zwischen den Sensorleitungen durch die Nähe eines Fingers ändert, wenn dieser den Bildschirm berührt. Berührungsbildschirme machen sich dabei die Eigenschaft zunutze, dass die Intensität einer "Berührung" mit zunehmender Entfernung der Finger exponentiell abnimmt. Jedoch können sie den jeweils tatsächlichen physikalischen Kontakt mit der Oberfläche nicht erkennen.

Die kapazitive Sensorik sei nie dafür entwickelt worden, um punktgenau herzuleiten, wo auf dem Bildschirm tatsächlich eine physikalische Berührung stattfinde, sagt Holz: "Sie erkennt nur die Nähe unserer Finger." Die Touchscreens heutiger Geräte errechnen somit die Position, wo die Eingabe mit dem Finger erfolgt, aus grob aufgelösten Näherungsmessungen. Die Forscher mussten einerseits die geringe Auflösung der Sensoren erhöhen, anderseits mussten sie herausfinden, wie man aus den kapazitiven Messungen präzise auf den jeweiligen Kontaktbereich zwischen Finger und Bildschirm-Oberfläche schließen kann.

Dazu verwenden Streli und Holz, anders als bisher üblich, Touchscreens als Bildsensoren. Ein Berührbildschirm ist laut Holz im Grund eine sehr eine niedrig auflösende Tiefenkamera, die etwa acht Millimeter weit blicken kann. Eine Tiefenkamera nimmt nicht direkt Fotos auf, sondern kodiert die Nähe von Objekten im Sichtbereich. Mit "CapContact" nutzen die Forscher diese Einsicht aus, um durch ihre neu entwickelte KI-​Methode die physikalische Kontaktfläche zwischen dem Finger und dem Display hochauflösend abzuschätzen.

"Erstens errechnet 'CapContact' die tatsächlichen Kontaktflächen zwischen Fingern und Touchscreens bei einer Berührung", sagt Holz, "zweitens errechnet sie diese Kontaktflächen mit der achtfachen Auflösung aktueller Berührungssensoren, wodurch unsere Touch-​Geräte die Berührungen viel präziser erkennen können."

Um die KI zu trainieren, haben die Forscher ein spezielles Gerät entwickelt, das die kapazitiven Intensitäten, also die Beinahe-​Berührungen, und die echten Kontaktkarten durch einen hochauflösenden Drucksensor aufzeichnet. Indem sie die realen Berührungen von vielen Test-​Teilnehmenden erfassten, erhielten die Forscher Trainingsdaten, mit denen "CapContact" lernte, superauflösend die Kontaktflächen aus den groben, niedrig aufgelösten Sensordaten heutiger Touchscreens vorherzusagen.