Google Pixel 4 mit Motion Sense: Das sieht das Pixel, wenn ihr ihm zuwinkt

Google Pixel 4 mit Motion Sense: Das sieht das Handy.
Google Pixel 4 mit Motion Sense: Das sieht das Handy.(© 2020 GOOGLE)

Wie funktioniert eigentlich die Motion Sense-Gestensteuerung beim Google Pixel 4? In einem Blog-Beitrag erklären zwei Google-Ingenieure sehr anschaulich, wie ein Radarsensor namens Soli eure Handbewegungen in Aktionen umsetzt.

Google nutzt zur Umsetzung der Gestensteuerung beim Pixel 4 und Pixel 4 XL eine Funktion namens "Motion Sense", mit der ihr Aktionen auf eurem Handy ausführen könnt, ohne dieses dabei direkt zu berühren. Zwei Software- und Forschungs-Ingenieure von Google erklären uns in einem Blog-Beitrag, was hinter der smarten Technologie steckt.

Das Geheimnis hinter der Gestensteuerung der Pixel-Phones nennt sich "Soli" und ist ein Kurzstrecken-Radarsensor. Radar-Systeme werden schon seit fast einem Jahrhundert als Detektions- und Entfernungsmessungstechnologie eingesetzt. Soli ist jedoch das erste System dieser Art, das jemals in einem Consumer-Smartphone verbaut wurde.

Objekterfassung mittels Radar

Das Radarsystem erfasst Eigenschaften entfernter Objekte anhand ihrer Wechselwirkungen. Ein klassisches Radarsystem benötigt hierfür einen Sender, der Funkwellen ausstrahlt. Die Wellen werden von den Objekten, auf die sie treffen, gestreut und umgeleitet und treffen schließlich auf einen Empfänger, der einen Teil der Energie zurückreflektiert und einen Teil abfängt.

Anhand der Wellenform erkennt das Radarsystem bestimmte Eigenschaften der Objekte, wie beispielsweise deren Größe oder Entfernung. Motion Sense stellte die Google-Entwickler vor die große Herausforderung, eine so komplexe Technologie so klein zu machen, dass sie in ein Smartphone passt.

Hierfür mussten sie unter anderem neue Algorithmen speziell für die feinkörnige Wahrnehmung menschlicher Interaktionen entwickeln. Das Ergebnis: Ein 5 mm x 6,5 mm x 0,873 mm kleines Chippaket, das beim Google Pixel 4 und 4 XL am oberen Geräterand unter dem Display sitzt.

Wie arbeitet der Soli-Chip im Pixel 4?

Klassische Radarsysteme benötigen eine hohe Übertragungsbandbreite und große Antennenanordnungen, um Objekte im Größen-, Lage- und Entfernungsverhältnis zum Raum erkennen und zuordnen zu können. Soli hingegen erfasst Umgebungsobjekte nicht auf Grundlage der räumlichen Struktur, sondern anhand von Bewegungen.

Der Vorteil für den Nutzer liegt auf der Hand: Im Gegensatz zum optischen Bildsensor benötigt der Soli-Senor kein detailliertes Umgebungsbild, um eure Gesten erfassen zu können. Heißt im Klartext: Er erstellt kein detailgetreues Bild eures Gesichts oder eurer Umgebung und wahrt somit eure Privatsphäre. Stattdessen verarbeitet Soli zeitliche Änderungen im empfangenen Signal, um kleinste Bewegungen zu erkennen und in Aktionen umsetzen zu können.

Filter ermöglicht Audiowiedergabe während der Gestensteuerung

Hierfür sendet das Soli-Radar ein 60-GHz-Signal und empfängt – kurz gesagt – eine dreidimensionale Überlagerung von Reflexionen von Objekten oder Personen in der Nähe. Damit Soli lernt, unwichtige von wichtigen Bewegungen in der Umgebung zu unterscheiden, werden seine ML (Maschinen Lern) Modelle mit TensorFlow – einem Maschinen-Lernprogramm – mit Millionen von Gesten trainiert und optimiert.

Damit Soli möglichst fehlerfrei funktioniert, arbeitet Googles Radarsystemteam eng mit Produktdesign-Ingenieuren zusammen. In dieser Zusammenarbeit wurde zum Beispiel ein Filter entwickelt, der den Sensor von Audiovibrationen abschirmt, sodass ihr gleichzeitig über das Handy Musik hören und die Gestensteuerung nutzen könnt.

Im Blog-Beitrag findet ihr übrigens eine kleine Bilderserie, was genau euer Pixel 4 "sieht", wenn ihr euch ihm nähert.


Weitere Artikel zum Thema
Google Maps ist jetzt ein Corona-Radar
Christoph Lübben
Google Maps navigiert euch nun auch durch das Corona-Infektionsgeschehen
Google Maps weiß nun, wie es um die Corona-Infektionen auf der Welt steht. Was der angezeigte Wert bedeutet, erfahrt ihr hier.
Google Pixel 5 und Pixel 4a 5G im Größen­ver­gleich: Welches ist hand­li­cher?
Francis Lido
Google Pixel 5 und 4a 5G sind sich wohl ziemlich ähnlich
Google Pixel 5 oder Pixel 4a 5G - welches Smartphone ist größer? Ein neues Bild veranschaulicht den Größenunterschied.
Pixel 4a 5G gele­akt: Schon fast ein Pixel 5
Lars Wertgen
Das Pixel 4a 5G unterstützt – der Name verrät es bereits – den 5G-Standard.
Am 30. September stellt Google das Pixel 4a 5G vor. Euch erwartet so etwas wie ein Pixel 5 Lite, wie aus einem XXL-Leak hervorgeht.