Google Pixel 4 mit Motion Sense: Das sieht das Pixel, wenn ihr ihm zuwinkt

Google Pixel 4 mit Motion Sense: Das sieht das Handy.
Google Pixel 4 mit Motion Sense: Das sieht das Handy.(© 2020 GOOGLE)

Wie funktioniert eigentlich die Motion Sense-Gestensteuerung beim Google Pixel 4? In einem Blog-Beitrag erklären zwei Google-Ingenieure sehr anschaulich, wie ein Radarsensor namens Soli eure Handbewegungen in Aktionen umsetzt.

Google nutzt zur Umsetzung der Gestensteuerung beim Pixel 4 und Pixel 4 XL eine Funktion namens "Motion Sense", mit der ihr Aktionen auf eurem Handy ausführen könnt, ohne dieses dabei direkt zu berühren. Zwei Software- und Forschungs-Ingenieure von Google erklären uns in einem Blog-Beitrag, was hinter der smarten Technologie steckt.

Das Geheimnis hinter der Gestensteuerung der Pixel-Phones nennt sich "Soli" und ist ein Kurzstrecken-Radarsensor. Radar-Systeme werden schon seit fast einem Jahrhundert als Detektions- und Entfernungsmessungstechnologie eingesetzt. Soli ist jedoch das erste System dieser Art, das jemals in einem Consumer-Smartphone verbaut wurde.

Objekterfassung mittels Radar

Das Radarsystem erfasst Eigenschaften entfernter Objekte anhand ihrer Wechselwirkungen. Ein klassisches Radarsystem benötigt hierfür einen Sender, der Funkwellen ausstrahlt. Die Wellen werden von den Objekten, auf die sie treffen, gestreut und umgeleitet und treffen schließlich auf einen Empfänger, der einen Teil der Energie zurückreflektiert und einen Teil abfängt.

Anhand der Wellenform erkennt das Radarsystem bestimmte Eigenschaften der Objekte, wie beispielsweise deren Größe oder Entfernung. Motion Sense stellte die Google-Entwickler vor die große Herausforderung, eine so komplexe Technologie so klein zu machen, dass sie in ein Smartphone passt.

Hierfür mussten sie unter anderem neue Algorithmen speziell für die feinkörnige Wahrnehmung menschlicher Interaktionen entwickeln. Das Ergebnis: Ein 5 mm x 6,5 mm x 0,873 mm kleines Chippaket, das beim Google Pixel 4 und 4 XL am oberen Geräterand unter dem Display sitzt.

Wie arbeitet der Soli-Chip im Pixel 4?

Klassische Radarsysteme benötigen eine hohe Übertragungsbandbreite und große Antennenanordnungen, um Objekte im Größen-, Lage- und Entfernungsverhältnis zum Raum erkennen und zuordnen zu können. Soli hingegen erfasst Umgebungsobjekte nicht auf Grundlage der räumlichen Struktur, sondern anhand von Bewegungen.

Der Vorteil für den Nutzer liegt auf der Hand: Im Gegensatz zum optischen Bildsensor benötigt der Soli-Senor kein detailliertes Umgebungsbild, um eure Gesten erfassen zu können. Heißt im Klartext: Er erstellt kein detailgetreues Bild eures Gesichts oder eurer Umgebung und wahrt somit eure Privatsphäre. Stattdessen verarbeitet Soli zeitliche Änderungen im empfangenen Signal, um kleinste Bewegungen zu erkennen und in Aktionen umsetzen zu können.

Filter ermöglicht Audiowiedergabe während der Gestensteuerung

Hierfür sendet das Soli-Radar ein 60-GHz-Signal und empfängt – kurz gesagt – eine dreidimensionale Überlagerung von Reflexionen von Objekten oder Personen in der Nähe. Damit Soli lernt, unwichtige von wichtigen Bewegungen in der Umgebung zu unterscheiden, werden seine ML (Maschinen Lern) Modelle mit TensorFlow – einem Maschinen-Lernprogramm – mit Millionen von Gesten trainiert und optimiert.

Damit Soli möglichst fehlerfrei funktioniert, arbeitet Googles Radarsystemteam eng mit Produktdesign-Ingenieuren zusammen. In dieser Zusammenarbeit wurde zum Beispiel ein Filter entwickelt, der den Sensor von Audiovibrationen abschirmt, sodass ihr gleichzeitig über das Handy Musik hören und die Gestensteuerung nutzen könnt.

Im Blog-Beitrag findet ihr übrigens eine kleine Bilderserie, was genau euer Pixel 4 "sieht", wenn ihr euch ihm nähert.


Weitere Artikel zum Thema
Riesen-Leak zum Google Pixel 4a: Lohnt sich das Mittel­klasse-Modell?
Christoph Lübben
Hier zu sehen: Das Google Pixel 4. Das Pixel 4a wird sich wohl an diesem Design orientieren – aber bei der Kamera abspecken.
Das Google Pixel 4a soll im Jahr 2020 die Mittelklasse aufmischen. Aber könnte das gelingen? Ein Leak nennt nun alle wichtigen Details zum Handy.
Google Stadia: Gratis mit allen Premium-Featu­res zocken
Michael Keller
Google Stadia läuft auch auf Smartphones und Tablets mit Android oder iOS
Google Stadia kostenlos testen: Ab sofort könnt ihr den Dienst zum Streamen von Spielen für zwei Monate gratis ausprobieren.
Pixel Buds 2: Steht Release der smar­ten Kopf­hö­rer endlich bevor?
Michael Keller
Google Pixel Buds Preis-Leak
Die Pixel Buds 2 stehen vor der Tür: Offenbar könnte der Release der Kopfhörer von Google noch im Frühling 2020 erfolgen.