Das Smartphone im Auto

Moderne Smartphones bieten eine Fülle an verbauten Sensoren und Technologien, die wir als App-Entwickler nutzen können. In Verbindung mit einer immer intelligenter werdenden Software ermöglichen uns diese, das Smartphone als Schnittstelle zwischen Nutzer und seiner Umwelt zu verwenden. Dieser Artikel gibt einen Überblick über die wichtigsten Smartphone Sensoren, was sie können und wie sie eingesetzt werden.

Standort- und Lageerkennung

Die Unterstützung von GPS und GLONASS (russische GPS-Alternative) zur satellitengestützten Positionsbestimmung ist heute Standard in jedem Smartphone. Für den Fall, dass GPS nicht verfügbar ist bzw. zur schnelleren Positionserkennung werden zusätzlich die Triangulierung über Mobilfunkmasten, sowie Datenbanken der Hersteller in Bezug auf IP-Adressen und verfügbare WLANs genutzt. Das Ergebnis ist ein exakter GPS-Punkt.

Genutzt wird die Positionsbestimmung, um die eigene Lage auf einer Karte anzuzeigen, die Entfernung zu einem Ziel zu berechnen oder auch den eigenen Standort mit zu protokollieren.

Neben der eigentlichen GPS-Position liefern viele Smartphones zusätzliche Daten zur aktuellen Höhe (via GPS oder auch mittels Barometer) und zur Ausrichtung des Telefons in eine Himmelsrichtung (Kompass, Magnetometer).

Diese Informationen werden neben der klassischen Anzeige der Himmelsrichtung im Kompass, für die Navigation oder zur Anzeige von Richtungsinformationen genutzt.

Noch genauer wird es, wenn Beschleunigungs- und Rotationssensoren ins Spiel gebracht werden. Akzelerometer (Beschleunigungssensoren) messen die Kräfteverschiebung beim Drehen des Smartphones auf drei Achsen (links/rechts X-Achse, oben/unten Y-Achse, hinten/vorne Z-Achse) und Gyrosensoren (Rotationssensoren) die Drehbewegung selber. Gemeinsam erkennen sie Bewegungsänderungen auf die entsprechend reagiert werden kann.

So lässt sich zum Beispiel ein Spiel realisieren, das auf die Lageänderung des Smartphones reagiert, oder – im einfachsten Fall – eine digitale Wasserwaage.

Bewegungs- und Verhaltenserkennung

Neben den Lagesensoren gibt es noch zahlreiche weitere Sensoren wie Lichtsensoren, die die Umgebungshelligkeit messen und Abstandssensoren, die die Entfernung zum Gesicht erkennen können, usw.

All diese Smartphone Sensoren liefern in ihrer Kombination Bewegungsmuster und Hinweise auf das Verhalten des Nutzers. Intelligente Softwarealgorithmen werten die ermittelten Rohdaten aus und versuchen, darin bekannte Muster zu entdecken und belastbare Aussagen zu liefen. Fitnesstracker basieren auf diesem Prinzip und zeigen, wie die intelligente Verknüpfung mehrerer alleinstehender Sensorwerte erstaunliche Erkenntnisse zu Tage bringen.

So hat etwa Google mit der Awareness API (siehe dazu auch Nutzung der Google Awareness API für kontext-relevante Services) für Android eine Möglichkeit geschaffen, die folgenden Gegebenheiten zu erkennen:

• Zeit: aktuelle lokale Uhrzeit
• Position: aktueller Aufenthaltsort als GPS-Position
• Place: in der Nähe befindliche „interessante“ Orte, wie z.B. Flughäfen, Banken, …
• Aktivität: die Benutzer-Aktivität wie z.B. Gehen, Laufen, Radfahren
• Beacons: in Reichweite befindliche Beacons mit deren Informationen
• Kopfhörer: ob sie angeschlossen sind oder nicht
• Wetter: das Wetter an der aktuellen Position

Der Entwickler der App kann diese Informationen sehr einfach nutzen, um das Verhalten der App entsprechend anzupassen oder Aktivitäten mit zu tracken. Auch unter iOS stehen dafür mit der Core Motion API entsprechende Funktionen des Betriebssystems bereit.

Eingesetzt werden diese Erkennungsmechaniken schon lange:
In Fitnesstrackern sind sie allgegenwertig und auch im Smartlock-Feature von Android. Dabei bleibt das Gerät entsperrt, wenn es sich in den eigenen vier Wänden befindet oder am Körper getragen wird und sperrt sich, wenn es abgelegt wird oder sich von Zuhause entfernt.

Denkbar sind auch Apps, die Ihre Schaltflächen vergrößern, weil man gerade in Bewegung ist und sich daher schwieriger auf den Inhalt konzentrieren kann oder eine intelligente Ausgabe von Audio bei Videos, die bei angeschlossenen Kopfhörern sofort mit Ton starten und ohne Kopfhörer gemutet sind. Das kann so weit gehen, dass man dem Nutzer, der gerade in einer Einkaufsstraße spaziert und sich in der Nähe eines Supermarktes aufhält, gezielt an den noch nicht eingelösten Gutschein in seinem Wallet für ein Gratis-Getränk erinnert.

Bilderkennung

Die Verarbeitung von Bildern und Live-Kameraaufnahmen hat in den letzten Jahren merkliche Fortschritte erzielt. So ist das Erkennen von unterschiedlichste 2D- und 3D-Codes (QR-Codes, Barcodes) Standard, aber auch das Erkennen von ganzen Objekten im Kamerabild ist dadurch möglich.

Apps mit Codescanner werden unter anderem vom Zugpersonal genutzt um Tickets zu entwerten. Große Versandhäuser bieten Apps, die ganze Kataloge oder Marker auf einzelnen Flugblattseiten erkennen können und damit Zusatzinformationen zur angebotenen Ware anzeigen. In Verbindung mit OCR (Texterkennung) und Bilderkennungsalgorithmen, lassen sich Visitenkarten in Windeseile digitalisieren oder Ausweise per App auf ihre Echtheit überprüfen.

Augmented Reality schafft es die mittels Kamera eingefangene Umgebung so weit zu erfassen, dass Gesichter realistisch geschminkt oder um passgenaue Bärte erweitertet und Möbel in realer Größe auf dem Boden zwischen Tisch und Wand platziert werden. Ein Stück weiter geht Apple mit seinem ARKit, dass eine nahezu perfekte 3D-Erfassung der Umgebung ermöglicht und es damit sogar erlaubt, durch Filmen eines Objekts mit der Kamera dessen reale Abmessungen zu ermitteln.

Das prominenteste Beispiel ist vermutlich die App Pokemon Go, die kleine Lebewesen in der Umgebung platziert. Aber auch viele Möbel- und Autohersteller nutzen dieses Feature, um Möbel in den eigenen vier Wänden platzieren zu lassen oder den Luxussportwagen mal eben in Originalgröße testweise in die Garage zu projizieren.

Diese Smartphone Sensoren und Funktionen sind allerdings noch nicht alle. Lesen Sie in Smartphone Sensoren und smarte Software - Teil 2, welche Datenübertragungs- & Kommunikationsfunktionen, Sicherheits-, Benachrichtigungs- & Trackingfeatures, sowie Unterschiede zwischen den OS-Plattformen es gibt.