Kritzeln am iPad: Handschrifterkennung am Gerät
Alexander Trust, den 28. September 2020
Craig Federighi gab dem US-Magazin Popular Mechanics ein Interview. Darin beschreibt er die Entstehung von Apples neuem „Kritzeln“-Feature in iPadOS 14. Das Unternehmen habe im Vorfeld eine Menge Leute mit dem Pencil schreiben lassen, um so die eigenen Maschinenlern-Algorithmen zu füttern.
Federighi betont dies, weil Apple sich mit der Verwendung von Live-Tests mehr Mühe gibt als andere Unternehmen. In manchen Fällen werden die Algorithmen nämlich einfach mit Scans von Handschrift gefüttert und auf die Erkennung der Handschrift angesetzt. Dann wird kontrolliert, ob der Algorithmus richtig lag und Feintuning betrieben.
ML-Algorithmen mit Live-Daten gefüttert
Apple hingegen habe Leute aus der ganzen Welt, aus unterschiedlichen Sprachkreisen eingeladen, um das Projekt voranzubringen. Der Algorithmus wurde dann mit Live-Daten gefüttert und verfügt auch über Messpunkte, wie die Personen mit der flachen oder breiten Seite des Pencils schreiben, wie sie langsam oder in Eile schreiben, und andere Dinge mehr.
Handschrifterkennung erfolgt am iPad
Den Mehraufwand nutzt Apple nun, um die Handschrifterkennung am Gerät auszuführen. Keine Daten werden in die Cloud geschickt. Alle modernen iPads mit Pencil-Support seien ausreichend schnell und manche verfügten zudem über Co-Prozessoren für Maschinenlern-Algorithmen. Indem Apple die Algorithmen auf diese Weise fütterte, ist die Erkennungsrate hoch und die Fehlerquote entsprechend niedrig.
Probieren geht über Studieren
Am besten probiert man das System einfach aus – ein iPad mit Apple Pencil und iPadOS 14 vorausgesetzt, kann man in der Notizen-App ein paar Wörter „zu Papier“ bringen. Schreibt man mit einem speziellen digitalen Stift, werden die Buchstaben schon während des Schreibens umgewandelt in Text. Oder man behält die handschriftlichen Notizen, die dann aber wenige Augenblicke später durchsuchbar sind und interaktiv werden. Man kann das eigene „Gekritzel“ natürlich kopieren und durchsuchen. Aber man kann Telefonnummern auch antippen und zum Adressbuch hinzufügen, aus einem Datum einen Termin generieren, und andere Dinge mehr.
In diesem Bereich hat Apple gegenüber dem Start des Pencil am iPad immense Fortschritte gemacht. Tatsächlich ist die Handschrifterkennung viel besser als das Diktat oder die Spracherkennung. Doch dort kann Apple hoffentlich auch nachbessern.
