Sprachassistenten

Neue Formen der Interaktion mit technischen Geräten und Benutzerschnittstellen über Gesten und Sprache haben in der Industrie großes Potenzial, Prozesse effizienter und intuitiver zu gestalten. So können Sprachassistenten bestehende Prozesse unterstützen und vereinfachen, etwa bei der Sichtprüfung in der Qualitätssicherung. Expertinnen und Experten des Fraunhofer CCIT arbeiten im Technologiekern Maschinelles Lernen daran, Spracherkennung und Gestensteuerung zu einem multimodalen Sprachassistenten zu kombinieren, der zur Fehleridentifikation und -markierung eingesetzt werden kann.

Um die Technologie zu demonstrieren, hat das Forschungsteam ein vom Fraunhofer IOSB entwickeltes System zur Oberflächeninspektion erweitert. Dazu wurde die bestehende Anlage um ein Sprachdialogsystem des Fraunhofer IAIS zur Sprachsteuerung und um eine Mikrofonanordnung des Fraunhofer IIS zur gezielten Sprachaufnahme in lauten Umgebungen ergänzt.

Die Qualitätssicherung ist ein wichtiger Bestandteil heutiger Produktionsprozesse. Zur Oberflächeninspektion ist die automatische Sichtprüfung häufig komplex, aufwendig und kostenintensiv umzusetzen und darüber hinaus nicht immer in Echtzeit für die gesamte Oberfläche durchführbar. Ecken und Winkel sind nur einige Beispiele, die heute noch immer nicht vollständig automatisiert inspiziert werden können. Viele Betriebe setzen daher nach wie vor auf die Prüfung durch erfahrene Mitarbeitende, die die Oberflächen abtasten, visuell inspizieren und Fehlerstellen für die Nacharbeit und zur statistischen Erhebung dokumentieren.

Zur Qualitätssicherung bleiben häufig nur wenige Sekunden pro Bauteil. Da der Dokumentationsaufwand je nach eingesetzter Software hoch ist, kommt es in solchen Situationen zu einer unpräzisen oder sogar unvollständigen Dokumentation der vorhandenen Fehler. Werden Fehler unvollständig dokumentiert, kann eine Fehleranhäufung nicht frühzeitig erkannt und behoben werden – die Wahrscheinlichkeit eines Fehlerschlupfes und höherer Nachbesserungskosten steigt. Unpräzise Dokumentationen der Fehler erschweren es zudem, die Fehlerpositionen in der Nachbesserung wiederzufinden und wirken einer schnellen und vollständigen Reparatur entgegen.

Multimodaler Dialogassistent

Das vom Fraunhofer IOSB entwickelte und in Kooperation mit dem Fraunhofer IAIS zum multimodalen Dialogassistenten (MuDA) modifizierte System ermöglicht mit einem sehr geringen Zeitaufwand eine vollständig digitale Fehlerdokumentation in der Produktion – von der Markierung bis zur Ausbesserung. Anwenderinnen und Anwender können dabei zwischen intuitiven Zeigegesten und einem Laserpointer als Eingabemethode wählen und Fehlerstellen auf einem Bauteil schnell, präzise und intuitiv markieren. Die Zeigegeste und somit der Ort der Fehlerstelle werden über eine Kamera-Einheit erfasst, die oberhalb des zu prüfenden Bauteils angebracht ist. Ein Projektor zeigt dem Werkenden die dokumentierten Fehler unmittelbar über eine projizierte Markierung auf dem Bauteil an. Metadaten, wie die Art eines markierten Fehlers, werden über ein projiziertes Menü oder über ein Sprachdialogsystem eingegeben. In der Ausbesserungsphase kann diese Fehlermarkierung durch die digitale Abbildung an einer anderen Station präzise reproduziert und auf das Bauteil projiziert werden. Dadurch wird der Fehler in der Nachbesserung schnell wiedergefunden. Die Fertigstellung der Ausbesserung kann ebenfalls ohne viel Aufwand direkt am Bauteil bestätigt und im System vermerkt werden.