AR und AI: Wie sich Einrichtungsstile anhand von Bildern erkennen und mithilfe von AR sinnvoll visualisieren lassen

Christian Nietner, Gründer und CTO der Firma RoomAR, hielt auf dem Data Festival 2018 einen Vortrag mit dem Titel „Erkennen von Einrichtungsstilen anhand von Bildern“. Er gab Einblicke in den Einsatz von AR-Technologie im E-Commerce und erläuterte, wie AI, insbesondere neuronale Netze, zur Bilderkennung und für sinnvolle Empfehlungen auf Grundlage von Bildern eingesetzt werden kann.

Wie alles anfing oder: Besser einrichten mithilfe von AR

Beim Einrichten wurde Christian Nietner und seinem Mitgründer und CEO Naimah Schütter klar, wie schwierig es ist, sich vorzustellen, wie Einrichtungsgegenstände in den eigenen Räumen tatsächlich aussehen. Da er einen technischen Hintergrund hat, machte sich Christian Nietner Gedanken, wie sich dieses Problem evtl. mithilfe von Verfahren wie maschinellem Lernen und Computervision lösen lässt.

Die Etablierung der AR-Technologie

Christian Nietners Idee traf zeitlich mit der Etablierung der AR (Augmented Reality)-Technologie zusammen, die zu diesem Zeitpunkt einen neuen Reifegrad erreichte. Alle großen Akteure in der digitalen Welt, wie bspw. Google, Apple usw., entwickeln zur Zeit eigene AR-Technologie und -Geräte.

Die AR-Technologie steht kurz davor, das Alltagsleben zu erobern. Bis 2020 werden 4,3 Mrd. Smartphones AR unterstützen, und man geht davon aus, dass sich der Markt für diese Technologie in dem kurzen Zeitraum von fünf Jahren zwischen 2018 und 2023 (fast) versechsfachen wird. Treiber für diese schnelle Entwicklung ist neben der Verfügbarkeit von Geräten auch die E-Commerce-Branche, die sich diesen Trend schon früh zu eigen gemacht hat.

Um von dieser Entwicklung im AR-Bereich zu profitieren, wurde RoomAR gegründet. Ziel ist es, einer der führenden Technologieanbieter für AR-gestützten Handel zu werden. Das Unternehmen möchte eine Lösung für die Einrichtungsbranche anbieten, die den Absatz ankurbelt und Effizienzgewinne bringt.

Um jedoch eine reale Umgebung durch virtuelle Bilder zu erweitern, muss man diese Umgebung auch verstehen. Und hier kommt AI ins Spiel: Bilderkennung spielt eine entscheidende Rolle, um die Umgebung zu verstehen, die erweitert werden soll.

Die Entwicklung von RoomAR

Das Unternehmen wurde im Herbst 2017 mithilfe einer Anschubfinanzierung gegründet. Die ersten Schritte waren die Entwicklung eines Geschäftsmodells und einer Demo-App. Bald darauf konnte die Firma den ersten Investor gewinnen und war dadurch in der Lage, vier Mitarbeiter für die Bereiche Data Science, Geschäftsentwicklung und App-Entwicklung einzustellen. Bis 2018 hatte RoomAR das erste Produkt auf dem Markt – ein intelligentes AR-Produkt für Inneneinrichtung. Zur gleichen Zeit stieg ein weiterer Investor ein.

Wie sich AR-Technologie in der Einrichtungsbranche (und in anderen E-Commerce-Unternehmen) einsetzen lässt

Christian Nietner ist davon überzeugt, dass AR die Art und Weise, wie Produkte gekauft werden, verändern wird – insbesondere in der Einrichtungsbranche. Der Einsatz von AR (in der Möbelindustrie) ist mit einigen Vorteilen verbunden:

  • Steigerung der Verkaufszahlen sowohl online als auch offline
  • innovativer Touch
  • Das Markenerlebnis wird durch Technologie individuell angepasst.
  • Es lassen sich neue Zielgruppen ansprechen.

Die Möbelindustrie kann von all diesen Vorteilen profitieren, wenn sie AR in ihre Produkte integriert und für Empfehlungen nutzt.

Mit den folgenden zwei Schritten lässt sich das Benutzererlebnis durch AR und AI bereichern:

  • Visualisierung mithilfe von AR erweitert die Realität durch digitale Inhalte. Gleichzeitig stellt sie jedoch auch eine neue Datenquelle dar – es werden Informationen gewonnen aus Interaktionen, den Produktentscheidungen oder den Möbelkonfigurationen der Kunden. Diese Daten lassen sich vielfältig nutzen.
  • Personalisierung mithilfe von AI, indem die enormen Datenmengen genutzt werden, um einerseits das Kundenerlebnis zu verbessern und andererseits für das Unternehmen selbst neue Einsichten zu gewinnen.

Wie sich das AR-Erlebnis mithilfe von AI-Verfahren personalisieren lässt

RoomAR möchte durch den Einsatz von AI-Verfahren in einem AR-Kontext in erster Linie maschinelles Lernen nutzen, um Einrichtungsstile anhand von Bildern zu erkennen (à Bilderkennung) und dann passende, sinnvolle Produktempfehlungen abzugeben.

Die größte Herausforderung hierbei ist die Frage, wie sich Fotos vom Bildschirm mit Produkten aus der Datenbank abgleichen lassen.

Bilder als Grundlage für Empfehlungen

Es stehen zahlreiche verschiedene Ansätze zur Verfügung, um die Idee umzusetzen, Bilder als Basis für Empfehlungen zu verwenden. Dazu zählen der Einsatz von Deep-Learning-basierten, großformatigen Darstellungen als Empfehlungen, Vervollständigung eines einzelnen RGB-D-Bildes mit hoher Farbtiefe, ScanNet uvm.

Christian Nietner entschied sich jedoch dafür, mit der einfachsten umsetzbaren Idee zu beginnen und diese dann schrittweise durch Iteration auszubauen.

Wie RoomAR Bilder als Basis für Empfehlungen verwendet

Der Ansatz von RoomAR umfasst im Wesentlichen vier Schritte:

  • Aufbau einer Datenbank mit beschrifteten Bildern von eingerichteten Räumen.

Die von der Firma zur Verfügung gestellten Bilder (von Räumen) müssen mit passenden Produkten verbunden werden. Die Datenquellen für diesen Schritt sind Bilder und Produkte – es kann also ein Möbelkatalog als erste Inspiration dafür genutzt werden, wie die Bilder den Produkten zugewiesen werden.

Ausgangspunkt ist der Aufbau einer Datenbank mit Bildern, die sich auf Produkte oder Einrichtungsstile beziehen. Hierfür benötigt man genauere Informationen zur Klassifizierung von Produkten und Bildern bspw. nach Raumart, Stil oder Farben. Auf dieser Grundlage lassen sich Produkte zum Beispiel nach Farben zuordnen. Neben diesen Kriterien und Produkten enthält die Datenbank Objekte wie Sideboards oder Sessel.

  • Trainieren neuronaler Netze für Merkmalsextraktion.

Tiefe neuronale Netze lernen hierarchische Merkmalsdarstellungen. Ein tiefes neuronales Netz besteht aus einer Eingabeschicht, mehreren verborgenen Schichten und einer Ausgabeschicht. Wenn ein Bild ein solches Netz durchläuft, findet im ersten Schritt eine Merkmalsextraktion statt, bei der mehrere verborgene Schichten verschiedene Darstellungen produzieren. Im nächsten Schritt enthält ein Merkmalsvektor verschiedene Aspekte, die die Bildeigenschaften beschreiben.

Diese Eigenschaften werden dann klassifiziert, um bspw. Raumart oder Stil zu bestimmen. Dieser Schritt ermöglicht eine sinnvolle, genaue Klassifizierung. Allerdings benötigt dieser Schritt sehr viele Daten, weshalb RoomAR Transfer Learning nutzt. Transfer Learning ist ein Verfahren des maschinellen Lernens, bei dem die Ergebnisse eines bereits trainierten neuronalen Netzes auf eine neue Aufgabe angewandt werden. Das heißt, RoomAR verarbeitet Bilder mithilfe eines vortrainierten neuronalen Netzes, das über sehr allgemeine Merkmalsextraktionen verfügt, um einen Merkmalsvektor zu generieren. Definition einer Distanzmetrik für ähnliche Bilder.

  • Vergleich der Bilder mit Visualisierungen der realen Umgebung.

Dies ist die einfachste Methode, Produkte mit Bildern abzugleichen, die ähnliche Produkte zeigen. Clustering von Bildern ist ein Verfahren, das sich für diesen Schritt anbietet: ähnliche Bilder werden mithilfe einer Distanzmetrik im Merkmalsraum erkannt. Zur Generierung von Empfehlungen wird das vom Benutzer eingegebene Bild eines Raums erkannt, die Datenbank wird nach ähnlichen Bildern durchsucht, und es werden passende Produkte empfohlen.

  • Verfeinern mithilfe von Bildtripeln und Hinge Gloss.

Christian Nietners Fazit und Empfehlungen

Christian Nietner zieht folgendes Fazit für den Einsatz von AR-Technologie:

  • Die AR-Technologie ist inzwischen so ausgereift, dass sie in Unternehmen eingesetzt werden kann und sich für den mobilen Massenmarkt eignet.
  • AR bietet ein riesiges Potenzial für das Markenerlebnis und die Verkaufsförderung
  • AR ermöglicht die Erweiterung der realen Welt durch digitale Inhalte
  • AR ermöglicht außerdem den Zugriff auf neue, aufschlussreiche visuelle Datenquellen
  • Über Jahrzehnte gewonnene Forschungsergebnisse im Bereich der Computervision können dafür genutzt werden, das Potenzial von AR in sämtlichen Branchen optimal auszuschöpfen

Interessiert am Einsatz von AR in der Einrichtungsbranche? Die vollständige Aufzeichnung des Vortrags von Christian Nietner ist hier in voller Länge verfügbar: