Bilder und Videos ganz einfach per Handskizze suchen

Eine Touchscreen-Zeichnung als primäre Vorlage liefert ähnliche Inhalte.

Informatiker der Universität Basel haben ein Verfahren entwickelt, das eine Suche in Bild- und Videodatenbanken mithilfe von Handskizzen ermöglicht. Dazu zeichnen Nutzer beispielsweise auf einem Tablet-Touchscreen das gesuchte Objekt und das System findet in der Datenbank dazu passende Inhalte. Die Lösung "vitrivr" ist für Forscher quelloffen zugänglich und kommt bereits in ersten Anwendungen zum Einsatz.

Einfach vorzeichnen

Wer je mit Google nach Bildern oder auf YouTube nach Videos gesucht hat, kennt das Problem: Es kann reichlich mühsam sein, mithilfe von Suchbegriffen und Stichworten genau die Multimedia-Inhalte zu finden, die man braucht. Auch professionelle Bild- und Videodatenbanken kämpfen oft mit ähnlichen Problemen. Hier setzt vitrivr an.

Um nach Inhalten zu suchen, kann der Nutzer wirklich skizzieren, wie ein Objekt aussehen soll. Dazu zeichnet der Anwender beispielsweise mit dem Finger auf einem Tochscreen oder mit einem passenden Stift auf interaktivem Papier. Bei Videos ist es zudem möglich, anzugeben, in welche Richtung sich ein Objekt bewegen soll.

Das System liefert auf Basis der Skizze optisch ähnliche Bilder und Videos. "Man kann die Suche sukzessive verfeinern", betont Heiko Schuldt, Informatikprofessor an der Universität Basel, im Gespräch mit "pressetext". Es ist möglich, die Skizze um zusätzliche Details zu ergänzen, um noch bessere Ergebnisse zu finden. Denkbar ist auch, ein unerwünschtes Objekt in ersten Treffern zu übermalen und so passendere Inhalte zu finden. Was ähnlich ist, legt das System auch großzügig aus, sodass Nutzer sich beim Skizzieren beispielsweise nicht mit vielen Farbschattierungen herumplagen müssen. Wer möchte, kann die Suche auch um Beispielbilder oder -videos und Suchbegriffe ergänzen.

Breite Anwendbarkeit

Schon jetzt kommt vitrivr in praktischen Anwendungen zum Einsatz, wie in einer Suche nach Bewegungsmustern in Sportvideos zusammen mit dem Bundesamt für Sport. Eine Umsetzung in Kooperation mit der Basler Papiermühle wiederum erlaubt die skizzenbasierte Suche in einer digitalisierten Datenbank klassischer Wasserzeichen. Das System ist zudem gut skalierbar. Mit ausreichend Rechenzentrums-Power im Hintergrund wäre theoretisch auch eine Web-Bildersuche auf Basis von vitrivr denkbar.