Heute ging es um zwei Fragen: Sieht die App die Bausteine überhaupt scharf genug, um sie zu unterscheiden? Und wie gut ist sie wirklich - gemessen statt geschätzt?

Hochaufgelöste Fotos statt Vorschaubilder

Beim Auswerten der letzten Testfotos fiel auf, dass die App gar keine richtigen Fotos speicherte, sondern Bilder aus dem Vorschau-Stream der Kamera in sehr kleiner Auflösung. Jetzt nimmt sie für jede der drei Ansichten ein echtes Foto auf:

  • Auflösung: 480 × 864 → 1080 × 1920 Pixel
  • Baustein-Ausschnitt im Median: rund 37 → 88 Pixel Kantenlänge
  • Bausteine, die in allen drei Ansichten gefunden und einander zugeordnet werden: deutlich mehr als vorher

Die Erkennung arbeitet damit mit wesentlich mehr Detail. Die Laufzeit auf dem Handy ist allerdings noch weit vom Ziel entfernt.

Der erste von Hand geprüfte Testhaufen

Um nicht mehr nur zu schätzen, habe ich zum ersten Mal einen kompletten Haufen von Hand durchgeprüft: 39 Bausteine in je drei Ansichten, also 117 Einzelansichten mit der richtigen Teilenummer. Daran lässt sich die App jetzt objektiv messen:

  • gefundene Bausteine pro Ansicht: 79,5 %
  • richtige Teilenummer pro Ansicht: 46 %
  • richtige Teilenummer pro Baustein (Abstimmung über drei Ansichten): 51 % (19 von 37)
  • Zuordnung der drei Ansichten zum selben Baustein: 95 % korrekt

Das Ergebnis ist ernüchternd, aber aufschlussreich. Die Rechenpipeline auf dem PC liegt auf denselben Fotos gleichauf. Das Problem liegt also in der Erkennung selbst und nicht in der Umsetzung auf dem Handy. Und fast alle Fehler sind Grössenverwechslungen: Ein 2×2-Stein wird als 2×3 erkannt, eine 2×4-Platte als kleinere Platte. Mehr Vergleichsbeispiele allein helfen dagegen kaum. Der am häufigsten verwechselte Stein hatte bereits fast 50 echte Beispiele im Katalog.

Ein digitales Massband

Naheliegende Idee: die Grösse direkt messen. Aus der Lage des Handys bei jeder Aufnahme lässt sich die Grundfläche eines Bausteins auf dem Tisch abschätzen. Dabei zeigten sich zwei Hürden:

  • Die Entfernungsangabe der Kamera taugt nicht als Massstab, sie lag um gut das Doppelte daneben. Stattdessen kalibriert sich die Messung pro Haufen selbst: Die meisten Bausteine sind zwei Noppen breit, das ergibt einen bekannten Referenzwert.
  • In Blickrichtung verfälscht die Höhe eines Bausteins die Messung. Verlässlich ist nur die Ausdehnung quer zur Blickrichtung. Aus den drei Blickwinkeln lässt sich die Grundfläche trotzdem zurückrechnen.

Als Filter eingesetzt, schliesst das Massband Teile aus, deren Grundfläche nicht passt. In der Simulation auf dem geprüften Haufen stieg die Trefferquote pro Baustein von 19 auf 24 von 37, kein einziger Baustein wurde schlechter. Die Höhe, also Stein oder flache Platte, liess sich auf diese Weise allerdings nicht bestimmen.

Die Gegenprobe auf dem Handy

Am Abend kamen zwei weitere geprüfte Haufen dazu, einer bei schwachem und einer bei gutem Licht, diesmal direkt auf dem Handy gemessen. Dort hielt das Massband nicht, was die Simulation versprach:

  • Mit Filter wurden 1 bzw. 2 Bausteine weniger richtig erkannt als ohne.
  • Die Grössenmessung aus den Handy-Masken ist mit 5 bis 6 mm Abweichung zu ungenau für eine Filterschwelle von 4 mm.
  • Mehr Licht verbessert die Messung, aber nicht genug.

Das Massband ist deshalb vorerst abgeschaltet und läuft nur noch protokollierend mit. Die Lehre daraus: Eine Simulation auf einem einzigen Haufen ist kein Beweis, die Gegenprobe auf dem Gerät gehört dazu.

Die beiden neuen Haufen zeigen auch, wo der grössere Hebel liegt. Aus 17 Bausteinen machte die App 34 bis 36 Objekte, weil sie die drei Ansichten nicht sauber zusammenführte. Die neuen geprüften Ausschnitte flossen als Vergleichsbeispiele in den Katalog ein. Auf allen drei Haufen brachte das je 1 bis 2 zusätzliche richtig erkannte Bausteine.

Als Nächstes

Die Zuordnung der drei Ansichten auf dem Handy verbessern. Und für die Frage Stein oder Platte ein anderes Signal finden als die Grössenmessung.