Ich habe eine Idee für eine App, um Abstände zwischen (definierten) Objekten automatisch zu ermitteln.

Wie aufwändig ist die Programmierung einer App, die drei/vier Kugeln auf einer Fläche mit dem Lidar-Scanner erkennt, die Kugeln als geometrische Objekte (also als Kugeln) im Raum interpretiert und dann den präzisen Abstand zwischen den Objekten errechnet und darstellt. Am besten graphisch mit Bild/Foto.
App wäre natürlich nur für Geräte/iPhones mit Lidar.

Ist das eine Aufgabe für ausgewachsene ProgrammiererInnen oder kann man da mit Swift mal beginnen rumzuspielen?

So etwas ist EHER was für erfahrenere Programmierer, aber probieren kannst du es einfach mal – mehr als scheitern kannst du ja nicht.

Aber: Der präzisen Abstand ist relativ – im mm-Bereich wirst du den nicht ermitteln können.

Präzision ginge nur, wenn auf dem Bild ein Objekt mit bekannten Maßen wäre, quasi durch Vergleich.

Wenn ich mich richtig erinnere - ich habe kein Gerät mit LIDAR - dann wird von dem Kamerasystem eine „Tiefenkarte“ als Graustufenbild erzeugt. Je dunkler, desto weiter weg (oder umgekehrt?).
Theoretisch könnte man als versuchen, die 3 Objekte zu erkennen und sie vom Untergrund (Tisch) zu isolieren. Dann könnte man die Graustufenwerte vergleichen uind mit einer Referenz (Objekt mit bekannter Größe und Entfernung) vergleichen. Ob die Graustufen dabei linear oder zB quadratisch von der Entfernung abhängen, ist aber unklar.

Vermutlich verwendet die Massband-App auch den Lidar-Scanner, sofern vorhanden. Genauer als mit der App wirst du es nicht hinbekommen.

Vielleicht ginge es eher damit, dass man auf die Oberfläche per ARKit drei Referenz-Objekte darstellt, die dann zur Deckung gebracht werden, was im Raum gar nicht so leicht ist (weil das Display nur 2D ist). Dann kann man von dem Modell auf die relative Entfernung der Objekte schließen.

Vielleicht funktioniert das sogar besser, wenn man aus zwei Perspektiven fotografiert, um die Lage im Raum durch die Parallaxenverschiebung besser schließen zu können.

Danke für die ersten Hinweise.
Das mit dem ARKit hört sich ganz gut an...
Noch etwas Hintergrundinfo: Es geht um das eine Boule-/Petanquespielsituation (ein Zielkugel (Z) mit definiertem Durchmesser von 30 mm ist die Referenz).
Es geht darum, zu bestimmen, ob eine Metallkugel (A) mit D ca. 70 mm näher an der Zielkugel (Z) liegt als eine andere Metalkugel (B). Den genauen absoluten Abstand bräuchte man nicht, da lediglich spielentscheidend ist, welche Kugel näher an der Zielkugel liegt.
Die gespielten Kugeln liegen üblicherweise in einem Bereich, der mit dem iPhone erfasst werden kann.
Ich habe auch sehen, dass es bereits apps im appstore gibt, bei denen anhand eines in der Horizontalen aufgenommenen Fotos der Kugeln die Abstände zwischen den Kugeln ermittelt werden kann (Durch Antippen und "ziehen" eines Maßbandes. Im Appstore mal nach BOOBLE (Petanque) suchen, da wird in dem app-Vorschau-Video das händische Foto-Prinzip deutlich.
Mir geht es darum, dass die Kugeln (Z) und (A) und (B) von der App erkannt, virtuell interpretiert und bewertet/vermessen werden. Der Absolute Abstand ist nicht relevant. Die Genauigkeit (+/- halber Millimeter) müsste über virtuellen Kugelobjekte erreicht werden.

Da die Auflösung des LiDAR deutlich geringer ist als die der iPhone Kamera, ist der 2D Ansatz von BOOBLE hier sicher der bessere. Warum sollte 3D hier einen Vorteil bringen? Das automatische Erkennen eines Objekts funktioniert auch mit 2D.

Aber vielleicht ist das auch gar nicht gewünscht? Nichts ist schlimmer als ein "Video-Assistent", der Urteile ausspuckt, die man nicht nachvollziehen kann.

Wenn die Genauigkeit von BOOBLE davon abhängt, dass man das Maßband manuell an die Kugel schieben muss, dann finde ich das sogar besser. Die beteiligten Spieler können gemeinsam beurteilen, ob hier gleiches Maß angelegt wurde, die Ermittlung ist nachvollziehbar und korrigierbar. Eine App, die einfach behauptet, dass eine Kugel näher ist, wird sehr wahrscheinlich Streitereien auslösen.

Der größte Fehlerfaktor bei BOOBLE scheint zu sein, dass man die Aufnahme exakt senkrecht über der Zielkugel machen muss. Da hilft aber auch LiDAR nicht weiter.

Bei einem Ansatz mit 2D könnte OpenCI interessant sein, um Objekte zu identifizieren und die Abstände zu messen. Ich hatte da auch mal was im Sinn, was aber dann doch nie umgesetzt wurde. Daher habe ich mir das nicht im Detail angesehen.

Oder per Machine Learning ein Modell trainieren, das die Kugeln erkent und dann deren Lage auf der Ebene (also auch senkrecht von Oben fotografieren) bestimmen kann. Aber auch damit habe ich bislang noch keine Erfahrungen.

Interessanter Ansatz. Ich denke auch, dass der LiDAR-Sensor auf die Entfernung einfach zu ungenau ist.
Bei größeren Abständen zwischen iPhone kommt man wohl mit dem iPhone auf so ±10cm Genauigkeit. 3D Scans von Objekten werden ja gemacht, indem das iPhone deutlich näher an das Objekt gebracht wird. Dann liegt die Genauigkeit bei ein paar Millimeter.
Wenn das iPhone für die Messung dann irgendwo leicht erhöht installiert wird, kommt man geschätzt vermutlich irgendwo bei 1-3cm Genauigkeit heraus.

Das Problem, dass die Kamera genau senkrecht über der Zielkugel sein muss, könnte man wohl am einfachsten dadurch lösen, dass eine Röhre über die Zielkugel gestülpt oder gestellt wird, deren Deckel oben ein kleines Loch hat, durch das eine rot leuchtende LED sichtbar wird -- aber eben nur dann, wenn man genau senkrecht darüber ist. Das könnte man sogar selbst basteln.

Aber wer will es schon so genau. Ich habe nur flüchtig in den Regeln nachgeschaut, wenn Kugeln gleich weit entfernt sind, dann gibt es auch dafür Regelungen. Gleich weit heißt wohl soviel wie: mit Augenmaß ist keine Differenz erkennbar.

Wenn Sie einmal schauen möchten…