Thread by @TeslaSchweiz

#TeslaErklärt: Um was geht es eigentlich bei diesem Autopilot-Rewrite? Und was ist dabei mit 4D gemeint? Antworten zu diesen Fragen gibt es nun hier im Thread. (1/8)

Der aktuelle Autopilot (so wie er heute erfahrbar ist) funktioniert mit Bilder (2D) der verbauten Kameras. Diese werden mithilfe von intelligenten Mechanismen gescannt und alle erkannten Dinge (Autos, Velos, Fussgänger, Linien, Schilder, usw.) mit «Labels» versehen. (2/8)

Das bedeutet, dass der Computer in der Lage ist ein Objekt zu erkennen, es auf einem Bild zu verfolgen und auf dessen bekannte Eigenschaften zuzugreifen. Mit dieser Basis hat er nun die Möglichkeit auf Situationen um ihn herum zu reagieren, bspw. die Spur zu halten, usw. (3/8)

In den letzten Monaten/Jahren wurde bei Tesla intensiv unter der Haube des Autopiloten gearbeitet. Dabei wurde dessen Basis komplett neu entwickelt (Rewrite) und auf die Verarbeitung von 3D-Video ausgerichtet, die in Echtzeit von den Kameras durch den AP-Computer fliessen. (4/8)

Da dies jedoch eine wesentlich höhere Rechenkapazität im Fahrzeug selbst voraussetzt, wurde seit 2019 konsequent die HW3 eingeführt, die in der Lage ist, viel mehr Daten zu verarbeiten. Wie kommt man jetzt auf 3D-Video, wenn die Kameras doch 2D-Bilder aufzeichnen? (5/8)

Am #AutonomyDay im Jahr 2019 demonstrierte @karpathy (Tesla's AI-Lead) eindrücklich, wie sie aus 2D Bilder entsprechende Tiefeninformationen errechnen und dadurch ein 3D Bild erzeugen können. Genau dies wird im neu entwickelten Autopiloten zum Einsatz kommen. (6/8)

Dieser errechnete 3D-Stream wird in Echtzeit ebenfalls mit «Labels» angereichert (nun aber im 3D-Raum). Jetzt kommt noch die 4. Dimension dazu: Zeit. Mittels präzisen Zeitangaben aller verarbeiteten Frames, können Bewegungen im 3D-Modell in Echtzeit ermittelt werden! (7/8)

Genau diese neue Entwicklung steht nun bald in den Startlöcher. Auf alle Fälle faszinierend und hoffentlich genauso zukunftsweisend, wie wir es (mittlerweile) von Tesla erwarten. ⚡️🚀 (8/8)