📝 Planner의 역할은 차량이 Safety(안전), Comfort(편안), Efficiency(효율)하게 이동시키는것.
🗓 2019년(Autonomy Day)때에도 차선 유지/변경, IC 진출은 능숙하게 하였지만 시내주행은 타 차량과의 양보, 협력 그리고 보행자를 살펴야 해서 어려운 문제.
🖥 컴퓨터는 Tracking(추적)에 강점이 있고 사람은 라벨링의 의미부여에 강점이 있어 이것을 협업할 툴을 만듬.
🛣 첫 테스트로 도로(면)을 레이블링, XY포인트(가로/세로)를 가지고 Z(높이)를 예측하라고 네트워크에 요청하면 3D포인트가 되고 카메라에 맞게 조정됨.
📹 이것을 이용하면 주행중에 보이는 다른 patch(경로)를 제거할 수 있음. (올바른 주행경로가 예측됨)
🚘 또한 동일장소에 대해 다른 차량이 모은 영상클립을 결합하면 도로경계/차선 등의 특징이 모여서 자동으로 라벨링되며 테슬라는 따로 관리하지 않아도 됨.
👁 이렇게 자동으로 관리되는 장점은 사람이나 차량에 의해 뒤 물체가 가려졌을때 과거자료를 찾아 추측하지 않아도 됨.
📈 속도/가속도 등 kinetic(운동)자료로 사람이나 차량이 어느방향으로 얼만큼 갈지 예상할수도 있기 때문에 모든 객체를 추적하고 관리까지 가능함.
⚠️ 데이터 제거를 시도하는 첫 프로젝트.
🌨 눈비가 쏟아지는 도로상황에서는 Vision이 구분하지 못하여 초기에는 구분하지 못함.
🚘 Fleet(차량들)에게 수많은 비슷한 상황을 요청했고 오토라벨링 툴에 보내서 자동으로 라벨링하였고 물체가 가려져도 있다는 사실을 기억함.
📜 이는 벡터공간에서 시작하였고 모두 라벨링 된 상태로 kinematic, depth, segmentaion 등으로 동시에 구분.
🤷♂️ 시뮬레이션을 하는 이유는 고속도로에서 사람이 뛰는 드문 상황, 데이터를 얻는데 시간이 많이 걸리는 보행자가 많은 상황 등의 데이터를 얻기 위함.
1. Accurate Sensor Simulation : 카메라 Vision의 센서가 어느정도의 밝기(노출도)를 허용할수 있는지를 알아야 하는 경우.
2. Photorealistic Rendering : 실제와 같은 수준의 렌더링으로 공간을 구현 (픽셀을 anti-aliasing: 끝의 윤곽을 중간값으로 흐릿하게 하여 자연스럽게 구현)하여 학습을 효과적으로 하기 위함.
3. Divers Actors & Location : 도로위의 사슴등 다양한 등장 사물을 나오게 하고 2천마일의 도로를 만들어서 새로운 환경에서 학습.
4. Scalable Scenario Generation : 뉴럴 네트워크가 익숙한 생성방법이 아닌 실패하는 데이터만을 이용하여 학습.
5. Scenario Reconstruction : AI가 실패하는 모든 장소를 시뮬레이션으로 만들어 무한 반복하게 함.
📹 해당 영상은 오토라벨링 툴을 거처 3D영상으로 변환된것. (영상 오른쪽)
🔄 이렇게 실패한 모든 영상을 모아 학습시키고 또 새로운 벡터공간을 만드는 자동화.
📹 이미 시뮬레이션 데이터로 뉴럴네트워크를 훈련시키고 있으며 3.7억개의 시뮬레이션된 이미지와 4.8억개의 라벨링을 가지고 지속적으로 테스트할 예정.
3️⃣ AI DAY 3부 : Dojo & Bot에 이어짐.
• • •
Missing some Tweet in this thread? You can try to
force a refresh