Webinar "Understanding Versal: The Adaptable Engines" -jetzt anmelden-

Beschleunigte Applikation mit Open VSLAM

Von AMD Xilinx für KR260 unterstützt bietet der Algorithmus von Open VSLAM (Vision based Simultaneous Localization And Mapping) die Möglichkeit der rein Vision basierten 3D-Kartenerstellung.
Mithilfe von Kameras, in unserem Falle zwei, wird der eigene Standort auf einer Karte erkannt, eine 3D-Karte erstellt und der Kreis durch Erkennung des Ausgangspunktes geschlossen (loop closure). Tools wie GPS, Gyro oder IMU werden weder für die Kartenerstellung noch die Tiefenschätzung (depth image) benötigt.

 

OpenVSLAM in short blocks

Die Verarbeitungsschritte des OpenVSLAM sind in der Grafik (OpenVSLAM in short blocks) schematisch dargestellt und zeigen alle Schritte vom Eingangsbild bis zur Kartenerstellung inklusive der Loop-detection und Lokalisierung.

Die berechnungsintensivsten Schritte sind

  • Tiefenschätzung (mit Farbraumwandlung, Rektifizierung und dem eigentlichen Matching)
  • Keypoint Detection (hier ein ORB - oriented FAST and rotated BRIEF) basierend auf

Das Endergebnis des Mappings und Trackings ist eine verbindliche Karte.
PLC2 hat nun erste entscheidende Teile, durch die Verwendung des KRS (Kria Robotic Stack), beschleunigt.

Kria KR260 Robotics Starter Kit
Kria Robotics Stack (KRS)

AMD Xilinx Kria

Beispiele finden sich in der Vitis Vision Library (früher: xfOpenCV), hier existieren bereits in HLS implementierte Methoden für die Tiefenschätzung die für weitere Designs eingesetzt werden können: github

Für Skalen- und Driftkorrekturen innerhalb der Bahnberechnung werden bestimmte Keypoints erkannt und von ORB beschrieben: ieeexplore

Basierend auf den ersten Schritten der Beschleunigung im FPGA wurde folgender ROS-Graph extrahiert:

ROS Graph

 

Euroc is der input-frame, den wir vor der keypoint detection schon abgreifen um das Tiefenbild zu berechnen, dass dann später im Punkt triangulation of 3D points benutzt wird. (siehe auch Grafik: OpenVSLAM in short blocks)

 

 

Falls Sie noch mehr zum Thema ROS wissen möchten oder die Unterstützung unserer Experten benötigen, wenden Sie sich gerne an Sören Heß unter soeren.hessplc2.de

PLC2 Mitarbeiter zeigt die Kria Robotics Demo

 

zurück   Training   Design Services   Produkte   Startseite