Environments, in which robots can assist humans both in production tasks as well as in everyday tasks, will demand advanced capabilities of these robotic systems of cooperating with humans and other robots. To achieve this, robots should be able to navigate and manipulate in dynamic environments safely. As such, it is essential that a robot can accurately determine its pose (i.e., its position and orientation) in the environment based on optical sensors.
However, both the map of the robot’s surrounding as well as its sensors can contain inaccuracies, which can cause problematic consequences.
The work presented here focuses on this issue by introducing several novel computer vision-based methods. These approaches lead to a set of challenges which are addressed in this thesis. These are:

• How accurately can a robot estimate its pose in a known environment, i.e., assuming that a precise map of its surrounding is available?
• Secondly, how can a model of the robot’s surroundings be created if no map of its surroundings is known a priori?
• Lastly, how can this be done if neither a priori environment models nor models of the robot’s internal state are available?

Regarding the first research question, it is shown that high accuracy can be achieved based on camera information only. This is applicable both for classical cameras and 3D cameras.
To answer the second question, a method is introduced, with which a highly accurate model of a robot’s environment can be created. A significant advantage of this method is that it can run in parallel and doesn’t need either particular movements of the robot nor requirements on the type of camera images used.
Extending this to the third question, it is demonstrated that simultaneously to obtaining a model of the surroundings, an internal model can be obtained employing similar approaches.
An important benefit of all these methods is that they are based solely on optical sensors, namely on cameras and depth sensors. This makes these approaches very easy and cost-effective to apply to a robotic system.
The introduced methods are experimentally evaluated throughout this thesis employing different mobile robotic systems, ranging from industrial manipulators to humanoid robots.
Going beyond traditional robotics, this work examines how the presented methods can also be applied to human-machine interaction. It shows, that by solely visually observing the movement of the muscles in the human forearm and by employing machine learning methods, the corresponding hand gestures can be determined, opening entirely new possibilities in the control of robotic hands and hand prostheses.


Umgebungen, in denen Roboter Menschen sowohl bei industriellen Produktionsaufgaben als auch im Alltag assistieren können, werden ausgereifte Fähigkeiten der robotischen Systeme zur Kooperation mit Menschen und anderen Robotern erfordern.
Um dies zu erreichen, ist es erforderlich, dass Roboter sicher in dynamischen Umgebungen navigieren und mit ihrem Umfeld interagieren können. Daher ist es essentiell, dass ein Roboter präzise seine Pose, das heißt seine Position und Orientierung, in der Umgebung bestimmen kann.
Allerdings kann sowohl das Modell der Umgebung als auch die Sensoren des Roboters fehlerhaft sein, was zu problematischen Konsequenzen führen kann. Die hier präsentierte Arbeit befasst sich mit dieser Problemstellung, indem mehrere neuartige Methoden des maschinellen Sehens vorgestellt werden. Diese Ansätze führen zu einer Reihe von Herausforderungen, die im Rahmen dieser Dissertation behandelt werden. Diese sind:

• Welche Genauigkeit kann für einen Roboter erreicht werden, um seine Pose in einer bekannten Umgebung zu bestimmen, das heißt unter der Annahme, dass eine hochgenaue Karte der Umgebung zur Verfügung steht?
• Des Weiteren, wie kann ein Modell der Umgebung des Roboters erstellt werden, falls keine Karte der Umgebung a priori bekannt ist?
• Und schließlich, wie kann der Fall behandelt werden, falls weder a priori Umgebungsmodelle noch Modelle zum internen Status des Roboters zur Verfügung stehen?

Hinsichtlich der ersten wissenschaftlichen Fragestellung wird in dieser Arbeit dargestellt, dass eine hohe Genauigkeit basierend auf Kamerainformationen erreicht werden kann. Dies ist sowohl für klassische Kameras als auch für Tiefensensoren anwendbar.
Um die zweite Fragestellung zu beantworten, wird eine Methode vorgestellt, mit welcher ein hochgenaues Modell der Umgebung eines Roboters erstellt werden kann. Ein großer Vorteil dieses Verfahrens ist, dass es parallel ablaufen kann und weder spezielle Bewegungen des Roboters benötigt noch Voraussetzungen an die Art der eingesetzten Kameras stellt.
Schließlich wird dies auf die dritte Fragestellung erweitert und es wird aufgezeigt, wie simultan zur Erstellung eines Modells der Umgebung auch ein internes Modell des Roboters bestimmt werden kann.
Ein wichtiger Vorzug all dieser Methoden ist, dass sie rein auf optischen Sensoren basieren, also auf Kameras und Tiefensensoren. Dies ermöglicht es, die gezeigten Methoden sehr einfach und preisgünstig auf unterschiedlichen Robotersystemen zu implementieren.
Die vorgestellten Verfahren werden im Rahmen dieser Arbeit experimentell evaluiert, indem verschiedene robotische Systeme verwendet werden. Diese Systeme reichen von klassischen Industrierobotern bis hin zu humanoiden Robotern.
Über traditionelle Robotik hinausgehend, wird des Weiteren dargelegt, wie diese Methoden auch im Rahmen der Mensch-Maschine Interaktion angewandt werden können. Hier wird gezeigt, dass nur durch Betrachtung der Muskelbewegung im Unterarm eines Menschen mittels Methoden des maschinellen Lernens zugehörige Handgesten bestimmt werden können, was zum Beispiel neue Möglichkeiten in der Ansteuerung von robotischen Händen und modernen Handprothesen eröffnet.

Schlagwörter: Pose Estimation; Calibration; Camera-Camera Calibration; Localization; Hand-Eye Calibration

Fortschritte der Robotik/Progress in Robotics