KI-Systeme in falschen Händen: Wie sich gefährliche Szenarien verhindern lassen

Ein Expertenbeitrag von Jürgen Beyerer, Leiter des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB und der AG Lernfähige Robotiksysteme

Autonome, mobile Roboter können gefährliche, anstrengende oder monotone Arbeiten erledigen. Vielerorts werden sie bereits eingesetzt, etwa in der Produktion von Automobilen, zur Überwachung von Industrieanlagen oder zur Inspektion von Ölplattformen. Diese mithilfe von Künstlicher Intelligenz (KI) gesteuerten Systeme können jedoch für Sabotage- oder Spionageakte zweckentfremdet werden oder gar als Waffe dienen. Daher sollten der Schutz vor ihrem missbräuchlichen Einsatz schon in der Entwicklung mitbedacht und die Forschung in diesem Bereich ausgebaut werden. So können autonome, mobile Roboter sicher und verantwortungsvoll eingesetzt werden und ihre vielfältigen gesellschaftlichen und wirtschaftlichen Potenziale freisetzen. Wie Roboter und weitere KI-Systeme geschützt werden können, erläutern die ExpertInnen der Plattform Lernende Systeme in ihrem Whitepaper „KI-Systeme schützen, Missbrauch verhindern“.

Robotik wird in den kommenden Jahren in vielen Bereichen der Gesellschaft und Wirtschaft vermehrte Anwendung finden. Die Systeme können die Menschen entlasten, indem schwere körperliche oder repetitive Aufgaben wegfallen. Robotik ist in den vergangenen Jahren stetig kostengünstiger geworden, während die Systeme durch technische Neuerungen leistungsfähiger wurden. Insbesondere die großen Fortschritte auf dem Gebiet des maschinellen Lernens waren für diese Entwicklung ausschlaggebend. Vor allem das maschinelle Sehen, eine Spielart des maschinellen Lernens, bietet enorme Potenziale. Dadurch sind Maschinen beispielsweise im Stande, mit ihren Sensoren den Fortschritt auf Baustellen zu dokumentieren oder etwaige Schäden am Gebäude zu erkennen. Zudem können sie Industrieanlagen vermessen, Messstände ablesen und die Unternehmen mit den gesammelten Informationen unterstützen.

Allerdings bieten autonome Systeme auch eine Angriffsfläche für einen missbräuchlichen Einsatz dar. So können Cyberangreifer etwa die Sensoren von nicht ausreichend geschützten Robotern für Spionage und Überwachung nutzen. Erringen Kriminelle die volle Kontrolle über das autonome System, können diese auch für Sabotage oder sogar als Waffe eingesetzt werden. Ein missbräuchlicher Einsatz liegt immer dann vor, wenn ein System entgegen dessen eigentlichen Zweck genutzt wird und dabei fundamentale Werte, wie die körperliche und psychische Unversehrtheit von Menschen, (demokratische) Freiheiten und Rechte, Privatheit oder materielle und immaterielle Werte verletzt werden oder der Umwelt geschadet wird. Es ist somit eine zentrale Herausforderung, die Robotikanwendungen gegen eine kriminelle Nutzung zu wappnen, damit ein vertrauenswürdiger Einsatz zum Wohle von Wirtschaft und Gesellschaft ermöglicht wird.

Anomalien bei der Nutzung erkennen und Funktionalitäten einschränken

Um autonome Systeme widerstandsfähig gegen Missbrauchsversuche zu machen, sollte grundsätzlich die allgemeine IT-Sicherheit des Systems in den Blick genommen werden. Das betrifft sowohl die organisatorische als auch die technische Dimension. Wichtig ist eine integrierte Gesamtstrategie.

Gerade bei autonomen Systemen können beispielsweise die frühzeitige Erkennung von Anomalien sowie die Einschränkung bestimmter Funktionalitäten des Systems besonders wichtig sein. Diese Anomalien können wiederum mithilfe von Künstlicher Intelligenz (KI) ausfindig gemacht werden, beispielsweise, indem das KI-gestützte System Abweichungen vom Umgebungsmodell beim autonomen Fahren oder Abweichungen vom geplanten Verlauf eines Einsatzes erkennt. Handlungen ähnlicher KI-Systeme können dazu beispielsweise in einer Cloudumgebung gesammelt werden. Durch einen Vergleich der jeweiligen Handlungen kann ermittelt werden, ob diese Handlungen bereits in ähnlichen Situationen vorkamen. Auf diese Weise können ungewöhnliche und somit verdächtige Anfragen und Handlungen identifiziert und überprüft werden, etwa durch Simulation in Cloudumgebungen, die erwartete Ergebnisse, wie System- oder Umweltveränderungen, analysieren. Die gesammelten Daten können anschließend genutzt werden, um die Erkennung von Anomalien zu optimieren, indem sie für den Lernprozess von KI-Systemen verwendet werden.

Eine weitere Möglichkeit, autonome Systeme gegen Missbrauch zu wappnen, besteht darin, ihre Autonomie einzuschränken. Dabei werden die Funktionalitäten und Fähigkeiten von autonomen Robotern reduziert, etwa auf bestimmte Orte, Zeitfenster, Situationen und Umgebungen. Beim Geofencing bzw. -targeting werden beispielsweise Drohnenflüge in spezifische Gebiete unterbunden oder Baumaschinen werden so programmiert, dass sie ausschließlich auf dem Gebiet der Baustelle funktionieren. Die Fähigkeiten von autonomen, mobilen Robotern können auch gekoppelt an eine Umgebungsanalyse auf Basis der Sensoren des Roboters beschränkt werden. Das bedeutet, dass der Sensor des Roboters zunächst die Umgebung erfasst, und nur wenn bestimmte Merkmale des Ortes und der Umgebung erkannt werden, werden bestimmte Fähigkeiten des Gerätes freigegeben. Diese Umgebungs- und Ortsanalysen stellen eine gute Alternative oder Ergänzung dar, da Verfahren wie das Geofencing und -targeting unter Umständen technisch umgangen werden können. Als Basis dient dabei etwa der Abgleich von Informationen aus unterschiedlichen Sensoren eines mobilen KI-Systems.

Wie der Schutz vor Missbrauch im konkreten Fall aussehen kann

Ein mögliches Szenario, bei der die Anomalie-Erkennung und die Einschränkung der Funktionen einen Missbrauch verhindern kann, könnte etwa in naher Zukunft auf einer Baustelle stattfinden. Dort wird ein autonomer Bagger eingesetzt, der eigenständig Aufgaben erfüllt. Einer cyberkriminellen Terrororganisation gelingt es, eine Sicherheitslücke im System zu identifizieren und verschaffen sich somit Zugang zu dem autonomen System. Ihr Ziel ist es, den Bagger auf eine angrenzende Autobahn zu steuern. Das Fahrzeug rollt in Richtung der Autobahn und nähert sich dem Ende der abgegrenzten Baustelle. Sofort stellt ein zertifiziertes vom Hauptsystem abgekapseltes System fest, dass die „zugelassene“ Umgebung verlassen wird und dass eine Anomalie vom Normalverhalten des Fahrzeuges vorliegt. Das System deaktiviert den Bagger an der Grenze der Baustelle und bringt ihn zum Stehen. Gleichzeitig sendet es eine Anfrage an die Zentrale, in der die Systeme überprüft werden, und bietet ihr die Möglichkeit zur manuellen Kontrollübernahme des Fahrzeuges an.

In einem anderen Szenario könnte der größte europäische Hafen angegriffen werden. Der Hafen in Rotterdam wird in dem Szenario durch KI-basierte Unterwasserdrohnen überwacht, die dauerhaft die Wassertiefen und Bodengegebenheiten prüfen. Eine militante Gruppe fängt eine Drohne ab und versucht eine zeitcodierte Sprengladung zu platzieren. Allerdings ist die Drohne mit einem ein System zur (Selbst)-Überwachung geschützt, das die Daten von Beschleunigungssensoren sowie akustischen und optischen Sensoren an der Drohne analysiert und auf diese Weise Anomalien feststellt – etwa wenn sich die Geschwindigkeit während des Abfangens der Drohne ungewöhnlich verändert. Dadurch kann frühzeitig erkannt werden, wenn eine Drohne abgefangen oder manipuliert würde. Somit wird die Drohne rechtzeitig aus dem Verkehr gezogen und die Sprengladung entschärft.

Es gibt zahlreiche Optionen, robotische Systeme vor krimineller Nutzung zu schützen. Von besonderer Bedeutung sind dafür die automatisierte Anomalie-Erkennung und die Begrenzung der Funktionalitäten der jeweiligen Geräte, etwa auf bestimme Orte, Umgebungen oder Zeiträume. Wichtig ist, dass der Schutz vor Missbrauch schon bei der Entwicklung der autonome Roboter mitbedacht wird. So sollten bei der Weiterentwicklung dieser Systeme mögliche Missbrauchsziele und geeignete Gegenmaßnahmen abgeleitet werden, die als Prävention implementiert oder im Ernstfall umgesetzt werden können. Nicht zuletzt sollte auch die Forschung im Bereich des Schutzes vor Missbrauch weiter vorangetrieben werden. Im Zentrum sollte dabei das Vertrauen der Menschen in die autonome Robotik stehen, denn nur auf diese Weise können die vielfältigen Potenziale der Technologie verwirklicht werden.