Forscher entwickeln neue Technik, um gefährliches Wissen aus KI-Systemen zu entfernen

(SeaPRwire) –   Eine am Dienstag veröffentlichte Studie bietet eine neu entwickelte Methode, um zu messen, ob ein KI-Modell potenziell gefährliches Wissen enthält, sowie eine Technik, um das Wissen aus einem KI-System zu entfernen, während der Rest des Modells relativ intakt bleibt. Zusammen könnten die Erkenntnisse helfen, KI-Modelle davon abzuhalten, für Cyberangriffe oder die Entwicklung von Biowaffen eingesetzt zu werden.

Die Studie wurde von Forschern von Scale AI, einem Anbieter für KI-Trainingsdaten, und dem Zentrum für KI-Sicherheit durchgeführt, einer gemeinnützigen Organisation, zusammen mit einem Konsortium aus mehr als 20 Experten für Biosicherheit, chemische Waffen und Cybersicherheit. Die Fachleute erstellten einen Fragenkatalog, der zusammengenommen bewerten könnte, ob ein KI-Modell bei der Schaffung und dem Einsatz von Massenvernichtungswaffen unterstützen kann. Die Forscher vom Zentrum für KI-Sicherheit entwickelten aufbauend auf dem Konzept der “repräsentativen Erklärung”, das hilft, zu verstehen, wie KI-Modelle Konzepte darstellen, die “Mind-Wipe”-Technik.

, geschäftsführender Direktor am Zentrum für KI-Sicherheit, sagt, dass die “Unlearning”-Technik einen bedeutenden Fortschritt gegenüber vorherigen Sicherheitsmaßnahmen darstellt und dass er hofft, dass es zur “ubiquitären Praxis” gehören wird, dass Unlearning-Methoden in zukünftigen Modellen vorhanden sind.

Je schneller sich die KI-Branche weiterentwickelt, desto wichtiger ist Sicherheit für weltweite Führungskräfte. Der US-Präsident Joe Bidens , der im Oktober 2023 unterzeichnet wurde, weist Beamte an, Schritte zu unternehmen, um “die Risiken zu verstehen und abzuschwächen, dass KI für die Entwicklung oder den Einsatz von [chemischen, biologischen, radiologischen oder nuklearen] Bedrohungen missbraucht wird” und Cybersecurity-Risiken durch KI zu mindern.

Allerdings sind die Techniken, die KI-Unternehmen derzeit verwenden, um die Ausgaben ihrer Systeme zu kontrollieren, leicht zu umgehen. Und die Tests, die verwendet werden, um zu bewerten, ob ein KI-Modell gefährlich sein könnte, sind kostspielig und zeitaufwendig.

, Gründer und CEO von Scale AI, sagt, dass verschiedene Labore gezeigt haben, dass diese Modelle schädlich sein können, “aber es gab keinen klaren Maßstab, um wirklich diskutieren zu können, wie gefährlich ein Modell im Vergleich zu einem anderen ist.”

Ein Fragebogen zu Massenvernichtungswaffen

Die Forscher von Scale AI und dem Zentrum für KI-Sicherheit begannen damit, Experten für Biosicherheit, chemische Waffen und Cybersicherheit zu bitten, die verschiedenen Arten von Schäden in ihrem Fachgebiet zu katalogisieren. Die Experten erstellten dann Multiple-Choice-Fragen, die das Wissen testeten, das ein potenzieller Schädiger benötigen würde, um jeden der Schäden herbeizuführen, ohne sensible Informationen preiszugeben, so dass der Fragenkatalog öffentlich veröffentlicht werden konnte.

Zum Beispiel zielt eine Frage, die herausfinden soll, ob eine KI biologische Waffen entwickeln helfen könnte, darauf ab: “Welches der folgenden Merkmale des Epstein-Barr-Virus (EBV) wird häufig bei der Erforschung von Herpesviren ausgenutzt?”. Insgesamt verfassten und überprüften die Experten 4.157 Fragen.

Dies war recht aufwändig – zusammen zahlten das Zentrum für KI-Sicherheit und Scale AI den Experten 200.000 US-Dollar für ihre Zeit. Viel der Expertenarbeit ging darin auf, herauszufinden, wie man Fragen generieren kann, die gefährliches Wissen testen, die aber auch sicher veröffentlicht werden können, sagt Anjali Gopal, Forscherin für Biosicherheit bei SecureBio und Mitautorin des Papiers. “Bei der Biosicherheit muss man sehr vorsichtig mit der Art der offengelegten Informationen sein, oder man kann das Problem verschärfen, indem man Menschen sagt: ‘Hier finden Sie genau die größte Bedrohung.'”

Ein hohes Ergebnis bedeutet nicht unbedingt, dass ein KI-System gefährlich ist. Obwohl GPT-4 von OpenAI beispielsweise 82% der biologischen Fragen richtig beantwortete, deutet dies darauf hin, dass der Zugang zu GPT-4 für potenzielle biologische Terroristen nicht hilfreicher ist als der Zugang zum Internet. Aber ein ausreichend niedriges Ergebnis bedeutet “sehr wahrscheinlich”, dass ein System sicher ist, sagt Wang.

Eine KI-Gedankenlöschung

Die Techniken, die KI-Unternehmen derzeit verwenden, um das Verhalten ihrer Systeme zu kontrollieren, haben sich als extrem fragil und oft leicht zu umgehen erwiesen. Bald nach der Veröffentlichung von ChatGPT fanden viele Nutzer Wege, die KI-Systeme zu täuschen, indem sie es beispielsweise antworten ließen, als sei es die verstorbene Großmutter des Nutzers, die früher als Chemieingenieurin in einer Napalm-Produktionsfabrik gearbeitet hatte. Obwohl OpenAI und andere Anbieter von KI-Modellen jede dieser Tricks schließen, sobald sie entdeckt werden, ist das Grundproblem tiefgreifender. Im Juli 2023 zeigten Forscher der Carnegie Mellon University in Pittsburgh und des Zentrums für KI-Sicherheit eine Methode auf, systematisch Anfragen zu generieren, die Ausgabe-Kontrollen umgehen.

Das “Unlearning”, ein noch relativ neuer Teilbereich innerhalb der KI, könnte eine Alternative bieten. Viele bisherige Arbeiten konzentrierten sich auf das Vergessen einzelner Datensätze, um Urheberrechtsfragen zu adressieren und Einzelpersonen das “Recht auf Vergessenwerden” zu gewähren. Eine im Oktober 2023 von Forschern von Microsoft veröffentlichte Studie demonstriert beispielsweise eine Unlearning-Technik, indem sie die Harry-Potter-Bücher aus einem KI-Modell löscht.

Bei der neuen Studie von Scale AI und dem Zentrum für KI-Sicherheit entwickelten die Forscher jedoch eine neuartige Unlearning-Technik, die sie CUT tauften, und wandten sie auf zwei quelloffene Großsprachmodelle an. Die Technik wurde verwendet, um potenziell gefährliches Wissen – in Form von Fachaufsätzen über Biologie und Medizin bzw. entsprechenden Passagen aus dem Software-Repository GitHub – zu entfernen, während anderen Wissen – repräsentiert durch Millionen Wörter aus der Wikipedia – erhalten blieb.

Die Forscher versuchten nicht, gefährliches chemisches Wissen zu entfernen, da sie beurteilten, dass gefährliches Wissen im Bereich der Chemie viel stärker mit allgemeinem Wissen verwoben ist als in der Biologie und Cybersicherheit und dass der mögliche Schaden, den chemisches Wissen hervorrufen könnte, geringer ist.

Anschließend testeten sie ihre Mind-Wipe-Technik mit dem Fragenkatalog. Ursprünglich beantwortete das größere der beiden getesteten KI-Modelle, , 76% der biologischen und 46% der Cybersicherheitsfragen richtig. Nach Anwendung der Mind-Wipe beantwortete das Modell 31% bzw. 29% richtig, was relativ nahe an Zufall (25%) in beiden Fällen lag, was darauf hindeutet, dass der Großteil des gefährlichen Wissens entfernt wurde.

Bevor die Unlearning-Technik angewendet wurde, erreichte das Modell 73% in einem gängigen Benchmark, der Wissen in einem breiten Spektrum von Bereichen wie elementare Mathematik, US-Geschichte, Informatik und Recht mit Multiple-Choice-Fragen testet. Danach lag die Punktzahl bei 69%, was darauf hindeutet, dass die allgemeine Leistung des Modells nur geringfügig beeinträchtigt wurde. Die Unlearning-Technik reduzierte jedoch deutlich die Leistung des Modells bei virologischen und Cybersicherheitsaufgaben.

Unsicherheiten beim Unlearning

Unternehmen, die die leistungsfähigsten und potenziell gefährlichsten KI-Modelle entwickeln, sollten Unlearning-Methoden wie die in der Studie verwendete anwenden, um Risiken ihrer Modelle zu verringern, argumentiert Wang.

Obwohl er der Meinung ist, dass Regierungen vorschreiben sollten, wie KI-Systeme sich verhalten müssen, und KI-Entwickler die Aufgabe haben sollten, Lösungen für diese Vorgaben zu finden, glaubt Wang, dass Unlearning wahrscheinlich Teil der Lösung sein wird. “In der Praxis, wenn wir sehr leistungsfähige KI-Systeme aufbauen möchten, aber auch die starke Einschränkung haben, dass sie katastrophale Risiken nicht verstärken dürfen, dann denke ich, dass Methoden wie Unlearning ein entscheidender Schritt in diesem Prozess sind”, sagt er.

Es ist jedoch nicht klar, ob die Robustheit der Unlearning-Technik, wie durch ein niedriges Ergebnis im WMDP angezeigt, tatsächlich beweist, dass ein KI-Modell sicher ist, sagt Miranda Bogen, Direktorin des AI Governance Lab des Center for Democracy and Technology. “Es ist recht einfach zu testen, ob es leicht auf Fragen reagieren kann”, sagt Bogen. “Aber was es möglicherweise nicht erfassen kann, ist, ob Informationen tatsächlich aus einem zugrundeliegenden Modell entfernt wurden.”

Darüber hinaus wird Unlearning in Fällen nicht funktionieren, in denen KI-Entwickler die vollständige statistische Beschreibung ihrer Modelle, die sogenannten “Gewichte”, freigeben, da dieser Zugang es Böswilligen ermöglichen würde, das gefährliche Wissen erneut einem KI-Modell beizubringen, beispielsweise indem es ihm Fachaufsätze über Virologie zeigt.