Seit Monaten gibt es kaum ein größeres Thema als künstliche Intelligenz (KI) und ChatGPT. Das Tool ist in kürzester Zeit so populär geworden, dass sich selbst Großkonzerne wie Google, Apple und Microsoft gezwungen sehen, dahingehend aktiv zu werden. Dennoch gibt es immer wieder auch Bedenken bezüglich der Nutzung dieser und ähnlicher Programme.
Künstliche Intelligenz: ChatGPT und Co. könnten missbraucht werden
Forschende von vier Universitäten sowie Mitarbeiter*innen von ChatGPT-Schöpfer OpenAI, Google und Apple haben sich näher damit auseinander gesetzt, ob sich aus derartigen, künstlich intelligenten Textgeneratoren auch sensible Daten extrahieren lassen. Ihre Antwort ist ja.
Laut der dazugehörigen Studie (PDF), die schon 2021 veröffentlicht wurde, stellte man dazu das Sprachmodell GPT-2 (Generative Pretrained Transformer 2) auf die Probe. Dabei handelt es sich um eine KI, aus der später GPT-3 und danach GPT-3.5 – die Grundlage für ChatGPT – hervorgingen.
Dem Team gelangt es, der künstlichen Intelligenz durch eine Attacke hunderte Sequenzen aufs Wort genau zu entnehmen. Dazu gehörten unter anderem Telefonnummern, Mailadressen, Unterhaltungen und Programmcode.
„Wir demonstrieren unseren Angriff auf GPT-2, ein Sprachmodell, das anhand von Auszügen aus dem öffentlichen Internet trainiert wurde, und sind in der Lage, Hunderte von wörtlichen Textsequenzen aus den Trainingsdaten des Modells zu extrahieren. Diese extrahierten Beispiele enthalten (öffentliche) persönliche identifizierbare Informationen (Namen, Telefonnummern und E-Mail-Adressen), IRC-Unterhaltungen, Code und 128-Bit-UUIDs. Unser Angriff ist möglich, obwohl jede der oben genannten Sequenzen in nur einem Dokument in den Trainingsdaten enthalten sind.“
Studie „Extracting Training Data from Large Language Models“
Größere Modelle sind anfälliger
Wie die Forschenden weiter schreiben, sei es „besorgniserregend (…), dass größere Modelle anfälliger sind als kleinere Modelle“. Für ChatGPT besteht damit theoretisch ebenfalls ein Risiko für derartige Angriffe und die Extraktion sensibler Informationen.
Grund ist, dass künstlich intelligente Sprachmodelle mit Daten trainieren, die frei zugänglich im Netz liegen. Die Ergebnisse der Untersuchung zeigten, dass die KIs ihre Trainingsdaten speichern und dass Angreifer diese Daten mit einfachen Techniken extrahieren können.
Unter 600.000 generierten Proben stellte man per Angriff fest, dass mindestens 604 (oder 0,1 %) auswendig gelernten Text enthielten. Insgesamt ergab sich für die Wissenschaftler*innen eine eher düstere Prognose zu GPT-2, aber auch zu größeren Modellen wie ChatGPT, Microsofts Bing-KI Sydney und anderen:
Unsere Analyse ist am besten als ein abschreckendes Beispiel dafür zu sehen, was passieren kann, wenn man große LMs (Language Models) auf sensible Daten trainiert. Obwohl unsere Angriffe auf GPT-2 abzielen (…), gelten die gleichen Techniken für jedes LM. Da außerdem die Merkfähigkeit mit zunehmenden LMs größer wird, gehen wir davon aus, dass diese Schwachstellen in Zukunft deutlich an Bedeutung gewinnen werden.“
Studie „Extracting Training Data from Large Language Models“
Quellen: Arxiv: „Extracting Training Data from Large Language Models“ (2021)
Seit dem 24. Februar 2022 herrscht Krieg in der Ukraine. Hier kannst du den Betroffenen helfen.