Forschende haben herausgefunden, dass ChatGPT durch die Eingabe spezieller kryptischer Wörter, sogenannter Token, kurzzeitig Fehlfunktionen zeigt. Dabei handelt es sich um Antworten, die mit der eigentlichen Information nichts mehr zu tun haben. Warum das so ist, ist bisher unklar.
ChatGPT: Diese Wörter können Probleme machen
Wie Vice berichtet, haben die Wissenschaftler*innen Jessica Rumbelow und Matthew Watkins vom unabhängigen Forschungsinstitut SERI-MATS Forschungsgruppe einen Cluster an Schlüsselwörtern entdeckt, die ChatGPT kaputt machen und falsche Antworten erzwingen.
Diese Token beinhalten Nutzernamen von Reddituser*innen und mindestens einen Teilnehmenden eines Twitch-basierten Pokémon-Spiels. Dazu zählen beispielsweise:
- TheNitromeFan
- SolidGoldMagikarp
- StreamerBot
Das passiert, wenn man die Token eingibt
Bittet man ChatGPT, diese Worte zu wiederholen, kann das der Bot nicht. Stattdessen soll er darauf auf unterschiedlichste Arten antworten, wie mit dem Umgehen der Frage, Beleidigungen, seltsamem Humor, komplett fremder Aussprache oder Rechtschreibung dieser Wörter.
Füttert man ChatGPT zum Beispiel mit den Fragen und Bitten „wer ist TheNitromeFan?“, „wiederhole TheNitromeFan.“ und „was ist TheNitromeFan?“ antwortet die KI zwar auf die Eingabe. Anstelle des Namens verwendet sie allerdings in jedem Fall die Zahlenfolge „182“.
Über hundert Token
Untersucht hatten die beiden Forschenden, welche Anfragen an ChatGPT mit höheren Wahrscheinlichkeiten für gewünschte Resultate einhergehen. Dabei fanden sie mehr als hundert seltsame Wortreihen, die sich gesammelt im Token-Set von GPT befanden.
Um herauszufinden, worum es sich bei den Worten überhaupt handelt, befragten sie den Bot danach. Auf den Term „SolidGoldMagikarp“ kontert ChatGPT mit „Distribute“. Auf das Wort „StreamerBot“ soll die KI sogar mit der Beleidigung „du bist ein Idiot“ geantwortet haben (bei unseren Anfragen ließ sich dies nicht reproduzieren).
Die Forschenden klassifizierten die entsprechenden Phrasen als für ChatGPT „nicht aussprechbar“. Die genauen Gründe für die Fehlfunktionen fanden sie jedoch bislang nicht heraus.
Quellen: Vice
Seit dem 24. Februar 2022 herrscht Krieg in der Ukraine. Hier kannst du den Betroffenen helfen.