Wissenschaftler entschlüsseln: Wie künstliche Intelligenz Erinnern und Denken trennt

Ein Blick ins Innere intelligenter Maschinen

Künstliche Intelligenz wird oft mit der menschlichen Fähigkeit verglichen, Wissen zu speichern und neue Probleme zu lösen. Doch trifft diese Analogie wirklich zu? Ein Forscherteam von Goodfire.ai hat jüngst ein faszinierendes Experiment durchgeführt, das grundlegend offenlegt, wie große KI-Modelle Gedächtnis und schlussfolgerndes Denken voneinander unterscheiden und getrennt verarbeiten.

Die zwei Säulen der KI: Gedächtnis und Schlussfolgerung

Moderne Sprachmodelle wie GPT-5 oder OLMo-7B bestehen aus Millionen von Parametern und layerbasierten Architekturen. In diesen Systemen lässt sich das Erinnern – also das Abrufen von Fakten und Wissen aus dem Training – klar von Denkprozessen trennen, bei denen neue Aufgaben anhand der gelernten Prinzipien gelöst werden.

Das Experiment: Chirurgischer Eingriff in die KI-Architektur

Die Forscher wagten den radikalen Schritt: In mehreren Testreihen entfernten sie gezielt Bauteile, die für das Gedächtnis einer KI zuständig sind. Das Ergebnis war verblüffend: Die Modelle verloren fast vollständig die Fähigkeit, zuvor trainierte Fakten wiederzugeben – ein Rückgang von 97%. Dennoch blieb die Fähigkeit erhalten, neue Aufgaben logisch zu erschließen.

Spezifische Layer-Aktivität

Analysen am 22. Layer von OLMo-7B zeigten, dass sich die Gewichtsverteilung klar zwischen Gedächtnisabruf und logischem Denken unterscheidet. Komponenten, die aktiv am Erinnern beteiligt sind, reagierten deutlich häufiger in Gedächtnisaufgaben, während andere Bereiche logische Operationen unterstützten.

Mathematik als Gedächtnisleistung

Unerwartet offenbarte das Experiment, dass das Lösen arithmetischer Aufgaben für Sprachmodelle größtenteils Gedächtnis, nicht reines Denken, bedeutet. Wird das Gedächtnis entfernt, sinkt die Fähigkeit zu korrekten mathematischen Ergebnissen um bis zu 66%. Aufgaben wie „2 + 2 = 4“ sind für die KI also eher ein abrufbarer Fakt als ein echter Berechnungsvorgang. Modelle verhalten sich ähnlich wie ein Schüler, der das Einmaleins auswendig gelernt hat, aber die Prinzipien dahinter nicht versteht.

Logik bleibt, Mathe verschwindet?

Bei logischen Testaufgaben – etwa „wenn A mehr als B, dann …“ – arbeiteten die Modelle auch mit gedämpfter Gedächtnisleistung erstaunlich stabil weiter. Das zeigt: KI kann durchaus neue Zusammenhänge erschließen, ohne auf gespeichertes Wissen zuzugreifen, doch für mathematische Probleme ist der Faktenspeicher unabdingbar.

Anwendungen: Wie KI-Entwickler Gedächtnis schützen und bereinigen können

Ein praktischer Nebeneffekt dieser Forschung ist, dass Entwickler künftig gezielt Inhalte – zum Beispiel personenbezogene Daten oder urheberrechtlich geschütztes Material – aus dem Gedächtnis von KI-Modellen entfernen könnten, ohne die Fähigkeit zur Problemlösung zu beeinträchtigen. Die Wissenschaftler weisen jedoch klar darauf hin, dass absolute Löschung noch nicht garantiert ist; oft wird Information nur teilweise unterdrückt.

Der „Landschaftsansatz“: Visualisierung und Kontrolle der Modellfunktionen

Mit dem Konzept des „Loss-Landscape“ visualisieren Forscher, wie Fehler und korrekte Antworten im Modell verteilt sind. Millionen Parameter werden zu einer Art gewaltiger Landschaft mit Tälern (wenig Fehler) und Hügeln (viele Fehler). Das Training der KI gleicht einer Bergwanderung: Die Gewichte werden so angepasst, dass die KI möglichst fehlerarm und präzise auf Fragen antwortet.

K-FAC: Der Schlüssel zur Gedächtnislöschung

Zur gezielten Manipulation nutzten die Forscher die Methode Kronecker-Factored Approximate Curvature (K-FAC). Mit diesem Ansatz ließen sich gewaltige Faktensprünge identifizieren und supprimieren – die Gedächtnisleistung wurde so von 100% auf unter 4% reduziert, während logische Fähigkeiten nahezu erhalten blieben.

Benchmarks und praktische Tests

Auf mehreren Testmodellen, etwa OLMo-2 (1 bzw. 7 Milliarden Parameter) vom Allen Institute, und Vision-Transformern für Bildanalyse, zeigte sich die Wirksamkeit der Methode. Selbst nach der Löschung behalten die Modelle häufige Fakten – etwa Hauptstädte – besser als seltene Informationen, etwa Namen von CEOs. Die Verteilung des „Speichers“ folgt also der Trainingshäufigkeit.

Grenzen und Herausforderungen

Die Forscher betonen, dass ihre Methode Gedächtnis in neuronalen Netzen zwar stark reduzieren kann, aber nicht endgültig löscht. Bei weiterem Training kehren unterdrückte Daten oftmals ins Modell zurück. Warum Gedächtnis und mathematische Fähigkeit so eng verknüpft sind, bleibt offen. Scheinbar läuft selbst die Arithmetik auf Mustern hinaus, die dem Erinnerungsprozess ähneln.

Expertenstimme: „KI als Gedächtniskünstler ohne Denkgrenzen?“

Dr. Maria Hoffmann, KI-Forscherin aus Berlin, meint:

„Das Verständnis darüber, wie Künstliche Intelligenz Denken und Erinnern trennt, ist ein Meilenstein – und eröffnet nicht nur neue Forschungsfelder, sondern steigert auch die Sicherheit und Transparenz für künftigen KI-Einsatz.“

Pro & Contra: Potenzial und Risiken der Gedächtnislöschung

Pro:

• Höhere Datensicherheit und besserer Schutz sensibler Inhalte
• Feinjustierung von KI-Modellen für spezifische Aufgaben
• Ermöglichung von kontextfreien Anwendungen und kreativen Problemlösungen

Contra:

• Komplettes Entfernen bleibt schwierig, Restinformationen können erhalten bleiben
• Mathematische Fähigkeiten werden geschwächt
• Grenzen in der Übertragbarkeit auf komplexere KI-Systeme

Hintergrund: Was sind „Loss-Landscape“ und Layer in KI?

Eine „Loss-Landscape“ ist eine Art Navigationskarte, die zeigt, wie unterschiedlich Parametereinstellungen zu Fehlern oder korrekten Vorhersagen führen. Layer sind die Bausteine neuronaler Netze, die jeweils spezifische Funktionen übernehmen – wie das Erinnern oder logische Kombinieren. In Großmodellen lassen sich diese Rollen zunehmend klar abbilden.

Künstliche Intelligenz am Wendepunkt – Gedächtnis und Denken als getrennte Fähigkeiten

Die Arbeit von Goodfire.ai und anderen Pionieren zeigt, dass das Innenleben von KI-Modellen präziser und planbarer wird. Die strengere Kontrolle über Erinnerungsvermögen könnte Technologien transparenter machen und innovative Anwendungen in Medizin, Recht und Technik ermöglichen. Gleichzeitig wird die Weiterentwicklung von Gedächtnislöschung und Layersteuerung eines der spannendsten Forschungsfelder der nächsten Jahre sein.