Qwen 3.8 27B läuft auf meinem Laptop und kann Modellgewichte interpretieren

Der Artikel befasst sich mit einer aktuellen Studie namens „Sparks of Weight‑Space Programming“, in der gezeigt wird, dass große Modelle in der Lage sind, die Gewichte einer anderen neuronalen Netzwerks direkt zu analysieren und zu verändern, ohne externen Code auszuführen. Im Hauptexperiment wurden vier auf klassischen 10 × 10‑Raster‑Spielen trainierte Netzwerke – Breakout, Pong, Pac‑Man und Freeway – einem großen Sprachmodell (LLM) zusammen mit ihren Gewichten in Form von Fließkommazahlen präsentiert. Das Modell GPT‑6 Astra konnte das jeweilige Spiel erkennen und zusätzlich kleine Netzwerke erzeugen, die bei 100 Mio. Trainingsschritten besser abschnitten als Versionen, die mit PPO trainiert wurden. Dasselbe Modell korrigierte ein logisches Problem bei Qwen 3.5‑0.8B, indem es lediglich 0,016 % seiner Gewichte anpasste; dadurch stieg die Genauigkeit bei MATH‑500 von 7,9 % auf 48,1 % und die Leistung bei IFEval verdoppelte sich.

Simon Willison reproduzierte die Experimente mit Qwen 3.8 27B auf seinem Laptop. Nach dem Laden des Modells in LM Studio und dem Einsatz des entsprechenden Plugins benötigte das Modell 46 Minuten, um die Gewichte einer vereinfachten Pac‑Man‑Version zu analysieren, und lieferte eine Spielbeschreibung mit 72 % Vertrauen. Ähnliche Tests mit den Gewichten von Pong waren ebenfalls erfolgreich.

Die Forschung legt nahe, dass LLMs die interne Logik anderer Netzwerke allein anhand ihrer Parameter verstehen können. Dies eröffnet die Möglichkeit, Modelle direkter und effizienter anzupassen. In einer Umgebung, in der die Optimierung von KI häufig teure Trainingszyklen erfordert, könnte die Fähigkeit, „im Gewichtenspace zu programmieren“, die Entwicklung robusterer und anpassungsfähigerer Systeme beschleunigen.

Originalartikel lesen auf Simon Willison

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.