DeepSeek-R1, das wichtigste Reasoning-Modell des chinesischen Labors DeepSeek, halluziniert laut Vectaras HHEM 2.1-Benchmark in 14,3% der Fälle. Das ist fast viermal so hoch wie beim Vorgänger ohne Reasoning, DeepSeek-V3, welches einen Wert von 3,9% erreicht.
Dieser Unterschied stellt die Krypto-Branche vor schwierige Fragen. Eine schnell wachsende Klasse von KI-Agenten-Token setzt nun auf Reasoning-basierte große Sprachmodelle für autonomen Handel, Handelssignale und Aktionen auf der Blockchain.
Vectara-Daten zeigen, dass R1 zu viele falsche Fakten gibt
Vectara hat beide DeepSeek-Modelle mit HHEM 2.1, ihrem eigenen Halluzinations-Bewertungsrahmen, getestet. Das Team überprüfte die Ergebnisse außerdem mit Googles FACTS-Methodik. R1 gab in jedem Testaufbau mehr falsche oder nicht belegte Aussagen als V3 aus.
Der Grund war nicht nur die Tiefe des Reasonings. Die Analysten von Vectara stellten fest, dass R1 dazu tendiert, „zu sehr zu helfen”. Das Modell fügt Informationen hinzu, die im Ursprungstext nicht vorkommen.
Diese zusätzlichen Details können für sich genommen richtig sein, gelten aber trotzdem als Halluzination. Ein solches Muster schleust erfundene Zusammenhänge in ansonsten korrekte Antworten ein.
Vectara veröffentlichte den Hinweis direkt in einem öffentlichen Beitrag auf X.
„DeepSeek-R1 zeigt eine Halluzinationsrate von 14,3%, fast 4x höher als DeepSeek-V3”, stellte Vectara in einem Beitrag fest.
Dieses Muster ist nicht nur bei DeepSeek zu finden. Branchenbeobachter sehen denselben Zielkonflikt auch bei anderen Reasoning-Modellen. Mit Reinforcement Learning lässt sich zwar das Reasoning in der Kette der Gedanken stärken, aber dabei werden oft auch mutigere und selbstbewusstere Antworten erzeugt.
Warum Krypto-KI-Token diesen Zielkonflikt akzeptieren müssen
Am Markt gibt es inzwischen Hunderte KI-Agenten-Token, angeführt von Virtuals Protocol (VIRTUAL), ai16z (AI16Z) und aixbt (AIXBT).
Diese Kategorie erreichte in einem aktuellen Zeitraum von 30 Tagen ein Wachstum von etwa 39,4%. Virtuals allein kommt inzwischen auf über 576 Millionen USD Marktkapitalisierung.
Die meisten dieser Agenten nutzen ein großes Sprachmodell und zusätzliche Tools. Damit kann der Agent zum Beispiel in sozialen Netzwerken posten, Trades ausführen, Token minten oder Marktkommentare generieren.
Wenn das zugrundeliegende Modell einen Kurs, eine Partnerschaft oder eine Vertragadresse erfindet, können die Folgen direkt auf der Blockchain sichtbar werden.
Eine Analyse von BeInCrypto zu AIXBT zeigte, dass der Agent 416 Token mit einer durchschnittlichen Rendite von 19% beworben hat. Das gleiche Prinzip bedeutet jedoch, dass Follower auch falschen Empfehlungen ausgesetzt sind, wenn das Modell Fehler macht.
Das Risiko steigt mit der Autonomie der Agenten. Nur lesende Agenten, die Sentiment zusammenfassen, haben andere Auswirkungen als Agenten, die Zugang zu wichtigen Treasury-Schlüsseln besitzen.
Reasoning-Modelle sind besonders für Agenten interessant, die mehrere Schritte vorausplanen. Doch gerade in diesem Einsatzgebiet wirkt sich Vectaras 14,3%-Wert besonders stark aus.
Eine einzige halluzinierte Tatsache zu Beginn einer Gedankenkette kann sich auf alle nachfolgenden Handlungen auswirken.
LeCun: Das Problem liegt in der Architektur
Yann LeCun, Metas Chefwissenschaftler für KI, argumentiert bereits länger, dass autoregressive große Sprachmodelle Halluzination nie ganz vermeiden können. Seiner Ansicht nach fehlt der Architektur ein wirkliches, verankertes Weltverständnis.
Reinforcement Learning entlang einer Gedanken-Kette kann das Problem in engen Fachbereichen wie Mathematik und Programmieren vorübergehend verdecken. Die Ursache bleibt jedoch bestehen.
Andere forschende Labore sehen das anders. Sie verweisen auf Fortschritte bei Halluzinationsraten durch zusätzliche Recherche, Feintuning nach dem Training und Kontrollmodelle. Berichte von Entwicklern stimmen jedoch meist mit den offiziellen Benchmarkwerten überein.
Der KI-Forscher xlr8harder beschrieb in einem Beitrag auf X seine Praxis-Erfahrung bei der Fehlersuche mit R1.
„Deepseek R1 hat ein interessantes, nicht integriertes Verständnis seiner Denkabläufe. … Deshalb beginnt es, mich mit Halluzinationen zu täuschen”, schrieb er.
Für Entwickler von Krypto-Agenten stellt sich daher vor allem die praktische Frage des Risikomanagements, nicht die nach der Architektur. Designs, bei denen jede Modellantwort zusätzlich geprüft wird, könnten sich als robuster erweisen.
Das gilt ebenfalls für Agenten, die für Finanzaktionen auf kleinere, konservativere Modelle setzen.
Die nächsten Benchmark-Runden und die Nachfolger von R1 werden zeigen, ob die Lücke zwischen Reasoning und Genauigkeit kleiner wird.
Bisher bleibt der Abstand zwischen 14,3% und 3,9% ein wichtiger operativer Wert. Er könnte den Unterschied machen, ob KI-Agenten-Token funktionierende Produkte liefern oder nur Versprechen abgeben.
