Warum kann ChatGPT nicht rechnen? Geheimnis der mathematischen Pannen enthüllt

Künstliche Intelligenz, einschließlich ChatGPT, kann Gedichte schreiben, Musik komponieren und Texte übersetzen. Dennoch scheitert sie oft an einfachen mathematischen Aufgaben. Warum kommt ein Chatbot, der komplexe Sprachaufgaben bewältigt, nicht mit Mathematik auf dem Niveau der Grundschule zurecht?

Tokenisierung: Wenn Zahlen in Stücke zerfallen

Eines der Schlüsselprobleme ist die Tokenisierung. Dieser Prozess teilt Daten in kleinere Teile, sogenannte Token. Stellen Sie sich das wie ein Puzzle vor, bei dem Wörter in Silben zerlegt werden. Der Tokenisierer, das künstliche Intelligenz-Modell, das für diesen Prozess verantwortlich ist, versteht jedoch nicht den Bedeutungsgehalt von Zahlen.

Es kann passieren, dass die Zahl 380 als ein Token wahrgenommen wird, während 381 als zwei (38 und 1) wahrgenommen wird. Dadurch werden die Beziehungen zwischen Ziffern gestört und die Berechnung wird komplizierter.

Statistische Maschine, die bei Zahlen ins Straucheln gerät

Ein weiterer Grund für die mathematischen Probleme von ChatGPT ist seine statistische Natur. Der Chatbot lernt anhand einer großen Menge von Beispielen und sucht darin nach Mustern. Beispielsweise lernt er, dass die Phrase „Sehr geehrter Herr“ oft durch die Phrase „wenden wir uns an Sie“ folgt.

In der Mathematik trifft dieser Ansatz jedoch auf Probleme. Zwar kann ChatGPT schätzen, dass das Produkt von Zahlen, die auf 2 enden, mit 4 endet, aber mit Zwischenergebnissen kommt es nicht zurecht. Einfach gesagt versucht das ChatGPT-Modell, das Ergebnis anhand der erlernten Muster zu erraten, anstatt eine genaue Berechnung durchzuführen.

Die Herausforderung namens Multiplikation

Eine Studie von Yuntian Deng von der University of Waterloo hat gezeigt, dass ChatGPT Probleme mit der Multiplikation von Zahlen mit mehr als vier Ziffern hat. Der Grund dafür ist, dass ein Fehler in einem der Rechenschritte sich im Endergebnis widerspiegelt.

Stellen Sie sich das wie einen Domino-Effekt vor – ein Fehler löst eine Kettenreaktion aus und das Ergebnis liegt komplett daneben. Doch es gibt Hoffnung, dass sich ChatGPT in Zukunft verbessert. Deng und seine Kollegen testeten auch das Model o1 von OpenAI, das sich durch seine Fähigkeit des logischen Denkens auszeichnet.

Dieses Model erzielte deutlich bessere Ergebnisse als das Standard-GPT-4o und konnte sogar Multiplikationen von neunstelligen Zahlen korrekt lösen. Das o1-Modell denkt Schritt für Schritt über das Problem nach, was ihm ermöglicht, genauere Ergebnisse zu erzielen.