{"id":241481,"date":"2024-10-15T12:34:09","date_gmt":"2024-10-15T10:34:09","guid":{"rendered":"https:\/\/www.ifun.de\/?p=241481"},"modified":"2024-10-22T08:33:08","modified_gmt":"2024-10-22T06:33:08","slug":"kein-logisches-denken-apple-zweifelt-an-ki-faehigkeiten","status":"publish","type":"post","link":"https:\/\/www.ifun.de\/kein-logisches-denken-apple-zweifelt-an-ki-faehigkeiten-241481\/","title":{"rendered":"Kein logisches Denken: Apple zweifelt an KI-F\u00e4higkeiten"},"content":{"rendered":"

Ein Team aus sechs bei Apple angestellten KI-Forschern hat in einem neuen Bericht<\/a> die F\u00e4higkeiten gro\u00dfer KI-Sprachmodelle, sogenannter LLMs, zur mathematischen Probleml\u00f6sung unter die Lupe genommen.<\/p>\n

\"GS<\/a><\/p>\n

Im Fokus der Untersuchung stand dabei die Resultate g\u00e4ngiger Testverfahren wie dem GSM8K-Benchmark<\/a>, dessen Aussagekraft die Forscher infrage stellen. Der GSM8K-Benchmark wird h\u00e4ufig genutzt, um die mathematischen F\u00e4higkeiten moderner KI-Modelle anhand eines Fragenkataloges auf Grundschulniveau zu bewerten.<\/p>\n

Obwohl sich die Leistung der untersuchten Modelle in den letzten Jahren kontinuierlich verbessert hat, bleibt unklar, ob dies auf echte Fortschritte in der mathematischen Logik zur\u00fcckzuf\u00fchren ist.<\/p>\n

„Mathematische Logik“ problematisch<\/h2>\n

Zudem stellten Apples Forscher fest, dass die Leistung der Modelle mit zunehmender Komplexit\u00e4t der Aufgaben deutlich abnimmt. Besonders auff\u00e4llig sei, dass schon das Hinzuf\u00fcgen einer zus\u00e4tzlichen Klausel, die f\u00fcr die L\u00f6sung irrelevant ist, zu einem Leistungseinbruch von bis zu 65 Prozent f\u00fchren kann.<\/p>\n

Dies deute darauf hin, dass die Modelle keiner echten logischen Argumentation folgen, sondern vielmehr Muster und L\u00f6sungswege nachahmen, die sie w\u00e4hrend ihres Trainings gelernt haben.<\/p>\n

\"Logik<\/a><\/p>\n

Das Paper mit dem Titel „GSM-Symbolic: Understanding the Limitations of
\nMathematical Reasoning in Large Language Models“ k\u00f6nnt ihr bei Interesse hier aus dem Netz laden:<\/p>\n