AppleのAI研究者「現在のLLMは表面的なパターンを真似て答えを出しているだけ。真の推論能力は持っていない」

AppleのAI研究者「現在のLLMは表面的なパターンを真似て答えを出しているだけ。真の推論能力は持っていない」

米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。

この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表面的なパターンを真似て答えを出しているだけで、真の推論能力は持っていないと主張している。

研究者らは、これらの問題点を検証するために、「GSM-Symbolic」という新しいテスト方法を開発した。これは、LLMの数学的推論能力を評価するためのベンチマークデータセット「GSM8K」を改良し、問題の表現や数字を柔軟に変えられるようにしたもの。また、「GSM-NoOp」という、無関係な情報を含んだ問題集も作成し、LLMの推論能力を評価した。

実験の結果、OpenAIのGPT-4oやo1-previewなどのLLMは、他のLLMと比べて高い性能を示したが、それでもGSM-NoOpのような引っ掛け問題には弱く、真の推論能力を獲得するにはまだ課題があるとしている…
続きはソース元で
https://www.itmedia.co.jp/news/articles/2410/13/news070.html

続きを読む

続きを見る

関連記事

【速報】尖閣・魚釣島に外国人が上陸 【速報】毎日新聞「次の米大統領期待　ハリス氏75％！圧勝！トランプ氏？16％16％16％」※毎日新聞世論調査　5ch「バカじゃねw 」 【会見】兵庫斎藤知事「うわあー😭」記者「その涙は誰に対してだ？亡くなった職員か？」斎藤知事「いいえ、違います。自民と維新へです」 【悲報】ジャンポケ斉藤さん、素人でも1発アウトなことをしていた模様 　元騎手が情報を得た模様※内容不明も競馬関係か