ऐप्पल के शोधकर्ताओं का मानना है कि एलएलएम तार्किक तर्क की तुलना में पैटर्न-मिलान पर अधिक निर्भर करते हैं, जटिल प्रश्नों से जूझते हैं। Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.

ऐप्पल के शोधकर्ताओं ने बड़े भाषा मॉडल (एलएलएम) की गणितीय तर्क क्षमताओं के बारे में चिंता जताई है, यह पाया गया है कि इनपुट में मामूली बदलावों के आधार पर उनकी प्रतिक्रियाएं काफी भिन्न होती हैं। Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. इससे पता चलता है कि एलएलएम सही तार्किक तर्क की तुलना में संभाव्यता पैटर्न-मिलान पर अधिक निर्भर करते हैं। This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. इन क्षमताओं का बेहतर आकलन करने के लिए, उन्होंने जीएसएम-प्रतीकात्मक बेंचमार्क पेश किया, जिससे पता चला कि एलएलएम जटिल प्रश्नों के साथ संघर्ष करते हैं, विश्वसनीय तर्क में उनकी सीमाओं को उजागर करते हैं। To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.

October 11, 2024

8 लेख