Незважаючи на популярність великих мовних моделей (LLM), що використовуються для швидкого узагальнення великих документів, нещодавнє дослідження Австралійської комісії з цінних паперів та інвестицій (ASIC) виявило значні недоліки таких систем. В ході дослідження було з'ясовано, що підсумки, створені моделлю Llama2-70B, були набагато гіршими, ніж ті, які підготували люди.

У рамках цього дослідження ASIC, разом з Amazon Web Services, аналізували можливість LLM узагальнювати публічні подання до парламенту. Оцінка проводилась за п’ятьма критеріями, включаючи послідовність, фокус на ключових аспектах і згадках ASIC. Людські підсумки отримали 12,2 бали, тоді як AI лише 7.

Основні проблеми AI полягали у нездатності зрозуміти складний контекст, аналізувати нюанси та уникати фактичних помилок. Такі результати можуть навіть збільшувати обсяг роботи через необхідність перевірки фактів.

Проте дослідження має обмеження — для оптимізації моделей було виділено лише тиждень. ASIC зазначає, що в майбутньому продуктивність LLM може покращитися, оскільки технологія продовжує розвиватись.