ИИ подвержен возрастной деменции? Ученые проверили чат-ботов на сообразительность
Нейронка, не болей.
Новое исследование MedicalXpress выявило, что популярные чат-боты проявляют признаки легких когнитивных нарушений в тестах на деменцию. Результаты показали, что старые версии ИИ-моделей, как и пожилые пациенты, хуже справляются с заданиями.
Ученые провели оценку когнитивных способностей самых популярных языковых моделей: GPT-4 и GPT-4o от OpenAI, Claude 3.5 от Anthropic и Gemini (версии 1.0 и 1.5) от Alphabet. Для тестирования использовался Монреальский когнитивный тест (MoCA), который обычно применяется для выявления когнитивных нарушений и ранних признаков деменции у пожилых людей.
Тест оценивает различные способности, такие как внимание, память, язык, зрительно-пространственные навыки и исполнительные функции. Максимальный балл составляет 30 баллов, а уровень 26 и выше считается нормой. Оценка проводилась при участии практикующего невролога.
Результаты исследования
GPT-4o продемонстрировал наилучшие результаты, набрав 26 баллов из 30. За ним следуют GPT-4 и Claude с одинаковым баллом (25). Наименьший результат показал Gemini 1.0 – лишь 16 баллов из 30.
Все чат-боты не справились с проверкой зрительно-пространственных навыков и исполнительных функций, включая тест на соединение последовательности чисел и букв в порядке возрастания. А обе версии Gemini даже не смогли запомнить последовательность из пяти слов.
В целом задания продемонстрировали ограничения ИИ в области зрительно-пространственного восприятия: они не смогли проявить эмпатию и дать точную интерпретацию сложных визуальных образов. При этом ИИ успешно выполнили большинство упражнений, связанных с определением названий предметов, а также с задачами на внимание, речь и абстрактное мышление.
Зато с тестом Струпа справился лишь GPT-4o. В нет необходимо быстро назвать цвет, которым написано слово, обозначающее другой цвет. Это упражнение наглядно демонстрирует, как отвлекающие факторы замедляют реакцию.
Скорее пациент, чем врач
Авторы исследования признают, что между человеческим мозгом и большими языковыми моделями есть существенные различия. Однако они считают, что эти особенности чат-ботов сделают их непригодными для использования в больницах.
Ученые считают, что неврологам не стоит опасаться, что их скоро заменит ИИ. Скорее всего, у них появятся новые пациенты – сами нейросети, которые могут нуждаться в «лечении» деменции.
***
Вернуть Сбер на iPhone стало проще! Банк выпустил утилиту для установки с ПК
Приложение Nvidia убивает производительность в играх. Как исправить?