Главный научный сотрудник Meta по искусственному интеллекту сомневается в перспективах LLM и нацелен на создание ИИ нового поколения
В погоне технологических гигантов за искусственным общим интеллектом (AGI) ведущий специалист по ИИ из компании Meta Ян ЛеКун высказал сомнения в том, что современные большие языковые модели (LLM) способны достичь уровня человеческого интеллекта. Этот франко-американский пионер в области искусственного интеллекта, лауреат премии Тьюринга, решил возглавить разработку принципиально новых систем ИИ, которые, по его мнению, потребуют не одного десятилетия для создания.
Несмотря на критическое отношение ЛеКуна к большим языковым моделям (LLM), в портфолио продуктов Meta в этой области входит недавно выпущенная языковая модель Llama 3, которая продемонстрировала значительное улучшение возможностей логического вывода по сравнению с предыдущими версиями.
Недостатки больших языковых моделей
В недавнем интервью Financial Times Ян ЛеКун высказал скептицизм относительно больших языковых моделей (LLM). Он раскритиковал их ограниченное понимание логики, неспособность осознавать физический мир, отсутствие долговременной памяти, а также неспособность к иерархическому рассуждению и планированию. По мнению ЛеКуна, современным LLM не хватает фундаментальных возможностей, необходимых для достижения уровня человеческого интеллекта.
Считая, что развитие больших языковых моделей имеет ограниченный потенциал, ЛеКун отмечает, что они способны давать правильные ответы только при наличии точных обучающих данных. Несмотря на кажущуюся способность к рассуждению, в отличие от людей, которые могут делать выводы органично, большие языковые модели все же значительно зависят от инженеров, предоставляющих информацию для обучения. По этой причине ЛеКун считает такие модели «фундаментально ненадежными».
В конце 2023 года гендиректор Nvidia Дженсен Хуанг предсказал, что в течение пяти лет ИИ достигнет и превзойдет человеческие возможности в ряде когнитивно-сложных задач. Однако ЛеКун оспорил это заявление, отметив, что современная концентрация на языковых моделях и текстовых данных недостаточна для создания ИИ общего назначения (AGI). Как сообщает CNBC, ЛеКун полагает, что до появления AGI интеллект систем ИИ вряд ли превзойдет уровень кошек или собак.
ЛеКун критикует использование текстовых данных для обучения ИИ. Он отмечает, что даже при колоссальных объемах обучающей информации, эквивалентных 20 000 лет чтения для человека, большие языковые модели по-прежнему испытывают трудности с базовыми логическими концепциями. Например, они не всегда понимают, что если A равно B, то B также равно A. Основываясь на этом, ЛеКун считает, что текущие большие языковые модели имеют фундаментальные ограничения и ненадежны.
ЛеКун также предположил, что, хотя в настоящее время технология GPU является стандартом в области ИИ, в будущем могут появиться новые типы специализированных чипов, такие как нейронные ускорители или ускорители глубокого обучения, которые окажутся более подходящими для задач искусственного интеллекта.
Альтернативный путь к ИИ общего назначения
Учитывая ограничения языковых моделей, команда ЛеКуна из около 500 исследователей лаборатории Fundamental AI Research (FAIR) в Meta изучает методы «моделирования мира». Этот подход направлен на разработку ИИ, способного обрести здравый смысл и понимание устройства мира, подобно тому, как учатся люди.
На недавней выставке VivaTech в Париже, как сообщает VentureBeat, ЛеКун призвал следующее поколение разработчиков ИИ не работать над языковыми моделями, оставив это направление крупным компаниям. «Вы ничего не сможете здесь предложить. Вы должны работать над принципиально новыми системами ИИ, которые снимут ограничения, присущие языковым моделям», – заявил он.
ЛеКун также написал в X (бывший Twitter): «Я сам работаю над системами ИИ следующего поколения, а не над языковыми моделями. Так что, по сути, я призываю вас: «Соревнуйтесь со мной» или, вернее, «Работайте над тем же, что и я, ведь это путь к успеху, и чем больше людей в этом участвует, тем лучше!»
Аналогичной точки зрения придерживается генеральный директор Google DeepMind Демис Хассабис. Он считает, что языковые модели не способны постичь пространственный контекст, что ограничивает их функциональность. DeepMind уже давно изучает альтернативные подходы к достижению интеллекта человеческого уровня, выходящие за рамки языковых моделей.
Одним из перспективных методов выступает обучение с подкреплением. При этом подходе интеллектуальные агенты обучаются, взаимодействуя с виртуальной средой и получая «награды» за успешные действия. Это позволяет ИИ обретать собственный опыт и понимание, аналогично тому, как учатся живые существа.