Meta представляє нову серію моделей Llama 4 AI

Корпорація Meta представила нову лінійку відкритих моделей штучного інтелекту Llama 4. Їх продуктивність перевершує продуктивність конкурентів за різними тестами, як свідчать дані внутрішнього тестування.

Ця серія створена на основі Llama 4 Behemoth, великої мовної моделі (LLM), яка містить 2 трильйони параметрів. Він ще на стадії навчання і ще не запущений. Розробники та користувачі тепер мають доступ до двох із мультимодальних дистиляцій , а саме Maverick і Scout.

Meta AI, помічник зі штучним інтелектом, інтегрований у такі продукти компанії, як WhatsApp, Messenger та Instagram, було оновлено, щоб включити Llama 4 у 40 країнах. Однак мультимодальні функції наразі доступні виключно для США.

Стверджується, що Behemoth, який виступає викладачем LLM для двох інших моделей, перевершує продуктивність GPT-4.5, Claude Sonnet 3.7 і Gemini 2.0 Pro у орієнтованих на STEM тестах, таких як MATH-500 і GPQA Diamond.

“Це лише початок для серії Llama 4. Ми вважаємо, що найдосконаліші системи повинні бути здатні виконувати загальні завдання, вступати в природний діалог з окремими особами та вирішувати складні виклики, з якими вони раніше не стикалися. Оснащення Llama розширеними можливостями в цих областях дозволить створювати чудові продукти для користувачів на наших платформах і розширювати потенціал розробників для інновацій у наступних великих споживчих і бізнес-секторах”, йдеться у повідомленні компанії.

Нова архітектура

Llama 4 представляє першу модельну серію з реалізованою архітектурою Mixture of Experts (MoE) . Maverick містить 128 «експертів» і загалом 400 мільярдів параметрів, із яких активними є лише 17 мільярдів. Скаут складається з 16 із 109 мільярдами та 17 мільярдами відповідно.

Характеристики нейронних мереж з лінійки Llama 4. Дані: мета.

Згідно з внутрішніми оцінками компанії, Maverick перевершує такі моделі, як GPT-4o та Gemini 2.0, у певних оцінках програмування, аргументації, підтримки мови, довгих контекстів і обробки зображень. Однак він не впорається з більш просунутими Gemini 2.5 Pro від Google, Claude 3.7 Sonnet від Anthropic і GPT-4.5 від OpenAI.

Maverick краще підходить для використання в помічниках для спільної роботи та програмах для чату, тоді як Scout чудово підходить для узагальнення документів і розширених завдань на обґрунтування. Останній може працювати на одному GPU Nvidia H100, тоді як Maverick вимагає системи Nvidia H100 DGX або її еквівалента.

Суперечка навколо Llama 4

Maverick зайняв друге місце в LLM Arena, конкурсі, де люди оцінюють продуктивність різних моделей і встановлюють рейтинг «користувач».

Рейтинг моделей ШІ за даними LLM Arena. Дані: LLM Arena.

Численні дослідники відзначають, що в тестах використовувалася спеціально оптимізована версія Maverick, яка недоступна для розробників. Варіант, який використовується для LLM Arena, містить більше емодзі та дає значно довгі відповіді.