Американские исследователи создали TinyZero - аналог ИИ DeepSeek всего за $30

Команда исследователей из Калифорнийского университета в Беркли под руководством Джаи Пана разработала модель искусственного интеллекта под названием TinyZero, которая воспроизводит основные возможности DeepSeek R1-Zero всего за $30. Это достижение демонстрирует, что передовые модели ИИ могут быть доступны по минимальной цене.

Целью проекта было воссоздание модели рассуждений DeepSeek с использованием методов обучения с подкреплением. Вместо применения дорогостоящих облачных сервисов или мощных вычислительных ресурсов, команда обучила TinyZero, используя базовую языковую модель, простой запрос и систему вознаграждений.

Для тестирования модели использовалась игра Countdown, где игроки должны достичь целевого числа, применяя базовые математические операции. Сначала TinyZero делала случайные предположения, но со временем научилась проверять свои ответы, искать лучшие решения и корректировать их.

Исследователи экспериментировали с различными размерами моделей — от 500 миллионов до 7 миллиардов параметров. Результаты показали, что меньшие модели (0,5B параметров) просто угадывали ответы и останавливались, тогда как более крупные модели (1,5B+ параметров) научились самостоятельно проверять и улучшать решения, значительно повышая точность.

Особенность TinyZero заключается в ее низкой стоимости по сравнению с традиционными моделями ИИ. Для сравнения, API OpenAI стоит $15 за миллион токенов, DeepSeek-R1 — $0,55 за миллион токенов, тогда как общая стоимость обучения TinyZero составляет всего $30.

TinyZero является проектом с открытым исходным кодом и доступна на GitHub, что позволяет каждому экспериментировать с ней. Хотя на данный момент она протестирована только в игре Countdown, Пан надеется, что этот проект сделает исследования в области обучения с подкреплением более доступными.

Однако, даже с этим ограничением, влияние очевидно: разработка ИИ не обязательно должна быть дорогой. С такими проектами, как TinyZero, доступный и открытый ИИ может стать будущим.

Он также описал TinyZero как первую открытую репродукцию моделей рассуждений, подчеркивая, как она научилась проверять и уточнять собственные ответы.

Это достижение подчеркивает, что исследования в области ИИ становятся более доступными, открывая новые возможности для разработчиков и исследователей по всему миру.

DeepSeek R1-Zero

DeepSeek R1-Zero — это модель искусственного интеллекта, разработанная китайским стартапом DeepSeek. Она была создана с использованием исключительно методов обучения с подкреплением, без привлечения человеческих примеров. Модель самостоятельно развила навыки рассуждения, научившись проверять свои ответы, обдумывать задачи и разбивать сложные проблемы на последовательные шаги.

В архитектурном плане DeepSeek R1-Zero представляет собой модифицированную версию модели T5 с количеством параметров около 6,7 миллиарда. Она поддерживает контекстный размер до 8192 токенов и использует специализированные механизмы внимания для улучшения производительности.

В тестах на способность к рассуждению DeepSeek R1-Zero показала результаты, сопоставимые с моделью OpenAI o1. Она достигла 79,8% на экзамене AIME 2024 и 97,3% на MATH-500, а также превзошла 96,3% участников на платформе Codeforces в задачах по программированию.

DeepSeek также выпустила шесть уменьшенных версий модели R1-Zero с количеством параметров от 1,5 до 70 миллиардов, некоторые из которых демонстрируют производительность, сопоставимую с OpenAI o1-mini. Эти модели доступны с открытым исходным кодом и предназначены для более широкого использования в сообществе разработчиков.

Таким образом, DeepSeek R1-Zero представляет собой значительный шаг вперед в области искусственного интеллекта, демонстрируя возможности обучения моделей без прямого человеческого вмешательства и открывая новые перспективы для разработки эффективных и доступных ИИ-решений.

* X (Twitter) заблокирован в России по решению Генпрокуратуры от 24 февраля 2022 г.