Chinchilla AI — языковая модель, разработанная исследовательской группой DeepMind и выпущенная в марте 2022 года. Chinchilla AI — это большая языковая модель , которая, как утверждается, превосходит GPT-3 .

Она значительно упрощает использование, поскольку требует гораздо меньше вычислительной мощности для логического вывода и точной настройки. На основе обучения ранее использовавшихся языковых моделей было определено, что если удвоить размер модели, необходимо также иметь удвоенное количество обучающих токенов. Эта гипотеза была использована DeepMind для обучения Chinchilla AI. Подобно Gopher с точки зрения стоимости, Chinchilla AI имеет параметры 70B и в четыре раза больше данных .

Chinchilla AI имеет среднюю точность 67,5 % в тесте MMLU (Измерение понимания языка в многозадачном режиме), что на 7 % выше, чем у Gopher. По состоянию на 12 января 2023 года Chinchilla AI всё ещё находится на стадии тестирования .

Chinchilla AI способствует разработке эффективной парадигмы обучения для больших авторегрессивных языковых моделей с ограниченными вычислительными ресурсами. Команда Chinchilla рекомендует удваивать количество обучающих токенов для каждого удвоения размера модели, а это означает, что использование более крупных и качественных наборов обучающих данных может привести к лучшим результатам в последующих задачах .

Примечания

Ссылки