GPT-J — языковая модель искусственного интеллекта с открытым исходным кодом, разработанная EleutherAI . GPT-J работает очень похоже на GPT-3 от OpenAI в различных zero-shot задачах и может даже превзойти его в задачах генерации кода . Новейшая версия GPT-J-6B представляет собой языковую модель, основанную на наборе данных под названием The Pile . Pile — это 825- гигабайтный набор данных языкового моделирования с открытым исходным кодом, который разделен на 22 меньших набора данных . GPT-J похож на ChatGPT по возможностям, хотя он не работает как чат-бот, а только как предсказатель текста . В марте 2023 года Databricks выпустила Dolly, лицензированную Apache модель , основанную на GPT-J с тонкой настройкой из набора данных Stanford Alpaca .

Примечания