OpenAssistant — помощник с открытым исходным кодом на основе искусственного интеллекта (ИИ), который понимает задачи, может взаимодействовать со сторонними системами и динамически извлекать информацию для этого . Проект разработан LAION и энтузиастами по всему миру. Одна из целей разработки включает свободный доступ к большим языковым моделям , которые можно запускать локально на потребительском оборудовании .

Проект поддерживается краудсорсингом , в котором участвуют более 13 500 добровольцев, они создали датасет с 600 000 сообщений .

Разработка

План разработки

Разработчики OpenAssistant пытаются получить первоначальный MVP , выполнив три шага, описанных в документе .

1. Сбор высококачественных образцов Instruction-Fulfillment (рус. следование инструкциям), созданных человеком (запрос + ответ), цель состоит в том, чтобы собрать более 50 000 таких образцов. Затем разработайте краудсорсинговый процесс для сбора и проверки запросов. Чтобы не тренироваться на флуд/токсичность/спам/мусор/персональные данные, у разработчиков есть таблица лидеров для мотивации волонтерского сообщества, которая показывает прогресс и самых активных пользователей.
2. Выборка нескольких завершений для каждого из собранных подсказок. Затем пользователям в случайном порядке показываются варианты выполнения одной подсказки, чтобы ранжировать их от лучшего к худшему. Для оценки общего согласия необходимо собрать несколько голосов независимых пользователей. Собранные данные о ранжировании затем используются для обучения модели вознаграждения.
3. После этапа обучения RLHF на основе подсказок и модели вознаграждения.

Результирующая модель затем должна быть получена и продолжена этапом завершения выборки, то есть вторым этапом выше для следующей итерации .

Статус разработки

10 марта 2023 года самые ранние модели OpenAssistant начали генерировать ответы на обучающие подсказки на веб-сайте OpenAssistant. Эти ответы были открыты для ранжирования на втором этапе документа InstructGPT выше. Эти данные должны быть введены в обучающую базу данных. Модели представляют собой конкретные итерации моделей с редупликацией pythia-6.9B.

15 апреля 2023 года OpenAssistant был выпущен для широкой публики .

По состоянию на 11 мая 2023 года Open Assistant поддерживает 40 языков, включая русский , каталонский, баварский, эсперанто и баскский.

Примечания