Подсказка по цепочке рассуждений — метод улучшения способности к рассуждению больших языковых моделей (БЯМ) путём подсказки им сгенерировать серию промежуточных шагов, которые приводят к окончательному ответу на многоэтапную проблему . Впервые он был предложен для языковых моделей исследователями Google в 2022 году .

Было показано, что БЯМ, которые обучаются на больших объёмах текста с использованием методов глубокого обучения , способны генерировать ответы, подобные человеческим . Хотя БЯМ продемонстрировали впечатляющую производительность при решении различных задач на естественном языке , они по-прежнему сталкиваются с трудностями при выполнении некоторых логических задач, требующих логического мышления и выполнения нескольких последовательных шагов для решения арифметических или логических задач . Чтобы решить эту проблему, подсказка по цепочке рассуждений побуждает модель делать промежуточные шаги в рассуждениях, прежде чем дать окончательный ответ на многоэтапную задачу .

Например, на вопрос «Вопрос: В столовой было 23 яблока. Если они использовали 20 яблок для готовки и купили ещё 6, то сколько бы яблок у них осталось?», подсказка по цепочке рассуждений может привести к последовательности рассуждений, которые имитируют , например: «A: Изначально в столовой было 23 яблока. Они использовали 20 блок для готовки. Таким образом, у них было 23 — 20 = 3. Они купили ещё 6 яблок, значит, у них 3 + 6 = 9. Ответ 9» . Это отличается от вывода ответа напрямую.

Было показано, что подсказки по цепочке рассуждений среднем улучшают производительность БЯМ как в арифметических задачах, так и в логических задачах по сравнению со стандартными методами подсказок . Применительно к PaLM , языковой модели с 540B параметров, подсказки по цепочке рассуждений значительно помогли модели, позволив ей работать наравне с языковыми моделями для конкретных задач в нескольких задачах, даже установив новый рекорд в то время превысив результат на логические рассуждения специализированной для этой задачи модели GSM8K .

Подсказки по цепочке рассуждений — это эмерджентное свойство масштаба модели, означающее, что она лучше работает с более масштабными языковыми моделями . Также можно тонко настроить модели на наборах данных подсказок по цепочке рассуждений, чтобы ещё больше расширить эту возможность и стимулировать лучшую результатов .

Метод

Существует два основных метода получения умозаключений по цепочке рассуждений: и . Первоначальное предложение подсказок по цепочке рассуждений продемонстрировало подсказку с несколькими выстрелами, в которой по крайней мере один пример вопроса в паре с надлежащими подсказками по цепочке рассуждений, написанными человеком, предшествует подсказке . Однако с тех пор было обнаружено, что аналогичные рассуждения и прирост производительности также можно получить с помощью подсказок с нулевым выстрелом, которые могут быть такими же простыми, как добавление к подсказке слов «Давайте подумаем шаг за шагом» . Это обеспечивает лучшее масштабирование, поскольку больше не нужно предлагать инженерам конкретные подсказки по цепочке рассуждений для каждой задачи, чтобы получить соответствующий прирост производительности .

Ограничения

Хотя подсказки по цепочке рассуждений могут существенно улучшить производительность задач обработки естественного языка , существуют определённые недостатки. Подсказки по цепочке рассуждений с нулевым выстрелом увеличили вероятность токсичного результата в задачах, где модели могут делать выводы о маргинализированных группах или вредных темах .

Примечания