Это приём со второй лекции курса Стэнфорда про ИИ-агентов. Курс лежит открыто:
девять лекций, больше десяти часов, субтитры переключаются на русский, ни оплаты,
ни регистрации.
Что сказали на лекции
Там сравнили три способа получить итог, когда нейросеть ответила на один и тот же
вопрос несколько раз: взять случайный ответ, выбрать лучший — или отдать ей все ответы
и попросить собрать один.
Дословно, таймкод 52:52: пять ответов отдали модели и попросили
собрать один итоговый — и это само по себе оказалось лучше, чем идеальный выбор лучшего
из пяти.
То есть выбор — не потолок. Даже если бы вы безошибочно угадывали лучший
ответ, сведение обыграло бы вас.
Шаг 1. Задать вопрос пять раз в пяти НОВЫХ чатах
Именно в новых, а не пять раз подряд в одном окне. В одном чате нейросеть
видит свой прошлый ответ и повторяет себя — разных ответов не получится.
Шаг 2. Запрос сведения, дословно
«Вот пять ответов на один и тот же вопрос. Собери из них один итоговый
список: объедини одинаковое, сохрани всё, что встретилось хотя бы в одном ответе,
и поставь в начало самое важное. По одному пункту в строке, без вступления.»
Дальше вставляете все пять ответов подряд.
Мой прогон: что он спас
Вопрос взял бытовой — что проверить в договоре аренды квартиры до подписания.
Обычный бесплатный чат, пять новых окон, 15 сентября.
В каждом из пяти ответов было 10–11 пунктов, и каждый выглядел
исчерпывающим. Разных пунктов на все пять оказалось 13.
«Штрафы и пени» — встретились только в 2 ответах из 5.
«Субаренда» — тоже в 2 из 5.
«Проверь, что подписали ВСЕ собственники или есть нотариальная
доверенность» — всего в ОДНОМ ответе из пяти. Это ровно тот пункт, из-за
которого договор потом и разваливается.
Сведённый ответ собрал все 13, включая этот единственный. Возьмите любой один ответ —
и вы его потеряли, каким бы полным он ни выглядел.
Когда приём окупается, а когда нет
Окупается там, где у вопроса много сторон и цена ошибки высокая: договор, выбор
техники, список документов, план поездки. Не нужен там, где ответ либо верный, либо нет:
посчитать, перевести, найти одну цифру.
Честные границы
Это пять раз ждать. Приём стоит времени, и для простого вопроса
он лишний.
Сведение не проверяет факты. Оно собирает то, что уже сказано.
Если все пять ответов ошиблись одинаково, сведение ошибётся тоже.
Для самых трудных задач добавка попыток не спасает. На той же
лекции это сказано прямо, таймкод 38:44: там по-прежнему нужна модель посильнее.
Что дальше
Я собираю контент-завод с нейросетями в одиночку и в 45 лет.
Что сработало, а что развалилось — пишу в телеграм-дневнике:
t.me/sergeiai90.