Лекции Стэнфорда читает человек из Антропика и Гугла
КТО ЧИТАЕТ
Курс Stanford CS329A ведут двое: Аканкша Чоудери и Азалия Мирхосейни.
На первой минуте лекции (таймкод 01:11) она говорит про себя: работала в Антропике
и над Джемини в Гугл ДипМайнд. Это её слова с записи, не пересказ.
ОТКУДА У МОДЕЛЕЙ ВЗЯЛОСЬ РАССУЖДЕНИЕ (таймкод 07:16)
Раньше модели показывали пример: вот задача, вот ответ.
Потом стали показывать ХОД решения - и модель начала рассуждать шагами сама.
Пример на лекции детский: «У Роджера пять теннисных мячей. Он покупает две банки,
в каждой три. Сколько теперь?» Вместо голого «11» модели разворачивают:
«начал с пяти, две банки по три - это шесть».
Что с этим делать вам: не просите только ответ. Просите «покажи ход» -
и качество прыгает на том же самом запросе, без всяких доплат.
КАК МОДЕЛЬ ДОВОДЯТ ЖИВЫЕ ЛЮДИ (таймкод 16:51)
После обучения идёт этап, где люди оценивают ответы модели.
Из этих оценок собирают «модель награды», и по ней дообучают основную.
Называется RLHF. Её ремарка: компании тратят на такую разметку большие деньги.
Что с этим делать вам: вежливость на модель не влияет, а чёткий критерий
«что считать хорошим ответом» - влияет. Ровно на таких критериях её и настраивали.
Это выжимка моего прогона: субтитры вытащены, цитаты сверены по таймкодам,
сайт курса открыт руками. Что из инструментов реально приживается у меня в работе день за
днём - пишу в телеграм-дневнике: t.me/sergeiai90.
СЛЕДУЮЩИЙ ШАГ
Если начинаете с полного нуля
Этот гайд закрывает одну задачу. В стартовом комплекте собран весь путь: запуск
нейросети за 1 вечер, 5 простых уроков, 20+ готовых решений под обычные дела
(пополняю каждую неделю) и мои ответы на ваши вопросы. Посмотреть комплект →990 ₽ в месяц, отмена в любой момент
Своя задача под ИИ?
Опишите в двух словах, что хотите поручить нейросети - отвечу лично. Это не рассылка и не робот.