Alignment

Alignment — процесс настройки LLM на поведение, согласованное с человеческими ценностями: быть полезной, честной, безопасной (helpful, honest, harmless). Без alignment модель просто продолжает текст, не различая «сказать правду» и «сделать вид, что знает». С alignment — отказывается от вредных запросов, признаёт незнание, держит указанный стиль. Главные методы: RLHF, DPO, Constitutional AI.

Коротко

Коротко. Alignment — это «дрессировка» LLM, чтобы она вела себя так, как ожидает разработчик и пользователь. Базовая модель после pre-training умеет продолжать текст, но не понимает, что «помочь пользователю» важнее «продолжить случайный шаблон». Alignment добавляет это понимание через RLHF (обучение на предпочтениях людей), DPO (то же без RL), Constitutional AI (Anthropic-подход с принципами). Цель — Helpful, Honest, Harmless (HHH).

Что это такое

Базовая GPT-3 в 2020-м: на запрос «Объясни квантовую запутанность» возвращала что-то вроде «…как и в случае с дисперсией света. Прежде, чем продолжить, важно отметить, что данная статья не является научной и…». То есть продолжала текст в стиле «как могла бы выглядеть статья».

ChatGPT в 2022-м (та же базовая модель + alignment): «Квантовая запутанность — это явление, при котором две частицы становятся связанными так, что измерение одной мгновенно определяет состояние другой…». Прямой ответ.

Разница не в знаниях. Разница в поведении: alignment научил модель вести себя как помощник. Это и был breakthrough: с тех пор все большие LLM проходят alignment-тренировку.

1. Pre-training — базовая модель (просто продолжает текст).
2. SFT (Supervised Fine-Tuning) — учат отвечать как ассистент по примерам.
3. RLHF / DPO — учат предпочитать «хорошие» ответы (по оценкам людей или другой модели).
4. Constitutional AI (Anthropic) — добавляют слой принципов («не помогай в незаконном»).
5. Red-teaming + iterative refinement — найденные дыры закрываются.

Целевые свойства (HHH-фреймворк от Anthropic):

• Helpful — даёт полезный ответ, не отказывается без причины.
• Honest — говорит «не знаю» вместо выдумок, признаёт неуверенность.
• Harmless — не помогает в опасном (создание оружия, манипуляции, harm).

Как это работает

Самый распространённый метод — RLHF (Reinforcement Learning from Human Feedback):

1. Сбор данных предпочтений. Людям показывают пары ответов, они выбирают более подходящий по заданным критериям. Получается набор сравнений «A предпочтительнее B».
2. Reward Model. Обучается отдельная модель: «насколько хорош ответ X на промпт Y». Reward Model — это судья.
3. PPO (Proximal Policy Optimization). Главная модель тренируется максимизировать reward, оставаясь близко к исходному поведению.

Альтернатива — DPO (Direct Preference Optimization):

• Тот же сигнал предпочтений.
• Без отдельной reward model.
• Один проход обучения вместо двух.

Anthropic-подход — Constitutional AI (CAI):

• Вместо человеческих оценок — модель сама оценивает ответы по «конституции».
• Конституция — список принципов: «не вреди», «уважай автономию пользователя», «будь честным».
• Меньше человеческого труда, больше последовательности.

Пример на практике

Лаборатория выпускает новую версию языковой модели:

1. Pre-training: 6 месяцев на кластере, базовая модель готова. Она пишет любой текст, включая опасный.
2. SFT: 50 000 примеров «вопрос → правильный ответ ассистента». Модель учится формату чата.
3. RLHF/DPO: оценщики сравнивают варианты по рубрике, а модель учится воспроизводить этот сигнал предпочтения. Объём и способ сбора зависят от проекта.
4. Red-teaming: команда из 50 security-исследователей пытается сломать модель неделю. Находят 200+ дыр. Модель дофайнтюнивается против них.
5. Iterative: ещё несколько раундов red-teaming + alignment.
6. Release: модель идёт в production. Параллельно начинается публичный red-teaming через bug bounty.

Anthropic делает то же, но в шаге 3 заменяет RLHF на Constitutional AI. Google — гибрид RLHF + RLAIF (RL from AI Feedback).

В контексте Stable Diffusion alignment работает иначе — через safety checker (отдельный classifier на NSFW) и фильтры в датасете при обучении. Там нет RLHF в чистом виде.

С чем часто путают

• Alignment и Fine-tuning — Fine-tuning это любое дообучение. Alignment — конкретный тип fine-tuning'а с целью HHH-поведения.
• Alignment и Censorship — Alignment это технический процесс. Цензура — субъективная оценка результата. Один и тот же refusal один назовёт alignment, другой — цензурой.
• RLHF и DPO — RLHF использует отдельную reward model + PPO. DPO без них, проще. Цель та же.
• Alignment и Safety Filters — Safety Filters это runtime-проверка ответа (post-processing). Alignment — внутреннее свойство модели после обучения.
• Alignment Tax и Capability — Alignment Tax это снижение способностей ради безопасности. Не путать с просто разной capability.

Частые ошибки и заблуждения

• «Aligned модель = модель без галлюцинаций». Не так. Alignment учит модель признавать незнание, но не делает её всезнающей. Галлюцинации остаются.
• «Чем больше отказов, тем лучше alignment». Нет. Полезная настройка различает опасный и обычный запрос, а чрезмерные отказы сами становятся ошибкой качества.
• «Open-weight модели всегда без alignment». Instruction- и chat-версии часто проходят дополнительную настройку. Base checkpoint и instruct-вариант нужно различать по карточке модели.
• «Alignment делает модель политически нейтральной». Не делает. Любой alignment отражает ценности команды-разработчика.
• «Alignment полностью исключает нежелательное поведение». Нет. Настройка снижает риск в проверенных сценариях, но новые формулировки, инструменты и контекст могут открыть другие способы обойти ограничения.

Связанные термины

• RLHF — главный метод alignment.
• DPO — современная альтернатива RLHF.
• Constitutional AI — Anthropic-подход к alignment.
• Jailbreak — обход alignment.
• Prompt Injection — атака на инструкции, иногда обходит alignment.
• Red Teaming — практика тестирования.
• HHH (Helpful, Honest, Harmless) — цели alignment.

Частые вопросы

В каких моделях есть alignment? Во всех instruct-вариантах: ChatGPT, Claude, Gemini, Llama Instruct, Qwen Chat, Mistral Instruct. Base-модели (без -instruct суффикса) — без alignment.

Можно ли «снять» alignment с модели? Для open-source — да, через abliteration / un-RLHF файнтюнинг. Получите base-модель без refusals. Юридический вопрос — отдельный.

RLHF или DPO — что лучше? RLHF всё ещё работает, исторически проверен.

Что такое RLAIF? RL from AI Feedback — preference labels от другой LLM, не от людей. Дешевле, быстрее. Качество близко к human-RLHF на многих задачах.

Кто решает, что считать «вредным»? Команда AI safety каждого провайдера. Anthropic публикует Acceptable Use Policy; OpenAI — Usage Policies; у каждого свой документ. Спорные кейсы решаются итеративно.

Alignment = censorship? Зависит от точки зрения. Технически — нет (alignment делает модель более полезной по определённым критериям). Критически — некоторые refusals воспринимаются как цензура.

Главное

Alignment — процесс настройки LLM на поведение, соответствующее ожиданиям разработчика и пользователя. Цели — HHH (Helpful, Honest, Harmless). Главные методы: RLHF (классика), DPO (современный стандарт), Constitutional AI (Anthropic). Без alignment модель просто продолжает текст; с alignment — становится помощником, который отказывается от опасного и признаёт незнание. Главные вызовы — баланс helpful/harmless (alignment tax) и устойчивость против jailbreak. Open-source имеет instruct-варианты с alignment и base-варианты без него.