AI-словарь · Обучение
Обучение
Обучение и дообучение моделей: fine-tuning, датасет и его разметка, эпохи, learning rate, переобучение, DreamBooth. Раздел для тех, кто хочет не просто пользоваться готовыми моделями, а настраивать их под свой стиль, персонажа или задачу.
Указатель
-
01
Synthetic Data
Synthetic Data — данные, созданные не людьми, а самими нейросетями: сгенерированные тексты, картинки, диалоги, симуляции. К 2026 — половина обучающих данных у frontier-моделей синтетические. Phi-4 от…
-
02
Mixture of Experts MoE
Mixture of Experts (MoE) — архитектура нейросетей, где модель состоит не из одной плотной сети, а из десятков «экспертов»: на каждый токен активируется только 2-4 нужных,…
-
03
RLHF и DPO
RLHF (Reinforcement Learning from Human Feedback) и DPO (Direct Preference Optimization) — главные методы обучения LLM на предпочтениях. RLHF — классика ChatGPT: люди оценивают пары ответов,…
-
04
Model Merge
Model Merge — объединение весов двух или нескольких моделей в одну новую. Применяется в Stable Diffusion и SDXL: смешивают чекпоинты, чтобы получить стиль и навыки сразу…
-
05
Overfitting
Overfitting (переобучение) — главная проблема тренировки нейросетей. Модель начинает «зазубривать» обучающий датасет вместо того, чтобы обобщать закономерности. В LoRA это видно так: лицо рисуется идеально на…
-
06
Learning Rate LR
Learning Rate (LR) — самый важный параметр любой тренировки: скорость, с которой модель «делает шаг» в сторону уменьшения ошибки. Слишком низкий — тренировка идёт вечно и…
-
07
Epoch
Epoch (эпоха) — единица тренировки нейросети: один полный проход по всему датасету. Если в датасете 50 картинок и batch size = 2, одна эпоха — это…
-
08
Dataset Captioning
Dataset Captioning — это процесс добавления текстовых подписей к каждой картинке датасета перед тренировкой LoRA или DreamBooth. От качества подписей напрямую зависит, чему модель научится: что…
-
09
Fine-tuning
Fine-tuning (тонкая настройка) — дообучение готовой модели на узком наборе данных под конкретную задачу. Полное обучение с нуля стоит миллионы и занимает месяцы; fine-tuning делается за…
-
10
Dataset
Датасет (dataset) — это набор примеров, на которых модель учится решать задачу. Каждый пример состоит из входа (картинка, текст, аудио) и часто правильного ответа (метка, перевод,…