AI-словарь · Обучение
Обучение
Обучение и дообучение моделей: fine-tuning, датасет и его разметка, эпохи, learning rate, переобучение, DreamBooth. Раздел для тех, кто хочет не просто пользоваться готовыми моделями, а настраивать их под свой стиль, персонажа или задачу.
Указатель
-
01
Synthetic Data
Синтетические данные создаются программой, симулятором или другой моделью, а не собираются напрямую из наблюдений за реальным миром. Они помогают покрыть редкие случаи, разметить структуру и безопасно…
-
02
Mixture of Experts MoE
Mixture of Experts (MoE) — архитектура нейросетей, где модель состоит не из одной плотной сети, а из набора «экспертов». Маршрутизатор выбирает для каждого токена только часть…
-
03
RLHF и DPO
RLHF и DPO используют сравнения ответов, чтобы скорректировать поведение модели. В классическом RLHF отдельная модель награды оценивает новые ответы, а основная модель учится повышать эту оценку.…
-
04
Model Merge
Model Merge создаёт новую модель из весов нескольких совместимых моделей. Простое смешивание интерполирует одинаковые тензоры, delta merge переносит разницу между чекпоинтами, а block merge задаёт отдельные…
-
05
Overfitting
Overfitting, или переобучение, возникает, когда модель всё точнее подстраивается под обучающие примеры, но хуже работает на новых данных. В генерации это часто выглядит как навязчивое повторение…
-
06
Learning Rate LR
Learning rate задаёт масштаб обновлений, которые делает оптимизатор. Слишком маленький шаг может не успеть за бюджет обучения, слишком большой — перескакивать полезную область или делать процесс…
-
07
Epoch
Epoch, или эпоха, — один проход через весь обучающий набор. Она показывает, сколько раз данные были охвачены тренировкой, но сама по себе ничего не говорит о…
-
08
Dataset Captioning
Dataset Captioning — подготовка текстовых подписей к изображениям в обучающем датасете. Подпись связывает конкретный снимок с его содержанием и помогает модели увидеть, какие признаки повторяются, а…
-
09
Fine-tuning
Fine-tuning продолжает обучение готовой модели на данных конкретной задачи. Так можно закрепить формат, стиль, терминологию или способ принимать решения. Полное дообучение меняет большой набор весов, а…
-
10
Dataset
Dataset, или датасет, — организованный набор примеров для обучения, настройки или проверки модели. В нём важны не только объём и разметка, но и происхождение, права, покрытие…
