Model

AI-модель — обученная математическая функция. Для запуска нужны архитектура, веса, конфигурация и обработчики входа и выхода. Они могут лежать в одном файле или в нескольких компонентах. Одинаковая архитектура после разного обучения даёт разные модели.

Коротко

Коротко. Модель — результат обучения: заданная архитектура с подобранными параметрами. На вход она получает данные в ожидаемом формате и выдаёт прогноз, текст, изображение или другое представление. Одного файла весов иногда недостаточно — нужны tokenizer, конфигурация, код и дополнительные компоненты.

Архитектура и веса

Архитектура описывает вычислительную схему: слои, связи, размеры и операции. Это похоже на чертёж.

Веса — числа, которые подобраны обучением. Они определяют конкретное поведение экземпляра архитектуры.

Один и тот же чертёж можно обучить:

• на других данных;
• для другой цели;
• с другой инициализацией;
• с fine-tuning или alignment;
• с разным tokenizer;
• в другой precision.

Получатся разные модели, даже если код сети похож.

Модель не всегда один файл

В простом учебном примере веса сохраняются одним checkpoint. В реальном pipeline могут понадобиться:

• несколько shard-файлов весов;
• config.json с архитектурой;
• tokenizer и словарь;
• text encoder;
• VAE или другой autoencoder;
• scheduler;
• generation config;
• custom code;
• LoRA и дополнительные адаптеры.

Поэтому перенос «файла модели» без соседних компонентов иногда заканчивается ошибкой формы тензора или совсем другим результатом.

Что делает модель

Модель реализует функцию:

выход = model(подготовленный вход; веса)

Подготовка важна. Изображение масштабируется и нормализуется, текст токенизируется, аудио превращается в признаки. Если preprocessing не совпадает с обучением, корректные веса получают неправильный вход.

После модели часто идёт postprocessing: выбор класса, декодирование токенов, NMS для объектов, VAE Decode или перевод logits в вероятность.

Параметры и размер файла

Грубая оценка размера плотных весов:

размер ≈ число параметров × байт на параметр

FP32 использует больше байт, чем FP16, а квантизированный формат — меньше. Но файл может также содержать метаданные, несколько наборов весов и служебное выравнивание.

Число параметров не равно рабочей памяти. Во время запуска добавляются активации, KV cache, временные буферы, latent и загруженные компоненты.

Checkpoint, base и instruct

Checkpoint — сохранённое состояние обучения. Он может быть финальным или промежуточным.

Base model обычно продолжает задачу предварительного обучения и не обязана вести удобный диалог. Instruct или chat версия дополнительно настроена следовать инструкциям и шаблону сообщений.

В генерации изображений base checkpoint может быть исходной моделью для обучения, а fine-tune — вариантом под определённый стиль. Названия зависят от экосистемы, поэтому карточка модели важнее ярлыка.

Наглядный пример

Видеомонтажёр хочет классифицировать кадры по типу сцены. Он берёт готовую vision-архитектуру и дообучает её на своих размеченных данных.

Для воспроизводимости сохраняет:

• исходную модель и revision;
• собственный checkpoint;
• список классов;
• resize и нормализацию;
• порог уверенности;
• версию библиотеки;
• test set и метрики по классам.

Если оставить только .safetensors, следующий разработчик не узнает, какой номер в выходном векторе означает «интерьер».

Открытая и закрытая модель

Open weights означает, что веса доступны для скачивания на условиях лицензии. Это не обязательно открывает датасет, полный training code или право на любой вид использования.

Закрытая модель доступна через API или продукт. Её веса и инфраструктура остаются у провайдера.

Локальный запуск возможен только для совместимых опубликованных артефактов. Не каждая открытая модель помещается на одном компьютере, а не каждый API закрывает доступ к настройке поведения.

Форматы файлов

• Safetensors хранит тензоры без pickle-объектов и удобен для безопасной загрузки весов.
• PyTorch checkpoint может быть обычным словарём тензоров, но pickle-based загрузка способна исполнять код.
• GGUF ориентирован на эффективный инференс в совместимых runtime и хранит квантизированные тензоры с метаданными.
• ONNX описывает вычислительный граф и веса для переносимого runtime.

Расширение не гарантирует качество или лицензию. Неизвестный файл проверяют по источнику и хешу.

Безопасная загрузка

Модель из непроверенного репозитория — программный supply-chain риск. Кроме исполняемого checkpoint опасны custom code, install scripts и зависимости.

Полезный контур:

• официальный или проверенный репозиторий;
• зафиксированная revision;
• сверка хеша;
• просмотр лицензии и model card;
• safetensors для чистых весов, когда формат поддерживается;
• изолированная среда для custom code;
• запрет удалённых скриптов без ревью;
• сканирование и журнал происхождения.

Как выбрать модель

Сначала определяются ограничения задачи:

• входы и выходы;
• язык и домен;
• допустимая ошибка;
• задержка и throughput;
• память и инфраструктура;
• приватность;
• лицензия;
• необходимость tools и structured output.

Затем кандидаты проходят одинаковый eval. Общий leaderboard помогает составить список, но не заменяет проверку на данных продукта.

Версии и воспроизводимость

Название репозитория может остаться прежним, пока его файлы обновляются. Для рабочего использования фиксируют revision или хеш.

Запись вида «используем model-large» недостаточна. Полная спецификация включает артефакт, tokenizer, runtime, precision, prompt template и адаптеры.

Частые ошибки

• Считать модель одним файлом. Часто нужны конфигурация и preprocessing.
• Сравнивать только параметры. Архитектура, данные и обучение важнее одного числа.
• Путать open weights с разрешением для бизнеса. Право задаёт лицензия.
• Загружать .pt из неизвестного источника. Pickle может выполнять код.
• Не фиксировать tokenizer. Другой словарь меняет вход и качество.
• Считать quantization только сжатием файла. Она влияет на память, скорость и иногда точность.

Частые вопросы

Модель и нейросеть — одно и то же?

Нейросеть — класс архитектур. Модель — конкретный обученный экземпляр с весами и правилами применения.

Почему модель не запускается после скачивания?

Могут отсутствовать config, tokenizer, VAE, custom code или совместимая версия runtime. Сначала проверяется model card и список файлов.

Большая модель всегда лучше?

Нет. Специализированная меньшая модель может быть точнее, быстрее и проще в эксплуатации на узкой задаче.

Можно ли открыть файл и понять знания модели?

Веса — массивы чисел. Их можно исследовать, но нельзя прочитать как базу фактов. Поведение проверяется экспериментами и документацией обучения.

Главное

AI-модель — это архитектура с обученными весами и точным контрактом входа и выхода. Надёжный запуск сохраняет не только checkpoint, но и конфигурацию, preprocessing, tokenizer, лицензию и версию runtime. Без этих деталей «та же модель» легко превращается в другой результат.