Llama 2 и открытые веса: что это значит для enterprise
Разбор того, зачем крупному бизнесу смотреть на открытые языковые модели и где граница между возможностью и иллюзией.
18 июля Meta выпустила Llama 2 - языковую модель с открытыми весами, доступную для коммерческого использования. По меркам публичных LLM это событие нетривиальное: впервые сильная модель выходит не только как API, но и как набор весов, которые можно развернуть у себя.
Я слышу два крайних реакции. Первая: "теперь у нас будет свой ChatGPT". Вторая: "это для исследователей, нам не нужно". Обе неточные. Попробую разобрать, что здесь реально важно для организаций, которые думают об ИИ всерьёз.
Почему открытые веса - это другой класс предложения
Когда вы используете GPT-4 через API, вы передаёте данные на серверы OpenAI. Для многих задач это нормально. Но есть категория данных - финансовые документы, кадровые записи, внутренняя переписка, производственные регламенты - которую компания не хочет или юридически не может отправлять наружу.
Открытые веса позволяют запускать модель внутри своего периметра. Данные никуда не уходят. Модель работает на вашей инфраструктуре, под вашим контролем. Это не преимущество для всех задач, но для части задач это единственный допустимый вариант.
Кроме того, открытые веса можно дообучать. Если у компании есть специфический домен - юридические документы, технические регламенты, отраслевая терминология - дообучение на своих данных даёт релевантность, которую общая модель не обеспечит.
Где иллюзия
Собственная LLM - это не скачать и запустить. Это инфраструктурный проект.
Llama 2 в варианте на 70 миллиардов параметров требует нескольких GPU с достаточным количеством видеопамяти. Меньшие варианты (7B, 13B) запускаются скромнее, но с ощутимо более слабым качеством для сложных задач. Уже на этапе "давайте попробуем" нужно понимать, что вы разворачиваете, на чём, и кто будет этим управлять.
Дообучение - отдельная история. Это требует данных (размеченных, качественных), GPU-времени, понимания процесса и способности оценить результат. Без команды, которая умеет это делать, дообучение превращается в дорогой эксперимент с непредсказуемым выходом.
Поддержка модели в продакшне - мониторинг, обновления, работа с деградацией качества - ещё один слой операционных затрат.
Для каких задач это имеет смысл сейчас
Я бы выделил три сценария, где разговор об открытых весах оправдан уже сегодня:
Обработка конфиденциальных документов. Если задача - извлечение структурированных данных из внутренних документов, классификация, суммаризация - и данные нельзя выносить наружу, открытые веса дают выход.
Специализированный домен с большим объёмом собственных данных. Если есть тысячи технических документов, накопленных за годы, и задача - сделать знания доступными - дообучение на своей базе может дать результат лучше, чем общий API.
Контроль версий и воспроизводимость. Когда важно, чтобы модель не менялась без вашего ведома (что неизбежно с коммерческими API), фиксированные веса дают предсказуемость.
Вопросы, которые стоит задать до старта
Если разговор об открытых моделях перешёл из "интересно" в "делаем", я бы проверил несколько вещей:
- Есть ли у нас задача, которую нельзя решить через коммерческий API по соображениям безопасности или качества?
- Есть ли у нас инфраструктура для запуска модели нужного размера?
- Есть ли в команде люди, которые умеют работать с весами, а не только с API?
- Понимаем ли мы, как будем оценивать качество результата?
- Готовы ли мы к операционным затратам на поддержку?
Если на большинство вопросов ответ "нет" или "не знаем" - это не повод отказаться, но повод начать с пилота на конкретной задаче, а не с инфраструктурного проекта "на вырост".
Открытые веса реально расширяют пространство возможностей. Просто это пространство требует компетенций, которые не возникают автоматически вместе с лицензией.