DeepSeek объявил в своём аккаунте о выпуске v4.1 Flash. Обсуждение набрало 468 голосов. Всё, что сейчас известно о модели, идёт из анонса самой компании: это заявление вендора, а не независимая проверка. Поэтому ни бенчмарков, ни цен, ни лимитов я здесь не пересказываю — их надо читать в первоисточнике и перепроверять на своих данных.
Приставка Flash у разных производителей обычно маркирует вариант, где скорость и цена важнее максимума качества: классификация, извлечение полей из текста, короткие ответы, маршрутизация запросов внутри агента. Если такие места у вас в проде есть, новость касается вас напрямую. Если весь продукт держится на одной тяжёлой цепочке рассуждений — скорее всего, нет.
Час проверки вместо недели чтения тредов
Возьмите 30–50 своих реальных кейсов. Не публичный датасет и не примеры из документации: ваши договоры, ваши чеки, ваши пользовательские тексты с опечатками, эмодзи и лишними переносами строк. Если такого набора до сих пор нет — вот повод собрать. Он пригодится на каждой следующей новости про модели, а их будет много.
Зафиксируйте промпт. Один и тот же текст уходит и в текущую модель, и в новую. Соблазн «чуть подправлю формулировку под новую» убивает сравнение: вы измеряете уже свою правку, а не модель.
Считайте хвост, а не среднее. Сколько ответов невалидны: сломанный JSON, выдуманное поле, отказ отвечать, обрезанный вывод. Средние на витринах красивые у всех, а ночью вас будят именно эти несколько процентов.
Меряйте задержку из своей инфраструктуры. С того сервера, где крутится код, и в те часы, когда идёт нагрузка. Задержка зависит от региона и от того, через кого вы ходите в модель; переносить на себя чужие замеры с чужого континента бессмысленно.
Посмотрите, что уходит наружу. Если в промпт попадают клиентские данные, вопрос площадки и лицензии важнее лишних процентов в тесте. Опубликованы ли веса, можно ли поднять модель у себя, на каких условиях — это в анонсе, и это надо прочитать, а не предположить по прошлым релизам компании.
Моё прочтение
Скорость выхода моделей давно обогнала скорость, с которой команды успевают их проверять. Отсюда жанр обсуждений, где люди сравнивают чужие скриншоты и чужие таблицы. Полезной такая новость становится в один момент — когда вы прогнали свой набор кейсов и получили своё число, которое можно показать заказчику.
Дальше решение простое. Новая модель выиграла — меняйте её в одном месте, самом дешёвом по последствиям, и подержите неделю с логами и с возможностью откатиться одной переменной окружения. Проиграла или идёт вровень — закрывайте вкладку и возвращайтесь к работе: следующий анонс всё равно случится раньше, чем вы допишете миграцию.