Desert Ant Labs объявила о себе постом «Introducing Desert Ant Labs»: заявка — быстрые модели, работающие локально на устройстве. Обсуждение собрало 459 голосов. Ни списка моделей, ни замеров, ни условий доступа из повода не следует: это пост-представление компании, и разбирать в нём пока нечего, кроме самого направления.
Направление стоит того, чтобы один раз честно посчитать, что вы получаете и чем платите. Локальный инференс продают словами «быстро и приватно». Обе части правда — с оговорками, которые в анонсах пишут мелким шрифтом или не пишут вовсе.
Что покупаете и чем платите
Получаете: нет похода по сети до чужого сервера, поэтому отклик предсказуем и не зависит от чужой аварии; данные не покидают устройство, что снимает целый класс разговоров с юристом и с клиентом из регулируемой отрасли; работает офлайн — в подвале склада, в самолёте, в поле без связи; после покупки железа за токены никто не выставляет счёт.
Платите: батареей и нагревом, на телефоне это видно сразу; памятью — модель занимает место и конкурирует за него с самим приложением; разбросом железа — на свежем ноутбуке демо летает, на трёхлетнем телефоне пользователь смотрит другое кино; доставкой обновлений, потому что новая версия модели означает выкатку приложения и скачивание сотен мегабайт, а не подмену строчки в конфиге; качеством на длинных и сложных задачах, где облачные модели пока сильнее.
Где это окупается сегодня
Узкие задачи с коротким входом и предсказуемым выходом. Разметка и поиск по локальным заметкам и файлам. Распознавание и нормализация текста с фотографии документа. Подсказки при вводе. Офлайн-классификация обращений на выезде. Предварительная фильтрация: на устройстве отсеять мусор и отправить в облако только то, что требует тяжёлой модели, с явного согласия пользователя.
Не окупается там, где нужен длинный контекст, многошаговое рассуждение или свежие данные из интернета. Гибридная схема честнее любой из крайностей: локально — быстрое и приватное, в облако — остальное, и пользователь видит в интерфейсе, что именно уходит наружу.
Моё прочтение. Компаний, обещающих «быстро и локально», за последний год стало много, и по анонсам они неотличимы друг от друга. Я смотрю на одно: показывают ли замеры на дешёвом железе. Демо на топовом ноутбуке снимают все, цифры на бюджетном телефоне с жёстким лимитом памяти — почти никто, а именно там живёт основная масса пользователей массового продукта.
У Desert Ant Labs пока есть только пост-представление, и оценивать по нему технологию нельзя. Полезное действие сейчас — положить ссылку в список наблюдения и вернуться, когда появятся веса, SDK или демо, которое можно поставить и померить самому. Заодно выпишите, какие задачи в вашем продукте вообще выдержали бы переезд на устройство: короткий вход, понятный выход, терпимость к чуть худшему качеству. Этот список пригодится независимо от того, кто в итоге сделает быструю локальную модель.