Компании стали тщательнее рассчитывать расход токенов при использовании ИИ, однако точно планировать затраты удаётся немногим. Из 400 компаний только 11% точно прогнозируют свои расходы на ИИ.
Выбор более дешёвой модели не всегда помогает сэкономить. На сложных задачах такие модели могут расходовать больше токенов, тогда как более продвинутые и дорогие модели могут оказаться эффективнее. Исследователи изучили поведение моделей на 6,8 тыс. разных задачах: в 32% случаев использование более дешёвых моделей в итоге обходилось дороже.
Даже одна и та же модель может расходовать разное количество токенов в зависимости от задачи. Новые модели показывают лучшие результаты в ряде бенчмарков, но общая стоимость их использования зависит от множества факторов, что затрудняет точный прогноз.
Компаниям требуются новые стратегии управления использованием ИИ, в том числе обучение сотрудников тому, когда и какую модель выбирать. Без этого бизнес рискует столкнуться с непредвиденными расходами.
Источник: The Wall Street Journal