ОТП Банк разработал методику расчета мощностей для ИИ-сервисов

Руководитель Центра платформенных ИИ-решений ОТП Банка Богдан Гарбар на форуме «Франкенштейн на кибербанке» предложил способ уйти от неточных экспертных оценок при закупке GPU-серверов. Раньше компании часто опирались на непрозрачные бенчмарки, что приводило либо к простою дорогостоящего оборудования, либо к сбоям в работе сервисов под нагрузкой.

Разработанный инструмент связывает бизнес-показатели с техническими требованиями проекта. Система вычисляет необходимый объем графических процессоров, исходя из реальных параметров: объема памяти на одну сессию, методов квантования моделей и техник обработки запросов. Такой подход позволяет компаниям заранее прогнозировать CapEx, совокупную стоимость владения и возврат инвестиций, обеспечивая выполнение SLA при минимально возможных затратах на инфраструктуру.