Сбер представил платформу для оценки долгосрочных прогнозов нейросетей Созданы бенчмарк HoTPP и метрика T-mAPСпециалисты Центра практического искусственного интеллекта «Сбера» разработали открытую платформу для оценки способности нейросетей прогнозировать события на длительном временном горизонте. В основу системы вошли бенчмарк «HoTPP» (Horizon Temporal Point Process) и новая метрика «T-mAP» (Temporal mean Average Precision).
Метрика «T-mAP» оценивает точность прогнозирования сразу по двум параметрам: тип будущего события и время его наступления. Бенчмарк «HoTPP» используется для тестирования моделей на данных из разных областей, включая финансы, электронную коммерцию и медицину.
Исследование показало, что сложные нейросетевые архитектуры не всегда дают более точные долгосрочные прогнозы, чем простые статистические методы. При этом оптимизация алгоритмов для графических процессоров позволила ускорить обучение и работу моделей в десятки раз. Разработка может использоваться для анализа транзакций, покупательского поведения и медицинских данных.