Сбер совместно с AIRI и «Сколтехом» создали «детектор качества» информации для ИИ Система сохраняет смысл информацииУчёные из Центра практического искусственного интеллекта Сбера вместе с коллегами из AIRI и «Сколтеха» разработали инструмент, который автоматически определяет момент, когда чрезмерное сжатие информации начинает искажать смысл. Это позволяет большим языковым моделям не использовать испорченные данные и подставлять вместо них оригинальный текст или искать свежие документы. Решение уже применено при обновлении ИИ-моделb GigaChat Ultra.
Современные языковые модели при работе с длинными текстами часто получают весь контекст целиком. С ростом объёма данных они могут терять важные фрагменты из середины, а сжатие информации для экономии памяти порой приводит к необратимым искажениям. Новый детектор качества проверяет сжатые токены до того, как они попадают в модель, и блокирует те, где смысл нарушен.
Как отметил директор центра практического ИИ Сбера Николай Тиден, решение выступает защитным механизмом, автоматически определяя порог, за которым краткость перестаёт быть оптимизацией и ведёт к ошибкам. Для бизнеса это означает повышение надёжности ИИ — сокращение издержек и рост точности принятия решений. Технология уже внедрена в обновлённую версию GigaChat Ultra.
«Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестает быть оптимизацией и ведёт к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надёжности искусственного интеллекта — сокращение издержек и повышение точности принятия решений», — отметил Николай Тиден.