StatGazer · независимая проверка моделей
Второе экспертное мнение по модели — своей или вендорской — перед запуском, инвесткомитетом или сделкой. Проверяем данные, спецификацию, код, воспроизводимость и границы применимости, а выводы оформляем в отчёт с уровнями критичности находок.
Работаем с клиентами из России: оплата в рублях, договор и закрывающие документы
проверку ведёт внешний рецензент, не участвовавший в разработке модели
находки ранжированы по критичности — от блокирующих до замечаний
протокол проверки можно повторить и перепроверить на тех же данных
отчёт, протокол и сопутствующий код остаются у заказчика
проверку ведёт внешний эксперт, не участвовавший в построении модели и не заинтересованный в её выводах.
структурированный список находок с уровнями критичности и воспроизводимый протокол проверки.
техническая проверка и валидация — не аудит в значении 307-ФЗ и не регуляторное заключение.
Когда нужна валидация
Валидация нужна не каждой модели, а той, цена ошибки которой высока: когда от её выводов зависит запуск, капитал или защита позиции перед комитетом.
Модель готова к продакшену или к использованию в процессе принятия решений, и нужна независимая проверка до того, как на её выводы начнут опираться.
Внутренний риск-менеджмент или внешнее требование предполагают независимое второе мнение по модели до её утверждения и периодически после.
Перед покупкой продукта, команды или бизнеса, где модель — часть ценности: нужно понять, на чём она держится и где её границы.
Есть разногласие о корректности расчёта, либо нужно подготовить модель и результаты к защите — диссертации, исследования, экспертизы.
Что проверяем
Ошибка редко прячется в одной формуле. Чаще она в подготовке данных, в неявном допущении или в коде, который считает не то, что описано в методологии.
Источники, пропуски, выбросы, выравнивание частот, утечка будущего в признаки, корректность выборок для обучения и проверки.
Соответствует ли выбранный метод задаче, какие допущения заложены, проверяемы ли они и что произойдёт при их нарушении.
Считает ли код то, что описано в методологии; запускается ли он повторно на тех же данных и даёт ли тот же результат.
Поведение модели под стрессом, на других периодах и при сдвиге входов: бэктест, анализ чувствительности, проверка на разных окнах.
Что выводы значат на самом деле, где модель применима, а где её использование уже выходит за пределы того, что она умеет.
Достаточно ли описания, чтобы модель можно было сопровождать и защищать без её автора, и совпадает ли документация с реальным кодом.
Как это работает
Процесс выстроен как независимая проверка: фиксированный объём, чек-лист, документированные находки и финальный разбор. Без правок чужой модели «по ходу» — сначала диагностика, потом рекомендации.
Вы описываете модель, её роль в решении и перед кем нужно защищать выводы. Фиксируем объём и границы проверки.
Подписываем NDA, получаем доступ к модели, коду и данным в согласованном объёме и формате.
Идём по слоям: данные, спецификация, код, воспроизводимость, устойчивость, границы. Каждый шаг фиксируется.
Оформляем находки с уровнями критичности, воспроизводимый протокол и рекомендации по каждому пункту.
Проходим отчёт вместе с вашей командой: что критично, что некритично и что делать дальше.
Методология опирается на практику управления модельным риском (как практическая параллель — принципы SR 11-7), но это не аудит и не регуляторное заключение. Это независимая техническая проверка и второе экспертное мнение.
Что получает заказчик
Заключение валидации полезно ровно настолько, насколько его можно перепроверить и предъявить. Поэтому выводы оформлены так, чтобы их выдержали и комитет, и сторона сделки.
Если модель относится к финансовым рискам, к проверке примыкает наша работа по риск-моделям; если это исследование или диссертация — направление по исследованиям. Что такое сама метрика VaR и где в ней чаще всего ошибаются — разбираем в материале про VAR-модель.
Стоимость и сроки
У валидации нет «средней цены»: одна модель — это несколько формул и чистые данные, другая — большой код, разрозненные источники и нетривиальные допущения. Поэтому объём и стоимость фиксируются письменно до старта.
Вопросы и ответы
Чаще всего вопросы про границы: что именно проверяется, чем это отличается от аудита и что остаётся у заказчика.
Нет. Это независимая техническая проверка и валидация модели, расчётов и кода — второе экспертное мнение. Это не аудит в значении Федерального закона № 307-ФЗ и не регуляторное заключение о соответствии: проверка не выдаёт сертификацию или комплаенс-вывод, а фиксирует находки и их критичность.
Да, это одна из основных задач: независимое второе мнение по модели, которую вы покупаете или уже используете. Для этого нужен доступ к достаточному описанию, коду и данным в согласованном объёме. Если доступ ограничен, мы фиксируем это в отчёте как ограничение проверки и описываем, какие выводы при таком доступе сделать нельзя.
Валидация — это диагностика, а не доработка. Мы фиксируем находки и даём рекомендации, но не правим чужую модель «по ходу проверки», чтобы сохранить независимость выводов. Доработка модели — отдельная задача, которую можно обсудить после получения отчёта.
Каждая находка получает уровень критичности — например, блокирующая (использовать модель в текущем виде нельзя), существенная (требует исправления до запуска) или замечание (улучшение, не влияющее на корректность). Это позволяет отделить то, что действительно мешает принять решение, от того, что можно учесть позже.
Структурированный отчёт о находках, воспроизводимый протокол проверки, сопутствующий код проверок и рекомендации с границами применимости модели. Все артефакты передаются в собственность заказчика; проверку можно воспроизвести самостоятельно на тех же данных.
Стоимость зависит от объёма модели и кода и фиксируется письменно до старта после первичной оценки. Готовых прайс-карточек нет осознанно: они либо завышают цену для простой модели, либо занижают для сложной. Опишите задачу — оценим объём и согласуем границы.
Не нашли ответ на свой вопрос?
Напишите нам →Начать валидацию
Расскажите, что за модель, своя она или вендорская, и перед кем нужно защищать выводы. Под NDA посмотрим объём и зафиксируем границы и стоимость до старта.
NDA до передачи модели и данных · объём, границы и стоимость фиксируются до старта · hello@statgazer.ru
