Опыт квант-разработчика: многофакторные модели, данные и инфраструктура

Путь в профессию и собеседования

Предыстория

Автор окончил инженерный факультет Университета Ватерлоо, прошёл шесть стажировок в крупных технологических компаниях и стартапах в роли разработчика и инженера по машинному обучению. Опыта в финансах не было. После выпуска он подал сотни заявок на квант-позиции и в итоге получил предложение.

Структура собеседования (6 этапов)

Этапы 1–2: Технические задачи на программирование

Первый раунд — задание на создание системы управления портфелем: отслеживание и исполнение ордеров, ведение позиций по разным акциям (стоп-лоссы, лимитные ордера и т.д.).
Второй раунд — алгоритмическая задача на статистику с применением комбинаторики на основе колоды карт. Была самой сложной; автор решил её примерно на 70%, но был допущен к следующему этапу.
Главный вывод: умение чётко объяснять ход мысли ценится не меньше, а то и больше, чем безупречный код. Интервьюеры ищут людей, способных доходчиво объяснять сложные концепции широкой аудитории внутри компании.
Практический совет: при подготовке проговаривайте задачи вслух, записывайте псевдокод, а затем реализуйте решение — это вырабатывает привычку к ясному изложению.

Этап 3: Системное проектирование с партнёрами

Детальный разбор резюме и проектов в формате «хороший коп / плохой коп».
Автор демонстрировал архитектуру систем на экране: обсуждались базы данных, алгоритмы машинного обучения (в частности, деревья с градиентным бустингом).
Рекомендация: будьте готовы рассказывать о собственном проекте в течение часа и уверенно отвечать на острые вопросы.

Этапы 4–6: Встречи с партнёрами подразделений

Ротация по разным командам квант-отдела для определения наилучшего места.
Смесь вопросов по системному проектированию, поведению, базам данных и основам квант-финансов.

Многофакторная торговая модель

Центральная идея: альфа

Клиент может купить индекс почти бесплатно, поэтому вся ценность активного управления — в альфе: доходности сверх бенчмарка.
Задача не в определении абсолютной стоимости акции, а в том, чтобы найти места, где взгляд расходится с консенсусом, и оказываться правым чаще других. Активное управление — это прогнозирование ошибок рынка.

Декомпозиция доходностей

Движение акции — это сумма нескольких составляющих:

Общее движение рынка
Страновой и отраслевой факторы
Идиосинкратический остаток — специфическое движение конкретной компании

Через регрессию доходность раскладывается на факторные составляющие и специфический остаток. Даже у акции, тесно следующей за нефтью, специфический остаток составляет значительную долю движения.

Схема многофакторной модели (конвейер)

1. Данные и сигналы

Всё начинается с традиционных и альтернативных данных.
Из данных строятся сигналы — измеримые прогнозы по конкретной акции: стоимость, моментум, размер, качество и экзотические факторы из альтернативных данных.
Сначала определяется торговая вселенная — набор инструментов, которыми вообще стоит торговать, исключая неликвидные бумаги.

2. Альфы (торговые факторы) Сырой сигнал превращается в очищенный прогноз доходности — альфу — как произведение трёх компонентов:

Волатильность акции
Реальная прогностическая сила сигнала
Интенсивность сигнала для конкретной бумаги прямо сейчас

3. Риск-модель

Работает параллельно с альфами, а не после.
Использует ту же факторную декомпозицию: экспозиция на отраслевые факторы и риск-индексы (размер, стоимость, волатильность, моментум) плюс специфический остаток.
Зачем не считать ковариации напрямую? При вселенной из 1 400 бумаг нужно оценить ~980 000 парных зависимостей — это статистически невозможно. Факторная модель сводит задачу к ~2 000 ковариаций между ~65 факторами. Это единственный способ сделать расчёт выполнимым.

Два ключевых интуитивных принципа риска:

Диверсификация: специфический риск усредняется при достаточном числе некоррелированных позиций, но систематический риск (рыночный) не диверсифицируется никогда — это основа CAPM.
Время: дисперсия накапливается линейно со временем, а риск (стандартное отклонение) растёт пропорционально квадратному корню из времени. Поэтому месячную волатильность умножают на √12, а не на 12.

4. Построение портфеля

Оптимизатор балансирует: максимизировать ожидаемую доходность, вычитая штраф за риск и транзакционные издержки, соблюдая ограничения (лимиты позиций, нейтральность по секторам, ограничения на оборот и плечо).
На выходе — целевой портфель: конкретное количество каждого инструмента.

5. Реализация и торговля Философия: терять как можно меньше альфы при исполнении. Источники издержек:

Комиссия брокера
Бид-аск спред
Рыночное воздействие — покупка крупного объёма сдвигает цену против вас («принцип Гейзенберга в финансах»)
Альтернативные издержки упущенных возможностей

Совокупная оценка издержек — implementation shortfall: разница между бумажным портфелем без издержек и реальным.

6. Анализ эффективности

Декомпозиция фактической доходности: что пришло от намеренных факторных ставок, что от ограничений, что было шумом.
Цель — отделить мастерство от удачи и усиливать то, что работает.
Факторы затухают: конкурентное преимущество исчезает по мере его обнаружения другими. Поиск новых факторов — непрекращающийся процесс.

Два ключевых показателя

Коэффициент информации (IR): активная доходность / активный риск — «табель успеваемости» модели.
Фундаментальный закон активного управления: IR ≈ мастерство × √широта охвата. Широта охвата — число независимых ставок.
- Пять длинных позиций в ретейле и пять коротких в энергетике — это не 10 ставок, а две.
- Многофакторная модель — это машина для генерации широты охвата: тысячи малых, независимых, чуть лучше случайных ставок ежедневно по всему рынку.

Данные и сигналы: практика

Очистка и согласование данных

Данные никогда не поступают в чистом виде. Реальная работа включает:

Выявление выбросов и их проверку по альтернативным источникам
Заполнение пропусков и исправление форматов
Согласование разных вендоров: один использует CUSIP, другой — ISIN, третий пересчитывает историю при пересмотре данных, другой — нет

Альтернативные данные

Примеры: данные из социальных сетей, цепочки поставок, новостные статьи, транзакции по кредитным картам, брокерские отчёты. Популярность альтернативных данных растёт, так как традиционные источники становятся всё более конкурентными.

Сопоставление ценных бумаг (Security Matching)

Цель: привязать сущности из купленного набора данных (например, URL apple.com) к внутренним идентификаторам торговой модели (ISIN, CUSIP, Bloomberg ID).
Ключевой принцип — точность во времени (point in time): идентификатор действителен только в те периоды, когда компания была зарегистрирована под ним. Идентификаторы меняются при слияниях и поглощениях. Нарушение этого принципа ведёт к опережающему смещению (look-ahead bias).
Наборы данных часто занимают несколько терабайт и требуют распределённых вычислений, а также эффективных трансформаций с использованием Polars, Spark или NumPy.

Загрузчики данных

Каждый вендор имеет свой уникальный загрузчик, который забирает обновлённые данные, выполняет трансформации и сохраняет результат в базу данных фирмы.
После обновления все торговые факторы, построенные на этих данных, пересчитываются на свежих данных.
Загрузчики — это продакшн-компонент: если загрузчик не работает, торговый фактор останавливается.

Аудит данных

Статистические метрики по ключевым столбцам и проверка покрытия ценных бумаг в каждом новом файле.
При отклонении метрики сверх порогового значения — автоматическое оповещение ответственного.
Принцип: выявлять проблему как можно раньше и как можно ближе к источнику.

Производственная реализация торговых факторов

Процесс перевода исследований в продакшн

Старшие исследователи разрабатывали методологию, квант-разработчик переводил её в продакшн-код.
Исходный код чаще всего на R, целевая платформа — Python, Spark или KDB (язык, популярный в хедж-фондах, оптимизированный для скорости и работы с базами данных).
Большинство факторов использует регрессионные модели или деревья с градиентным бустингом; нейросетевые подходы встречались редко.

Вычислительные требования

Каждый новый фактор требует исторического прогона на 5–15 лет данных.
С распределёнными вычислениями полный исторический прогон занимает от полудня до суток.
При торговле глобальными акциями существует жёсткое временно́е окно: после закрытия Нью-Йоркской биржи есть лишь несколько часов на пересчёт модели перед открытием японского рынка.

Документация и командная работа

Каждый фактор сопровождается документом с описанием исследовательской методологии — центральный ориентир для всей команды.
Типичный состав проектной группы: исследователь, разработчик, тестировщик и несколько старших партнёров.
Факторы со временем затухают; портфельные менеджеры инициируют повторные исследовательские проекты для их улучшения.
Сплочённые группы с высокой производительностью намеренно сохранялись для следующих проектов.

Инфраструктура: облачная миграция и технологический стек

Предпосылки

Изначально всё работало на собственных серверах в офисе. Рост команды, увеличение объёмов данных и усложнение факторов потребовали перехода в облако.

Используемые технологии

AWS: EC2 (вычисления), ECR (реестр контейнеров), S3 (хранилище).
Databricks: полный набор инструментов, включая ноутбуки и рабочие процессы для запуска кода по расписанию.
Apache Spark и Delta Lake стали ключевыми компонентами, кардинально изменившими производительность.

Apache Spark: архитектура и принципы работы

Общая модель выполнения

Распределённый движок обработки данных в памяти: разбивает вычисления, не умещающиеся на одной машине, на части и выполняет их параллельно на кластере.
Драйвер — мозг системы: хранит программу и строит план выполнения.
Исполнители (executors) — рабочие узлы кластера, каждый обрабатывает свои разделы (partitions) данных одновременно.

Ленивые вычисления и оптимизация запросов

Spark не выполняет трансформации (фильтрацию, объединение, группировку) немедленно — он строит граф шагов и ждёт вызова действия (например, записи результата или подсчёта строк).
Эта «ленивость» позволяет оптимизатору запросов Catalyst проанализировать весь план целиком и переписать его наиболее эффективным образом: опустить фильтры как можно ближе к источнику данных и переупорядочить объединения — до обработки единственного байта.

Вычисления в памяти

Старая модель MapReduce записывала промежуточные результаты на диск между каждым шагом.
Spark хранит данные в памяти между шагами, что обеспечивает на порядок более высокую скорость для многоступенчатых конвейеров.

Отказоустойчивость

Spark запоминает родословную (lineage) — рецепт трансформаций, породивших каждый фрагмент данных.
При отказе узла утраченный фрагмент просто пересчитывается заново, без сбоя всего задания.

Главный враг производительности: перемешивание (shuffle)

Операции объединения и группировки требуют перемещения данных с разных машин по сети, чтобы связанные строки оказались вместе.
Именно это перемещение по сети является дорогостоящей операцией, и большинство оптимизаций Spark сводится к минимизации и контролю перемешивания.

Практический пример: обработка альтернативных данных

Типичный конвейер для набора данных объёмом несколько терабайт на S3:

Spark читает партиции из S3, распределяя их по исполнителям.
Благодаря ленивым вычислениям фильтры по дате и столбцам «проталкиваются» вниз — считывается только необходимое.
Трансформации (очистка, агрегирование, вычисление признаков) выполняются параллельно на каждой партиции.
При сопоставлении с внутренними идентификаторами ценных бумаг маленькая таблица-справочник транслируется (broadcast) на каждый исполнитель — объединение происходит локально, без перемешивания.
Результат партиционируется по дате и записывается в таблицу Delta Lake.

Итог: исторический прогон, занимавший дни на одной машине, сокращается до нескольких часов.

Хранилища данных в квант-разработке

Выбор места хранения данных напрямую определяет производительность всей системы. В собеседованиях на позиции квант-разработчика этот вопрос поднимался примерно в 80% случаев.

Parquet и Delta Lake: архивное хранилище для исследований

Колоночный формат Parquet

В отличие от строкового хранения, Parquet хранит данные по столбцам.
Для квант-анализа это принципиально: запросы обычно затрагивают несколько столбцов по миллионам строк, а не целые записи.
Преимущества: считываются только запрошенные столбцы; отличное сжатие (похожие значения хранятся рядом); возможность пропускать целые блоки файла, заведомо не соответствующие фильтру.

Delta Lake: транзакционный слой поверх Parquet

Папка с Parquet-файлами сама по себе не поддерживает атомарных изменений. Delta добавляет журнал транзакций, обеспечивающий гарантии ACID (атомарность, согласованность, изолированность, долговечность).
Запись либо выполняется полностью, либо не выполняется вовсе; читатели никогда не видят наполовину записанную таблицу; параллельные задания не повреждают данные; схема принудительно соблюдается, что защищает от молчаливого проникновения некорректных данных.

Особенности применения в квант-разработке

Данные партиционируются по дате: при запросе последних 10 лет сканируются ровно нужные партиции и столбцы — ничего лишнего.
Ежедневные обновления — это просто добавление новой партиции: быстро и дёшево.
Главная ценность — версионирование и машина времени: благодаря журналу транзакций можно запросить таблицу в том виде, в каком она существовала в любую прошедшую дату. Это напрямую реализует требование точности во времени (point-in-time) из security matching: при прогоне фактора по истории используются данные, известные на тот момент, а не пересмотренные впоследствии. Прогоны становятся воспроизводимыми.
При пересмотре истории вендором достаточно перезаписать только затронутые партиции, а не пересобирать всю таблицу.
Хранение на дешёвом объектном хранилище (S3) с параллельным чтением означает, что пропускная способность масштабируется вместе с кластером.

KDB и язык Q: высокопроизводительный движок для живой торговли

Что такое KDB

Колоночная база данных временных рядов в памяти, созданная специально для финансовых данных: огромных потоков тиков и котировок с временны́ми метками.
Язык Q лаконичен и векторизован — небольшие выражения оперируют сразу целыми столбцами, подобно NumPy, и работают очень близко к «железу».

Главное преимущество: временны́е объединения

KDB оптимизирован для as-of join (объединения «по состоянию на момент»): для каждой сделки мгновенно находится котировка, действовавшая в тот конкретный момент времени.
Эта операция встречается повсюду в финансах и работает мучительно медленно в обычных базах данных. В KDB она является первоклассной примитивной операцией молниеносной скорости — именно поэтому многие хедж-фонды до сих пор строят своё ядро на этой технологии.

Применение в связке с HTCondor

KDB служил хребтом живой торговой модели на описываемой фирме.
В паре с ним использовался HTCondor — планировщик заданий, распределяющий работу по сетке машин.
KDB хранил и раздавал данные временных рядов с высокой скоростью, HTCondor распределял вычисления самой модели по кластеру поверх него.

Сравнение двух подходов к хранению

	Parquet + Delta Lake	KDB
Назначение	Исследования и пакетная обработка	Высокочастотные временны́е ряды и живая торговля
Главное преимущество	Дешёвое масштабируемое хранилище с версионированием	Максимальная скорость на данных с временны́ми метками
Типичное использование	Исторические прогоны факторов, хранение альтернативных данных	Тики, котировки, исполнение ордеров в реальном времени

Большинство фирм используют оба решения, поскольку они решают принципиально разные задачи.

Итоговая картина системы

Вся квант-инфраструктура — это единая связная система, где каждый компонент существует по конкретной причине:

Блок данных раскрывается в security matching и загрузчики данных.
Блок альф раскрывается в конвейер перевода исследований в продакшн.
Блок инфраструктуры — это Spark, Parquet/Delta Lake и KDB, обеспечивающие выполнение всего вышеперечисленного в жёстких временных рамках.

Каждая часть многофакторной модели — от сигналов до исполнения — опирается на эту инфраструктуру, и понимание связей между уровнями является ключевым навыком квант-разработчика.