Авито 3 дня назад

Старший разработчик

  • Москва
KubernetesDockerLLMGrafanaPrometheusGPUSGLangTensorRT-LLMInference Optimization

Описание

Обязанности

  • проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования
  • развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг
  • регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов
  • тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса
  • масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды
  • доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках
  • запускать LLM-модели с использованием платформы инференса

Требования

  • оптимизировали LLM-модели с учётом профиля нагрузки
  • работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры
  • знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация
  • знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU
  • профилировали GPU и работали с инструментами для мониторинга
  • проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд, умеете корректно сравнивать результаты и делать выводы
  • работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana
  • готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам

Будет плюсом

  • писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA
  • внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс
  • работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами
  • знаете C++ или Go
  • следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике

Условия

  • Москва
  • расширенная забота о здоровье: ДМС, страхование жизни, онкострахование
  • сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких
  • корпоративный спорт: групповые тренировки, велбиинг-приложение
  • спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
  • компенсация питания
  • инженерная свобода для реализации масштабных задач
  • продуктовый подход к инфраструктуре, который базируется на метриках
  • сильное инженерное комьюнити, готовое поддержать и поделиться опытом
  • эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом