Авито 4 дня назад

Ведущий технический продакт-менеджер в команду LLM

  • Москва
  • Гибрид
AILLMAPIProduct ManagementMachine LearningLLM EvaluationLLM Gateway

Описание

Responsibilities

  • Исследовать потребности внутренних команд, находить общие проблемы и превращать их в возможности для развития платформ
  • Формировать стратегию, дорожную карту и бэклог двух продуктов, согласовывать приоритеты и зависимости с заинтересованными командами
  • Определять метрики успеха: скорость подключения и запуска первых сценариев, активное использование платформ, стоимость обращений к моделям и охват проектов регулярными проверками качества
  • Отвечать за внедрение продуктов: организовывать пилоты, собирать обратную связь, улучшать документацию и пользовательские сценарии
  • Развивать самостоятельное подключение команд к моделям: каталог доступных LLM, оформление доступов, управление квотами и лимитами, просмотр потребления
  • Выстроить прозрачную экономику использования внутренних и внешних моделей: оценку стоимости запросов, распределение затрат между командами, бюджетирование и прогнозирование расходов
  • Вместе с закупками, юристами, информационной безопасностью и инженерами организовать выбор и подключение внешних провайдеров с учётом качества, стоимости, надёжности и требований к данным
  • Совместно с DS и инженерными командами развивать подходы к выбору моделей и маршрутизации запросов, находить баланс между качеством ответа, скоростью и стоимостью
  • Определить ключевые сценарии и MVP платформы оценки качества для разных LLM-проектов внутри Авито
  • Вместе с DS и продуктовыми командами сформировать требования к тестовым наборам, метрикам и способам оценки: автоматическим проверкам, экспертной разметке и использованию LLM в роли оценщика
  • Создать удобный путь от подключения проекта и запуска оценки до сравнения моделей, промптов и версий решения, анализа ошибок и принятия решения о релизе
  • Обеспечить воспроизводимость результатов и встроить регулярные проверки качества в процесс разработки LLM-продуктов

Requirements

  • Имеете опыт управления техническими или платформенными продуктами и можете рассказать о результатах их запуска и развития
  • Умеете исследовать потребности пользователей, проверять гипотезы и приоритизировать задачи по ожидаемому эффекту
  • Понимаете принципы работы API, интеграций и серверных систем, можете обсуждать технические ограничения и варианты решений с инженерами
  • Разбираетесь в принципах применения LLM и понимаете компромиссы между качеством, задержкой ответа, пропускной способностью и стоимостью
  • Умеете работать с продуктовыми метриками и экономикой: оценивать эффект изменений, стоимость использования и потребность в ресурсах
  • Самостоятельно работаете с неопределённостью и умеете согласовывать интересы нескольких команд

Nice to have

  • Развивали ML/LLM-платформы, инструменты для разработчиков или внутренние инфраструктурные продукты
  • Участвовали в построении систем оценки качества ML/LLM-решений и знакомы с особенностями автоматической и экспертной оценки
  • Работали с экономикой облачных сервисов или GPU-инфраструктуры, бюджетированием и внешними технологическими провайдерами
  • Имеете опыт в разработке, аналитике или Data Science и используете его в продуктовой работе

We offer

  • Расширенная забота о здоровье: ДМС, страхование жизни, онкострахование
  • Сервис психологической поддержки, а также финансовые, юридические и ЗОЖ‑консультации для вас и ваших близких
  • Корпоративный спорт: групповые тренировки, велбиинг-приложение
  • Спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
  • Компенсация питания
  • Возможность запускать продукты, которыми пользуются миллионы людей
  • Зрелая продуктовая культура с прозрачными и эффективными процессами
  • Перспективы для роста и понятный карьерный трек
  • Комьюнити экспертов мирового уровня, обучение, поддержка и обмен опытом

Hiring process

  • Мы рассмотрим ваше резюме и обязательно свяжемся, если навыки и опыт подойдут к требованиям вакансии
  • Пройдите короткий опрос и расскажите, где вы слышали про команду Авито. Это займёт менее 30 секунд.