28 дней назад

Lead ML Engineer

  • Удалённо
  • Полная занятость
LLMMLPyTorchNLPGPUSGLangTensorRT-LLMQuantizationLLM InferenceKV cachebatching

Описание

Требования

  • Опыт оптимизации LLM-инференса с SGLang, vLLM или TensorRT-LLM
  • Работа с большими моделями на распределённой GPU-инфраструктуре
  • Понимание KV cache, batching, quantization и профилирования GPU
  • Опыт обучения и дообучения LLM, уверенное владение PyTorch
  • Умение направлять инженеров через ревью, наставничество и технические решения

Условия

  • Удалённо
  • Full-time