ML Engineer (LLM) / AI Engineer

hoster.by — одна из первых в стране IT-компаний, которая давно стала синонимом качественного хостинга и облачных решений для бизнеса.

Сегодня мы:

• Единственный в Беларуси аккредитованный регистратор международных доменов и крупнейший регистратор доменов .BY/.БЕЛ.
• Провайдер всех существующих на рынке видов хостинга, инфраструктурных решений для сложных проектов и готовых облачных сервисов для бизнеса.
• SOC hoster.by — первый коммерческий центр кибербезопасности, аттестованный Оперативно-аналитическим центром при Президенте Республики Беларусь.

Мы в поисках ML-инженера, который хочет развиваться в направлении Systems/Performance Engineering, понимает физику работы «железа» и умеет выжимать из него максимум.

— Развивать Inference-платформу.
— Проектировать и поддерживать serving-решения на базе Kubernetes.
— Оптимизировать производительность моделей.
— Работать с LLM и генеративными моделями.
— Настраивать и ускорять Inference больших языковых моделей (vLLM, SGLang, TensorRT-LLM).
— Создавать эталонные архитектуры (reference).
— Писать образцовые решения, бенчмарки и гайды.
— Профилирование и debugging.
— Взаимодействовать с Hardware-командой.

Что мы ожидаем от вас:

— Уверенное знание Python.
— Глубокое понимание архитектур современных нейросетей (Transformers, Diffusion, CNN).
— Опыт работы с Inference -фреймворками: vLLM, HuggingFace TGI, Llama.cpp.
— Уверенное владение Docker и Kubernetes (Helm), понимание сетевого взаимодействия при подаче модели на Inference.
— Понимание работы GPU: CUDA, memory bandwidth, occupancy, влияние batch size и sequence length.
— Навыки профилирования ML-приложений (NVIDIA Nsight, PyTorch Profiler), умение читать документацию к «железу» и CUDA-кернелам.
— Опыт работы с RAG-архитектурами или опыт создания чат-ботов на базе LLM.

Существенным плюсом будет если у вас есть:

— Знания C++.
— Опыт работы с Rust или Go для создания высокопроизводительных сайдкаров и API-шлюзов.
— Понимание высокоскоростных сетей: InfiniBand, RDMA, RoCE.
— Понимание observability-стека: Prometheus, Grafana, логирование Inference-запросов.

С нашей стороны: