Что такое "профессионально уметь пользоваться LLM"?

Что такое "профессионально уметь пользоваться LLM"?

Что спрашивать программистов на собеседованиях, если алгоритмы спрашивать теперь бессмысленно (код пишет LLM)? Короткий список на подумать.

Важно. Это список я написал для себя. Когда-то я был профессиональным Java-бэкендером, но кажется, те времена безвозвратно прошли. Это список не для исследователя, а именно для прикладного инженера. Вот это я хочу видеть в том числе у себя в резюме, и всем рекомендую тоже. Применительно ко мне, пока не все пункты из него выполняются (особенно в разделе "дорого-богато со звездочкой"). Но вероятно, должны выполняться, если хочется проработать в индустрии еще хотя бы лет пять.

1. Понимание, когда LLM не нужна. Мета-навык: увидеть, что правильный ответ здесь - точно подобранная регулярка, классический ML или детерминированный алгоритм, а LLM - выбор дорогой неправильный. Софт-скилл: отговорить коллег использовать LLM, когда она не нужна.

2. Базовый промт-инжиниринг и юзабилити. Как жить, работать и строить продукт поверх вероятностной штуки, которая почти всегда "врёт": human-in-the-loop, показ неуверенности, деградация вместо падения, стриминг, вменяемые фолбэки в интерфейсе.

3. Понимание и построение архитектур продуктов (systems design) с LLM как частью системы, в центральной или малозначимой роли

4. Использование особенностей существующих инструментов без их доработки - MCP/A2A, Claude/Codex/Opencode, Plugins/Skills/MCP для них). LLM tool calling, structured output.

5. Уметь дорабатывать существующие агенты и харнессы (публичный опенсорс, инхаус в компании)

6. Умение писать свои агенты и харнессы (используя как стандартное барахло, так и новые идеи, которые сейчас на повестке). Включая разные технические детали (ретраи с backoff, таймауты, обработка rate limit'ов, конкурентность, роутинг/каскады между моделями (когда дешёвая апгрейдится в дорогую), circuit breaker, семантический кэш, бюджеты и квоты по стоимости. Рантайм-гардрейлы и организация безопасности действий агента, чтобы он не удалил тебе базу на проде.

7. Умение организовать наблюдаемость и LLMOps в проде. Чтобы ты мог понять, что делают твои модели, агенты и харнессы, и оперативно реагировать на это.

8. Умение для разных задач пользоваться разными моделями (в том числе фронтирными и маленькими 32B, локальными, и специализированными - девопс-модель или медицинская модель)

9. Умение запускать их на разных движках инференса (vLLM, SGLang, TGI, TensorRT-LLM) и разном железе (Nvidia, AMD, Huawei)

10. Базовое понимание оптимизации. Квантизация под инференс (GGUF/AWQ/GPTQ/int8/fp8), управление KV-кэшем, батчинг, throughput vs latency, speculative decoding, prompt caching.

11. Умение работать с хранилищами (RAG/retrieval/context. Эмбеддинги, векторные базы, чанкинг, управление контекстным окном, системы памяти.)

12. Уметь использовать классическое машинное обучение и работу с данными вместе с LLM

13. Уметь писать промты и концепции, совместимые со всем вышеперечисленным (Spec-Driven, RLM, etc)

Три раздела "дорого-богато" со звездочкой (требует дорогого железа, выдержки и инвестиций в матчасть)

14*) Уметь дообучать готовые модели. Чтобы избегнуть вопросов "что ты имеешь в виду", разверну. Два основных вопроса: сколько учим (full fine-tuning, lora/qlora/dora, transformer adapters, soft prompts/prefix-tuning/prompt-tuning/P-tuning) и чему учим (дистилляция, continued domain-adaptive pretraining, supervised fine-tuning / instruction tuning, preference alignment/RLHF PPO/DPO/RLAIF, RLVR)

15*) Уметь обучать что-то с нуля принятыми в продакшене способами (любое трансформерное барахло)

16*) Уметь обучать что-то экспериментальное и мультимодальное

1. Умение джейлбрейкать и защищать всё вышеперечисленное (advanced prompting, abliteration, prompt injection, data leaks)

2. Уметь оценивать всё вышеперечисленное (tokenomics, LLM-as-judge, regression testing)

3. Иметь базовое понимание, как всё это работает под капотом, чтобы достичь ощущения "сродства с машиной" (токенизация, сэмплинг, температура/top-p, природа галлюцинаций...)

4. Уметь конструировать новые алгоритмы, архитектуры и руководящие принципы для всего вышеперечисленного

5. Скучное юридическое: персональные данные, региональные регуляции (EU AI Act), лицензирование, способы спрятать использование LLM от посторонних глаз и делать его недоказуемым, и т.п.

6. Умение по-человечески общаться на все эти темы (Обсуждение хотя бы одной идеи, которую никто пока нормально не сделал. Или статья в журнале, или хотя бы в блоге, телеграме)