Локальная LLM: модель, которая работает на вашем железе

Коротко: Локальная LLM это языковая модель, запущенная на собственном железе (видеокарта, ноутбук, сервер) без обращения к облачному API. Мотивы: приватность (данные не покидают машину, важно для ПДн и NDA), независимость от тарифов и блокировок, нулевая цена за токен после покупки железа и возможность дообучения. Цена: за те же деньги качество ниже, чем у фронтирных облачных моделей, а инженерных возни больше: квантование, VRAM, движки (llama.cpp и его производные), замеры скорости. Практичная связка: локально рутину и приватное, в облако редкие тяжёлые задачи.