Необязательно отправлять запросы в облако: многие нейросети можно запустить прямо на своём компьютере. Они бесплатны, работают без интернета и не передают данные посторонним. Разбираемся, как это сделать и чего ожидать.
Зачем это нужно
- Приватность. Документы, заметки и переписка не покидают компьютер.
- Без интернета и ограничений по стране. Работает в поездке, на даче и там, где облачные сервисы недоступны.
- Бесплатно. Нет подписок и лимитов на запросы.
- Эксперименты. Можно попробовать десятки открытых моделей и выбрать подходящую.
Какой компьютер нужен
| Конфигурация | Что потянет |
|---|---|
| 8 ГБ ОЗУ, без видеокарты | Небольшие модели на 3–4 млрд параметров: простые ответы, пересказ, переводы |
| 16 ГБ ОЗУ или видеокарта с 6–8 ГБ памяти | Модели на 7–8 млрд параметров — уровень, достаточный для большинства повседневных задач |
| Mac на Apple Silicon с 16–32 ГБ | Хорошая скорость благодаря общей памяти процессора и графики |
| Видеокарта с 16–24 ГБ памяти | Крупные модели, близкие к облачным по качеству в ряде задач |
Качество локальных моделей среднего размера ниже, чем у лучших облачных сервисов, особенно в сложных рассуждениях и свежих фактах: у них нет доступа к интернету. Но для черновиков, пересказа и работы с текстом их часто хватает.
Как начать
LM Studio — проще всего
Программа с привычным интерфейсом для Windows, macOS и Linux. Скачиваете, в каталоге выбираете модель (программа подскажет, какие подходят вашему компьютеру), загружаете и общаетесь в окне чата.
Ollama — для тех, кто не боится командной строки
Лёгкая программа, которая запускает модели одной командой, например ollama run с названием модели. К ней можно подключить удобный веб-интерфейс, а разработчики используют её как локальный сервер для своих приложений.
Какие модели попробовать
Популярные открытые семейства — Llama, Qwen, Gemma, Mistral и DeepSeek. Выбирайте версии на 7–8 млрд параметров в сжатом формате (квантовании Q4): это оптимальный баланс качества и скорости для обычного компьютера. Для русского языка обращайте внимание на отзывы: не все модели одинаково хорошо пишут по-русски.
Советы
- Скачивайте модели из каталога внутри программы или с проверенных площадок: файлы весят несколько гигабайт.
- Закрывайте тяжёлые программы: модели занимают много памяти.
- Для важных фактов всё равно сверяйтесь с источниками: локальная модель ошибается так же, как облачная.
Почему приватность в ИИ важна и какие данные не стоит отправлять в облачные сервисы, мы рассказали в статье что нельзя рассказывать нейросетям.
