Локальні моделі
Запуск Ollama та LM Studio в air-gapped середовищах, верифікація моделей, model signing та приватні model registries
📎ОФІЦІЙНА ДОКУМЕНТАЦІЯ
Локальні моделі в Zero Trust
Локальні LLM -- єдиний варіант AI-розробки в air-gapped середовищах та сценаріях з максимальними вимогами до конфіденційності. Дані ніколи не покидають вашу інфраструктуру.
Ollama в Air-Gapped середовищі
Підготовка моделей
В air-gapped середовищі Ollama не має доступу до інтернету для завантаження моделей. Підготуйте моделі заздалегідь:
# На машині з інтернетом:
# 1. Завантажте моделі
ollama pull codellama:13b
ollama pull deepseek-coder-v2:16b
ollama pull qwen2.5-coder:14b
# 2. Знайдіть файли моделей
# Linux/macOS: ~/.ollama/models/
# Windows: %USERPROFILE%\.ollama\models\
# 3. Скопіюйте директорію models на зашифрований носій
Перенесення в air-gapped середовище
Offline Installation
# Завантажте Ollama installer заздалегідь
# Linux:
curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama
# Перенесіть на air-gapped machine
chmod +x ollama
sudo mv ollama /usr/local/bin/
# Запуск
ollama serve
Переконайтеся, що версія Ollama сумісна з форматом моделей. При оновленні Ollama може змінитися формат зберігання.
LM Studio в Air-Gapped середовищі
Підготовка
- Завантажте LM Studio installer на connected machine
- Завантажте потрібні моделі у форматі GGUF
- Перенесіть все на air-gapped machine
Рекомендовані моделі для кодування
| Модель | Розмір | RAM потреба | Якість коду |
|---|---|---|---|
| DeepSeek Coder V2 16B | ~10 GB | 16 GB+ | Висока |
| Qwen 2.5 Coder 14B | ~9 GB | 14 GB+ | Висока |
| CodeLlama 13B | ~8 GB | 12 GB+ | Середня |
| Phi-3 Mini | ~2.4 GB | 6 GB+ | Базова |
| StarCoder2 7B | ~4.5 GB | 8 GB+ | Середня |
Верифікація моделей
Перевірка цілісності
Перед використанням моделі в production обов'язково верифікуйте:
# Перевірка SHA-256 checksum
sha256sum model-file.gguf
# Порівняйте з офіційним checksum від постачальника
# Для Ollama моделей
ollama show codellama:13b --modelfile
Model Supply Chain
| Ризик | Захист |
|---|---|
| Підмінена модель | Верифікація checksum з довіреного джерела |
| Backdoor в моделі | Тестування на known triggers |
| Bias або toxicity | Тестування на safety benchmarks |
| Ліцензійні обмеження | Перевірка ліцензії моделі |
| Застаріла модель | Регулярне оновлення з перевіркою |
Завжди завантажуйте моделі з офіційних джерел: Hugging Face (з verified badge), Ollama Library, або безпосередньо від розробника моделі.
Model Signing
Підписання моделей
Для enterprise-сценаріїв підписуйте моделі перед розповсюдженням:
# Підписання моделі GPG
gpg --armor --detach-sign model.gguf
# Верифікація перед використанням
gpg --verify model.gguf.asc model.gguf
Процес верифікації
- Завантажте модель з довіреного джерела
- Перевірте checksum
- Підпишіть модель корпоративним ключем
- Додайте до внутрішнього реєстру
- При використанні -- верифікуйте підпис
Private Model Registries
Внутрішній реєстр моделей
Для організації з декількома командами створіть внутрішній model registry:
Інструменти
| Інструмент | Тип | Особливості |
|---|---|---|
| MLflow | Model Registry | Open source, versioning, staging |
| DVC | Data/Model Versioning | Git-based, lightweight |
| Hugging Face Hub (self-hosted) | Model Hub | Full-featured, enterprise |
| MinIO + custom API | Object Storage | Self-hosted S3 для air-gapped |
Приклад workflow
# Додавання моделі до реєстру
# 1. Верифікація
sha256sum model.gguf > model.gguf.sha256
# 2. Підписання
gpg --detach-sign model.gguf
# 3. Завантаження до реєстру
mlflow models register \
--model-uri ./model.gguf \
--name "codellama-13b" \
--tags "verified=true,signed=true"
# 4. Перехід на staging
mlflow models transition \
--name "codellama-13b" \
--stage "Staging"
Безпека локальних моделей
Hardware Requirements
| Компонент | Мінімум | Рекомендовано |
|---|---|---|
| RAM | 16 GB | 32-64 GB |
| GPU | - | NVIDIA RTX 3080+ (16 GB VRAM) |
| Storage | 50 GB SSD | 200+ GB NVMe |
| CPU | 8 cores | 16+ cores |
Security Hardening
- Ізоляція -- запускайте моделі в окремому контейнері або VM
- Мережа -- обмежте мережевий доступ до API моделі (localhost only)
- Ресурси -- обмежте CPU/RAM щоб запобігти DoS
- Логування -- логуйте всі запити до моделі
- Оновлення -- регулярно оновлюйте Ollama/LM Studio (через air-gap процес)
Див. також
Ollama, LM Studio та вибір моделей
Air-gapped мережі та VPN
Безпечна передача артефактів