Розгорніть Serge: встановлення в один клік.
Інтерфейс чату з самостійним розміщенням для локального запуску моделей LLaMA та Alpaca через llama.cpp без витрат на API.
Виберіть тариф VPS для Serge
У кожному тарифі є все необхідне і навіть більше
Що можна створити за допомогою Serge
Serge — це чат-інтерфейс з відкритим кодом для локального запуску мовних моделей сімейства LLaMA через llama.cpp, з першокласною підтримкою Alpaca, Vicuna, GPT4All та інших доопрацювань спільноти. Він об'єднує веб-інтерфейс SvelteKit, бекенд FastAPI та реєстр моделей на базі Redis в одному контейнері, щоб ви могли завантажувати моделі GGUF, керувати чат-сесіями та налаштовувати параметри висновку без підключення кількох сервісів.
Самостійний хостинг Serge зберігає кожен запит і відповідь на вашому VPS — без зовнішнього API, телеметрії та оплати за токен. Висновок лише на CPU працює одразу, що робить його практичним способом запуску приватних LLM без оплати часу GPU в хмарі або реєстрації в сторонньому сервісі ШІ.
Ключові характеристики Serge
Працює на CPU
llama.cpp забезпечує повністю локальний висновок без GPU, тому ви можете спілкуватися з квантованими моделями LLaMA на стандартному VPS.
Вбудований реєстр моделей
Завантажуйте та перемикайтеся між моделями Alpaca, Vicuna, GPT4All та іншими моделями GGUF безпосередньо з веб-інтерфейсу без ручного копіювання файлів.
Настроювана інференція
Налаштовуйте температуру, top-k, top-p, довжину контексту та інші параметри генерації для кожного чату, щоб контролювати стиль та якість відповіді.
Постійна історія чату
Розмови та завантажені ваги моделі зберігаються в томах Docker і зберігаються після перезапусків та оновлень контейнерів.
REST API включено
Бекенд FastAPI надає доступ до кінцевих точок чату, моделі та сесії, щоб ви могли інтегрувати Serge з власними скриптами, ботами або застосунками.
Чому варто запускати Serge у Hostinger
Запуск одним кліком
Швидко запустіть застосунок завдяки попередньо налаштованій конфігурації. Жодної ручної інсталяції чи складних кроків налаштування.
Безпека, якій можна довіряти
Захищайте застосунки за допомогою вбудованого файрвола, захисту від DDoS-атак і безперервного моніторингу.
Вбудований Docker Manager
Керуйте кількома Docker-контейнерами з одного місця. Розгортайте, оновлюйте та відстежуйте проєкти легко й зручно.
Запуск одним кліком
Швидко запустіть застосунок завдяки попередньо налаштованій конфігурації. Жодної ручної інсталяції чи складних кроків налаштування.
Безпека, якій можна довіряти
Захищайте застосунки за допомогою вбудованого файрвола, захисту від DDoS-атак і безперервного моніторингу.
Вбудований Docker Manager
Керуйте кількома Docker-контейнерами з одного місця. Розгортайте, оновлюйте та відстежуйте проєкти легко й зручно.
Хостинг Docker VPS, на який можна покластися
Я неймовірно задоволений VPS-хостингом від Hostinger! Аптайм завжди на найвищому рівні, що забезпечує безперебійну роботу мого сайту. Коли мені потрібна була допомога, команда підтримки щоразу надавала професійну консультацію.
Hostinger щоразу вражає! Чатбот ШІ + чат онлайн-підтримки, якщо штучний інтелект не може розв'язати проблему. Дякую команді розробників і всім причетним за блискавичний VPS. Неперевершений досвід 🚀
Найкращий VPS-хостинг за вигідною ціною. Чудовий портал, який поважає час своїх користувачів. Безперебійне резервне копіювання. Професійна підтримка.
Я звернувся до команди підтримки Hostinger після того, як втратив доступ до хостингу n8n. Вдячний за вчасну та ефективну допомогу.
Спасибі Карлі за допомогу з оновленням N8N на моєму VPS Hostinger. Швидко та професійно. Ще раз дякую!
VPS Hostinger – це ідеальне рішення. Він завжди швидкий і ніколи не виходить з ладу.
Я дуже задоволений послугами компанії. Мене вразили доступні ціни та функціональність VPS.