Triển khai Serge với 1 nhấp.
Giao diện trò chuyện tự lưu trữ để chạy các mô hình LLaMA và Alpaca cục bộ thông qua llama.cpp mà không tốn chi phí API.
Chọn gói VPS cho Serge
Mỗi gói đều có mọi thứ bạn cần và hơn thế nữa
Những gì bạn có thể xây dựng với Serge
Serge là một giao diện trò chuyện mã nguồn mở để chạy các mô hình ngôn ngữ thuộc dòng LLaMA cục bộ thông qua llama.cpp, với sự hỗ trợ hàng đầu cho Alpaca, Vicuna, GPT4All và các mô hình tinh chỉnh khác của cộng đồng. Nó tích hợp giao diện web SvelteKit, phần phụ trợ FastAPI và một kho đăng ký mô hình được hỗ trợ bởi Redis vào một container duy nhất, để bạn có thể tải các mô hình GGUF, quản lý các phiên trò chuyện và điều chỉnh các tham số suy luận mà không cần kết nối nhiều dịch vụ.
Tự host Serge giữ mọi lời nhắc và phản hồi trên VPS của riêng bạn — không có API bên ngoài, không có đo từ xa và không có chi phí cho mỗi token. Suy luận chỉ bằng CPU hoạt động ngay lập tức, biến nó thành một cách thiết thực để chạy các LLM riêng tư mà không phải trả tiền cho thời gian GPU trên đám mây hoặc đăng ký dịch vụ AI của bên thứ ba.
Các tính năng chính của Serge
Chạy trên CPU
llama.cpp hỗ trợ suy luận hoàn toàn cục bộ mà không cần GPU, vì vậy bạn có thể trò chuyện với các mô hình LLaMA đã được lượng tử hóa trên một VPS tiêu chuẩn.
Kho lưu trữ mô hình tích hợp
Kéo và chuyển đổi giữa Alpaca, Vicuna, GPT4All, và các mô hình GGUF khác trực tiếp từ web UI mà không cần sao chép tệp thủ công.
Suy luận có thể tinh chỉnh
Điều chỉnh nhiệt độ, top-k, top-p, độ dài ngữ cảnh và các thông số tạo sinh khác cho mỗi cuộc trò chuyện để kiểm soát phong cách và chất lượng phản hồi.
Lịch sử trò chuyện liên tục
Các cuộc trò chuyện và trọng số mô hình đã tải xuống được lưu trữ trong Docker volumes và tồn tại qua khởi động lại container và nâng cấp.
REST API kèm theo
FastAPI backend cung cấp các endpoint chat, model và session để bạn có thể tích hợp Serge với các script, bot hoặc app tùy chỉnh.
Tại sao lại chạy Serge trên Hostinger
Khởi chạy với một nhấp chuột
Khởi chạy ứng dụng của bạn ngay lập tức với thiết lập được cấu hình sẵn. Không cần cài đặt thủ công hoặc các bước thiết lập phức tạp.
Bảo mật đáng tin cậy
Bảo vệ ứng dụng của bạn với tích hợp sẵn tường lửa, bảo vệ chống DDoS và giám sát liên tục.
Trình quản lý Docker tích hợp sẵn
Chạy và quản lý nhiều container Docker từ một nơi duy nhất. Triển khai, cập nhật và giám sát dự án một cách dễ dàng.
Khởi chạy với một nhấp chuột
Khởi chạy ứng dụng của bạn ngay lập tức với thiết lập được cấu hình sẵn. Không cần cài đặt thủ công hoặc các bước thiết lập phức tạp.
Bảo mật đáng tin cậy
Bảo vệ ứng dụng của bạn với tích hợp sẵn tường lửa, bảo vệ chống DDoS và giám sát liên tục.
Trình quản lý Docker tích hợp sẵn
Chạy và quản lý nhiều container Docker từ một nơi duy nhất. Triển khai, cập nhật và giám sát dự án một cách dễ dàng.
Docker VPS hosting đáng tin cậy
Tôi cực kỳ hài lòng với dịch vụ lưu trữ VPS của Hostinger! Thời gian hoạt động luôn ở mức cao nhất, giúp trang web hoạt động trơn tru. Bất cứ khi nào tôi cần hỗ trợ, đội ngũ hỗ trợ kỹ thuật luôn nhanh chóng, hiểu biết và thực sự hữu ích.
Mọi thứ đều mượt mà và tuyệt vời với Hostinger, cả chatbot AI lẫn người thật, nếu AI không thể giải quyết được câu hỏi của bạn. Còn VPS thì tuyệt vời, không có gì phải bàn cãi. Cảm ơn đội ngũ phát triển và tất cả mọi người đã tham gia. Hãy tiếp tục phát huy nhé 🚀
Cuối cùng cũng có một công ty cung cấp VPS đúng như ý! Giá cả phải chăng. Cổng thông tin tuyệt vời, tiết kiệm thời gian của người dùng. Sao lưu liền mạch. Hỗ trợ tốt. Đáng tin cậy. Cảm giác như đang ở nhà.
Tôi đã liên hệ với bộ phận hỗ trợ của Hostinger sau khi mất quyền truy cập vào máy chủ n8n tự lưu trữ của mình, và tôi vô cùng ấn tượng. Kodee và Mohammad từ đội ngũ hỗ trợ đã vô cùng kiên nhẫn và chu đáo.
Cảm ơn Carla rất nhiều vì đã giúp tôi nâng cấp N8N trên VPS Hostinger. Cảm ơn Carla một lần nữa vì sự chuyên nghiệp và hiểu biết của bạn.
Hostinger VPS thực sự tuyệt vời. Nó luôn hoạt động tốt, nhanh chóng và ổn định. Chưa bao giờ ngừng hoạt động hay bị lỗi.
Công ty đang hoạt động rất tốt, tôi rất hài lòng với các dịch vụ cụ thể mà tôi sử dụng. Giá cả cũng không quá đắt so với những nơi khác, đặc biệt là với các gói VPS giá rẻ được thiết lập rất tốt.