Telepítse Serge-et egyetlen kattintással.
Saját üzemeltetésű csevegőfelület LLaMA és Alpaca modellek helyi futtatásához a llama.cpp segítségével, API költségek nélkül.
Válasszon VPS csomagot a Serge szolgáltatáshoz
A csomagok mindent tartalmaznak, amire szüksége van, sőt, annál többet is
Erre jó a Serge
A Serge egy nyílt forráskódú csevegőfelület. Ezen keresztül helyben futtathatók a LLaMA-családba tartozó nyelvi modellek a llama.cpp segítségével. Első osztályú támogatást nyújt az Alpaca, Vicuna, GPT4All és más közösségi finomhangolások számára. Egyetlen konténerbe foglalja a SvelteKit webes felhasználói felületet, egy FastAPI backendet és egy Redis-alapú modellregisztert. Így GGUF modelleket tölthet le, csevegési munkameneteket kezelhet, és finomhangolhatja a következtetési paramétereket. Ehhez nem kell több szolgáltatást összekötnie.
A Serge saját üzemeltetése minden promptot és választ a saját VPS-én tart. Nincs külső API, telemetria, és nincsenek tokenenkénti költségek. A csak CPU-alapú következtetés azonnal működik. Ez praktikus módja a privát LLM-ek futtatásának. Nem kell felhőalapú GPU időért fizetni, sem harmadik féltől származó AI szolgáltatásra feliratkozni.
A Serge főbb funkciói
CPU-n fut
A llama.cpp teljesen helyi következtetést tesz lehetővé GPU nélkül, így kvantált LLaMA modellekkel cseveghetsz egy szabványos VPS-en.
Beépített modell nyilvántartás
Letölthet és válthat az Alpaca, Vicuna, GPT4All és más GGUF modellek között közvetlenül a webes felhasználói felületről, manuális fájlmásolás nélkül.
Hangolható inferencia
Állítsa be a temperature, top-k, top-p, kontextus hosszát és egyéb generálási paramétereket chatenként, hogy szabályozza a válasz stílusát és minőségét.
Tartós csevegési előzmények
A beszélgetések és a letöltött modelsúlyok Docker kötetekben tárolódnak, és túlélik a konténer újraindításokat és frissítéseket.
REST API mellékelve
A FastAPI backend chat, modell és munkamenet végpontokat nyújt, így integrálhatja Serge-et egyedi szkriptekkel, botokkal vagy alkalmazásokkal.
Ezért érdemes a Hostingeren futtatni a Serge szolgáltatást
Egykatintásos publikálás
Az előre konfigurált beállításnak köszönhetően azonnal beállíthatja és futtathatja alkalmazását. Nincs szükség manuális telepítésre vagy bonyolult beállítási lépésekre.
Biztonság, amire számíthat
Védje alkalmazásait beépített tűzfallal, DDoS-védelemmel és folyamatos ellenőrzéssel.
Beépített Docker kezelő
Több Docker konténert futtathat és kezelhet egy helyen. Könnyedén telepítheti, frissítheti és felügyelheti projektjeit.
Egykatintásos publikálás
Az előre konfigurált beállításnak köszönhetően azonnal beállíthatja és futtathatja alkalmazását. Nincs szükség manuális telepítésre vagy bonyolult beállítási lépésekre.
Biztonság, amire számíthat
Védje alkalmazásait beépített tűzfallal, DDoS-védelemmel és folyamatos ellenőrzéssel.
Beépített Docker kezelő
Több Docker konténert futtathat és kezelhet egy helyen. Könnyedén telepítheti, frissítheti és felügyelheti projektjeit.
Docker VPS tárhely, amire számíthat
Hihetetlenül elégedett vagyok a Hostinger VPS tárhelyszolgáltatásával! Az üzemidejük folyamatosan elsőrangú, így az oldalam kiválóan működik. Valahányszor segítségre volt szükségem, a technikai támogató csapatuk gyors, hozzáértő és valóban segítőkész volt.
Minden simán és nagyszerűen megy a Hostingerrel; az AI-alapú csevegőrobot segít, és ha az már nem elég, akkor emberrel is cseveghetek. Ja, és a VPS-ük simán működik, nincsenek problémák. Köszönöm a fejlesztőcsapatnak és mindenkinek, akit még köszönet illet. Csak így tovább 🚀
Végre egy VPS hosting cég, amely jól csinálja! Jók az árak, a portál pedig kiváló, és nem vesztegeti a felhasználók idejét. Zökkenőmentes biztonsági mentések, jó ügyfélszolgálat, megbízható szolgáltatás. Atombiztosnak tűnik.
Azt követően léptem kapcsolatba a Hostinger ügyfélszolgálatával, hogy elvesztettem a hozzáférést az önállóan tárolt n8n példányomhoz, és teljesen lenyűgöztek. A Kodee és az ügyfélszolgálat munkatársa, Mohammad hihetetlenül türelmesek és alaposak voltak.
Nagyon köszönöm Carlának, hogy segített az N8N frissítésben a Hostinger VPS-emen, igazán professzionális és hozzáértő volt. Még egyszer köszönöm, Carla.
A Hostinger VPS szolgáltatása abszolút kiemelkedő. Egyszerűen mindig működik, mindig gyors és stabil. Soha nem áll le, soha nem omlik össze.
A cég jól teljesít, nagyon elégedett vagyok a tőlük igénybe vett szolgáltatásokkal. Nem olyan drágák, mint más helyek, a VPS-beállítások és az árak pedig igazán nagyszerűek.