Paigalda Serge ühe klõpsuga.
Ise majutatud vestlusliides LLaMA ja Alpaca mudelite kohapeal käitamiseks llama.cpp kaudu ilma API kuludeta.
Valige VPS-pakett Serge jaoks
Igas paketis on kõik, mida vajad ja palju muud
Millega saab ehitada Serge
Serge on avatud lähtekoodiga vestlusliides LLaMA-perekonna keelemudelite kohalikuks käitamiseks läbi llama.cpp, pakkudes esmaklassilist tuge Alpaca, Vicuna, GPT4All ja teistele kogukonna peenhäälestustele. See koondab SvelteKit veebiliidese, FastAPI taustaprogrammi ja Redis-põhise mudeliregistri ühte konteinerisse, nii et saad tõmmata GGUF mudeleid, hallata vestlusseansse ja häälestada järeldusparameetreid ilma mitut teenust ühendamata.
Serge'i ise majutamine hoiab iga viipa ja vastuse sinu enda VPS-is – puudub väline API, puudub telemeetria ja puuduvad märgi kohta kulud. Ainult CPU-põhine järeldamine töötab kohe karbist välja võttes, muutes selle praktiliseks viisiks privaatsete LLM-ide käitamiseks ilma pilve-GPU aja eest maksmata või kolmanda osapoole AI-teenusega liitumata.
Serge peamised omadused
Töötab CPU-l
llama.cpp toetab täielikult lokaalset järeldamist ilma GPUta, nii et saad vestelda kvantiseeritud LLaMA mudelitega standardse VPS-i peal.
Sisseehitatud mudeliregister
Tõmba ja vaheta Alpaca, Vicuna, GPT4All ja teiste GGUF mudelite vahel otse veebiliidesest, ilma käsitsi faile kopeerimata.
Häälestatav järeldamine
Kohanda temperatuuri, top-k, top-p, konteksti pikkust ja muid genereerimisparameetreid vestluse kohta, et kontrollida vastuse stiili ja kvaliteeti.
Püsiv vestlusajalugu
Vestlused ja allalaaditud mudeli kaalud salvestatakse Docker'i mahtudesse ning säilivad konteineri taaskäivitamisel ja uuendamisel.
REST API kaasas
FastAPI taustaprogramm pakub vestluse, mudeli ja seansi lõpp-punkte, et saaksid Serge'i integreerida kohandatud skriptide, bottide või rakendustega.
Miks kasutada Serge Hostingeris
Käivita ühe klõpsuga
Saate oma rakenduse koheselt tööle panna eelkonfigureeritud seadistusega. Pole vaja käsitsi installida ega keerulisi seadistustoiminguid teha.
Turvalisus, millele saate loota
Hoidke oma rakendusi kaitstud sisseehitatud tulemüüri, DDoS-kaitse ja pideva jälgimisega.
Sisseehitatud Dockeri haldur
Käita ja halda mitut Dockeri konteinerit ühest kohast. Juuruta, uuenda ja jälgi oma projekte hõlpsalt.
Käivita ühe klõpsuga
Saate oma rakenduse koheselt tööle panna eelkonfigureeritud seadistusega. Pole vaja käsitsi installida ega keerulisi seadistustoiminguid teha.
Turvalisus, millele saate loota
Hoidke oma rakendusi kaitstud sisseehitatud tulemüüri, DDoS-kaitse ja pideva jälgimisega.
Sisseehitatud Dockeri haldur
Käita ja halda mitut Dockeri konteinerit ühest kohast. Juuruta, uuenda ja jälgi oma projekte hõlpsalt.
Docker VPS-majutus, millele saate kindel olla
Olen Hostingeri VPS-majutusega uskumatult rahul! Nende tööaeg on pidevalt tipptasemel, hoides minu saidi sujuvalt töökorras. Kui olen abi vajanud, on nende tehniline tugimeeskond olnud kiire, teadlik ja siiralt abivalmis.
Hostingeriga, tehisintellektil põhineva vestlusroboti ja inimvestlusega, on kõik sujuv ja suurepärane, kui tehisintellekt teie küsimust lahendada ei suuda. Ahjaa, ja nende VPS on lihtsalt tuli, ilma tõusude ja mõõnadeta. Tänan arendusmeeskonda ja kõiki teisi asjaosalisi. Jätkake samas vaimus 🚀
Lõpuks ometi VPS-hostinguettevõte, mis teeb seda õigesti! Hea hinna ja kvaliteedi suhe. Suurepärane portaal, mis austab kasutajate aega. Sujuvad varukoopiad. Hea tugi. Usaldusväärne. Tundub kaljukindel.
Pärast seda, kui kaotasin juurdepääsu oma isehostitud n8n instantsile, võtsin ühendust Hostingeri toega ja olin äärmiselt vaimustuses. Kodee ja Mohammad tugimeeskonnast olid uskumatult kannatlikud ja põhjalikud.
Suur tänu Carlale abi eest minu Hostingeri VPS-i N8N uuendamisel. Professionaalne ja asjatundlik, tänan teid veelkord, Carla.
Hostingeri VPS on täiesti suurepärane. See lihtsalt töötab alati. See on alati kiire ja stabiilne. Mitte kunagi ei ole maas ega jookse kokku.
Ettevõttel läheb hästi, olen nende kaudu kasutatavate teenustega väga rahul. Need pole nii kallid kui mõned kohad, kus on tõeliselt head VPS-i seadistused ja hinnaplaanid.