Tērzēšana un LLM secinājumi
Nodrošiniet tērzēšanas robotu, koppilotu un API darbību ar zemas latentuma GPU veiktspēju, kas pieejama visu diennakti. Izmantojiet Ollama un Open WebUI vai izveidojiet savu modeli ar vLLM vai LangChain.
Ieteicamais grafiskais procesors:
L40S
Apkalpot modeļus līdz 30 B parametriem
Palaidiet Ollama ar vienu klikšķi
Vienkārša stundas cenu noteikšana