Een LLM hosten op een dedicated server: uw AI, uw data
Draai uw eigen groot taalmodel op een dedicated Kimsufi-server. Gereserveerde bronnen, volledige root-toegang, datacenters gecertificeerd ISO 27001: uw prompts en uw documenten blijven op uw infrastructuur. Om met kleine modellen te starten volstaat de processor; voor de grotere brengt de RISE-GPU-1 een GPU aan.
Waarom een LLM in eigen beheer hosten?
Een LLM (Large Language Model, of groot taalmodel) is een deep-learningmodel dat op enorme tekstvolumes is getraind. Het genereert, vat samen, vertaalt, classificeert of haalt informatie in natuurlijke taal op. Het is de motor van chatbots, schrijfassistenten, AI-agents en het zoeken in uw documenten (RAG).
Om er gebruik van te maken bestaan er twee wegen: de API van een aanbieder aanroepen (OpenAI, Mistral AI, Anthropic...) of een open-sourcemodel lokaal laten draaien, op uw eigen machine. De cloud-API blijft het eenvoudigst om te starten en geeft toegang tot de meest geavanceerde modellen. Self-hosting neemt het over wanneer één van die behoeften prioriteit wordt:
- Vertrouwelijkheid: contracten, klantendata, broncode of HR-dossiers verlaten uw infrastructuur niet. Geen enkele prompt wordt naar een derde partij gestuurd.
- Voorspelbare kosten: een LLM gehost op uw dedicated kost de prijs van de machine, ongeacht het aantal queries. De aanbieders factureren per token; intensief en regelmatig gebruik doet de rekening snel stijgen.
- Personalisatie: u kiest het model, zijn kwantisatie, zijn contextgrootte en uw systeeminstructies, en u kunt het aanpassen aan uw data via fine-tuning of het koppelen aan uw documentenbasis.
- Stabiliteit: geen quotum opgelegd door een aanbieder, geen opgelegde versiewissel. Het model dat u hebt gevalideerd blijft degene die antwoordt.
Kimsufi, de Eco-reeks van OVHcloud, levert unmanaged dedicated servers: u installeert en beheert de inferentie-engine, het model en de interface, met de hand aan de hele keten.
Waarom een dedicated Kimsufi-server om een LLM te hosten?
Gereserveerde bronnen
Processor, RAM en opslag deelt u met niemand: de generatiesnelheid van uw model hangt niet af van de last van andere klanten.
Volledige root-toegang
Installeer Ollama, vLLM of de engine van uw keuze, selecteer uw modellen en stel elke inferentieparameter af. Niets wordt opgelegd, van de Linux-distributie tot het formaat van de modellen.
Data onder controle
Datacenters gecertificeerd ISO 27001 en anti-DDoS-bescherming inbegrepen op alle aanbiedingen: uw prompts en uw documenten blijven op een machine die u beheert.
Beheersbare kosten
Onbeperkt verkeer is inbegrepen en u betaalt niet per token: de kost van uw LLM stijgt niet mee met het aantal gebruikers of queries.
Chargement du catalogue…
Toepassingen: wat een self-hosted LLM uw team brengt
Een LLM gehost op uw eigen server dient zelden één project. Enkele gebruiksvoorbeelden:
- Interne assistent: Open WebUI maakt het mogelijk om uw teams een privéchat aan te bieden, in de stijl van ChatGPT, zonder dat één gesprek het bedrijf verlaat.
- Documentonderzoek (RAG): de LLM antwoordt vanuit uw kennisbank, uw procedures of uw contracten, met vermelding van zijn bronnen. Een vectordatabase zoals Qdrant of pgvector indexeert de documenten.
- Batchverwerking: tickets classeren, velden uit facturen halen, verslagen samenvatten of data anonimiseren, 's nachts, zonder tijdsdruk op de antwoordtijd.
- Codeassistent: een tool zoals de uitbreiding Continue koppelt aan uw lokale endpoint en helpt uw ontwikkelaars zonder hun code naar een externe dienst te sturen.
- Agents en automatisering: uw n8n-workflows of uw agents roepen het lokale LLM aan om te sorteren, te schrijven of te beslissen, in plaats van een API die per oproep wordt gefactureerd.
Eénzelfde server kan meerdere van die diensten hosten, op voorwaarde dat u het geheugen en de rekencapaciteit voor het geheel afmeet.
Cloud-API, GPU per uur of dedicated server: welke hosting voor uw LLM?
Vier grote opties voor LLM-hosting bestaan naast elkaar, elk aangepast aan een gebruik:
- De API van een aanbieder: geen infrastructuur te beheren, de krachtigste modellen, een facturatie per token. Ideaal om een project te prototypen of voor kleine volumes, minder geschikt voor gevoelige data en intensieve toepassingen.
- De cloud-GPU per uur: GPU-instanties gehuurd op aanvraag, nuttig voor een training of een punctuele rekenspits. De kost varieert met de gebruikstijd en de opstart wordt elke sessie opnieuw gedaan als u niets bewaart.
- De dedicated server: een volledige machine waarop uw LLM permanent draait, met een vaste kost en de controle over de data.
- On-premise: uw eigen hardware in uw gebouwen. Maximale controle, maar de aankoop van de hardware, elektriciteit, koeling en onderhoud zijn voor uw rekening.
Het dedicated ligt tussen de twee uitersten: de beheersbaarheid van on-premise, zonder de hardware-investering of het beheer van een technisch lokaal. Het is een relevante optie voor een LLM dat dagelijks door een team of door een productieapplicatie wordt gebruikt, en het natuurlijke instappunt van self-hosting wanneer de publieke cloud niet meer volstaat.
Wat is een LLM in AI?
Een LLM (Large Language Model) is een deep-learningmodel dat op enorme tekstvolumes is getraind om natuurlijke taal te begrijpen en te genereren. U vindt het terug in chatbots, ondersteund schrijven, vertaling, documentanalyse en AI-agents.
Hoe host u uw eigen AI?
Kies een infrastructuur (dedicated server op CPU of GPU), installeer een inferentie-engine zoals Ollama of vLLM, download het model, stel een beveiligde API bloot en volg de bronnen op. Voorzie ook back-ups en regelmatige updates.
Kunt u een LLM hosten zonder GPU?
Ja. De kleine gekwantiseerde modellen draaien op CPU met Ollama, met een tragere generatie dan met een grafische kaart. Dat past bij tests, weinig geraadpleegde interne assistenten en batchverwerking. Voor grote modellen of tal van gelijktijdige gebruikers is een GPU-server zoals de RISE-GPU-1 nodig.
Wat is het verschil tussen een LLM en AI?
Kunstmatige intelligentie bundelt alle technieken die een machine toelaten problemen op te lossen: beeldherkenning, aanbeveling, robotica, taal. Een LLM is een subcategorie ervan, gespecialiseerd in de verwerking van natuurlijke taal.
Welk open-source LLM kiest u?
Het hangt af van uw project, de taal en uw hardware. Llama, Mistral, Qwen en Gemma behoren tot de meest verspreide families bij self-hosting; Mistral AI, een Franse uitgever, publiceert modellen met open gewichten. Test twee of drie kandidaten op uw eigen data vóór u kiest.
Hoeveel kost de hosting van een LLM?
Met een open-sourcemodel dat bij u wordt gehost is er geen facturatie per token: u betaalt de infrastructuur. De prijs van een Kimsufi-server hangt af van de reeks (KS, SYS, RISE of RISE-GPU-1), de configuratie en het land; ze wordt getoond op elk aanbod. Onbeperkt verkeer is inbegrepen.