Hier vergelijk ik de snelheid van verschillende LLM’s die op een GPU met 16 GB VRAM draaien, en kies ik de beste voor self-hosting.

Australië heeft voorraad RTX 5090. Amper. En als je er eentje vindt, betaal je een premie die los staat van de realiteit.

Ollama is het meest tevreden wanneer het wordt behandeld als een lokale daemon: de CLI en uw apps communiceren met een loopback HTTP API, en de rest van het netwerk komt er nooit achter dat het bestaat.

Logs zijn een debug-interface die je nog kunt gebruiken als het systeem in brand staat. Het probleem is dat gewone tekstenlogs slecht verouderen: zodra je filtering, aggregatie en alarmering nodig hebt, begin je met het parsen van zinnen.

Ollama werkt uitstekend op bare metal. Het wordt nog interessanter wanneer je het als een service behandelt: een stabiel eindpunt, vastgezet versies, persistente opslag en een GPU die ofwel beschikbaar is of niet.

Ollama achter een reverse proxy draaien is de eenvoudigste manier om HTTPS, optionele toegangscontrole en voorspelbaar streamgedrag te krijgen.

Als u werkt aan generatie versterkt met ophalen (RAG), leidt dit gedeelte u in eenvoudige taal door tekst-embeddings: wat ze zijn, hoe ze passen binnen zoeken en ophalen, en hoe u twee veelvoorkomende lokale opstellingen in Python kunt aanroepen via Ollama of een OpenAI-compatibele HTTP-API (zoals veel op llama.cpp gebaseerde servers exposen).

Netlify is een van de meest ontwikkelaarvriendelijke manieren om Hugo-sites en moderne webapps te publiceren met een workflow op productieniveau: voorbeeld-URL’s voor elke pull request, atomaire deployments, een wereldwijde CDN en optionele serverless- en edge-mogelijkheden.

Apache Flink is een framework voor stateful computations (berekeningen met toestand) over oneindige en eindige datastromen.

Neo4j is waar je naartoe grijpt wanneer de relaties de data zijn. Als je domein eruitziet als een whitebord met cirkels en pijlen, dan is het pijnlijk om dit in tabellen te dwingen.

Het e-mail op je eigen domein zetten klinkt als een weekendtaak met DNS. In de praktijk is het een klein gedistribueerd systeem met een twintig jaar oude nalatenschap.

Statische websites en blogs veranderen telkens wanneer je ze uitrolt. Zoekmachines die IndexNow ondersteunen, kunnen op de hoogte worden gebracht van deze wijzigingen zonder te hoeven wachten op de volgende blinde crawl.

SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.

Binnenkort juggle je vLLM, llama.cpp en meer – elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1-basis-URL; anders blijf je poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1-proxy voor die stacks.

Apache Kafka 4.2.0 is de huidige ondersteunde release, en vormt de beste basis voor een moderne Quickstart, omdat Kafka 4.x volledig vrij is van ZooKeeper en standaard gebouwd is rondom KRaft.

Oh My Opencode belooft een “virtueel AI-ontwikkelteam” — Sisyphus die specialisten coördineert, taken die parallel worden uitgevoerd en het magische ultrawork-sleutelwoord dat alles activeert.