Velocidad de tokens de llama.cpp con 16 GB de VRAM (tablas).
Aquí comparo la velocidad de varios LLMs ejecutándose en una GPU con 16 GB de VRAM, y elijo el mejor para autoalojamiento.
La RTX 5090 en Australia es escasa y sobrevalorada.
Australia tiene existencias de la RTX 5090. Escasamente. Y si encuentras una, pagarás un sobreprecio que parece desconectado de la realidad.
Acceso remoto a Ollama sin puertos públicos
Ollama funciona mejor cuando se trata como un demonio local: la CLI y sus aplicaciones se comunican con una API HTTP de bucle local, y el resto de la red nunca descubre su existencia.
Registros JSON consultables que se conectan a trazas.
Los registros (logs) son una interfaz de depuración que puedes seguir utilizando incluso cuando el sistema está en llamas. El problema es que los registros en texto plano envejecen mal: en cuanto necesitas filtrado, agregación y alertas, empiezas a analizar oraciones.
Servidor Ollama con prioridad en composición, GPU y persistencia.
Ollama funciona muy bien en hardware físico (bare metal). Se vuelve aún más interesante cuando lo tratas como un servicio: un punto de conexión estable, versiones fijas, almacenamiento persistente y una GPU que está disponible o no lo está.
HTTPS con Ollama sin interrumpir las respuestas en streaming.
Ejecutar Ollama detrás de un proxy inverso es la forma más sencilla de obtener HTTPS, control de acceso opcional y un comportamiento de transmisión predecible.
Incrustaciones RAG: Python, Ollama y las APIs de OpenAI.
Si estás trabajando en generación aumentada con recuperación (RAG), esta sección explica los incrustados de texto (text embeddings) en términos sencillos: qué son, cómo se integran en la búsqueda y la recuperación, y cómo llamar a dos configuraciones locales comunes desde Python usando Ollama o una API HTTP compatible con OpenAI (como la que exponen muchos servidores basados en llama.cpp).
Despliegues basados en Git, CDN, créditos y compensaciones.
Netlify es una de las formas más amigables para desarrolladores de lanzar sitios Hugo y aplicaciones web modernas con un flujo de trabajo de nivel de producción: URL de vista previa para cada solicitud de extracción, despliegues atómicos, una CDN global y capacidades de servidor y de borde opcionales.
Streaming con estado, puntos de control, K8s, PyFlink, Go.
Apache Flink es un marco para computaciones con estado sobre flujos de datos acotados y no acotados.
Grafos, Cypher, vectores y endurecimiento de operaciones.
Neo4j es a lo que recurres cuando las relaciones son los datos. Si tu dominio parece un pizarrón lleno de círculos y flechas, forzarlo en tablas es doloroso.
Actualiza los URL en los motores de búsqueda después del despliegue.
Los sitios estáticos y los blogs cambian cada vez que realizas una implementación. Los motores de búsqueda que admiten IndexNow pueden enterarse de esos cambios sin tener que esperar al próximo rastreo ciego.
Elija un correo electrónico alojado para su dominio sin arrepentimientos.
Poner el correo electrónico en tu propio dominio suena como una tarea de DNS para el fin de semana. En la práctica, es un pequeño sistema distribuido con una herencia de veinte años.
Sirva modelos abiertos rápidamente con SGLang.
SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.
Intercambio en caliente de modelos LLM locales sin modificar los clientes.
Pronto estarás manejando vLLM, llama.cpp y más, cada pila en su propio puerto. Todo lo que hay aguas abajo sigue queriendo una URL base /v1; de lo contrario, seguirás reorganizando puertos, perfiles y scripts de una sola vez. llama-swap es el proxy /v1 antes de esas pilas.
Instale Kafka 4.2 y transmita eventos en minutos.
Apache Kafka 4.2.0 es la versión actual admitida y es la mejor base para una implementación rápida moderna, ya que Kafka 4.x carece completamente de ZooKeeper y se basa en KRaft de forma predeterminada.
¿Qué sucede realmente cuando ejecutas Ultrawork?
Oh My Opencode promete un “equipo de desarrollo de IA virtual”: Sisyphus orquestando especialistas, tareas ejecutándose en paralelo y la palabra mágica ultrawork activando todo ello.