LLM local / Benchmarks

Notas de lab: 67% LiveCodeBench-30 en un rig de $1.400

20/30 = 67% LiveCodeBench-30 en un mini-PC de $1.400. IC Wilson 95% 49-81%. Easy 10/10, medium 8/10, hard 2/10. Subset n=30. No es la card.

2026-08-204 minLiveCodeBench Qwen3.8-27B Q4_K_XL Strix Halo

Por Simon Gonzalez de Cruz (el build en público en X @KyaniteLabs_). 2026-08-20. Canon: FACTS-PACK.

El número primero: 20/30 = 67% LiveCodeBench-30, best-per-problem entre brazos etiquetados, en un GMKtec EVO-X2 de $1.400. IC Wilson 95% [49%, 81%]. Cita siempre el intervalo. n=30 es chico; el intervalo es el número honesto.

Split: easy 10/10, medium 8/10, hard 2/10. Campeón: Qwen3.8-27B UD-Q4_K_XL, K+V q4_0, temp 0, casos públicos livecodebench v6, estratificado 10/10/10, semilla 20260820.

Una celda de un solo config (2048 tokens, thinking off) dio 13/30, reproducción 14/30, acuerdo per-problem 25/30. Eso es un piso de ruido de ±2 problemas a temp 0. No trates una corrida como exacta.

Thinking: en los 15 problemas donde no-thinking no produjo código a 4096 tokens, thinking (presupuesto 2048) rescató 5. En hard, la prosa se come el código. En HumanEval-30 thinking no compró nada (28/30 idéntico). Línea citable: el razonamiento paga exactamente donde la tarea es dura, nada donde es fácil.

Esto no es la card oficial de LiveCodeBench del set completo. Otro instrumento: corrimos un subset público de 30 a Q4 en esta caja. Solo chequeo de banda, y dilo.

Caveat de contaminación: los problemas v6 (~mayo 2025) son anteriores al modelo. Si acaso el número está inflado contra una ventana limpia. El hallazgo del split hard es la parte conservadora.

Crudo: results/lcb-30-2026-08-20.

Trabajar con Kyanite

¿Quieres que esto funcione en tu entorno?

Si esta nota describe una herramienta o resultado de Kyanite que necesitas, la ayuda de implementación cubre setup, asesoría, docs, ejemplos, checks y un handoff usable.

Enviar intake de implementacion Ver ayuda de implementacion
Límite de fit

Kyanite offers help grounded in its tools, products, and build practice. La consultoria mas amplia se enruta por PuenteWorks.

Mas notas de laboratorio

Sigue el sistema.

Local LLM / Benchmarks6 min
The Delegation Card: we asked a $1,400 mini-PC to take our jobs

Not is-it-smart but can-you-hand-it-work-and-walk-away. 495 trials, certified floors.
LLM local / Serving4 min
Qwen 3.8 27B en Strix Halo: la historia completa, medida

Cada dial medido, cada numero publico: la configuracion optima congelada para un 27B en un mini-PC de $1.400.
Local LLM / Methods3 min
Notas: the measured-knees method for reasoning effort

A methods note on reasoning-effort calibration. Thinking rescued 15/40 hards vs 4/40 off. On easy tasks it bought nothing. Publish the knee.
LLM local / Benchmarks3 min
Notas de lab: revertimos una regresión de llama.cpp

Encontramos una regresión de llama.cpp y la revertimos. Batería n=6 en un rig de $1.400: 0/6 slashes antes, 5/6 después. Mismo Q4_K_XL. No es una historia de quant.
LLM local / Benchmarks3 min
Notas de lab: 93% HumanEval en un rig de $1.400

28/30 = 93% HumanEval en un mini-PC de $1.400. Qwen3.8-27B Q4_K_XL. Temp 0, thinking off. Fallos: 50 y 145. Log crudo linkeado.
LLM local / Benchmarks6 min
Notas de lab: el modelo que no puede olvidar pero no puede recordar

El número primero: este modelo es 75% no transformer. 48 de 64 capas guardan un estado. En un rig de $1.400, carga 198k una vez (1818s) y consulta en 9-27s.
LLM local / Benchmarks7 min
Notas de lab: la cuenca era un bug

Publicamos una cuenca. El hueco era el binario. Tras revertir c7d8722: 6/6 HIT a 198k. Mapa n=1 del build arreglado.
LLM local / Benchmarks5 min
Notas de lab: el veredicto del KV

La pregunta q8-a-q4 del KV de la noche 1 ya tiene respuesta pareada: misma accuracy, cero tripwires, la mitad del cache. Y el label que tuvimos que corregir en público cuando el contador del server le ganó al estimado.
LLM local / Benchmarks5 min
Notas de lab: la noche del veredicto

Un mini-PC de $1.400 sirviendo un 27B a 262k de contexto hace una pregunta: ¿capear cuánto piensa el modelo te cuesta accuracy? La respuesta pareada, el primer intento inválido, y la doctrina que quedó.
LLM local / Benchmarks14 min
Un mini-PC, una noche y los numeros que discutian entre si: afinando Qwen3.8-27B en Strix Halo

Una noche y una tarde de medicion afinando un modelo denso de 27B en un mini-PC Strix Halo: las bandas honestas, la reversion, la doctrina de crashes y la historia detectivesca del EC.
Ruteo de modelos / Sistemas agenticos12 min
GPT-5.6 Sol vs. Terra vs. Luna: politica de ruteo basada en evidencia

La division practica es Sol para descubrir, Terra para ejecutar trabajo acotado y Luna para procesar volumen verificable, cada uno con un contrato distinto.
Implementacion MCP7 min
Los agentes necesitan herramientas verificables, no mejor teatro de prompts

El patron util no es un prompt mas bonito. Es una superficie de herramienta que el agente puede llamar, inspeccionar, verificar y revisar.
Inteligencia de repos6 min
El historial del repo es una señal de producto

Un repo no es solo almacenamiento. Es evidencia de decisiones, reparaciones, releases, cambios de nombre, huecos de pruebas y oficio real.
Implementacion de herramientas de IA7 min
La ayuda de implementacion es parte de la superficie del producto

Una herramienta open source util todavia necesita una ruta desde repo publico hasta entorno funcionando. Esa ruta es producto.
MCP / Automatizacion de video5 min
Por que importa Kinocut

Kinocut da a los agentes de IA herramientas llamables sobre timelines, efectos, Hyperframes y medios terminados en kinocut.dev.
Sistemas agenticos6 min
Monos infinitos, LLMs y el cuarto alrededor de la maquina

El argumento detras del video: la calidad no es solo probabilidad. Es arquitectura, filtros y gusto humano.
Notas de construccion7 min
Lo que una herramienta de IA necesita antes de que alguien pueda usarla

Una guia practica para convertir una herramienta, flujo o app medio cruda en algo que otros puedan entender, instalar y usar.
Implementacion MCP8 min
Checklist de implementacion para servidores MCP

El checklist que Kyanite usa para distinguir un servidor MCP de juguete, una herramienta usable y algo que vale la pena implementar.
Inteligencia de repos7 min
La arqueologia de repos convierte historia en evidencia

Por que el historial de commits es una de las fuentes de prueba mas fuertes para diagnosticos, implementacion y confianza tecnica.
SEO / GEO6 min
El descubrimiento por IA necesita mas que un sitemap

Lo que Kyanite agrega para que buscadores y asistentes de IA entiendan herramientas, productos, prueba y rutas de soporte.