Measured Research / Speculative Decoding

Play-1: the acceptance-inversion result

The measured nmax2 acceptance inversion: 72.2% versus 22.7% for the draft-12 control. Throughput and engine comparisons, with single-lab limits.

2026-09-283 minPlay-1 speculative decoding acceptance

Research report in English · KyaniteLabs Research. First published September 28, 2026. Original public report. This edition consolidates the report and preserves its original limits.

The nmax2 drafter accepted 72.2% against 22.7% for the draft-12 control in this measured workload. Acceptance is one result. The throughput figures and the limits belong beside it.

The reported measurements

  • Draft-12 control: 17.5 tokens per second.
  • nmax2-np2: 25.4 tokens per second.
  • nmax3: 28.5 tokens per second.
  • nmax4: 23.9 tokens per second.
  • Engine comparison on the same box: HIP 20.8 tokens per second; Vulkan 9.2.

The nmax3 figure is higher than nmax2-np2 in the reported run. That does not turn this short report into a universal configuration ranking. The original report does not supply sample counts, confidence intervals, every comparison table or a full reproduction recipe.

What backs these numbers

The September 28 report states that every figure was dual-verified. Its named verification record is research/floor-optimization/window4/W4-VERIFICATION-RECEIPT-20260925.md. That is the original report's provenance statement; this page does not claim a new independent verification of the underlying experiment.

Limits

One lab, one box class and the lab's own workloads. No external reproduction is claimed. Acceptance percentages are not tokens per second, and these figures do not establish a general speedup for other hardware or models.

This edition preserves the already-public measurements. It adds no new experimental result.

Trabajar con Kyanite

¿Quieres que esto funcione en tu entorno?

Si esta nota describe una herramienta o resultado de Kyanite que necesitas, la ayuda de implementación cubre setup, asesoría, docs, ejemplos, checks y un handoff usable.

Enviar intake de implementacion Ver ayuda de implementacion
Límite de fit

Kyanite offers help grounded in its tools, products, and build practice. La consultoria mas amplia se enruta por PuenteWorks.

Mas notas de laboratorio

Sigue el sistema.

Measured Research / Evidence Custody4 min
Adversarial custody chains: keep the attacks in the record

Signed permissions and hash-chained receipts catch real bypasses. Two acceptance-path defects were still open in the source report.
Measured Research / Local Image Generation4 min
Local image generation, measured on a consumer APU

Measured sampler costs, guidance timing and model reload overhead. Quality judgments remain single-judge observations, not a leaderboard.
Model Routing / Agent Systems8 min
GPT-6 Sol vs. Luna vs. Astra: a routing policy for coding agents — and when local still wins

A routing policy for the actual GPT-6 lineup: Sol for discovery and coding, Luna for bounded high-volume processing, Astra when nothing else holds — each with a verification contract, and the lanes where a local 27B still beats all three.
Benchmarks / Agents6 min
The Equalizer Bench: a 3B that can't write ffmpeg, the same 3B shipping video edits, and the bug our own benchmark caught

We benchmarked our own thesis: tiny model + deterministic guardrail layer vs raw capability. The curve is textbook, the trim trap is real, and the bench indicted our own product before anyone else could.
Local LLM / Serving7 min
The One-Line Bug That Crashed Our Fast Lane: finding, fixing, and measuring a speculative-decoding crash on a $1,400 mini-PC

Spec decoding crashed our fastest lane on day one. The bug was one missing line in our fork; the fix bought +17.7% and a surprise about draft quantization.
Local AI Infrastructure8 min
Dos modelos, una mini-PC de $1,400: los números emparejados, fracasos incluidos

Un modelo de razonamiento de 35B ya corre junto a nuestro 27B diario en una caja de $1,400, al mismo tiempo. Cada número emparejado, mismos problemas, misma máquina. Los fracasos también están aquí.
Forward Deployed Engineering6 min
How I became a forward deployed engineer without a software engineer title

The title is new; the work is old. Twelve years of enterprise deployments plus public, measured AI work. The honest path, artifacts included.
Forward Deployed Engineering7 min
Evals are the FDE skill nobody lists: my 495-trial public benchmark

The market says it cannot find people who can build AI evals. The skill is learnable and I published mine: 495 trials, certified floors, sabotage cell, open source.
Forward Deployed Engineering6 min
Forward deployed vs solutions engineer vs implementation vs customer engineer: el decodificador

Cuatro títulos, una familia de trabajo, barras de código distintas. Un decodificador para leer cualquier vacante y saber en qué te estás metiendo.
Forward Deployed Engineering7 min
Qué hace realmente un forward deployed engineer

La respuesta directa y luego los recibos: todo el trabajo de un FDE sobre un mini-PC de $1.400, con evals públicas.
Local LLM / Benchmarks6 min
The Delegation Card: we asked a $1,400 mini-PC to take our jobs

Not is-it-smart but can-you-hand-it-work-and-walk-away. 495 certified trials, then re-validated at deeper n after the product changed: 965 total, floors to 92.8%.
LLM local / Serving4 min
Qwen 3.8 27B en Strix Halo: la historia completa, medida

Cada dial medido, cada numero publico: la configuracion optima congelada para un 27B en un mini-PC de $1.400.
Local LLM / Methods3 min
Notas: the measured-knees method for reasoning effort

A methods note on reasoning-effort calibration. Thinking rescued 15/40 hards vs 4/40 off. On easy tasks it bought nothing. Publish the knee.
LLM local / Benchmarks4 min
Notas de lab: 67% LiveCodeBench-30 en un rig de $1.400

20/30 = 67% LiveCodeBench-30 en un mini-PC de $1.400. IC Wilson 95% 49-81%. Easy 10/10, medium 8/10, hard 2/10. Subset n=30. No es la card.
LLM local / Benchmarks3 min
Notas de lab: revertimos una regresión de llama.cpp

Encontramos una regresión de llama.cpp y la revertimos. Batería n=6 en un rig de $1.400: 0/6 slashes antes, 5/6 después. Mismo Q4_K_XL. No es una historia de quant.
LLM local / Benchmarks3 min
Notas de lab: 93% HumanEval en un rig de $1.400

28/30 = 93% HumanEval en un mini-PC de $1.400. Qwen3.8-27B Q4_K_XL. Temp 0, thinking off. Fallos: 50 y 145. Log crudo linkeado.
LLM local / Benchmarks6 min
Notas de lab: el modelo que no puede olvidar pero no puede recordar

El número primero: este modelo es 75% no transformer. 48 de 64 capas guardan un estado. En un rig de $1.400, carga 198k una vez (1818s) y consulta en 9-27s.
LLM local / Benchmarks7 min
Notas de lab: la cuenca era un bug

Publicamos una cuenca. El hueco era el binario. Tras revertir c7d8722: 6/6 HIT a 198k. Mapa n=1 del build arreglado.
LLM local / Benchmarks5 min
Notas de lab: el veredicto del KV

La pregunta q8-a-q4 del KV de la noche 1 ya tiene respuesta pareada: misma accuracy, cero tripwires, la mitad del cache. Y el label que tuvimos que corregir en público cuando el contador del server le ganó al estimado.
LLM local / Benchmarks5 min
Notas de lab: la noche del veredicto

Un mini-PC de $1.400 sirviendo un 27B a 262k de contexto hace una pregunta: ¿capear cuánto piensa el modelo te cuesta accuracy? La respuesta pareada, el primer intento inválido, y la doctrina que quedó.
LLM local / Benchmarks14 min
Un mini-PC, una noche y los numeros que discutian entre si: afinando Qwen3.8-27B en Strix Halo

Una noche y una tarde de medicion afinando un modelo denso de 27B en un mini-PC Strix Halo: las bandas honestas, la reversion, la doctrina de crashes y la historia detectivesca del EC.
Implementacion MCP7 min
Los agentes necesitan herramientas verificables, no mejor teatro de prompts

El patron util no es un prompt mas bonito. Es una superficie de herramienta que el agente puede llamar, inspeccionar, verificar y revisar.
Inteligencia de repos6 min
El historial del repo es una señal de producto

Un repo no es solo almacenamiento. Es evidencia de decisiones, reparaciones, releases, cambios de nombre, huecos de pruebas y oficio real.
Implementacion de herramientas de IA7 min
La ayuda de implementacion es parte de la superficie del producto

Una herramienta open source util todavia necesita una ruta desde repo publico hasta entorno funcionando. Esa ruta es producto.
MCP / Automatizacion de video5 min
Por que importa Kinocut

Kinocut da a los agentes de IA herramientas llamables sobre timelines, efectos, Hyperframes y medios terminados en kinocut.dev.
Sistemas agenticos6 min
Monos infinitos, LLMs y el cuarto alrededor de la maquina

El argumento detras del video: la calidad no es solo probabilidad. Es arquitectura, filtros y gusto humano.
Notas de construccion7 min
Lo que una herramienta de IA necesita antes de que alguien pueda usarla

Una guia practica para convertir una herramienta, flujo o app medio cruda en algo que otros puedan entender, instalar y usar.
Implementacion MCP8 min
Checklist de implementacion para servidores MCP

El checklist que Kyanite usa para distinguir un servidor MCP de juguete, una herramienta usable y algo que vale la pena implementar.
Inteligencia de repos7 min
La arqueologia de repos convierte historia en evidencia

Por que el historial de commits es una de las fuentes de prueba mas fuertes para diagnosticos, implementacion y confianza tecnica.
SEO / GEO6 min
El descubrimiento por IA necesita mas que un sitemap

Lo que Kyanite agrega para que buscadores y asistentes de IA entiendan herramientas, productos, prueba y rutas de soporte.
Contribution Economy6 min
La Contribution Economy de ResonantDAO, explicada con recibos

Lo contrario de un DAO normal: primero la contribución verificada, el token después. El primer análisis en español del movimiento, con recibos.