Benchmark LLM Local

Mejores combinaciones por criterio

Mismos jobs vistos desde 4 ángulos distintos

Calidad promedio por modelo y parser

Score promedio de todos los jobs con esa combinación

Velocidad promedio por modelo y parser

Segundos promedio por pregunta de todos los jobs con esa combinación

Exactitud vs tiempo total de corrida

Cada punto es un job completo (14 preguntas × 2 contrataciones). Abajo a la derecha = rápido pero impreciso; arriba a la izquierda = preciso pero lento. Coloreado por modelo.

Pre-cache

Estado del armado de caché por parser (etapa previa a los jobs LLM), siempre completo — no se filtra. Para ver un parser descartado en los gráficos de abajo o en Jobs LLM/Modelos, tildalo en el filtro de Parser dentro de Filtros. Causa de cada fallo/exclusión en Descartados.

Velocidad de parseo

Páginas por segundo en pre-cache

Cobertura de pre-cache

% de páginas cacheadas exitosamente (de 867 totales)

Impacto en calidad LLM por parser

Score promedio de los jobs LLM por parser

Score promedio por modelo

Promedio sobre todos los jobs completados

Velocidad de inferencia

Segundos promedio por pregunta

Score por tipo de pregunta

Desagregado por modelo y tipo de evaluación

xPregunta

Por qué ninguna corrida saca las 14 preguntas exactas: tasa de acierto por pregunta, modelo y contratación, agrupadas por cuánto puede afectar la combinación de parser/RAG a cada una.

Cargando…

Parsers descartados del benchmark

Opciones que no son solución válida y se excluyen de las métricas de calidad. Se distingue entre fallido (tiene un fallo concreto registrado, ej. timeout) y excluido (descarte manual porque el bug no dejó registrar el fallo). Todos sus jobs LLM quedan bloqueados.

Combinaciones descartadas por timeout de job

Combos que exceden el presupuesto de tiempo por consulta (semantic + infinity sobre documentos grandes). No es un parser entero, son combinaciones puntuales.