Benchmark de clasificación de documentos con IA
Un framework transparente para comparar un LLM generalista (por ejemplo Gemini) con un modelo local especializado: precisión, latencia y coste por documento. Sin cifras inventadas.
Qué comparamos (y qué no)
Comparamos dos familias de enfoque en clasificación documental: un LLM generalista vía API frente a un modelo especializado desplegado en entorno controlado (local / privado). Las dimensiones son precisión de tipificación, latencia p50/p95 y coste aproximado en € por documento.
No publicamos rankings de vendors ni métricas de terceros. Cualquier resultado numérico que aparezca en esta página procederá exclusivamente del conjunto de prueba anonimizado de Magnum, cuando esté listo para publicación.
Metodología del experimento
El protocolo está pensado para ser reproducible en un piloto con el cliente y, más adelante, en un informe público sin datos identificables.
- Corpus: documentos reales anonimizados (facturas, albaranes, notas de crédito, extractos, otros) con etiquetas humanas de referencia
- Métricas: accuracy / F1 por clase, latencia, coste estimado por documento y tasa de rechazo / revisión humana
- Condiciones: mismo prompt o política de tipificación, mismos timeouts y misma definición de “éxito”
- Separación train/eval cuando el modelo especializado se ajuste; el generalista se evalúa zero-shot o con las mismas instrucciones
Resultados pendientes / experimento en sombra
Todavía no hay cifras públicas en esta página. Estamos preparando el dataset anonimizado y el protocolo de medición. Publicaremos resultados solo cuando el conjunto de prueba de Magnum esté listo y revisado; hasta entonces no mostramos porcentajes ni tablas de rendimiento inventadas.
Si tu organización quiere contribuir documentos anonimizados o contrastar el framework con tu tipología, contacta: el experimento en sombra admite partners bajo NDA.
Cómo usar el framework en tu decisión de compra
Antes de elegir “el modelo más potente”, define clases, coste de error y si los datos pueden salir del perímetro. Un generalista puede bastar en volúmenes bajos; un modelo local suele ganar cuando hay latencia, privacidad o coste unitario bajo volumen alto.
Magnum aplica este mismo criterio en el business case y en la validación del piloto: si no hay ROI medido, no escalamos.