Benchmark de classificació de documents amb IA
Un framework transparent per comparar un LLM generalista (per exemple Gemini) amb un model local especialitzat: precisió, latència i cost per document. Sense xifres inventades.
Què comparem (i què no)
Comparem dues famílies d’enfocament en classificació documental: un LLM generalista via API davant d’un model especialitzat desplegat en entorn controlat (local / privat). Les dimensions són precisió de tipificació, latència p50/p95 i cost aproximat en € per document.
No publiquem rànquings de vendors ni mètriques de tercers. Qualsevol resultat numèric que aparegui en aquesta pàgina procedirà exclusivament del conjunt de prova anonimitzat de Magnum, quan estigui llest per publicar.
Metodologia de l’experiment
El protocol està pensat per ser reproducible en un pilot amb el client i, més endavant, en un informe públic sense dades identificables.
- Corpus: documents reals anonimitzats (factures, albarans, notes de crèdit, extractes, altres) amb etiquetes humanes de referència
- Mètriques: accuracy / F1 per classe, latència, cost estimat per document i taxa de rebuig / revisió humana
- Condicions: mateix prompt o política de tipificació, mateixos timeouts i mateixa definició d’“èxit”
- Separació train/eval quan el model especialitzat s’ajusti; el generalista s’avalua zero-shot o amb les mateixes instruccions
Resultats pendents / experiment en ombra
Encara no hi ha xifres públiques en aquesta pàgina. Estem preparant el dataset anonimitzat i el protocol de mesura. Publicarem resultats només quan el conjunt de prova de Magnum estigui llest i revisat; fins aleshores no mostrem percentatges ni taules de rendiment inventades.
Si la teva organització vol contribuir documents anonimitzats o contrastar el framework amb la teva tipologia, contacta: l’experiment en ombra admet partners sota NDA.
Com fer servir el framework en la teva decisió de compra
Abans de triar “el model més potent”, defineix classes, cost d’error i si les dades poden sortir del perímetre. Un generalista pot bastar en volums baixos; un model local sol guanyar quan hi ha latència, privadesa o cost unitari sota volum alt.
Magnum aplica aquest mateix criteri al business case i a la validació del pilot: si no hi ha ROI mesurat, no escalem.