Un benchmark de carga terrestre colombiana que puede descargar y recalcular.
Cuarenta y tres preguntas en español colombiano sobre cómo opera realmente el transporte de carga: configuraciones vehiculares, códigos DANE de municipio, tiempos de cargue y descargue por corredor. Cada respuesta se calcula a partir de registros públicos del Ministerio de Transporte. Ningún modelo escribió una respuesta.
Dos números, nunca uno.
Promediar conocimiento y calibración produce una cifra halagadora en la que un modelo que no sabe nada pero se abstiene con cortesía sale bien parado. Se reportan por separado.
| Pista | Qué mide | Cómo se puntúa | Ítems |
|---|---|---|---|
CLOSED_BOOK | Conocimiento del sector colombiano: códigos DANE, configuraciones vehiculares, operación de transporte. | Acierto. | 15 |
GROUNDED | Estadísticas sobre los registros. Sin las filas en mano mide calibración: abstenerse es el acierto, inventar una cifra plausible es el error. | Abstención, o acierto cuando se entregan las filas. | 28 |
1 / 15
aciertos en preguntas de libro cerrado
28 / 28
abstenciones correctas en preguntas con datos, sin filas
0
cifras inventadas
qwen3.8:27b-mlx, temperatura 0, sin acceso a los datos. Español fluido, una de quince sobre carga colombiana. No inventó las otras catorce. La calibración perfecta aquí significa que el modelo no fabrica, no que sepa cuándo sí podría responder.
Ocho de los cuarenta y tres, tal como se publicaron.
Los dos primeros de cada tipo en el orden del archivo, con su clave. No los que mejor se ven.
¿Cuál es el municipio de cargue asociado al código DANE 13001000?
- Respuesta
- DERIVED · CARTAGENA BOLIVAR
- Derivación
codigo_cargue='13001000' maps to cargue='CARTAGENA BOLIVAR' in all 9 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿Cuál es el municipio de cargue asociado al código DANE 5088000?
- Respuesta
- DERIVED · BELLO ANTIOQUIA
- Derivación
codigo_cargue='5088000' maps to cargue='BELLO ANTIOQUIA' in all 21 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿Qué significa el código de configuración vehicular 2?
- Respuesta
- DERIVED · Camión Rígido de 2 ejes
- Derivación
cod_config_vehiculo='2' is glossed 'Camión Rígido de 2 ejes' in all 239 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿Qué operación de transporte corresponde al código G en el código de operación de transporte?
- Respuesta
- DERIVED · General
- Derivación
codoperaciontransporte='G' is glossed 'General' in all 238 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿Cuál es la mediana de las horas de viaje para la configuración vehicular 2?
- Respuesta
- DERIVED · 46 horas
- Derivación
median(horas_viaje) over 226 rows where configuracion='2'- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿Cuál es la mediana de las horas de espera en cargue para la configuración vehicular 2S2?
- Respuesta
- DERIVED · 2.92 horas
- Derivación
median(horas_espera_cargue) over 10 rows where configuracion='2S2'- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿En cuál de los dos municipios de cargue, MEDELLIN ANTIOQUIA o YUMBO VALLE DEL CAUCA, se registran las horas de espera en descargue con el valor mayor?
- Respuesta
- DERIVED · YUMBO VALLE DEL CAUCA
- Derivación
median(horas_espera_descargue) MEDELLIN ANTIOQUIA=0.98 vs YUMBO VALLE DEL CAUCA=3.02- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
¿En cuál de los dos municipios de cargue, CARTAGENA BOLIVAR o ITAGUI ANTIOQUIA, se registran mayores horas de espera en descargue?
- Respuesta
- DERIVED · CARTAGENA BOLIVAR
- Derivación
median(horas_espera_descargue) CARTAGENA BOLIVAR=2.85 vs ITAGUI ANTIOQUIA=2.33- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto
La decisión de diseño que importa: ningún modelo produjo ninguna respuesta.
Una evaluación cuya clave fue escrita por un modelo de lenguaje mide acuerdo con ese modelo, no competencia. Aquí un modelo se usó para exactamente una cosa, y está etiquetada.
- 01Las respuestas son DERIVED: calculadas de forma determinista sobre las filas publicadas, con la derivación junto a cada una.
- 02Las preguntas son MODEL_INFERRED: redactadas en es-CO por un modelo que vio la especificación del ítem sin la respuesta, y luego controladas por fuga de respuesta, vocabulario inventado y forma.
- 03Ninguna pregunta ha sido confirmada todavía por un experto del sector. Esta es una versión preliminar del conjunto, no una publicación validada, y el manifiesto registra prompts_confirmed_by como null.
- 04Los rechazos se publican. Un ítem de comparación fue rechazado por nombrar solo algunas de sus opciones y está en rejected.jsonl con la razón.
Dichas antes de que las encuentre usted.
- La clave es pública. Cualquier modelo entrenado después de esta publicación puede haberla visto; por eso answers.jsonl es un archivo aparte que puede retenerse en versiones futuras.
- Un sector, un país. Carga terrestre, Colombia. No generaliza a otros.
- Pequeño y poco diverso: cuarenta y tres ítems sobre cuatro plantillas de pregunta. Mide cuatro competencias bien, no cuarenta. Un modelo que aprenda las plantillas puntúa alto sin entender más.
- Los ítems de búsqueda son códigos DANE de municipio. Conocimiento colombiano real, pero memorización más que razonamiento, y debe leerse como tal.
- La pista con filas en mano todavía no está construida. Hoy solo puede correrse sin datos, como prueba de calibración.
- Las filas fuente ya vienen seudonimizadas por MinTransporte: conductor y placa son identificadores numéricos, no nombres ni placas.
Descargue y verifique.
| Archivo | Bytes | SHA-256 |
|---|---|---|
| README.md | 8,107 | 88b98391a76ba84f7f022353f121fd6aa911252f81489ded56c79c20ad9cbeb2 |
| manifest.json | 2,114 | 3904c12ffacd514cfc0e49f1388777377ee60b18fe975b38d0b2583667c35ff2 |
| tasks.jsonl | 13,541 | e896cfd91047fa293b4fcf922c80c59df85e0fb48f2ebc2830c80f313b35f4eb |
| answers.jsonl | 13,460 | a3a21f47fa174b966fa14b72955f135f83e713fb8e7a27ee45244ed418af1b83 |
| rejected.jsonl | 168 | 1fb9b48c03e54978ef9acd6e8ace68fa8846005b00812d1db508694dee9fbf54 |
| baseline-qwen3.8-27b-mlx.json | 9,296 | edf5e9f53a0f1ecbd8f278b53446b89cd7d25f88e27969acc5f07aba0beb4073 |
Fuentes y atribución
- Tiempos Logísticos de cada viaje de vehículos de carga · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · actualizado 2026-05-18
- Registro Nacional de Despachos de Carga por Carretera · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · actualizado 2026-05-18
Los conjuntos fuente se publican bajo CC BY-SA 4.0. Esta versión se distribuye bajo la misma licencia. Reutilícela, cite a MinTransporte y a Savia, y comparta igual.
Generado 2026-08-19 · Citar como: Savia (2026). savia-carga-co v0.1.0. https://savia.icu/es/research/savia-carga