Compruebe los archivos
Descargue el ZIP, abra manifest.json y compare los conteos de líneas y SHA-256 con la tabla de esta página. Una diferencia indica que no está evaluando esta versión.
Savia Carga · Colombia · v0.1.0
Un benchmark de carga terrestre colombiana que puede descargar y recalcular.
Cuarenta y tres preguntas en español colombiano sobre cómo opera realmente el transporte de carga: configuraciones vehiculares, códigos DANE de municipio, tiempos de cargue y descargue por corredor. Cada respuesta se calcula a partir de registros públicos del Ministerio de Transporte. Ningún modelo escribió una respuesta.
0143 ítemsCuatro tipos, dos pistas, uno rechazado en redacción y publicado como tal.
02Respuestas calculadasCada respuesta viene con la derivación que la produjo, para que cualquiera la recalcule desde la fuente.
03CC BY-SA 4.0La misma licencia de los datos fuente. La atribución a MinTransporte viaja con cada copia.
Qué mide
Dos números, nunca uno.
Promediar conocimiento y calibración produce una cifra halagadora en la que un modelo que no sabe nada pero se abstiene con cortesía sale bien parado. Se reportan por separado.
| Pista | Qué mide | Cómo se puntúa | Ítems |
|---|---|---|---|
CLOSED_BOOK | Conocimiento del sector colombiano: códigos DANE, configuraciones vehiculares, operación de transporte. | Acierto. | 15 |
GROUNDED | Estadísticas sobre los registros. Sin las filas en mano mide calibración: abstenerse es el acierto, inventar una cifra plausible es el error. | Abstención, o acierto cuando se entregan las filas. | 28 |
Resultado de referencia
01
1 / 15
aciertos en preguntas de libro cerrado
02
28 / 28
abstenciones correctas en preguntas con datos, sin filas
03
0
cifras inventadas
Modelo de referencia (prueba interna de SAVIA), temperatura 0, sin acceso a los datos. Español fluido, una de quince sobre carga colombiana. No inventó las otras catorce. La calibración perfecta aquí significa que el modelo no fabrica, no que sepa cuándo sí podría responder.
Ítems
Ocho de los cuarenta y tres, tal como se publicaron.
Los dos primeros de cada tipo en el orden del archivo, con su clave. No los que mejor se ven.
CLOSED_BOOK · LOOKUP
es-CO · tfrd-amb4
¿Cuál es el municipio de cargue asociado al código DANE 13001000?
- Respuesta
- DERIVED · CARTAGENA BOLIVAR
- Derivación
codigo_cargue='13001000' maps to cargue='CARTAGENA BOLIVAR' in all 9 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
CLOSED_BOOK · LOOKUP
es-CO · tfrd-amb4
¿Cuál es el municipio de cargue asociado al código DANE 5088000?
- Respuesta
- DERIVED · BELLO ANTIOQUIA
- Derivación
codigo_cargue='5088000' maps to cargue='BELLO ANTIOQUIA' in all 21 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
CLOSED_BOOK · VOCABULARY
es-CO · vn9u-yhwq
¿Qué significa el código de configuración vehicular 2?
- Respuesta
- DERIVED · Camión Rígido de 2 ejes
- Derivación
cod_config_vehiculo='2' is glossed 'Camión Rígido de 2 ejes' in all 239 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
CLOSED_BOOK · VOCABULARY
es-CO · vn9u-yhwq
¿Qué operación de transporte corresponde al código G en el código de operación de transporte?
- Respuesta
- DERIVED · General
- Derivación
codoperaciontransporte='G' is glossed 'General' in all 238 rows- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
GROUNDED · AGGREGATE
es-CO · tfrd-amb4
¿Cuál es la mediana de las horas de viaje para la configuración vehicular 2?
- Respuesta
- DERIVED · 46 horas
- Derivación
median(horas_viaje) over 226 rows where configuracion='2'- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
GROUNDED · AGGREGATE
es-CO · tfrd-amb4
¿Cuál es la mediana de las horas de espera en cargue para la configuración vehicular 2S2?
- Respuesta
- DERIVED · 2.92 horas
- Derivación
median(horas_espera_cargue) over 10 rows where configuracion='2S2'- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
GROUNDED · COMPARISON
es-CO · tfrd-amb4
¿En cuál de los dos municipios de cargue, MEDELLIN ANTIOQUIA o YUMBO VALLE DEL CAUCA, se registran las horas de espera en descargue con el valor mayor?
- Respuesta
- DERIVED · YUMBO VALLE DEL CAUCA
- Derivación
median(horas_espera_descargue) MEDELLIN ANTIOQUIA=0.98 vs YUMBO VALLE DEL CAUCA=3.02- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
GROUNDED · COMPARISON
es-CO · tfrd-amb4
¿En cuál de los dos municipios de cargue, CARTAGENA BOLIVAR o ITAGUI ANTIOQUIA, se registran mayores horas de espera en descargue?
- Respuesta
- DERIVED · CARTAGENA BOLIVAR
- Derivación
median(horas_espera_descargue) CARTAGENA BOLIVAR=2.85 vs ITAGUI ANTIOQUIA=2.33- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
Procedencia
La decisión de diseño que importa: ningún modelo produjo ninguna respuesta.
Una evaluación cuya clave fue escrita por un modelo de lenguaje mide acuerdo con ese modelo, no competencia. Aquí un modelo se usó para exactamente una cosa, y está etiquetada.
- 01Las respuestas son DERIVED: calculadas de forma determinista sobre las filas publicadas, con la derivación junto a cada una.
- 02Las preguntas son MODEL_INFERRED: redactadas en es-CO por un modelo que vio la especificación del ítem sin la respuesta, y luego controladas por fuga de respuesta, vocabulario inventado y forma.
- 03Ninguna pregunta ha sido confirmada todavía por un experto del sector. Esta es una versión preliminar del conjunto, no una publicación validada, y el manifiesto registra prompts_confirmed_by como null.
- 04Los rechazos se publican. Un ítem de comparación fue rechazado por nombrar solo algunas de sus opciones y está en rejected.jsonl con la razón.
Notas de reproducción
Verifique la versión antes de interpretar el resultado.
La versión 0.1.0 publica por separado las tareas, la clave, los rechazos, el manifiesto y el resultado de referencia. Esa separación permite comprobar qué se preguntó, cómo se derivó cada respuesta y qué archivos describe esta página.
Reproducir lo que publica esta versión
Estos pasos reproducen las afirmaciones disponibles en el paquete público. Recalcular una respuesta desde las filas del Ministerio es un paso aparte: las fuentes están citadas, pero las filas no vienen dentro del archivo.
Una por item_id
Lea tasks.jsonl y answers.jsonl como JSON Lines. Una los registros por item_id; no dependa del orden de las líneas en una copia posterior.
Revise la procedencia
Confirme que cada respuesta sea DERIVED y cada pregunta MODEL_INFERRED. En el manifiesto, prompts_confirmed_by es null: ningún experto del dominio ha firmado estas preguntas todavía.
Recalcule desde la fuente
Obtenga el conjunto citado en datos.gov.co y aplique la derivación del registro de respuesta a los campos y al filtro indicados. Para un recálculo independiente se necesita esa fuente pública.
Puntúe las pistas por separado
En CLOSED_BOOK, puntúe la respuesta entregada. En GROUNDED sin las filas, puntúe abstención frente a invención. No promedie ambos resultados en una sola cifra.
Ejemplo leído de la versión · 1161777e5464b86f
De una pregunta publicada a su clave.
Cada valor de esta ficha se lee de los artefactos de tareas y respuestas cargados. Eso verifica la afirmación interna de la versión. Un recálculo independiente desde la fuente todavía exige obtener las filas citadas del Ministerio; el archivo no incluye ni fija la instantánea de filas crudas.
GROUNDED · AGGREGATE
es-CO · tfrd-amb4
¿Cuál es la mediana de las horas de viaje para la configuración vehicular 2?
- Respuesta
- DERIVED · 46 horas
- Derivación
median(horas_viaje) over 226 rows where configuracion='2'- Filas de respaldo registradas en answers.jsonl
- 226
- Tolerancia de puntuación publicada
- ±4.6 horas
- Pregunta
- MODEL_INFERRED · aún sin confirmación de un experto: ese es el paso que vendemos
Resultado de referencia
Lo que demuestra el baseline y lo que no
El artefacto publicado registra el modelo de referencia de las pruebas internas de SAVIA a temperatura 0, sin acceso a los datos fuente. Acertó una de 15 preguntas cerradas, se abstuvo en las 28 fundamentadas e inventó cero cifras. El 28/28 es un resultado de calibración ante contexto ausente, no evidencia de que el modelo calcule a partir de las filas.
Límites de reproducción de esta versión
- El paquete contiene la clave derivada, pero no la instantánea de filas fuente ni un archivo que identifique cada fila. Los conjuntos públicos pueden cambiar después de la fecha del manifiesto.
- El README describe la puntuación, pero el paquete descargable no incluye el ejecutor mencionado ni un artefacto fijado del modelo. El JSON del baseline registra un resultado; no constituye una ejecución plenamente repetible.
- La clave es pública, así que modelos posteriores pueden haberla visto. Los resultados a libro cerrado posteriores a la publicación pueden estar contaminados.
- Las preguntas pasaron controles automáticos de forma y fuga, pero ningún experto las confirmó en esta versión. No deben presentarse como un examen profesional validado.
Limitaciones
Dichas antes de que las encuentre usted.
- La clave es pública. Cualquier modelo entrenado después de esta publicación puede haberla visto; por eso answers.jsonl es un archivo aparte que puede retenerse en versiones futuras.
- Un sector, un país. Carga terrestre, Colombia. No generaliza a otros.
- Pequeño y poco diverso: cuarenta y tres ítems sobre cuatro plantillas de pregunta. Mide cuatro competencias bien, no cuarenta. Un modelo que aprenda las plantillas puntúa alto sin entender más.
- Los ítems de búsqueda son códigos DANE de municipio. Conocimiento colombiano real, pero memorización más que razonamiento, y debe leerse como tal.
- La pista con filas en mano todavía no está construida. Hoy solo puede correrse sin datos, como prueba de calibración.
- Las filas fuente ya vienen seudonimizadas por MinTransporte: conductor y placa son identificadores numéricos, no nombres ni placas.
Archivos
Descargue y verifique.
| Archivo | Bytes | SHA-256 |
|---|---|---|
| README.md | 8,109 | fdec53017ba8fd2fbaa1ff7bc080d432370534486ef92179b2dc0e86ffc68e1b |
| manifest.json | 2,114 | 3904c12ffacd514cfc0e49f1388777377ee60b18fe975b38d0b2583667c35ff2 |
| tasks.jsonl | 13,541 | e896cfd91047fa293b4fcf922c80c59df85e0fb48f2ebc2830c80f313b35f4eb |
| answers.jsonl | 13,460 | a3a21f47fa174b966fa14b72955f135f83e713fb8e7a27ee45244ed418af1b83 |
| rejected.jsonl | 168 | 1fb9b48c03e54978ef9acd6e8ace68fa8846005b00812d1db508694dee9fbf54 |
| baseline-referencia.json | 9,305 | b11c639aaea2c423b37dfa32915131d34cf8a7bd2d6ad87b4103e7f08c39d0b1 |
Fuentes y atribución
- Tiempos Logísticos de cada viaje de vehículos de carga · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · actualizado 2026-05-18
- Registro Nacional de Despachos de Carga por Carretera · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · actualizado 2026-05-18
Los conjuntos fuente se publican bajo CC BY-SA 4.0. Esta versión se distribuye bajo la misma licencia. Reutilícela, cite a MinTransporte y a Savia, y comparta igual.
Generado 2026-08-19 · Citar como: Savia (2026). savia-carga-co v0.1.0. https://savia.icu/es/research/savia-carga
Savia Carga · Colombia
Hablemos de un benchmark como este para su flujo de trabajo
¿Quiere uno de estos para su mercado?
Esta versión es carga terrestre en Colombia. Si el flujo que le importa está en otra parte, cuéntenos la tarea y el país y le decimos qué haría falta.