Um benchmark colombiano de transporte de carga que você pode baixar e recalcular.
Quarenta e três perguntas em espanhol colombiano sobre como o transporte rodoviário de carga realmente opera: configurações veiculares, códigos DANE de município, tempos de carga e descarga por corredor. Cada resposta é calculada a partir de registros públicos do Ministerio de Transporte. Nenhum modelo escreveu uma resposta.
Dois números, nunca um.
Tirar a média entre conhecimento e calibração produz uma nota lisonjeira em que um modelo que não sabe nada, mas se abstém educadamente, parece bem. Eles são reportados separadamente.
| Trilha | O que mede | Como é pontuado | Itens |
|---|---|---|---|
CLOSED_BOOK | Conhecimento do setor colombiano: códigos DANE, configurações veiculares, operação de transporte. | Resposta correta. | 15 |
GROUNDED | Estatísticas sobre os registros. Sem as linhas em mãos, mede calibração: abster-se é o acerto, inventar um número plausível é o erro. | Abstenção, ou acerto quando as linhas são fornecidas. | 28 |
1 / 15
de acerto em perguntas a livro fechado
28 / 28
de abstenções corretas em perguntas fundamentadas, sem linhas fornecidas
0
de números inventados
qwen3.8:27b-mlx, temperatura 0, sem acesso aos dados. Espanhol fluente, uma de quinze sobre transporte de carga colombiano. Ele não inventou as outras quatorze. Calibração perfeita aqui significa que o modelo não fabrica, não que ele saiba quando poderia responder.
Oito dos quarenta e três, como foram publicados.
Os dois primeiros de cada tipo na ordem do arquivo, com seus gabaritos. Não os que ficam melhores.
¿Cuál es el municipio de cargue asociado al código DANE 13001000?
- Resposta
- DERIVED · CARTAGENA BOLIVAR
- Derivação
codigo_cargue='13001000' maps to cargue='CARTAGENA BOLIVAR' in all 9 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿Cuál es el municipio de cargue asociado al código DANE 5088000?
- Resposta
- DERIVED · BELLO ANTIOQUIA
- Derivação
codigo_cargue='5088000' maps to cargue='BELLO ANTIOQUIA' in all 21 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿Qué significa el código de configuración vehicular 2?
- Resposta
- DERIVED · Camión Rígido de 2 ejes
- Derivação
cod_config_vehiculo='2' is glossed 'Camión Rígido de 2 ejes' in all 239 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿Qué operación de transporte corresponde al código G en el código de operación de transporte?
- Resposta
- DERIVED · General
- Derivação
codoperaciontransporte='G' is glossed 'General' in all 238 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿Cuál es la mediana de las horas de viaje para la configuración vehicular 2?
- Resposta
- DERIVED · 46 horas
- Derivação
median(horas_viaje) over 226 rows where configuracion='2'- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿Cuál es la mediana de las horas de espera en cargue para la configuración vehicular 2S2?
- Resposta
- DERIVED · 2.92 horas
- Derivação
median(horas_espera_cargue) over 10 rows where configuracion='2S2'- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿En cuál de los dos municipios de cargue, MEDELLIN ANTIOQUIA o YUMBO VALLE DEL CAUCA, se registran las horas de espera en descargue con el valor mayor?
- Resposta
- DERIVED · YUMBO VALLE DEL CAUCA
- Derivação
median(horas_espera_descargue) MEDELLIN ANTIOQUIA=0.98 vs YUMBO VALLE DEL CAUCA=3.02- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
¿En cuál de los dos municipios de cargue, CARTAGENA BOLIVAR o ITAGUI ANTIOQUIA, se registran mayores horas de espera en descargue?
- Resposta
- DERIVED · CARTAGENA BOLIVAR
- Derivação
median(horas_espera_descargue) CARTAGENA BOLIVAR=2.85 vs ITAGUI ANTIOQUIA=2.33- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista
A decisão de projeto que importa: nenhum modelo produziu nenhuma resposta.
Uma avaliação cujo gabarito foi escrito por um modelo de linguagem mede concordância com aquele modelo, não competência. Aqui um modelo foi usado para exatamente uma coisa, e ela está identificada.
- 01As respostas são DERIVED: calculadas de forma determinística a partir das linhas publicadas, com a derivação entregue ao lado de cada uma.
- 02As perguntas são MODEL_INFERRED: redigidas em es-CO por um modelo que viu a especificação do item sem a resposta, e depois checadas contra vazamento de gabarito, vocabulário inventado e forma.
- 03Nenhuma pergunta foi confirmada por um especialista do setor ainda. Esta é uma versão preliminar do conjunto, não uma publicação validada, e o manifesto registra prompts_confirmed_by como null.
- 04As rejeições são publicadas. Um item de comparação foi rejeitado por nomear apenas parte das opções dele e está em rejected.jsonl com o motivo.
Ditas antes de você encontrá-las.
- O gabarito é público. Qualquer modelo treinado depois desta publicação pode tê-lo visto, e é por isso que answers.jsonl é um arquivo separado, que pode ser retido em versões futuras.
- Um setor, um país. Transporte rodoviário de carga, Colômbia. Não generaliza para outros.
- Pequeno e pouco diverso: quarenta e três itens sobre quatro modelos de pergunta. Mede quatro competências bem, não quarenta. Um modelo que aprenda os modelos de pergunta pontua bem sem entender mais.
- Os itens de consulta são códigos DANE de município. Conhecimento colombiano real, mas memorização mais do que raciocínio, e deve ser lido assim.
- A trilha fundamentada com as linhas em mãos ainda não foi construída. Hoje ela só pode rodar sem dados, como um teste de calibração.
- As linhas de origem já vêm pseudonimizadas pelo MinTransporte: motorista e placa são identificadores numéricos, não nomes nem placas.
Baixe e verifique.
| Arquivo | Bytes | SHA-256 |
|---|---|---|
| README.md | 8,107 | 88b98391a76ba84f7f022353f121fd6aa911252f81489ded56c79c20ad9cbeb2 |
| manifest.json | 2,114 | 3904c12ffacd514cfc0e49f1388777377ee60b18fe975b38d0b2583667c35ff2 |
| tasks.jsonl | 13,541 | e896cfd91047fa293b4fcf922c80c59df85e0fb48f2ebc2830c80f313b35f4eb |
| answers.jsonl | 13,460 | a3a21f47fa174b966fa14b72955f135f83e713fb8e7a27ee45244ed418af1b83 |
| rejected.jsonl | 168 | 1fb9b48c03e54978ef9acd6e8ace68fa8846005b00812d1db508694dee9fbf54 |
| baseline-qwen3.8-27b-mlx.json | 9,296 | edf5e9f53a0f1ecbd8f278b53446b89cd7d25f88e27969acc5f07aba0beb4073 |
Fontes e atribuição
- Tiempos Logísticos de cada viaje de vehículos de carga · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · atualizado 2026-05-18
- Registro Nacional de Despachos de Carga por Carretera · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · atualizado 2026-05-18
Os conjuntos de dados de origem são publicados sob CC BY-SA 4.0. Esta versão é distribuída sob a mesma licença. Reutilize, cite o MinTransporte e a Savia, e compartilhe igual.
Gerado 2026-08-19 · Citar como: Savia (2026). savia-carga-co v0.1.0. https://savia.icu/pt/research/savia-carga