Confira os arquivos
Baixe o ZIP, abra manifest.json e compare as contagens de linhas e os SHA-256 com a tabela desta página. Uma diferença indica que você não está avaliando esta versão.
Savia Carga · Colômbia · v0.1.0
Um benchmark colombiano de transporte de carga que você pode baixar e recalcular.
Quarenta e três perguntas em espanhol colombiano sobre como o transporte rodoviário de carga realmente opera: configurações veiculares, códigos DANE de município, tempos de carga e descarga por corredor. Cada resposta é calculada a partir de registros públicos do Ministerio de Transporte. Nenhum modelo escreveu uma resposta.
0143 itensQuatro tipos, duas trilhas, um rejeitado na redação e publicado como tal.
02Respostas calculadasCada resposta vem com a derivação que a produziu, para que qualquer pessoa possa recalculá-la a partir da fonte.
03CC BY-SA 4.0A mesma licença dos dados de origem. A atribuição ao MinTransporte viaja com cada cópia.
O que ele mede
Dois números, nunca um.
Tirar a média entre conhecimento e calibração produz uma nota lisonjeira em que um modelo que não sabe nada, mas se abstém educadamente, parece bem. Eles são reportados separadamente.
| Trilha | O que mede | Como é pontuado | Itens |
|---|---|---|---|
CLOSED_BOOK | Conhecimento do setor colombiano: códigos DANE, configurações veiculares, operação de transporte. | Resposta correta. | 15 |
GROUNDED | Estatísticas sobre os registros. Sem as linhas em mãos, mede calibração: abster-se é o acerto, inventar um número plausível é o erro. | Abstenção, ou acerto quando as linhas são fornecidas. | 28 |
Resultado de referência
01
1 / 15
de acerto em perguntas a livro fechado
02
28 / 28
de abstenções corretas em perguntas fundamentadas, sem linhas fornecidas
03
0
de números inventados
Modelo de referência (teste interno da SAVIA), temperatura 0, sem acesso aos dados. Espanhol fluente, uma de quinze sobre transporte de carga colombiano. Ele não inventou as outras quatorze. Calibração perfeita aqui significa que o modelo não fabrica, não que ele saiba quando poderia responder.
Itens
Oito dos quarenta e três, como foram publicados.
Os dois primeiros de cada tipo na ordem do arquivo, com seus gabaritos. Não os que ficam melhores.
CLOSED_BOOK · LOOKUP
es-CO · tfrd-amb4
¿Cuál es el municipio de cargue asociado al código DANE 13001000?
- Resposta
- DERIVED · CARTAGENA BOLIVAR
- Derivação
codigo_cargue='13001000' maps to cargue='CARTAGENA BOLIVAR' in all 9 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
CLOSED_BOOK · LOOKUP
es-CO · tfrd-amb4
¿Cuál es el municipio de cargue asociado al código DANE 5088000?
- Resposta
- DERIVED · BELLO ANTIOQUIA
- Derivação
codigo_cargue='5088000' maps to cargue='BELLO ANTIOQUIA' in all 21 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
CLOSED_BOOK · VOCABULARY
es-CO · vn9u-yhwq
¿Qué significa el código de configuración vehicular 2?
- Resposta
- DERIVED · Camión Rígido de 2 ejes
- Derivação
cod_config_vehiculo='2' is glossed 'Camión Rígido de 2 ejes' in all 239 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
CLOSED_BOOK · VOCABULARY
es-CO · vn9u-yhwq
¿Qué operación de transporte corresponde al código G en el código de operación de transporte?
- Resposta
- DERIVED · General
- Derivação
codoperaciontransporte='G' is glossed 'General' in all 238 rows- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
GROUNDED · AGGREGATE
es-CO · tfrd-amb4
¿Cuál es la mediana de las horas de viaje para la configuración vehicular 2?
- Resposta
- DERIVED · 46 horas
- Derivação
median(horas_viaje) over 226 rows where configuracion='2'- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
GROUNDED · AGGREGATE
es-CO · tfrd-amb4
¿Cuál es la mediana de las horas de espera en cargue para la configuración vehicular 2S2?
- Resposta
- DERIVED · 2.92 horas
- Derivação
median(horas_espera_cargue) over 10 rows where configuracion='2S2'- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
GROUNDED · COMPARISON
es-CO · tfrd-amb4
¿En cuál de los dos municipios de cargue, MEDELLIN ANTIOQUIA o YUMBO VALLE DEL CAUCA, se registran las horas de espera en descargue con el valor mayor?
- Resposta
- DERIVED · YUMBO VALLE DEL CAUCA
- Derivação
median(horas_espera_descargue) MEDELLIN ANTIOQUIA=0.98 vs YUMBO VALLE DEL CAUCA=3.02- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
GROUNDED · COMPARISON
es-CO · tfrd-amb4
¿En cuál de los dos municipios de cargue, CARTAGENA BOLIVAR o ITAGUI ANTIOQUIA, se registran mayores horas de espera en descargue?
- Resposta
- DERIVED · CARTAGENA BOLIVAR
- Derivação
median(horas_espera_descargue) CARTAGENA BOLIVAR=2.85 vs ITAGUI ANTIOQUIA=2.33- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
Procedência
A decisão de projeto que importa: nenhum modelo produziu nenhuma resposta.
Uma avaliação cujo gabarito foi escrito por um modelo de linguagem mede concordância com aquele modelo, não competência. Aqui um modelo foi usado para exatamente uma coisa, e ela está identificada.
- 01As respostas são DERIVED: calculadas de forma determinística a partir das linhas publicadas, com a derivação entregue ao lado de cada uma.
- 02As perguntas são MODEL_INFERRED: redigidas em es-CO por um modelo que viu a especificação do item sem a resposta, e depois checadas contra vazamento de gabarito, vocabulário inventado e forma.
- 03Nenhuma pergunta foi confirmada por um especialista do setor ainda. Esta é uma versão preliminar do conjunto, não uma publicação validada, e o manifesto registra prompts_confirmed_by como null.
- 04As rejeições são publicadas. Um item de comparação foi rejeitado por nomear apenas parte das opções dele e está em rejected.jsonl com o motivo.
Notas de reprodução
Verifique a versão antes de interpretar o resultado.
A versão 0.1.0 publica separadamente as tarefas, o gabarito, as rejeições, o manifesto e o resultado de referência. Essa separação permite conferir o que foi perguntado, como cada resposta foi derivada e quais arquivos esta página descreve.
Reproduzir o que esta versão publica
Estas etapas reproduzem as afirmações disponíveis no pacote público. Recalcular uma resposta a partir das linhas do Ministério é uma etapa separada: as fontes são citadas, mas as linhas não estão no arquivo.
Una por item_id
Leia tasks.jsonl e answers.jsonl como JSON Lines. Una os registros por item_id; não dependa da ordem das linhas em uma cópia posterior.
Examine a procedência
Confirme que cada resposta esteja marcada como DERIVED e cada pergunta como MODEL_INFERRED. No manifesto, prompts_confirmed_by é null: nenhum especialista do domínio assinou essas perguntas ainda.
Recalcule a partir da fonte
Obtenha o conjunto citado no datos.gov.co e aplique a derivação do registro de resposta aos campos e ao filtro indicados. Para um recálculo independente, é necessária essa fonte pública.
Pontue as trilhas separadamente
Em CLOSED_BOOK, pontue a resposta fornecida. Em GROUNDED sem as linhas, pontue abstenção versus invenção. Não transforme os dois resultados em uma única média.
Exemplo lido da versão · 1161777e5464b86f
De uma pergunta publicada ao seu gabarito.
Cada valor deste cartão é lido dos artefatos carregados de tarefas e respostas. Isso verifica a afirmação interna da versão. Um recálculo independente a partir da fonte ainda exige obter as linhas citadas do Ministério; o arquivo não inclui nem fixa o recorte das linhas brutas.
GROUNDED · AGGREGATE
es-CO · tfrd-amb4
¿Cuál es la mediana de las horas de viaje para la configuración vehicular 2?
- Resposta
- DERIVED · 46 horas
- Derivação
median(horas_viaje) over 226 rows where configuracion='2'- Linhas de suporte registradas em answers.jsonl
- 226
- Tolerância de pontuação publicada
- ±4.6 horas
- Pergunta
- MODEL_INFERRED · ainda não confirmado por um especialista: é essa etapa que vendemos
Resultado de referência
O que o baseline mostra e o que não mostra
O artefato publicado registra o modelo de referência dos testes internos da SAVIA, temperatura 0, sem acesso aos dados de origem. Ele acertou uma de 15 perguntas fechadas, absteve-se nas 28 fundamentadas e inventou zero números. O resultado 28/28 é de calibração diante de contexto ausente, não evidência de que o modelo saiba calcular a partir das linhas.
Limites de reprodução desta versão
- O pacote público contém o gabarito derivado, mas não o recorte das linhas de origem nem um arquivo que identifique cada linha. Os conjuntos públicos podem mudar depois da data do manifesto.
- O README descreve a pontuação, mas o pacote baixável não inclui o executor citado nem um artefato fixado do modelo. O JSON do baseline registra um resultado; não é uma execução totalmente repetível.
- O gabarito é público, então modelos posteriores podem tê-lo visto. Resultados fechados após a publicação podem estar contaminados.
- As perguntas passaram por verificações automáticas de forma e vazamento, mas nenhum especialista as confirmou nesta versão. Elas não devem ser apresentadas como um exame profissional validado.
Limitações
Ditas antes de você encontrá-las.
- O gabarito é público. Qualquer modelo treinado depois desta publicação pode tê-lo visto, e é por isso que answers.jsonl é um arquivo separado, que pode ser retido em versões futuras.
- Um setor, um país. Transporte rodoviário de carga, Colômbia. Não generaliza para outros.
- Pequeno e pouco diverso: quarenta e três itens sobre quatro modelos de pergunta. Mede quatro competências bem, não quarenta. Um modelo que aprenda os modelos de pergunta pontua bem sem entender mais.
- Os itens de consulta são códigos DANE de município. Conhecimento colombiano real, mas memorização mais do que raciocínio, e deve ser lido assim.
- A trilha fundamentada com as linhas em mãos ainda não foi construída. Hoje ela só pode rodar sem dados, como um teste de calibração.
- As linhas de origem já vêm pseudonimizadas pelo MinTransporte: motorista e placa são identificadores numéricos, não nomes nem placas.
Arquivos
Baixe e verifique.
| Arquivo | Bytes | SHA-256 |
|---|---|---|
| README.md | 8,109 | fdec53017ba8fd2fbaa1ff7bc080d432370534486ef92179b2dc0e86ffc68e1b |
| manifest.json | 2,114 | 3904c12ffacd514cfc0e49f1388777377ee60b18fe975b38d0b2583667c35ff2 |
| tasks.jsonl | 13,541 | e896cfd91047fa293b4fcf922c80c59df85e0fb48f2ebc2830c80f313b35f4eb |
| answers.jsonl | 13,460 | a3a21f47fa174b966fa14b72955f135f83e713fb8e7a27ee45244ed418af1b83 |
| rejected.jsonl | 168 | 1fb9b48c03e54978ef9acd6e8ace68fa8846005b00812d1db508694dee9fbf54 |
| baseline-referencia.json | 9,305 | b11c639aaea2c423b37dfa32915131d34cf8a7bd2d6ad87b4103e7f08c39d0b1 |
Fontes e atribuição
- Tiempos Logísticos de cada viaje de vehículos de carga · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · atualizado 2026-05-18
- Registro Nacional de Despachos de Carga por Carretera · Ministerio de Transporte - MinTransporte, Bogotá D.C. · Creative Commons Attribution | Share Alike 4.0 International · atualizado 2026-05-18
Os conjuntos de dados de origem são publicados sob CC BY-SA 4.0. Esta versão é distribuída sob a mesma licença. Reutilize, cite o MinTransporte e a Savia, e compartilhe igual.
Gerado 2026-08-19 · Citar como: Savia (2026). savia-carga-co v0.1.0. https://savia.icu/pt/research/savia-carga
Savia Carga · Colômbia
Fale conosco sobre um benchmark como este para o seu fluxo de trabalho
Quer um destes para o seu mercado?
Esta versão é transporte rodoviário de carga na Colômbia. Se o fluxo que importa para você está em outro lugar, conte-nos a tarefa e o país e dizemos o que seria necessário.