Definição da tarefa regional
Nomeie o país, o fluxo de trabalho, o usuário pretendido e a consequência de uma resposta errada. O benchmark passa a avaliar conhecimento e decisões regionais, em vez de tratar fluência traduzida como competência.
Serviços de dados para IA · América Latina
Benchmarks regionais construídos com fontes verificáveis
Meça se um sistema entende um fluxo de trabalho, código, instituição ou decisão operacional próprios de um país. A Savia desenha o escopo com evidências autorizadas e separa perguntas que testam conhecimento público de perguntas que exigem linhas fornecidas durante a avaliação. Os gabaritos podem ser calculados a partir dos registros de origem; qualquer redação assistida por modelo permanece identificada como inferida por modelo até a confirmação de uma pessoa qualificada.
Definir o escopo
Evidência e construção das respostas
Combine as fontes públicas ou autorizadas, as datas pertinentes, as transformações e as regras de resposta. Quando a verdade pode ser calculada, o gabarito é derivado deterministicamente e entregue com a derivação.
Conhecimento e raciocínio fundamentado
Mantenha perguntas a livro fechado separadas das que exigem uma tabela ou documento fornecido. Sem as linhas necessárias, abster-se pode ser o comportamento correto; isso não deve ser incluído na média de uma nota lisonjeira de conhecimento.
O que você recebe
- Arquivos de tarefas com enunciados, trilha, tipo de item, regra de pontuação e premissas regionais.
- Arquivo de respostas com fontes, derivações, tolerâncias ou opções aceitas quando aplicável.
- Manifesto com versões, estados de procedência, licenças das fontes, contagens e limitações conhecidas.
- Relatório de referência que separa métricas de competência, fundamentação e calibração quando o desenho exige.
Qualidade e controles
- Cada fonte deve ser verificável publicamente ou coberta por autorização documentada antes de entrar no escopo.
- Respostas calculadas mantêm o rótulo DERIVED; decisões especializadas passam a HUMAN_CONFIRMED somente após revisão identificada.
- A redação assistida por modelo mantém o rótulo MODEL_INFERRED até ser confirmada e nunca é apresentada como fato escrito por especialista.
- Itens rejeitados, controles de vazamento, regras de ambiguidade e limitações do benchmark são documentados para auditoria e crítica.
Savia Carga · Colombia
Confira o método em uma publicação aberta
O Savia Carga publica tarefas, gabarito, derivações, item rejeitado, fontes e limitações. Ele mostra como a Savia distingue evidência de fonte, cálculo determinístico, confirmação humana e inferência de modelo.
Abrir Savia Carga ↗Serviços de dados para IA · América Latina
Perguntas sobre benchmarks regionais
Um modelo pode escrever o gabarito?
O método publicado da Savia não usa um modelo para produzir respostas. No Savia Carga, as respostas são calculadas deterministicamente sobre linhas públicas e entregues com suas derivações. Um novo escopo define o processo de resposta respaldado por fontes que for adequado.
Qual é a diferença entre DERIVED e MODEL_INFERRED?
DERIVED significa que um cálculo documentado produziu o valor a partir da evidência de origem. MODEL_INFERRED significa que um modelo produziu o conteúdo. No Savia Carga, as respostas são DERIVED, enquanto a redação em espanhol é MODEL_INFERRED e ainda não foi confirmada por especialista.
Vocês constroem benchmarks privados?
Um benchmark pode usar material que o cliente está autorizado a fornecer, com direitos, acesso, retenção e exclusão definidos por escrito.
Que prova está disponível hoje?
O Savia Carga v0.1.0 é um preprint baixável de 43 itens sobre transporte rodoviário de carga colombiano, construído com fontes públicas do MinTransporte. Ele publica o gabarito e as limitações; as perguntas ainda não foram confirmadas por um especialista do setor.
Conversar sobre um piloto
Envie a tarefa, o mercado, o material de origem, a rubrica e o volume esperado. Vamos definir o que pode ser alocado e verificado e precificar o escopo por escrito antes do início.
Conversar sobre um pilotoServiços de dados para IA
Serviços para equipes de IA e dados
Avaliação de IA em espanhol para mercados latino-americanos
Avaliação de IA em espanhol regional para es-CO, es-MX, es-AR e outras variantes definidas: rubricas, preferências e red-teaming.
Conheça o serviçoAnotação especializada em saúde, direito e finanças
Anotação de saúde, direito e finanças na América Latina com verificação por projeto, direitos de fonte e procedência por item.
Conheça o serviçoColeta de vídeo egocêntrico na América Latina
Coleta de vídeo egocêntrico por projeto na América Latina: recrutamento, treinamento local, consentimento da casa e revisão diária.
Conheça o serviço