Definición de la tarea regional
Nombre el país, el flujo de trabajo, el usuario previsto y la consecuencia de una respuesta incorrecta. El benchmark evalúa conocimiento y decisiones regionales, en vez de tratar la fluidez traducida como competencia.
Servicios de datos para IA · América Latina
Benchmarks regionales construidos con fuentes verificables
Mida si un sistema entiende un flujo de trabajo, código, institución o decisión operativa propios de un país. Savia diseña el alcance sobre evidencia autorizada y separa las preguntas que evalúan conocimiento público de las que requieren filas entregadas durante la evaluación. Las claves pueden calcularse a partir de los registros fuente; cualquier redacción asistida por un modelo permanece identificada como inferida por un modelo hasta que una persona calificada la confirme.
Definir el alcance
Evidencia y construcción de respuestas
Acuerde las fuentes públicas o autorizadas, las fechas pertinentes, las transformaciones y las reglas de respuesta. Cuando la verdad se puede calcular, la clave se deriva de forma determinista y se entrega con la derivación.
Conocimiento y razonamiento fundamentado
Mantenga separadas las preguntas a libro cerrado de las que requieren una tabla o documento proporcionado. Sin las filas necesarias, abstenerse puede ser la conducta correcta; no debe promediarse dentro de un puntaje halagador de conocimiento.
Qué recibe
- Archivos de tareas con enunciados, pista, tipo de ítem, regla de puntuación y supuestos regionales.
- Archivo de respuestas con fuentes, derivaciones, tolerancias u opciones aceptadas según corresponda.
- Manifiesto con versiones, estados de procedencia, licencias de fuente, cantidades y limitaciones conocidas.
- Informe de referencia que separa métricas de competencia, fundamentación y calibración cuando el diseño lo requiere.
Calidad y controles
- Cada fuente debe ser verificable públicamente o contar con autorización documentada antes de entrar en el alcance.
- Las respuestas calculadas conservan la etiqueta DERIVED; las decisiones expertas pasan a HUMAN_CONFIRMED solo después de una revisión con nombre.
- La redacción asistida por un modelo conserva la etiqueta MODEL_INFERRED hasta ser confirmada y nunca se presenta como un hecho redactado por un experto.
- Los ítems rechazados, controles de fuga, reglas de ambigüedad y limitaciones del benchmark se documentan para auditoría y crítica.
Savia Carga · Colombia
Revise el método en una publicación abierta
Savia Carga publica sus tareas, clave de respuestas, derivaciones, ítem rechazado, fuentes y limitaciones. Muestra cómo Savia distingue la evidencia de fuente, el cálculo determinista, la confirmación humana y la inferencia de un modelo.
Abrir Savia Carga ↗Servicios de datos para IA · América Latina
Preguntas sobre benchmarks regionales
¿Puede un modelo escribir la clave de respuestas?
El método publicado de Savia no usa un modelo para producir respuestas. En Savia Carga, las respuestas se calculan de forma determinista sobre filas públicas y se entregan con sus derivaciones. Un nuevo alcance define el proceso de respuesta respaldado por fuentes que corresponda.
¿Cuál es la diferencia entre DERIVED y MODEL_INFERRED?
DERIVED significa que un cálculo documentado produjo el valor desde evidencia de fuente. MODEL_INFERRED significa que un modelo produjo el contenido. En Savia Carga, las respuestas son DERIVED, mientras que la redacción en español es MODEL_INFERRED y aún no está confirmada por un experto.
¿Construyen benchmarks privados?
Un benchmark puede usar material que el cliente está autorizado a entregar, con derechos, acceso, retención y eliminación definidos por escrito.
¿Qué evidencia hay disponible hoy?
Savia Carga v0.1.0 es un preprint descargable de 43 ítems sobre transporte de carga colombiano construido con fuentes públicas de MinTransporte. Publica su clave y sus limitaciones; sus preguntas todavía no han sido confirmadas por un experto del dominio.
Conversar sobre un piloto
Envíenos la tarea, el mercado, el material de fuente, la rúbrica y el volumen esperado. Definiremos qué se puede asignar y verificar, y cotizaremos el alcance por escrito antes de iniciar.
Conversar sobre un pilotoServicios de datos para IA
Servicios para equipos de IA y datos
Evaluación de IA en español para mercados latinoamericanos
Evaluación de IA en español regional para es-CO, es-MX, es-AR y otras variantes definidas: rúbricas, preferencias y red-teaming.
Conocer el servicioAnotación experta para salud, derecho y finanzas
Anotación de salud, derecho y finanzas en América Latina con verificación por proyecto, derechos de fuente y procedencia por ítem.
Conocer el servicioRecolección de video egocéntrico en América Latina
Recolección de video egocéntrico por proyecto en América Latina: reclutamiento, capacitación local, consentimiento del hogar y control diario.
Conocer el servicio