Evaluación de IA en español para mercados latinoamericanos
Evalúe asistentes, agentes y respuestas de modelos con hablantes nativos de la variante de español incluida en el alcance. Savia recluta evaluadores por país y tarea, aplica su rúbrica o ayuda a convertirla en reglas observables y registra la razón de cada decisión. La cobertura se confirma proyecto por proyecto; un panel de español genérico no se presenta como representación de todos los mercados.
Defina el país, el público y el flujo de trabajo antes de tomar una muestra. La evaluación puede revisar terminología, tono, referencias institucionales y ajuste a la práctica local en variantes como es-CO, es-MX o es-AR.
Rúbricas y preferencias
Ejecute puntuación por rúbrica, comparación de preferencias por pares, calificación de respuestas o redacción de correcciones. La orden de trabajo fija las reglas de decisión, los casos límite y la evidencia que puede usar cada revisor.
Escenarios de red-teaming
Examine conductas inseguras, engañosas o incorrectas para la región con escenarios ligados al producto y al mercado. Las categorías, la severidad y las reglas de escalamiento se acuerdan antes de recolectar.
Qué recibe
Puntuación o preferencia por ítem, justificación del revisor y variante regional utilizada.
Etiquetas estructuradas de error y notas de adjudicación para ítems controvertidos o ambiguos.
Resumen del lote con resultados de aceptación, patrones de error recurrentes y preguntas abiertas.
Procedencia por ítem que mantiene los juicios confirmados por una persona separados del contenido inferido por un modelo.
Calidad y controles
Los evaluadores se reclutan para el país y la tarea nombrados; el dominio de la variante se comprueba durante la selección.
Se revisan ejemplos de calibración antes de producción y se resuelve por escrito el lenguaje ambiguo de la rúbrica.
El muestreo de calidad y cualquier requisito de segunda revisión quedan fijados en la orden de trabajo.
La identidad del revisor y el historial de transformación se conservan en el registro de entrega.
Savia Carga · Colombia
Revise el método en una publicación abierta
Savia Carga publica sus tareas, clave de respuestas, derivaciones, ítem rechazado, fuentes y limitaciones. Muestra cómo Savia distingue la evidencia de fuente, el cálculo determinista, la confirmación humana y la inferencia de un modelo.
Savia acepta alcances en América Latina y confirma la cobertura proyecto por proyecto. Los materiales actuales nombran es-CO, es-MX y es-AR como ejemplos; el alcance firmado indica los países y el perfil de evaluador realmente disponibles.
¿Pueden usar nuestra rúbrica?
Sí. Podemos ejecutar su rúbrica tal como está o ayudar a convertirla en reglas observables, ejemplos y casos de escalamiento antes de iniciar producción.
¿Entregan datos de preferencia y red-teaming?
Pueden incluirse en un encargo definido: preferencias por pares, puntuación por rúbrica, redacción de correcciones y escenarios de red-teaming en lenguaje regional. El método y la profundidad de revisión se acuerdan en la orden de trabajo.
¿Cómo manejan los desacuerdos?
El alcance define cuándo un ítem vuelve a revisión o pasa a adjudicación. El registro final puede conservar los juicios originales, la decisión y su razón, en lugar de ocultar el desacuerdo en un puntaje agregado.
Conversar sobre un piloto
Envíenos la tarea, el mercado, el material de fuente, la rúbrica y el volumen esperado. Definiremos qué se puede asignar y verificar, y cotizaremos el alcance por escrito antes de iniciar.