Publicamos nuestro paper técnico: por qué nunca prometemos 0% de alucinación

Publicamos nuestro paper técnico: por qué nunca prometemos 0% de alucinación

Un documento que preferimos publicar antes de que nos lo pidan

El equipo de AbogadoIA pone hoy a disposición pública su paper técnico sobre IA legal verificable, descargable sin registro en [abogadoia.cl/papers/paper-ia-legal-verificable.pdf](https://abogadoia.cl/papers/paper-ia-legal-verificable.pdf).

El documento describe la metodología completa de nuestro benchmark anti-alucinación, la arquitectura de verificación que sostiene la plataforma, los resultados obtenidos y — esto es lo que nos importa subrayar — sus limitaciones, declaradas con el mismo detalle que sus fortalezas.

Existe una razón concreta para publicarlo. El mercado de la IA legal está lleno de afirmaciones de precisión que ningún tercero puede verificar. Nosotros trabajamos con abogados: profesionales entrenados para desconfiar de las afirmaciones sin respaldo. La única moneda que vale en este mercado es la evidencia auditable. Este paper es la nuestra.

---

El benchmark: 115 preguntas, 12 áreas, 6 categorías

El corazón del paper es un benchmark diseñado específicamente para medir alucinaciones en derecho chileno:

• 115 preguntas distribuidas en las 12 áreas del derecho que cubre la plataforma: civil, penal, laboral, tributario, familia, administrativo, comercial, constitucional, inmobiliario, consumidor, minero y propiedad intelectual.

• 6 categorías de pregunta, que incluyen consultas doctrinarias, casos prácticos, cálculos de plazos y prestaciones, y — las dos categorías que más nos interesan — preguntas trampa y preguntas de honestidad.

Las preguntas trampa contienen premisas falsas deliberadas: leyes inventadas con nombres verosímiles, artículos con numeración inexistente, instituciones jurídicas que no existen en Chile. Un sistema que alucina "sigue la corriente" y desarrolla la premisa falsa. El resultado en nuestra evaluación: el sistema detectó y corrigió el 100% de las trampas.

Las preguntas de honestidad evalúan lo contrario del exceso de confianza: cuando el sistema no tiene base normativa suficiente para responder, ¿lo reconoce, o inventa? En el 100% de los casos el sistema declaró expresamente los límites de su información en lugar de rellenarlos.

En el total del benchmark se detectaron 0 alucinaciones en las 115 preguntas, con verificación de cada cita legal contra el texto de las normas en base de datos.

Y aquí es donde el paper toma la decisión que da título a este artículo.

---

Por qué "0 de 115" NO permite decir "0%"

Sería comercialmente tentador imprimir "0% de alucinación" en la portada. Sería, además, estadísticamente indefendible, y el paper explica por qué.

Un resultado de 0 fallas en 115 observaciones no demuestra que la tasa real de fallas sea cero. Demuestra que, con 95% de confianza, la tasa real está por debajo de una cota superior calculable. Aplicando el intervalo de Wilson para una proporción observada de 0/115, esa cota es del 3,2%. Por eso nuestro claim público — en la web, en este blog, en cualquier material — es siempre el mismo:

Tasa de alucinación menor a 3,5%, con intervalo de confianza del 95% (0 detectadas en 115 preguntas; cota de Wilson: 3,2%).

La intuición es sencilla. Imagine una moneda que lanza 115 veces y nunca sale cruz. ¿Puede afirmar que la moneda jamás dará cruz? No: solo puede afirmar que, si la probabilidad de cruz fuera mayor a cierto umbral, ya la habría visto casi con seguridad. La estadística permite acotar; no permite prometer ceros. Con n=115, prometer "0%" es confundir ausencia de evidencia de falla con evidencia de ausencia de falla.

Quien le prometa "0% de alucinación" con una muestra de ese tamaño — o de cualquier tamaño finito — está haciendo marketing, no ciencia. Preferimos el número defendible al número redondo.

---

El contexto: lo que midió Stanford en las herramientas líderes

Para dimensionar los resultados, el paper los sitúa frente al estudio del Stanford RegLab y el Human-Centered AI Institute sobre herramientas de investigación legal con IA, que reportó tasas de alucinación de aproximadamente 17% en Lexis+ AI y de aproximadamente 33% en Westlaw AI-Assisted Research — herramientas de los dos proveedores de información jurídica más grandes del mundo.

El paper es explícito en una advertencia que repetimos aquí: las metodologías no son directamente comparables. El estudio de Stanford evaluó derecho estadounidense, con otro conjunto de preguntas, otras definiciones operativas de alucinación y otros criterios de evaluación. Citarlo no es afirmar "somos X veces mejores que Y"; es mostrar que la alucinación en IA legal es un problema real, medido y serio incluso en los productos de mayor presupuesto de la industria — y que por eso la verificación no puede ser una capa opcional.

---

La arquitectura: 5 capas entre el modelo y la respuesta

El paper describe, a nivel conceptual, la arquitectura de cinco capas de verificación que media entre el modelo de lenguaje y la respuesta que recibe el abogado:

• 1. Instrucción blindada: el modelo opera bajo restricciones estrictas que le exigen fundar cada afirmación en las fuentes recuperadas y le prohíben completar vacíos con conocimiento propio no verificable.

• 2. Anclaje en fuentes (grounding): antes de generar, un motor de recuperación híbrido — que combina búsqueda semántica y coincidencia léxica exacta sobre la legislación chilena en base de datos — entrega al modelo el texto real de las normas pertinentes.

• 3. Verificación posterior de citas: generada la respuesta, cada ley y artículo citado se contrasta automáticamente contra el texto normativo almacenado. Una cita que no existe, o cuyo contenido no respalda la afirmación, se detecta en esta capa.

• 4. Puntaje de confianza: el resultado de la verificación se condensa en un nivel de confianza que acompaña a cada respuesta. Cuando es bajo, el usuario ve una advertencia destacada — no letra chica.

• 5. Deslinde explícito: toda respuesta declara su naturaleza de herramienta de apoyo profesional, no de asesoría definitiva.

El documento describe el diseño y la función de cada capa sin revelar umbrales internos ni proveedores específicos de modelos — el valor verificable está en la arquitectura y en los resultados medidos, no en los secretos industriales.

---

Limitaciones declaradas y compromisos

Un paper técnico sin sección de limitaciones es un folleto. La nuestra incluye, entre otras:

• Tamaño muestral: n=115 acota la tasa en 3,2% (Wilson, 95%); acotar por debajo del 1% exigiría del orden de 300 a 500 preguntas sin fallas.

• Evaluación automatizada: la verificación de citas es determinista contra base de datos, pero la evaluación de calidad global involucra criterios que deben someterse a validación por expertos humanos independientes.

• Cobertura: el benchmark evalúa la legislación incorporada a la plataforma; no mide comportamiento frente a normas no ingeridas, donde el sistema debe — y está diseñado para — declinar con honestidad.

De ahí los compromisos públicos que el paper asume: ampliación del benchmark a n=500 preguntas, incorporación de validación humana por abogados independientes en la evaluación, y re-ejecución del benchmark ante cualquier cambio relevante del sistema, con publicación de resultados — favorables o no.

---

La transparencia como estándar para la LegalTech chilena

Terminamos con una invitación más que con una conclusión.

La LegalTech chilena está creciendo, y crecerá más rápido si se gana la confianza de una profesión que vive de la precisión. Esa confianza no se construye con porcentajes redondos en páginas de venta: se construye con metodologías publicadas, intervalos de confianza declarados, limitaciones reconocidas y resultados reproducibles.

Proponemos que esto sea el estándar del sector, no la excepción: quien afirme una tasa de precisión, que publique el benchmark que la sostiene. Nosotros ya lo hicimos. El paper está disponible en [abogadoia.cl/papers/paper-ia-legal-verificable.pdf](https://abogadoia.cl/papers/paper-ia-legal-verificable.pdf), y las observaciones metodológicas de la comunidad jurídica y técnica son bienvenidas en [email protected].

---

Artículo preparado por el equipo de AbogadoIA.cl.