Ensayo · IA · Criterio
La conclusión primero. La mayoría juzga el resultado de una IA por si se lee bien, y esa prueba dejó de funcionar. La fluidez ya no cuesta nada. Una respuesta equivocada y una correcta llegan con la misma voz, el mismo formato y el mismo tono seguro, y no las distingues por intuición. Así que necesitas pruebas que no dependan de cómo suena la cosa. Yo uso seis. Toman unos noventa segundos y atrapan casi todo lo que sale mal.
Las construí mientras probaba un conjunto gratuito de prompts que regalo en este sitio para investigar una acción, un fondo o tu propio portafolio. Corrí cada prompt contra cinco instrumentos distintos para encontrar dónde se rompían, y se rompieron de formas que no esperaba. Las fallas no fueron datos alucinados, que es lo que todo el mundo vigila. Fueron más silenciosas. El modelo respondió una pregunta que no correspondía, y formateó la respuesta tan bien que nada señaló que algo hubiera fallado.
1. ¿Encabeza con la respuesta?
Abre el resultado. Lee las primeras dos líneas. Si la conclusión no está ahí, la respuesta falló, y puedes dejar de leer.
Esto no es una preferencia de estilo. Es un diagnóstico. Una respuesta que construye hacia su conclusión suele ser una respuesta que no tiene ninguna, porque la escritura está haciendo el trabajo que debía hacer el pensamiento. Cuando un modelo sabe lo que piensa, puede decirlo en una oración. Cuando no lo sabe, apila contexto hasta que el lugar donde va la conclusión se llena de puro impulso.
Llevo treinta y cinco años operando con esta regla y es el Capítulo Uno de mi libro. Sirve el pastel primero. Si alguien quiere la receta, la va a pedir. La versión que uso con IA es más estricta, porque el modelo siempre obedece la forma que le pidas: le digo que abra con el veredicto en menos de treinta palabras, luego los tres hallazgos que lo sostienen, y recién después el detalle en ese mismo orden. Cuando la parte de arriba sale delgada, el análisis de abajo también suele serlo.
2. ¿Cada cifra lleva fecha?
Un número sin fecha es inservible, y los modelos los producen todo el tiempo.
Mientras probaba, saqué la capitalización de mercado de una empresa mediana de varias fuentes la misma tarde. Las cifras diferián en unos mil millones de dólares, porque cada proveedor traía una fecha de corte distinta. Ninguna estaba mal. Pero una respuesta que cita una de esas cifras sin decir cuándo era cierta te entrega un número que no puedes verificar ni comparar. Corre la misma pregunta la semana siguiente y vas a creer que algo cambió cuando no cambió nada.
Por eso exijo una fecha de corte en cada cifra. Es poco pedir, al modelo no le cuesta nada, y convierte una afirmación en algo verificable.
3. ¿Dice qué no pudo verificar?
El silencio sobre las fuentes es la señal. Las buenas respuestas distinguen entre lo que salió de un registro oficial y lo que salió de algo más blando. Las débiles presentan ambas cosas con el mismo lenguaje, porque dentro del modelo no hay castigo por difuminar la diferencia.
La instrucción que lo corrige es directa. Marca todo lo que no pudiste verificar en una fuente primaria. Así los vacíos se vuelven visibles, y tú decides si importan. Sin eso estás leyendo un documento donde lo sólido y lo adivinado visten igual.
4. ¿Sabe qué está mirando?
Esta es la que me sorprendió, y es la falla que vigilaría con más fuerza.
Le pedí a un prompt de investigación que evaluara un fondo indexado muy conocido. El prompt pedía cosas como el historial de asignación de capital del equipo gerencial y la actividad reciente de insiders, porque estaba escrito para empresas operativas. Un fondo indexado no tiene ninguna de las dos. No hay un equipo gerencial tomando decisiones de asignación. No hay insiders. Las preguntas no aplican.
El modelo no lo dijo. Reinterpretó la pregunta en silencio, respondió sobre la firma patrocinadora y sobre las tenencias subyacentes del fondo, y dio al resultado el formato exacto de un análisis de empresa real. Nada en la salida avisó que la premisa había sido cambiada. Si no supieras ya la diferencia entre un fondo y una empresa, habrías leído esa respuesta creyendo que aprendiste algo.
Por eso ahora lo primero que exijo es identificación. Dime qué es esto realmente antes de decirme nada sobre ello. Cuando la premisa está mal, todo lo que sigue es decoración.
5. ¿Te avisa cuándo una calificación la hizo una máquina?
Las empresas pequeñas muchas veces no tienen cobertura humana de analistas. Lo que tienen es una calificación algorítmica, generada al emparejar estadísticamente a la empresa con pares que sí tienen cobertura. El proveedor suele ser transparente al respecto si lo buscas. La etiqueta está ahí, en la página.
Un modelo que lea esa página va a reportar el valor razonable y la calificación del foso con la misma voz que usa para el trabajo de un analista de verdad, porque las palabras se ven iguales. Recibes un número con un pedigrí que no tiene. Ahora exijo que la distinción se declare, y eso cambia cuánto peso merece el resto de la respuesta.
6. ¿Se niega?
La última prueba separa a un asistente útil de uno seguro de sí mismo. Pregúntale algo que no pueda saber, y observa qué pasa.
Un asistente sin acceso a la web debería decirte que no puede verificar datos actuales y detenerse. Una pregunta que no aplica al instrumento debería recibir una nota corta que lo diga. Cuando pedí niveles de soporte gráfico sobre un fondo mutuo que fija precio una vez al día al cierre, la respuesta correcta es que no hay gráfico intradiario que leer. No hay nada que analizar. Dilo.
Lo que sueles recibir en cambio es obediencia, porque estos sistemas están hechos para ser útiles y negarse se siente como fracasar. Así que escribo el permiso directamente en el prompt. Si no puedes cumplir un requisito, nombra el requisito que no puedes cumplir y deténte. Una respuesta corta y honesta vale más que una completa que tuviste que adivinar.
Lo que esto cambia de verdad
Generar análisis solía ser la parte cara. Hoy es casi gratis, y el costo se mudó al otro extremo del proceso. La habilidad escasa ya no es producir un argumento. Es rechazar uno que parece terminado.
Esa habilidad no es nueva ni es técnica. Cualquiera que haya estado en una sesión de directorio la conoce. La presentación es hermosa, la lógica es apretada, y algo no cuadra, y el trabajo es encontrar el supuesto que carga el peso antes de la votación. Lo que cambió es el volumen. Antes enfrentabas un puñado de argumentos pulidos por trimestre. Ahora puedes generar diez antes del almuerzo, y todos van a leerse como si los hubiera escrito alguien competente.
Seis pruebas, noventa segundos. El resultado que las sobrevive merece tu tiempo. El que las falla no vale absolutamente nada, por bien que suene, y saber distinguirlo rápido va a importar más cada año.
La fluidez solía ser evidencia de pensamiento. Hoy no es evidencia de nada.
Los prompts que probé están gratis en este sitio, en inglés y español, con el bloque de instrucciones que impone las seis pruebas incorporado en cada uno. Sin correo. Abre el kit, o lee el argumento detrás en El Manual del Outsider.