IA local: modelos en tu ordenador sin enviar datos a nadie

La promesa es limpia y por eso convence tan rápido: el documento no sale de tu disco. Nada que enseñar a un comité de seguridad, ningún contrato de tratamiento que negociar, ninguna cláusula sobre a qué país viajan los datos.

La parte que casi nadie cuenta es que un modelo local resuelve el problema de dónde viajan los datos y no resuelve ninguno de los otros. Confundir las dos cosas es el error que convierte una buena decisión técnica en un falso cumplimiento.

Qué es exactamente ejecutar IA en local

Un modelo de lenguaje es, en el disco, un fichero de varios gigabytes con los pesos de una red neuronal. Ejecutarlo en local significa descargar ese fichero y hacer que tu propio procesador y tu propia memoria calculen la respuesta, en lugar de enviar el prompt a un servidor que hace el cálculo y devuelve el resultado.

Consecuencias que se derivan de esa frase, todas verificables sin fiarse de nadie:

• El texto no sale de la máquina. Puedes desconectar la red y seguir trabajando. Es la única forma de comprobación que no depende de creerse una política de privacidad.
• No hay límites de uso ni coste por token. El coste es la electricidad y el hardware que ya tenías.
• El modelo no cambia si tú no lo cambias. Nadie actualiza el modelo por debajo y te altera los resultados de un día para otro, que es una molestia real en producción.
• No hay conocimiento del mundo posterior a su entrenamiento y no hay búsqueda web salvo que la montes tú.

Lo que no significa: no significa entrenar un modelo con tus datos. Eso es otra cosa, cuesta órdenes de magnitud más y casi ninguna empresa que dice necesitarlo lo necesita. Aquí se ejecuta un modelo ya entrenado por otro, igual que se ejecuta un programa.

Cuándo merece la pena y cuándo es capricho

La IA local tiene un problema de reputación doble: la desprecian los que la han probado con el modelo equivocado en el hardware equivocado, y la sobrevenden los que la han montado un domingo y quieren justificar el domingo.

El criterio honesto es la naturaleza de la tarea, no el entusiasmo:

Hay un patrón en la columna del sí: las tareas donde el modelo trabaja sobre texto que ya tienes delante. Cuando el material está en el prompt, el trabajo del modelo es transformar, y transformar es mucho más fácil que saber. Ahí un modelo mediano compite de igual a igual. En cuanto la respuesta correcta depende de conocimiento que el modelo debe traer de dentro, la diferencia de tamaño se hace visible en la primera respuesta.

Qué hardware hace falta de verdad

La cifra que manda es la memoria, no la velocidad del procesador. Un modelo cabe o no cabe; si no cabe, el sistema tira de disco y la experiencia pasa de lenta a inservible.

Como los modelos se distribuyen cuantizados —con los pesos guardados con menos precisión para que ocupen menos, normalmente en la variante llamada Q4—, un modelo de 8B que en precisión completa ocuparía unos 16 GB se queda en unos 5. Esa es la razón de que esto funcione en un portátil normal.

Dos notas que ahorran dinero. La primera: los Mac con chip de la serie M rinden por encima de su precio en esta tarea concreta, porque la memoria es unificada y la gráfica puede usarla entera; un Mac de 32 GB mueve modelos que en un PC exigirían una tarjeta gráfica carísima. La segunda: no compres hardware para esto antes de haber probado un modelo de 8B en el equipo que ya tienes. Casi todo el mundo descubre en esa prueba que su caso de uso real era más modesto de lo que imaginaba.

Ollama o LM Studio: cuál de los dos

Son las dos puertas de entrada, y la elección es más sencilla de lo que parece porque no compiten por el mismo usuario.

Lo relevante de los dos es la última fila de la tabla anterior: ambos exponen un servidor local que habla el mismo idioma que la API de OpenAI. Eso significa que cualquier herramienta que sepa hablar con OpenAI puede apuntar a tu ordenador cambiando una URL, y es lo que convierte esto en algo más que un chat de juguete: el mismo script que hoy manda los datos a un proveedor puede mandarlos a localhost mañana, sin reescribirlo.

Qué modelo elegir para cada trabajo

El catálogo cambia cada pocas semanas y cualquier lista concreta caduca. Lo que no caduca es el criterio de elección, que tiene tres preguntas.

1. ¿Cuánta memoria tengo? Determina el tamaño máximo, y el tamaño manda sobre la marca. Un modelo de 14B de una familia mediocre suele batir a uno de 4B de la familia mejor valorada.
2. ¿Necesito ventana de contexto larga? Si vas a meterle documentos enteros, el contexto es más importante que la inteligencia. Y ojo: la ventana de contexto consume memoria además del modelo, así que un modelo que cabía justo deja de caber al abrirle el contexto.
3. ¿Es una tarea general o de código? Los modelos especializados en código rinden claramente mejor en su terreno y claramente peor fuera de él.

Con eso, la regla práctica: el modelo más grande que quepa holgadamente, de una familia reciente y con la cuantización Q4. Familias como Qwen, Gemma, Mistral, DeepSeek o los modelos abiertos de OpenAI cubren el espectro entero, y dentro de cada una la elección es de talla, no de fe.

Una advertencia sobre las comparativas: los rankings de modelos abiertos miden razonamiento y programación, que es lo que sabe medir un benchmark. Casi ninguno mide lo que a ti te va a importar, que es si escribe un español natural o si obedece instrucciones de formato sin desviarse. Pruébalo con tres tareas tuyas —de las que ya sabes la respuesta correcta— antes de adoptarlo.

Lo que pierdes respecto a un modelo de frontera

Esta sección es la que falta en casi todo lo que se escribe sobre IA local, y es la que evita la decepción.

• Obediencia a instrucciones complejas. Un prompt con siete condiciones lo cumple entero un modelo de frontera; un modelo de 8B cumple cinco y se olvida de dos, casi siempre las últimas.
• Resistencia a la alucinación. Los modelos pequeños inventan más y con la misma seguridad. Todo lo de la guía sobre alucinaciones de la IA aplica aquí multiplicado.
• Contexto útil de verdad. Muchos anuncian ventanas enormes y se degradan mucho antes de llenarlas: la información del medio se pierde.
• Herramientas alrededor. Búsqueda web, ejecución de código, lectura de PDF con tablas, memoria entre sesiones. En la nube viene incluido; en local lo montas tú o no lo tienes.
• Velocidad. Con hardware doméstico se leen las respuestas a la velocidad a la que se generan. Para trabajo por lotes es irrelevante; para conversar, molesta.

Dicho en una frase: un modelo local es un buen transformador de texto y un mal consejero. Encájalo donde su trabajo sea transformar.

Lo que la IA local no resuelve por sí sola

Aquí está el error caro. Se instala un modelo local, se anuncia que ya se puede trabajar con datos de clientes y se da por resuelto el cumplimiento. No lo está, porque la transferencia a un tercero era una de las preguntas y no la única.

Lo que sigue exactamente igual que antes:

• Sigues tratando datos personales. Y por tanto sigues necesitando base jurídica, minimización, información a los interesados y plazos de conservación. La guía sobre usar IA sin filtrar datos de clientes no queda derogada por instalar Ollama.
• El portátil es ahora el punto débil. Si el disco no está cifrado y el equipo se pierde, has cambiado un riesgo de transferencia por un riesgo de pérdida, que es más probable.
• Los prompts y las respuestas se guardan en algún sitio. Por defecto, en el perfil del usuario, sin control de acceso y fuera de cualquier copia de seguridad corporativa.
• El Reglamento de IA no distingue por dónde se ejecuta. Las obligaciones de alfabetización del artículo 4 y de transparencia del artículo 50 aplican igual, como detalla la guía del AI Act para empresas.
• Aparece un riesgo nuevo: nadie lo mantiene. Un modelo instalado hace ocho meses sigue respondiendo con aplomo y nadie revisa si sigue siendo el adecuado.

La conclusión no es que no valga la pena; es que la IA local cambia el mapa de riesgos en lugar de vaciarlo, y quien la despliega tiene que redibujar el mapa. Si tu empresa tiene una política de uso de IA, los modelos locales necesitan su párrafo: quién puede instalarlos, en qué equipos, con qué cifrado y quién revisa la lista.

Montarlo en media hora

El camino corto para salir de la teoría hoy mismo, con el equipo que ya tienes.

1. Instala Ollama o LM Studio y descarga un modelo de 8B en Q4. Son unos 5 GB.
2. Comprueba que cabe. Mira la memoria mientras responde. Si el sistema empieza a tirar de disco, baja de talla; no hay ajuste que arregle eso.
3. Pásale tres tareas cuya respuesta ya conoces. Reales, de tu trabajo, no acertijos. Es la única prueba que importa.
4. Cifra el disco antes de meter nada real. BitLocker o FileVault, activado y verificado. Este paso no es opcional y es el que más se salta.
5. Decide dónde se guarda el historial y si ese sitio entra en las copias de seguridad y en las políticas de retención.
6. Apunta la fecha y el modelo en la tabla de sistemas de IA de la empresa. Un modelo local no inventariado es exactamente el tipo de herramienta que aparece en una auditoría y no en el inventario.

Un prompt de arranque que funciona bien con modelos pequeños, porque acota mucho y no les pide criterio:

Trabaja solo con el texto que te doy debajo. No añadas
información que no esté ahí. Si algo no aparece, escribe
"no consta" en lugar de completarlo.

Devuélveme, en este orden y sin comentarios adicionales:
1. Un resumen de tres frases
2. Las fechas y los importes que aparezcan, con la frase
   exacta de la que sale cada uno
3. Lo que quede ambiguo o incompleto

TEXTO:
[...]

La instrucción de pedir la frase exacta de la que sale cada dato es la que más rendimiento da en local: obliga al modelo a anclarse en el texto y te deja comprobar el resultado sin releerlo entero.

Cuándo no es la respuesta

Tres casos en los que montar esto es trabajo perdido.

Cuando el motivo real era el precio. Ahorrarse veinte euros al mes con dos días de configuración y un mantenimiento indefinido no es un ahorro. La IA local se justifica por confidencialidad, por volumen o por trabajo sin conexión, no por el recibo.

Cuando el problema era de permisos internos y no de tecnología. Si el departamento legal ha bloqueado las herramientas de IA sin distinguir entre usos, instalar un modelo en local para esquivar la prohibición crea un problema mayor que el que resuelve. Eso es shadow IT con otro nombre.

Cuando el trabajo se juzga por su calidad final. Una propuesta a cliente, un informe con firma o un análisis del que dependa una decisión sobre dinero merecen el mejor modelo disponible, y ese no está en tu portátil.

Con todo, hay una razón para probarlo que no aparece en ninguna comparativa: ejecutar un modelo en tu propia máquina es lo que deshace la magia. Al ver los gigabytes en el disco, la memoria llenándose y las palabras saliendo a la velocidad a la que la máquina puede calcularlas, uno deja de tratar la herramienta como un oráculo y empieza a tratarla como lo que es. Ese cambio de percepción vale la tarde que cuesta, incluso si acabas volviendo a la suscripción de siempre.