LLMs Privados vs API de OpenAI: El Argumento de Seguridad Enterprise

En 2023, empleados de Samsung filtraron código fuente propietario pegándolo en ChatGPT. El incidente es ahora un caso de estudio estándar en riesgo de IA empresarial. Dos años después, la mayoría de grandes empresas europeas tienen una política de uso de IA. Muy pocas tienen una arquitectura de IA que la aplique realmente.

El problema fundamental: las APIs de LLM en la nube procesan tus datos en infraestructura que no controlas, regulada por términos de servicio que cambian, sujeta a jurisdicciones regulatorias que pueden no alinearse con tus obligaciones de compliance.

El argumento RGPD

Bajo el RGPD, el tratamiento de datos personales requiere una base legal y, para las transferencias internacionales, salvaguardas adicionales. Cuando los documentos jurídicos, consultas de RRHH, datos de clientes o registros financieros pasan por una llamada a la API de OpenAI o Anthropic, tienes una transferencia de datos a Estados Unidos.

OpenAI ofrece un Acuerdo de Tratamiento de Datos. No es lo mismo que control.

Para organizaciones en sectores regulados — servicios financieros, sanidad, legal, administración pública — la pregunta no es si los LLMs en la nube crean riesgo RGPD. Lo crean. La pregunta es si has documentado y aceptado ese riesgo, o simplemente no lo has considerado.

Los LLMs privados eliminan la cuestión de la transferencia completamente. Ningún dato sale de tu perímetro. No hay DPA que negociar, no hay Cláusulas Contractuales Tipo que revisar, no hay proveedor que auditar. Es una garantía técnica, no contractual.

La dimensión del EU AI Act

El EU AI Act introduce obligaciones adicionales para los operadores de sistemas de IA. Para aplicaciones de alto riesgo — herramientas de RRHH, scoring crediticio, sistemas de control de acceso — las organizaciones deben mantener documentación técnica, garantizar supervisión humana y demostrar precisión y robustez.

Usar una API de terceros para un caso de uso de alto riesgo significa que tu trazabilidad de auditoría depende de los logs del proveedor. Tu explicabilidad depende de su documentación. Tu programa de compliance tiene una dependencia que no puedes controlar completamente.

El despliegue privado te da trazas de auditoría completas, salidas reproducibles (mismos pesos de modelo, mismos parámetros de inferencia) y documentación de tu propiedad.

El coste total de propiedad

La objeción habitual: los LLMs privados son caros. El hardware GPU cuesta dinero. La experiencia en modelos cuesta dinero.

El cálculo cambia cuando se modela correctamente.

Una empresa mediana usando OpenAI GPT-4o para procesamiento interno de documentos a escala — digamos, 10 millones de tokens al día — paga aproximadamente €2.000-4.000 al mes con los precios actuales de API. Un despliegue privado en una RTX 4090 (€1.500-2.000 de hardware) ejecutando un modelo de 32B parámetros bien cuantizado maneja cargas de trabajo similares con coste cero por inferencia tras el despliegue.

El punto de equilibrio para la mayoría de cargas de trabajo enterprise es de 3-6 meses. Después de eso, el despliegue privado es estrictamente más barato — además de más privado, más controlable y no sujeto a límites de tasa de API ni cortes de servicio.

El cálculo es aún más claro para cargas sensibles donde la alternativa no es “usar ChatGPT” sino “no usar IA en absoluto.” Los LLMs privados desbloquean casos de uso que las APIs en la nube no pueden servir.

Qué significa “listo para producción” realmente

Un despliegue de LLM privado que funciona para experimentación personal no es lo mismo que uno que funciona para uso enterprise. Los requisitos de producción incluyen:

• Servidor de inferencia: vLLM u Ollama con gestión de concurrencia adecuada. No simplemente llama.cpp en un portátil.
• Selección y cuantización de modelos: Un modelo de 70B parámetros cuantizado a Q4_K_M en 48GB VRAM supera a un modelo de 14B en la mayoría de tareas enterprise.
• Capa de integración: El LLM necesita conectarse a tus repositorios de documentos, bases de datos y flujos de trabajo.
• Hardening de seguridad: Protección contra prompt injection, filtrado de salidas, rate limiting, logging de auditoría. No son opcionales.
• Failover y monitorización: El servidor de inferencia es ahora parte de tu infraestructura de producción. Necesita el mismo tratamiento que cualquier otro servicio crítico.

Las organizaciones que han fracasado en despliegues de LLM privados típicamente omitieron uno o más de estos puntos. Las que tienen éxito lo tratan como un proyecto de ingeniería, no un ejercicio de compras.