Jueves de Quack con Cristian Córdova

Key Concepts

• Inferencia (Inference): Proceso de ejecutar modelos de IA (LLMs, generación de imágenes, etc.) en servidores para que puedan ser utilizados a través de una API.
• Self-hosted / Local Models: Modelos de IA que se ejecutan en infraestructura propia en lugar de depender exclusivamente de proveedores comerciales (como OpenAI o Anthropic).
• GPU Clusters: Conjunto de unidades de procesamiento gráfico interconectadas para manejar cargas de trabajo intensivas de IA.
• Nan Builders: Comunidad y plataforma comunitaria que democratiza el acceso a infraestructura de alto rendimiento (GPUs) para entusiastas y desarrolladores.
• RAG (Retrieval-Augmented Generation): Técnica para mejorar la precisión de los modelos de IA conectándolos a fuentes de datos externas (como bases de datos vectoriales).
• Rate Limiting: Mecanismo de control para limitar el número de peticiones por usuario y evitar abusos o saturación del sistema.

---

1. Introducción a Nan Builders

Nan Builders es una iniciativa comunitaria creada por Cristian Córdoba, experto en infraestructura y DevOps, con el objetivo de democratizar el acceso a GPUs de alto rendimiento. Lo que comenzó como un experimento para compartir gastos de servidores entre 3 o 4 personas, ha escalado en menos de dos meses a una comunidad de más de 420 miembros que operan un clúster de nueve nodos.

2. Propuesta de Valor y Funcionamiento

• Acceso a Modelos: La plataforma permite a los usuarios utilizar modelos de lenguaje (LLMs) potentes (como Qwen, Gemma, Hermes, DeepSeek) y herramientas de generación de imágenes mediante una API compatible con estándares abiertos.
• Eficiencia de Costos: Los usuarios pagan una suscripción fija (aprox. 70€/mes) que les otorga acceso a tokens y capacidad de cómputo, evitando los altos costos de las APIs comerciales tradicionales.
• Infraestructura Compartida: La plataforma utiliza un clúster de GPUs de nivel empresarial (como las NVIDIA RTX 6000 y H200) para ofrecer inferencia de alta calidad.
• Spaces: Una funcionalidad que permite a los miembros desplegar sus propias aplicaciones (como bases de datos PostgreSQL con PGVector, Chroma, o interfaces como Open Web UI) directamente en el clúster, funcionando de manera similar a servicios como Vercel.

3. Metodología y Gobernanza

• Toma de Decisiones: La selección de modelos y nuevas funcionalidades se realiza mediante votaciones democráticas dentro de la comunidad en Discord. Por ejemplo, la comunidad decidió priorizar la integración de modelos de lenguaje más grandes sobre la generación de imágenes en una etapa inicial.
• Sostenibilidad: El proyecto se mantiene gracias a las contribuciones de los miembros. Cristian enfatiza que el modelo de negocio principal de su empresa (Helmcov) es ofrecer servicios a empresas, lo que permite que la comunidad se mantenga como un servicio social sin fines de lucro agresivos.
• Seguridad y Control: Para evitar abusos, se implementan rate limits (ej. 100 peticiones por minuto) y se auditan las API keys personales para evitar la reventa o el uso compartido no autorizado.

4. Aplicaciones y Ecosistema

• Integración: La plataforma es compatible con herramientas como VS Code, Copilot CLI y cualquier entorno que soporte Open Chat Completions API.
• Hackathons: La comunidad organiza eventos de desarrollo donde los miembros crean proyectos utilizando la infraestructura de Nan, fomentando la colaboración y el aprendizaje mutuo.
• Soporte Comunitario: El proyecto ha evolucionado hacia un modelo de autogestión donde miembros destacados (como Saúl y Carlos) ayudan en la moderación, creación de documentación open source y gestión de eventos.

5. Perspectivas a Futuro

• Escalabilidad: Cristian planea seguir expandiendo el clúster a medida que la comunidad crezca, manteniendo la suscripción actual como inamovible a corto y medio plazo.
• Marketplace: Se ha introducido un marketplace para desplegar aplicaciones preconfiguradas con un solo clic, facilitando el trabajo a desarrolladores que realizan experimentos de RAG o agentes autónomos.
• Visión: El valor principal, más allá de la potencia de cómputo, es la red de humanos altamente capacitados que comparten conocimientos, resuelven dudas y colaboran en proyectos de código abierto.

Síntesis

Nan Builders representa un cambio de paradigma en cómo los desarrolladores acceden a la IA. Al pasar de un modelo de consumo individual y costoso a uno de cooperativa tecnológica, la comunidad no solo reduce drásticamente los costos operativos, sino que crea un entorno de innovación donde la infraestructura deja de ser una barrera. La clave del éxito de este proyecto reside en la combinación de una gestión técnica experta (infraestructura) con una gobernanza comunitaria transparente y participativa.