Large Decision Models (LDMs) y Motor de Clasificación Neuronal en Homelab
Arquitecturas de encoders no generativos especializadas estrictamente en clasificación, triaje multiclase, scoring continuo y cumplimiento de políticas sin generación autorregresiva de texto.
Modelos de frontera autorregresivos diseñados para prosa abierta, razonamiento sintético de múltiples pasos y generación de código, produciendo un token a la vez.
Mesa de trabajo interactiva de 2 columnas que ejecuta clasificación neuronal en vivo en el contenedor local de Dave. Muestra latencia medida en tiempo real.
Desglose comparativo objetivo de modelos open-source auto-alojados localmente frente a APIs de decisión comerciales administradas.
| Clase / Nivel | Modelo / Motor | Entorno de Despliegue | Latencia Típica | Modelo de Costo | Caso de Uso Principal en Producción |
|---|---|---|---|---|---|
| LOCAL HOMELAB |
Dave Laya Engine ModernBERT-large (421M) |
Self-Hosted Linux Node | ~25ms – 40ms | $0 / mo | Sub-second triage, PII tripwires, zero-egress routing |
| LOCAL OPEN-SOURCE |
BGE-Reranker-Large BAAI / Hugging Face |
Local PyTorch / ONNX | ~40ms – 65ms | $0 / mo | RAG semantic passage reranking, context pruning |
| LOCAL OPEN-SOURCE |
DeBERTa-v3-large-NLI Microsoft Research |
Local Container / CPU | ~50ms – 80ms | $0 / mo | Zero-shot NLI entailment, premise classification |
| MANAGED CLOUD API |
OpenAI Decisions API OpenAI Cloud |
Cloud REST Endpoint | ~140ms – 240ms | $0.05 – $0.20 / 1k | Enterprise policy checks, structured output gating |
| MANAGED CLOUD API |
Cohere Rerank 3.5 Cohere AI |
Cloud REST API | ~120ms – 200ms | $2.00 / 1k queries | Enterprise multi-lingual document & search reranking |
| ENTERPRISE VPC / API |
TypeSafe Jev TypeSafe AI |
Managed VPC / Cloud | ~70ms – 130ms | Enterprise Tier | Deterministic type schema enforcement & routing |
Cómo opera de forma segura este nodo físico en homelab y cómo evoluciona hacia una API privada de decisión para empresas.
Hardware Físico y Loopback Interno
Alojado en un servidor bare-metal Linux dedicado ('Dave') con Ubuntu 26.04 LTS, unidad NVMe para sistema y 14 GiB de RAM. El modelo ModernBERT de 421M parámetros corre en un contenedor Docker autónomo, procesando peticiones sobre loopback interno en 192.168.50.152:8095.
Malla Zero-Trust y Túnel Ingress
El host no tiene ningún puerto público abierto y opera detrás de doble NAT residencial. La gestión y administración transitan exclusivamente por una malla cifrada WireGuard en Tailscale (100.81.47.31). El ingreso público se realiza estrictamente a través de un túnel saliente Cloudflare Zero Trust con mitigación DDoS/WAF.
Evolución hacia una API Privada Empresarial
Al combinar la capa proxy con tokens autenticados de DaveRouter con el contenedor ModernBERT, este entorno en homelab opera fácilmente como una API REST autenticada para chatbots internos, pipelines de triaje y herramientas corporativas con un costo marginal cloud de $0/mes.