Referencia P79813-DM5
Asistente privado para un área o una sede, con modelos de uso general.
IA privada en este servidor
Servidor de 8 a 16 núcleos con memoria suficiente para cargar un modelo de 7–8B cuantizado junto a una base vectorial. Adecuado para dar servicio de IA a un departamento sin depender de la nube.
Modelos cuantizados de ~7B a 8B (por ejemplo Llama 3.1 8B, Qwen 7B/8B, Mistral 7B) y modelos de embeddings y reranking.
5 a 20 usuarios con respuestas en lectura cómoda; más usuarios se atienden en cola.
La inferencia en CPU entrega menos tokens por segundo que una GPU. Para modelos más grandes o mucha concurrencia, conviene escalar a un servidor con aceleración.
16 núcleos EPYC de bajo consumo y fuentes redundantes. Se entrega sin discos de datos: se definen según el corpus a indexar.
Capacidades orientativas para inferencia sobre CPU con modelos abiertos cuantizados; no constituyen una garantía de rendimiento. Todo se ejecuta en tu infraestructura, sin dependencia cloud y sin enviar tus datos a terceros.
Plataforma ProLiant DL145
Comparamos la configuración que suministramos con los máximos de la plataforma según HPE. Cualquier ampliación se valida con HPE iQuote antes de cotizar.
Datos de plataforma tomados de la documentación pública de HPE; pueden variar por revisión. IskayTech es un proveedor independiente y no está afiliado oficialmente a HPE.
Resumen y, debajo, el detalle componente por componente de la configuración de fábrica.
Descripción de fábricaRACK (2U)
Relevancia para IA. En inferencia sobre CPU, la cantidad de núcleos, la frecuencia y las instrucciones vectoriales del procesador marcan la velocidad de generación y cuántas consultas se atienden a la vez.
Descripción de fábricaAMD EPYC 8124P 2.45GHz 16-Core 125W Processor Kit for HPE
Relevancia para IA. Un modelo cuantizado debe caber en memoria junto con su contexto y la base vectorial. La capacidad y la velocidad de la RAM definen qué tamaño de modelo puedes cargar y cuán rápido responde.
Descripción de fábrica64GB (2 x 32GB) 4800MHz RDIMM
Relevancia para IA. Aquí viven los pesos de los modelos, el corpus de documentos y los índices vectoriales. Discos más rápidos acortan la carga de modelos y las búsquedas semánticas.
Descripción de fábricaSIN DISCO
Descripción de fábrica(2)SFF Hot Plug 2.5in Small Form Factor Basic Carrier (NVMe)
Descripción de fábricaHPE NS204i-u Gen11 NVMe Hot Plug Boot Optimized Storage Device ( Includes Hot Plug capable dual 480GB NVMe M.2 automatically configured into a RAID 1 Mirror)
Descripción de fábricaHPE MR216i-p Gen11 12G Tri-Mode Controller Kit
Relevancia para IA. La red conecta a los usuarios y a las aplicaciones con el servicio de IA dentro de tu red interna. Más ancho de banda ayuda al mover documentos entre nodos.
Descripción de fábricaBroadcom BCM5719 Ethernet 1Gb 4-port BASE-T OCP Adapter
Relevancia para IA. Fuentes hot-plug redundantes sostienen la continuidad operativa de los servicios de IA sin detener el equipo ante una falla de fuente.
Descripción de fábrica2 x 700W Flexible Slot Hot Plug Low Halogen AC Power Supply Kit
Descripción de fábricaHPE Integrated Lights-Out 6 (iLO 6) management processor
Descripción de fábricaGarantía 3 Year Next Business Day Warranty
Cuéntanos qué documentos quieres proteger y cuántas personas usarán la IA. Confirmamos la configuración, con o sin aceleración, y nos encargamos del suministro, el despliegue y el soporte.
