Referencia P91077-DM5
Nuestra configuración con más capacidad de memoria y cómputo para modelos grandes.
IA privada en este servidor
Procesador de 24 núcleos y 128 GB de memoria en formato rack 2U. Es la base más capaz de esta lista para correr modelos de gran tamaño cuantizados y varias cargas de IA a la vez dentro del centro de datos propio.
Modelos cuantizados de hasta ~70B parámetros con baja concurrencia, o de 8B a 32B con varios usuarios simultáneos.
20 a 60 usuarios según el modelo elegido; los modelos más grandes responden con menor velocidad.
Los modelos de mayor tamaño en CPU priorizan capacidad sobre velocidad. Para tiempos de respuesta de baja latencia a gran escala se complementa con aceleración.
Configuración con más memoria y núcleos de la lista. Las bahías NVMe aceleran la carga de modelos y los índices vectoriales.
Capacidades orientativas para inferencia sobre CPU con modelos abiertos cuantizados; no constituyen una garantía de rendimiento. Todo se ejecuta en tu infraestructura, sin dependencia cloud y sin enviar tus datos a terceros.
Plataforma ProLiant DL380
Comparamos la configuración que suministramos con los máximos de la plataforma según HPE. Cualquier ampliación se valida con HPE iQuote antes de cotizar.
Datos de plataforma tomados de la documentación pública de HPE; pueden variar por revisión. IskayTech es un proveedor independiente y no está afiliado oficialmente a HPE.
Resumen y, debajo, el detalle componente por componente de la configuración de fábrica.
Descripción de fábricaRACK (2U)
Relevancia para IA. En inferencia sobre CPU, la cantidad de núcleos, la frecuencia y las instrucciones vectoriales del procesador marcan la velocidad de generación y cuántas consultas se atienden a la vez.
Descripción de fábricaIntel Xeon 6520P 2.4GHz 24-Core 210W Processor
Relevancia para IA. Un modelo cuantizado debe caber en memoria junto con su contexto y la base vectorial. La capacidad y la velocidad de la RAM definen qué tamaño de modelo puedes cargar y cuán rápido responde.
Descripción de fábrica128GB (4 x 32GB) 6400MHz RDIMM
Relevancia para IA. Aquí viven los pesos de los modelos, el corpus de documentos y los índices vectoriales. Discos más rápidos acortan la carga de modelos y las búsquedas semánticas.
Descripción de fábrica8SFF Hot Plug 2.5in Small Form Factor Basic Carrier (NVMe)
Descripción de fábricaHPE NS204i-u v2 NVMe Hot Plug Boot Optimized Storage Device ( Includes Hot Plug capable dual 480GB NVMe M.2 automatically configured into a RAID 1 Mirror)
Descripción de fábricaHPE MR408i-o Gen11 SPDM Storage Controller
Relevancia para IA. La red conecta a los usuarios y a las aplicaciones con el servicio de IA dentro de tu red interna. Más ancho de banda ayuda al mover documentos entre nodos.
Descripción de fábricaBroadcom BCM57416 Ethernet 10Gb 2-port BASE-T Adapter
Relevancia para IA. Fuentes hot-plug redundantes sostienen la continuidad operativa de los servicios de IA sin detener el equipo ante una falla de fuente.
Descripción de fábrica2 x HPE 1000W Flex Slot Titanium Hot Plug Power Supply Kit
Descripción de fábricaGarantía 3 Year Next Business Day Warranty
Descripción de fábricaTambién incluidos 2 x HPE C13 - C14 250V 10A 2m FIO Power Cord
Cuéntanos qué documentos quieres proteger y cuántas personas usarán la IA. Confirmamos la configuración, con o sin aceleración, y nos encargamos del suministro, el despliegue y el soporte.
