Servidor de empresa

Company AI Server

Un servidor GPU de verdad: 4-8 tarjetas, alimentación redundante, gestión BMC y red rápida, para una empresa que ha superado la estación de trabajo.

rendimientomonitorizaciónmantenibilidad

actualizado 16 sept 2026

Precio total

$51,270

VRAM

192 GB

RAM

512 GB

Almacenamiento

12 TB

Consumo est.

1947 W

Capacidad de IA

Aproximadamente ~80B de parámetros en fp16, ~160B en 8 bits o ~295B en cuantización de 4 bits.

inferencia de modelo pequeñoinferencia de tamaño medioRAG localinferencia de modelo grandefine-tuning LoRAservicio concurrenteentrenamiento

Componentes

GPU
4× NVIDIA L40Smemory: 48 GB GDDR6 ECC · bandwidth: 864 GB/s · interface: PCIe 4.0 x16
$36,000Ver precio ↗
CPU
AMD EPYC 9354cores: 32 · threads: 64 · clock: 3.8 GHz boost
$3,200Ver precio ↗
Placa base
Supermicro H13SSL-N (SP5, EPYC 9004)chipset: SoC · memory: 12 x DDR5 RDIMM ECC, up to 3 TB · pcie: 8 x PCIe 5.0 x16 (slots + MCIO fan-out)
$850Ver precio ↗
RAM
Samsung 512 GB (8x64) DDR5-4800 ECC RDIMMcapacity: 512 GB (8 x 64) · type: DDR5-4800 RDIMM · ecc: ECC
$2,550Ver precio ↗
Almacenamiento
Kioxia CD8-R 3.84 TB U.2 NVMecapacity: 3.84 TB · bus: PCIe 4.0 U.2 · read: 7000 MB/s
$620Ver precio ↗
Sabrent Rocket 4 Plus 8 TB NVMecapacity: 8 TB · bus: PCIe 4.0 NVMe · read: 7100 MB/s
$700Ver precio ↗
Fuente
FSP CRPS 2+2 redundant, 4000 W usablecapacity: 4000 W usable (2+2 hot-swap) · rating: 80+ Platinum · standard: CRPS redundant
$1,400Ver precio ↗
Refrigeración
Generic 4U high-static-pressure fan wall + shroudstype: rack forced-air · dissipation: chassis-wide · noise: loud (data-center)
$220Ver precio ↗
Red
NVIDIA ConnectX-6 Dx 100GbEspeed: 100 GbE · ports: 2 (QSFP56) · bus: PCIe 4.0 x16
$650Ver precio ↗
MikroTik CRS309 8x 10GbE SFP+ switchports: 8 x SFP+ 10 GbE + 1 GbE · throughput: non-blocking · form factor: desktop / 1U
$280Ver precio ↗
UPS
Eaton 9PX 3000 RT (online double-conversion, 2U)capacity: 3000 VA / 2700 W · topology: online double-conversion · runtime: ~7 min at full load
$1,600Ver precio ↗
Chasis
Supermicro 4U 8-GPU server chassis (CRPS, fan wall)form factor: 4U rack · gpu slots: 8 dual-slot passive · power: 2+2 CRPS redundant
$3,200Ver precio ↗

Los precios de los componentes se obtienen a mano y van fechados (comprobados el 2026-09-16), sin scraping. Confirma en el sitio del vendedor antes de comprar.

Por qué esta configuración

· Cuatro L40S: 192 GB de VRAM, refrigeradas pasivamente por el muro de ventiladores del chasis, la densidad y el flujo de aire en torno a los que se diseña un servidor de verdad.
· EPYC 9354 da 128 líneas PCIe 5.0 y 12 canales de memoria: todo el servidor tiene ancho de banda, no solo las GPU.
· 512 GB de memoria ECC mantienen los modelos grandes y su KV cache direccionables fuera de la VRAM cuando hace falta.
· Alimentación CRPS redundante y BMC (IPMI / Redfish): power-cycle en remoto, telemetría de salud, fuente hot-swap, la diferencia entre un servidor y un PC grande.
· Una tarjeta 100 GbE está ahí para el día en que esto pase a ser el nodo uno de un clúster.

Ventajas

+ 192 GB de VRAM, mantenible y monitorizado
+ Alimentación redundante, gestión en remoto
+ Margen hasta 8 GPU en el mismo chasis

Límites

− Ruidoso: una sala dedicada con climatización no es opcional
− Sigue siendo un solo nodo: una disponibilidad de nivel clúster necesita al menos dos
− La L40S no tiene NVLink: el entrenamiento de modelos grandes quiere tarjetas SXM

Alternativas

Más barata

Cuatro A6000: los mismos 192 GB, refrigeración blower, alrededor de la mitad del costo de GPU.

Equilibrada

Cuatro RTX 6000 Ada: 192 GB con el mejor rendimiento por tarjeta fuera de las SXM de centro de datos.

Rendimiento

Varios nodos de 8 GPU con almacenamiento compartido y una fabric 100 GbE.

Abrir ↗

Comprar frente a alquilar frente a híbrido

A lo largo de 36 meses, con el consumo de esta configuración y la tarifa de nube en vivo de su GPU.

Híbrido

Comprarla

Hardware: $51,270
Electricidad: $4,221
Costo total de propiedad: $55,491

Alquilarla (nube)

Nube equivalente, mensual: $2,289/mo
Nube equivalente, total: $82,388
Punto de equilibrio: 24 meses

· Las necesidades de alta disponibilidad suelen mantener algo de capacidad en la nube en reserva aunque comprar tenga sentido: el híbrido cubre ambas.
· A lo largo de 36 meses, poseerla ahorra unos 26897 $ frente a la nube equivalente.

Opciones equivalentes en la nube ↗

Los enlaces «Comprar en Amazon» son de afiliado: como Afiliado de Amazon, Obolith gana con las compras que cumplan los requisitos.

Conceptos en esta página

GPU VRAM Multi-GPU Self-hosting (autoalojamiento)Tasa de utilización Punto de equilibrio Cuantización