DL380a Gen12 简介 

HPE ProLiant Compute DL380a Gen12 服务器面向主流企业AI团队，旨在不改变机架配置的前提下实现高密度部署。这款4U风冷机箱可无缝集成，支持最多八块双宽GPU，并全线配备PCIe Gen5接口‌。其配置选项包括双路英特尔至强6处理器（单颗最高144核）、4TB DDR5内存（32个DIMM插槽）以及十六个E3.S NVMe硬盘位，以满足高吞吐与大容量需求‌。该产品的核心目标明确：在不采用液冷技术的前提下，实现生产级推理与规模化微调任务‌。

对于加速器，HPE验证了涵盖NVIDIA H200 NVL、H100 NVL、L40S、L20、L4和RTX PRO 6000 Blackwell Server Edition的广泛堆栈，并提供了支持更高功耗组件的电源选项‌。本次评测聚焦于RTX PRO 6000 Server，它在企业AI领域达到了一个实用的平衡点‌。每张显卡均配备96GB ECC GDDR7显存、PCIe Gen5 x16接口、支持FP4的Tensor核心，以及适用于风冷机架的600W功耗设计‌。我们的测试系统配备了四张显卡，这是高吞吐量推理和定向微调的合理起点，并具备可扩展的余量‌。

HPE通过完善平台的关键运营组件来增强其功能。iLO 7负责带外设置、健康监控和电源管理，其核心依托硅片信任根（Silicon Root of Trust）（一个用于固件完整性的安全区域），支持4096位RSA算法，并配备可拆卸的DC-MHS iLO模块，以强化供应链验证‌。该服务器还集成了HPE的私有云AI框架，支持多团队治理和机群规模的重复部署。

DL380a Gen12的技术规格

DL380a Gen12 的设计与制造 

DL380a Gen12是一款4U双路机架式服务器，专为高性能、可扩展的部署场景设计。机身尺寸为6.88×17.63×31.60英寸（约17.5×44.8×80.3厘米），在提供密集CPU与GPU算力的同时采用高效风冷设计，确保重载工作负载下的稳定运行。 

该服务器根据配置不同重量在82.7至137.8磅（约37.5至62.5公斤）之间，机箱支持高容量组件与冗余电源，并配备便于维护的前部检修通道。整体设计着重强调性能表现、扩展能力与强劲的散热管理，使其完美适配企业及数据中心运行环境。

在存储方面，DL380a Gen12服务器提供4盘位和8盘位配置，支持SFF或EDSFF规格。我们的评测机型搭载了HPE DL380a Gen12 NS204i-u前置笼套件，可支持两个NVMe M.2热插拔启动设备。该机箱还配备八个2.5英寸盘位，其中已安装两个容量为15.36 TB的HPE原厂U.3固态硬盘。HPE提供多种前置盘位选项，能够为不同部署需求实现灵活扩展。

该设备可过两侧的双提手进行搬运，这意味着至少需要两人协作才能安全完成机架安装。服务器采用2U伸缩式导轨套件，可实现平滑安装并支持在机架内直接进行维护，无需将设备完全移出机柜。

在DL380a Gen12服务器的后部，可以看到注重气流优化、扩展性与可维护性的合理布局。该系统最多支持八个模块化冷却冗余电源（MCRPS 1-8），并配备整体式通风隔板，确保持续高负载下的最佳散热效果。扩展能力极为丰富，提供多个PCIe Gen5 x16插槽（1-6号），既支持默认配置也支持可选式内置提升卡，同时配备OCP A/B插槽以实现灵活网卡配置。接口方面包含专用iLO管理网口、多个USB 3.2 Gen1接口以及本地管理用的VGA接口。需要注意的是：1号插槽仅当安装HPE DL380a Gen12 4EDSFF直连缆线（型号P74716-B21）时可用，且不可兼容SFF规格NVMe硬盘；而4号插槽在配置4个或8个DW系列GPU时将无法使用。

DL380a Gen12 采用模块化钛金级热插拔电源套件（M-CRPS）供电，可选配置包括1500W（P67244-B21）、2400W（P67252-B21）和3200W（P67248-B21）型号。该系统最多支持八个电源模块，可实现N+1冗余，确保即使某个电源模块发生故障也能持续运行。根据GPU配置的不同，电源需求与分配会相应调整。本次评测机型配备了五个2400W M-CRPS电源，不仅能为四个热设计功耗600W的GPU提供充足电力，同时保持了可靠的冗余能力。

从俯视视角观察DL380a Gen12内部结构，可以明显看出惠普采用以GPU优先的散热策略——将GPU阵列置于系统前部以获得直接无阻的气流。冷却系统包含四个热插拔风扇模组，每个模组均由一个92x56mm双转子风扇和两个40x28mm单转子风扇构成。其中小型风扇专注于为CPU和内存模块提供定向气流，确保底部组件的高效散热；而大型双转子风扇则专门设计用于驱动高风量气流直接通过GPU阵列。这种平衡设计即使持续运行高功耗工作负载时，也能为计算单元与加速器组件提供最优散热效果。

在检视GPU配置时，我们发现评测机型已预布线支持四块PCIe 5.0 GPU，这些显卡整齐地安装在前部GPU专用支架中。系统搭载的是NVIDIA RTX PRO 6000 GPU（Blackwell服务器版，96GB显存），属于NVIDIA专为AI、渲染及计算工作负载优化的新一代专业产品线。根据配置方案，DL380a Gen12可支持4个或8个双宽GPU，或最多16个单宽加速卡，为各类企业级和AI部署场景提供了高度灵活性。 

该平台支持的GPU型号包括： 

● NVIDIA RTX PRO 6000 Server Edition (96GB) 

● NVIDIA H200 NVL (141GB) 

● NVIDIA H100 NVL (94GB) 

● NVIDIA L40S (48GB) 

● NVIDIA L20 (48GB) 

● NVIDIA L4 (24GB) 

这种灵活的GPU布局，结合高带宽PCIe Gen5通道，确保DL380a Gen12能够同时应对高密度推理任务与大规模AI训练环境。

随着视线移向机箱内部更深处，在安装导风罩的情况下，我们可以观察到HPE在气流管理方面的精密工程设计。该导风罩采用精准成型的挡板结构，能有效引导气流均匀通过CPU、内存模块与电压调节模块，确保系统整体散热的一致性。

在CPU散热器方面，HPE在设计DL380a Gen12时充分考虑了热平衡因素。每个至强6处理器都配备了加高型高密度散热鳍片，这种设计既能处理CPU自身发热，也能应对机箱前部GPU产生的额外热量。当系统运行混合重度工作负载时，即使GPU排出的热气流会提高CPU区域的环境温度，该设计仍能保持稳定的散热性能。在配置高功耗GPU时，加高散热鳍片与HPE前后贯通式风道设计的结合，提供了必要的散热表面积与冷却效率，可有效管理额外的热负荷。

HPE 计算运维管理平台 iLO 7 概览 

如前所述，该系统配备专用iLO管理端口，可通过带外管理实现完整的服务器控制与监控功能。本次评测机型搭载全新的HPE iLO 7管理界面，为管理员提供焕新设计的操作界面与增强功能，并与HPE Compute Ops Management集成，实现一体化的配置、监控及生命周期管理。下图为我们测试样本中显示的HPE iLO 7全新登录界面。

从控制面板首页可见，HPE iLO 7采用现代化界面设计，直观展示系统状态与关键运行指标。主面板集中显示主机电源状态、系统健康状况及与HPE Compute Ops Management的联接状态，右侧区域则呈现iLO IP地址、主机名和许可证类型等基础信息，方便用户快速查阅。 

该仪表盘将风扇冗余状态、电源健康状况及温度读数等关键指标整合于色彩编码的清晰界面中，令服务器状态一目了然。虚拟介质与远程控制功能同样可直接在主页启用，无需多层导航即可执行常规远程管理操作。

在固件选项卡中，HPE iLO 7以清晰有序的方式呈现所有组件与更新管理任务。界面采用卡片式布局列出固件清单、活动安装队列及验证结果，便于用户快速导航。管理员可轻松启动更新、将固件包上传至iLO存储库，或创建批量部署的安装集合。 

固件验证与存储库管理功能直接集成在该界面中，用户可确认固件完整性并保持各组件版本一致性。右侧的快捷操作菜单简化了关键任务流程，例如更新固件或上传新文件。通过固件设置卡片，可对版本降级策略及第三方软件包的接受进行管控。

在主机管理板块中，HPE iLO 7提供了关键服务器功能的快速访问入口，包括电源控制、虚拟介质、硬件状态监测与系统性能监控。管理员可在此界面查看实时硬件冗余状态、访问集成管理日志或直接启动远程控制台。该布局还包含正常关机、电源循环及系统重置等快捷操作，无需物理接触即可实现完整的远程系统控制。 

右侧面板显示主机设置，包括TPM状态、平台策略配置及硬件模块信息。整体而言，该板块凸显了iLO 7作为集中控制枢纽的作用，使管理员能够在单一视图中安全地管理电源、监控事件并维持运营监管。

在主机>硬件视图下，我们可以查看系统中安装的GPU状态。如前所述，该设备搭载了四块NVIDIA RTX PRO 6000 Blackwell GPU，每块均显示为启用状态且运行正常。iLO 7提供了详细的硬件信息，包括型号、部件号与序列号，使管理员能够快速核查组件运行状态。

在安全选项卡中，HPE iLO 7整合了所有与系统防护及访问管理相关的关键控制项。概览面板直观呈现整体安全状态，重点标注风险等级、配置锁定状态及证书有效性。管理员可在此界面管理加密设置、认证方式与TLS证书，同时配置安全擦除及远程密钥管理功能。 

该界面会清晰标示需关注的安全事项（如自签名证书或未配置的密钥管理），同时对已落实的安全措施予以确认。安全日志、用户管理策略及访问控制功能均可便捷访问，使管理员能直接在iLO环境中全面掌握系统安全态势。

在HPE应用选项卡下，iLO 7提供了增强服务器部署与生命周期管理的集成工具。通过该界面，管理员可启动智能配置——这款内置工具旨在简化操作系统安装、固件更新及系统配置流程，无需借助外部介质。

iLO设置选项卡汇集了管理iLO接口的所有配置与管理选项。管理员可在此界面调控用户访问权限、网络端口配置、认证方式及日志记录行为，同时还可进行故障排查、策略实施、许可证管理与时间同步等操作。 

界面右侧设有备份/恢复iLO配置、执行重置等快捷操作入口，有效简化维护流程。该布局延续了iLO 7现代化的卡片式设计风格，通过统一管理中心为安全策略、连接配置及运行参数管理提供清晰有序的操作界面。

DL380a Gen12 性能测试 

为评估DL380a Gen12的实际性能，我们执行了涵盖AI推理与通用计算场景的全面测试，包括针对大语言模型的vLLM在线服务基准测试，以及通过Phoronix测试套件衡量CPU吞吐量、内存带宽、网络服务效率与加密性能的基准测试。 硬件配置： 

CPU: 2 x Intel Xeon 6527P CPU 

Memory: 16 x HPE 64GB 2Rx4 PC5-3400B-R Smart Kit 

GPU: 4 x NVIDIA RTX PRO 6000 (96GB) 

Storage: 2 x 15.63TB PM1733a U.3

测试中涉及到的性能指标定义：

 ● BS (Batch Size)：批量大小，指单次推理处理的用户请求数量‌； ‌

● TP (Threads Per User)‌：每个用户分配的线程数，影响并发处理能力‌； ‌

● tok/s：每秒生成的token数量，衡量生成速度的核心指标； ‌

● TPOT (Time Per Output Token)：每个输出Token的平均处理时间，反映延迟水平。 

4.1. vLLM在线服务——LLM推理性能 

vLLM是当前最流行的大语言模型高吞吐量推理与服务引擎。vLLM在线服务基准测试是一种性能评估工具，用于衡量该推理引擎在并发请求下的实际服务能力。该工具通过向运行的vLLM服务器发送可配置参数（包括请求速率、输入/输出长度和并发客户端数量）的请求来模拟生产环境工作负载。基准测试主要测量吞吐量（tok/s）、首Tokens生成时间和每输出Token时间等关键指标，帮助用户了解vLLM在不同负载条件下的性能表现。 

我们测试了三个具有代表性的模型（涵盖不同规模与量化方法）的推理性能，评估了DL380a Gen12服务器搭载的四块NVIDIA RTX PRO 6000 GPU在生产级推理负载下的处理能力。 

4.1.1. 密集模型性能 

密集模型代表了传统的LLM架构，在推理过程中所有参数和激活值均被调用。我们评估了两种密集模型配置：Llama-2-70b-chat-hf和Llama-3.2-90B-Vision-Instruct。 

4.1.1.1. Llama-2-70B-Chat 性能 

在单用户并发批量大小BS=1且TP=4的情况下，该模型每个用户可实现32.89 tok/s的处理速度，每个输出Token的平均处理时间（TPOT）为30.18毫秒。当批量大小提升至BS=8时，每个用户性能达到15.68 tok/s，系统总吞吐量为433.62 tok/s，TPOT延长至35.98毫秒。当进一步扩展至批量大小BS=32时，系统总吞吐量提升至741.62 tok/s，在保持每个用户8.00 tok/s处理速度的同时，TPOT增至43.44毫秒。

4.1.1.2. Llama-3.2-90B-Vision-Instruct 性能 

在批量大小BS=1且TP=4时，该模型可为每个用户可达到20.59 tok/s的处理速度，每个输出Token的平均处理时间（TPOT）为38.27毫秒。 当批量大小提升至BS=16时，每个用户性能达到7.20 tok/s，系统总吞吐量为806.14 tok/s，TPOT延长至54.98毫秒。当批量大小BS=128时，系统实现最大吞吐量1372.21 tok/s，在保持每个用户2.59 tok/s处理速度的同时，TPOT增至122.75毫秒。

4.1.2. 微缩放数据类型的性能表现 

微量化代表了一种先进的量化方法，该方法通过在小权重块上应用细粒度缩放因子，而不是在大参数组上进行统一量化。NVIDIA的NVFP4格式通过分块浮点表示实现这一技术，其中每个微量化块的8-32个值共享一个公共指数作为缩放因子‌。这种细粒度方法在实现4位表示的同时保留数值精度，维持transformer架构的关键动态范围‌。该格式与NVIDIA在RTX PRO 6000上的张量核心架构集成，支持通过矩阵运算中的实时解压缩实现高效的混合精度计算‌。 

我们使用NVFP4量化技术对OpenAI的GPT-OSS-120B模型进行了评估。在单用户并发、TP=2的设置下，模型实现了每个用户176.09 tok/s的生成速度，TPOT为5.46毫秒，这是我们测试套件中最低的延迟。‌在BS=4、TP=4的设置下，性能达到每个用户105.79 tok/s，同时总吞吐量为1155.94 tok/s，TPOT为7.79毫秒。‌在BS=32、TP=4的设置下，吞吐量扩展至每个用户47.54 tok/s，总吞吐量为3956.44 tok/s，TPOT为13.86毫秒。在BS=64时实现了最大总吞吐量4015.77 tok/s，每个用户生成速度为25.38 tok/s，TPOT为14.78毫秒。

4.2. Phoronix 基准测试 

Phoronix Test Suite 是一款开源的自动化基准测试平台，通过 OpenBenchmarking.org 支持超过 450 个测试配置文件和 100 多个测试套件。该平台可自动完成从安装依赖项、运行测试到收集结果的全流程，非常适合用于性能对比、硬件验证和持续集成。我们将重点关注以下测试项目：Stream、7-Zip、Linux 内核编译、Apache 和 OpenSSL 测试。 

Stream 内在带宽 

在Stream基准测试中，该测试用于衡量原始内存吞吐量，HPEDL380a Gen12服务器实现了令人印象深刻的542 GB/s带宽，充分展示了平台在持续负载下维持高数据传输速率的能力‌。这一性能水平使其特别适用于数据建模、模拟和AI推理等需要快速处理大规模数据的工作负载‌。 

7-Zip 压缩

 7-Zip压缩测试结果显示为305 kMIPs，突显了该系统在计算密集型压缩与解压操作中出色的多线程效率。这一表现使DL380a Gen12服务器非常适合需要频繁数据打包、归档或依赖稳定、可重复CPU性能的备份工作流等应用场景。 

内核编译 

当完整编译Linux内核（allmodconfig）时，HPE ProLiant Compute DL380a Gen12服务器在316秒内完成了任务‌。这一基准测试充分展现了该系统在处理并行化、代码密集型工作负载时游刃有余的能力。更快的编译性能直接意味着更短的构建时间，从而显著提升开发人员在大规模软件或持续集成/持续部署（CI/CD）环境中的工作效率和迭代速度‌。 

Apache Web Server 

在Web服务性能方面，HPE ProLiant Compute DL380a Gen12服务器在Apache基准测试中实现了每秒94,348次请求的持续处理能力‌。这一结果充分体现了该服务器在I/O负载均衡与缓存效率方面的卓越表现，能够为大型企业级Web应用、虚拟化前端及内部服务托管提供高吞吐量与低延迟的稳定支持‌。 

OpenSSL 验证 

在加密性能方面同样表现强劲，DL380a Gen12在OpenSSL测试中实现了每秒8030亿次操作验证。这充分展示了该系统在大规模管理加密、认证及安全通信工作负载方面的卓越能力‌。

最后

DL380a Gen12 是专为主流企业AI市场设计的实用型AI服务器，其4U风冷架构在计算密度、可靠性和易维护性之间实现了出色平衡。该服务器搭载双路英特尔至强6处理器，支持8块双宽或16块单宽GPU，并配备16个E3.S NVMe硬盘槽位，通过优化的气流与热平衡设计确保高负载下的稳定性能‌。其创新之处在于将液冷技术扩展至DL380a Gen12型号，同时保留风冷选项，为企业提供灵活的散热方案。在SPEC CPU 2017测试中，该服务器整数性能较前代提升111%，浮点性能提升44.6%，印证了其计算密集型任务的处理能力。此外，其4U8卡配置特别适合70B参数大模型推理、多路视频分析等中高算力场景，避免了算力冗余问题‌。 

iLO 7的引入显著提升了管理便捷性，这为HPE等一线服务器厂商带来了巨大优势。其现代化界面与HPE Compute Ops Management的集成，以及详尽的硬件遥测功能，使远程管理变得直观高效‌。仪表盘、固件、主机、安全、应用和设置等每个模块，都体现了HPE在保持企业团队依赖的本地控制力同时，向更简洁、更云化体验的转变‌。

在性能测试中，该服务器表现卓越。四块RTX PRO 6000 GPU在密集计算和微缩大语言模型（LLM）中均展现出优异的吞吐性能，其vLLM推理服务效能可与液冷系统媲美‌。Phoronix的CPU基准测试进一步验证了其均衡性：内存带宽突破540GB/s，Apache请求处理速率达94k RPS，OpenSSL加密验证速度超过8000亿次/秒，充分体现了其在AI加速与通用计算领域的双重优势‌。 

HPE的设计目标非常明确：通过空气冷却技术实现高密度、可生产化的AI性能，同时适配现有数据中心的机架和电力基础设施‌。对于寻求在风冷架构中部署可靠、安全且易于管理的计算资源的数据中心团队而言，DL380a Gen12服务器凭借其卓越的性能和能效优化，成为了面向主流AI市场增长的一款强大且具有前瞻性的解决方案‌。

成都HPE服务器代理商 —— 成都强川科技有限公司 

联系电话：400-028-6620    028-85024766 

公司地址：成都市武侯区一环路南二段2号新世纪商业中心东楼17楼B座