XASUN分布式计算静音集群应用方案1

vc_sun3296 · 发表于 2012-5-29 12:03

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？我要加入

x

(一）办公环境下的高性能计算集群时代

分布式集群应用已经成为当今高性能计算的主流架构,其显著优势是扩展能力强、可靠性高、维护成本低廉。但是传统的集群管理、维护是全部设备安放在专门的计算中心机房里，对环境、电力、人员等要求极高，费用大、维护成本高

登录/注册后可看大图

随着CPU更新换代加快，机器性能一方面不断提升，另一方面老机器面临被淘汰的可能，也为大规模采购机器带来巨大的风险，使用率上不去就面临资金巨大浪费，由于单台计算节点的能力已经是过去单核时代的几十台机器的性能，用几台最新Xeon处理器规格的计算节点就能达到极高的计算性能，用4~6台构成的集群性能已经超过万亿次/秒，这种系统性能已经完全满足了80%以上的科学工程计算应用，如果让这这种迷你集群进入到办公环境里，那客户使用就更加便利，运行效能更高，维护成本更低，被淘汰带来的损失也是最低的，其好处显而易见。

办公环境基本要求

如果把分布式计算集群系统放置到办公环境里，机器的噪音、功耗都有一定要求，还有产品电磁辐射、电子污染都有所控制：

l
噪音控制：在办公环境里白天的噪音不能超过45分贝

l
总功耗控制：不能超过3000w

l
电子污染：机器里的配件都要达到绿色环保的要求。

XASUN通过多年技术积累，解决上述问题，真正做到完美，XASUN做到了让高性能计算集群进入到办公环境，让更多研究人员享受分布式计算带来的好处。同时机器整体性能得到高效运转和极低的维护成本
集群系统功能介绍

登录/注册后可看大图

整个分布式计算集群系统分两大部分：硬件部分和软件系统部分
1.集群硬件系统组成
XASUN高性能计算集群硬件：

• 计算节点：3~5台静音机架式计算服务器

• 管理节点：1台静音机架式图形服务器

• 计算网络：InfiniBand网络或千兆以太网络

• 管理网络：千兆以太网

• 控制系统： 8口切换器

• 基础设施：42U机柜、供电模块、系统布线、线缆插座和相关附件

(1)管理节点(主计算节点、存储节点)
数量1台

l
安装有集群管理软件，对整个集群进行监控、管理和作业调度等工作，负责在集群安装的初期对所有的节点服务器进行操作系统及应用软件的大规模快速部署功能（管理功能）

l
承担数据存储任务（存储功能）

l
承担科学计算任务（主计算功能）

参考配置

2核Xeon E5 2650(2G,共16核)/64GB DDR1600/Q4000图卡/4TB SAS高速盘/机架式

(2)计算节点
数量4台

安装有操作系统，安装相应的并行计算软件，完成高性能计算系统分配相应的科学计算任务。

参考配置

2核Xeon E5 2650(2G,共16核)/48GB DDR1600/240G SSD硬盘/机架式

(3)系统网络类型描述：

Ø
InfiniBand高速计算网络

由于Infiniband网络最大优势是延迟极低，对于那些内存敏感型计算应用，数据交换时间大幅缩短，例如流体计算，是非常合适的。

Ø
千兆以太网络

除了高速低延迟的InfiniBand网络，此集群系统中还配置了兼容性极高的千兆以太网络，用来运行基于TCP/IP协议的数据传输，做为集群管理网络，用来进行节点操作系统系统的布署，软件的安装，还可以做为另一套计算网络来运行。

2.集群系统软件部分：

• 操作系统：Linux X64 OS

• 集群管理：Rocks集群管理软件

• 作业调度：PeraGrid 作业调度系统

• 编译环境：GNU C++/Fortran 编译器 /GDB调试器

• 并行环境：MPICH / OpenMP

• 数学函数库：Goto、BLAS、Lapack等

(二).XASUN静音分布式集群应用案例

分布式集群进入办公环境，最高达支持到80核CPU并行计算,计算速度超过万亿次，满足80%的数值计算应用。

vc_sun3296 · 发表于 2012-5-29 12:05

方案1 科学计算集群系统配置

类别	配置	数量	单位
(一).集群硬件
1	主计算节点(管理节点、存储节点)	1	台
1	型号 XASUN R560 22064-S12T4ARB	1	台
	配置明细
	◇4U机架式
	◇2颗Xeon E5 2650
	（2GHz，20M L3，双QPI 8GTs，共计16核）
	◇Intel C602+PCH 芯片组
	◇64GB DDR3-1600 RECC
	◇图卡 1块 QUADRO 2000 1GB
	◇系统盘1块 240GB 6Gps SSD
	◇数据盘4块 1TB SAS企业级
	◇双1000M以太网接口
	◇1200W EPS 电源
2	计算节点	3	台
2	型号 XASUN R560 22032-T15i	3	台
	配置明细
	◇4U机架式
	◇2颗 Xeon E5 2650
	（2GHz，20M L3，双QPI 8GTs，共计16核）
	◇Intel C602+PCH 芯片组
	◇32GB DDR3-1600 RECC
	◇系统盘1块 300G 6Gps SAS硬盘
	◇双千兆以太网接口
	◇1000W EPS 电源
	◇可选2块GPU计算卡， 1块Infinibang高速互联卡
3	24口千兆交换	1	台
4	8口 KVM切换器	1	套
5	19"标准，含网络布线系统、散热系统、供电系统、导轨、托架，22U	1	套
6	净化稳压电源5KVA	1	台
(二).分布式集群调度系统
7	Linux OS x64 操作系统
8	Rocks Cluster 5.4 分布式集群系统
9	作业调度软件PeraGrid（可选）
分布式集群性能指标
1．CPU 集群共计64核，集群浮点性能：10240亿次/秒（1Tflops）
2．集群内存容量160GB DDR3-1600 RECC
3．集群存储容量 3TB （RAID5下）
4．千兆以太端口
5.噪音控制：静音级，全速计算45分贝以内
总计	¥199,900元

vc_sun3296 · 发表于 2012-5-29 12:06

回复 1 # vc_sun3296 的帖子

方案2 CPU+GPU混合架构并行算集群系统配置

类别	配置	数量	单位
(一).集群硬件
1	主计算节点(管理节点、存储节点)	1	台
1	型号 XASUN R560 22096-A13T4ARB	1	台
	配置明细
	◇4U机架式
	◇2颗Xeon E5 2620
	（2GHz，15M L3，双QPI 7.2GTs，共计12核）
	◇Intel C602+PCH 芯片组
	◇48GB DDR3-1600 RECC
	◇图卡 1块 QUADRO 2000 1GB
	◇系统盘1块 300G 6Gps SAS硬盘
	◇数据盘4块 1TB SAS企业级
	◇双1000M以太网接口
	◇1200W EPS 电源
2	计算节点	3	台
2	型号 XASUN R560 22064-A13i	3	台
	配置明细
	◇4U机架式
	◇2颗Xeon E5 2620
	（2GHz，15M L3，双QPI 7.2GTs，共计12核）
	◇Intel C602+PCH 芯片组
	◇Tesla C2075 6GB GDDR5
	◇24GB DDR3-1600 RECC
	◇系统盘1块 500G SATA企业级
	◇双千兆以太网接口
	◇1000W EPS 电源
	◇可选2块GPU计算卡， 1块Infinibang高速互联卡
3	24口千兆交换	1	台
4	8口 KVM切换器	1	套
5	19"标准，含网络布线系统、散热系统、供电系统、导轨、托架，22U	1	套
6	净化稳压电源5KVA	1	台
(二).分布式集群调度系统
7	Linux OS x64 操作系统
8	Rocks Cluster 5.4 分布式集群系统
9	作业调度软件PeraGrid（可选）
分布式集群性能指标
1．CPU 集群共计48核，集群浮点性能：768Gflops
2．GPU 集群共计1344核，
集群浮点性能(单精度）：3.45TGflops
集群浮点性能(单精度）：1.56TGflops
3．集群内存容量120GB DDR3-1600 RECC
4．集群存储容量 3TB （RAID5下）
5．千兆以太端口
6.噪音控制：静音级，全速计算45分贝以内
总计	¥215,000元

vc_sun3296 · 发表于 2012-5-29 12:10

回复 1 # vc_sun3296 的帖子

方案3 动画渲染计算集群（渲染农场）系统配置

类别	配置	数量	单位
(一).集群硬件
1	管理节点(存储节点)	1	台
1	型号 XASUN R560 22016-S12T4ARB	1	台
	配置明细
	◇4U机架式
	◇2颗Xeon E5 2620
	（2GHz，15M L3，双QPI 7.2GTs，共计12核）
	◇Intel C606+PCH 芯片组
	◇16GB DDR3-1600 RECC
	◇图卡集成
	◇系统盘1块 240G 6Gps SSD
	◇数据盘4块 1TB SAS企业级
	◇双1000M以太网接口
	◇1000W EPS 电源
2	渲染节点	3	台
2	型号 XASUN R560 22064-A13i	3	台
	配置明细
	◇4U机架式
	◇2颗 Xeon E5 2620
	（2GHz，15M L3，双QPI 7.2GTs，共计12核）
	◇Intel C606+PCH 芯片组
	◇8GB DDR3-1600 RECC
	◇系统盘1块 500G SATA企业级
	◇双千兆以太网接口
	◇700W EPS 电源
	◇可选2块GPU计算卡
3	24口千兆交换	1	台
4	8口 KVM切换器	1	套
5	19"标准，含网络布线系统、散热系统、供电系统、导轨、托架，22U	1	套
6	净化稳压电源5KVA	1	台
(二).分布式集群调度系统
7	Linux OS x64 操作系统
8	Rocks Cluster 5.4 分布式集群系统
9	作业调度软件PeraGrid（可选）
分布式集群性能指标
1．CPU 集群共计36核，集群浮点性能：5760亿次/秒（1Tflops）
2．集群内存容量24GB DDR3-1600 RECC
3．集群存储容量3TB （RAID5下）
4．千兆以太端口
5.噪音控制：静音级，全速计算45分贝以内

vc_sun3296 · 发表于 2012-5-29 12:13

回复 1 # vc_sun3296 的帖子

(三).XASUN静音分布式集群与市场主流同类产品的差异对比

NO	对比项目	XASUN方案	刀片方案	备注
1	硬件性能	支持功耗更高130w的处理器,例如: 支持Xeon X5680(3.33G)、Xeon E5 2687w	受散热器限制,只能用功耗为95w的处理器,例如:最大到Xeon 5675(3.06G)，Xeon E5 2660	XASUN速度更快
2	配置合理性	充分分解应用软件的特点, 针对应用配置更合理主节点：12核Xeon5680 +64GB+4TB（存储，高带宽），Quadro2000 从节点：12核Xeon5680+48GB+500GB	大部分都是代理商承担销售,对应用的理解很少	XASUN配置在数值计算应用更高效合理
3	可靠性	1. 机器核心配件完全一致: 基于intel Xeon架构(英特尔生产) 内存DDR3-1333 RECC规格--主要是三星或现代生产企业级硬盘—Seagate公司生产图卡----Nvidia生产电源—EPS标准,基本都是台湾的 2. 操作系统都是windows或linux		品质没有任何差异, 只有品牌的不同
4	淘汰升级等风险控制	不断的淘汰，面临使用寿命和升级换代成本代价，我们提供的方案，更适合未来计算高效益低成本的趋势	几乎全部淘汰	XASUN让客户花钱最合算
5	故障控制	每一个节点故障，对集群整体运算影响有限	刀片柜子里的电源或散热系统或静电等,人一个配件出问题，集群就全部瘫痪	XASUN更可靠
6	维护成本	对环境要求不高，维护成本大幅降低，	刀片需要专门的机房，对温度，供电，湿度，都有极高的要求	XASUN对环境要求要求最低
7	噪音控制	基于办公环境应用	计算机专用机房	XASUN更适合部门级的计算应用

方案出处：北京太阳HPC应用中心
QQ 2485516108 13552863472

程瑞岩 · 发表于 2012-5-31 20:57

谁能告诉我这是什么呢。

账号		自动登录	找回密码
密码			我要加入

[图像处理] XASUN分布式计算静音集群应用方案1

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

点评