NAS组装记——硬件篇

已经有几个月没更新博客了,原因是颓废了一段时间,以及接下来面临毕业,有很多东西需要准备,但折腾永不停止。

这段时间长草NAS,也因此观察了一段时间,曾一度想要剁手某牌的TS-563(以下简称563),然而最终还是没有下手。

为何不买NAS成品

民用级的品牌NAS,几乎都有类似的特点,总结如下:

  1. 好用的系统,尤其是WebUI
  2. 较差的硬件,如J3455,2G内存等
  3. 较差的扩展性,专用硬件价格高
  4. 较高的价格,且硬件越好,溢价越高

我们可以从563的分析入手,尽量保持客观。

通过官方的介绍以及相关的评测,可以得到如下信息:

563采用的AMD GX-420MC处理器,4核不含集显,比较少见,但从cpuboss上的benchmark来看,也就J3455一级别的性能,功耗较前者稍高。

拥有2条DDR3L SODIMM(笔记本)内存槽,最大16GB(双通道),1条PCIe 2.0 x4插槽,带宽够单口的10Gbps NIC,主板集成2口1Gbps NIC,5个硬盘槽是通过Marvell芯片扩展的,芯片位于存储背板上,对这款芯片不了解,不评论。

需要注意的是,该品牌的PCIe挡板比较奇特,某宝上根本买不到,也就是说只能购买该品牌的扩展卡了,有点贵。

系统方面,不曾体验不好评价,但从之前黑群晖的使用来说,还是不错的,图形化界面很省心,应该是Linux的软阵列,即Multiple Device driver,相比于硬件阵列,可以更好地与系统集成,同时控制成本,付出的代价是性能以及资源消耗。

站在普通消费者的角度,我认可通过廉价硬件控制成本的做法,毕竟系统研发以及维护也是需要花费巨大成本的,且硬件对于普通用户而言应该是透明的。但作为一名喜欢折腾的用户,如果相同的价格可以买到更高层次的硬件,那么我会选择自行组装(尽管目前比较忙,但可以慢慢来)。

需求分析

综合分析,个人的需求其实也比较简单:

  1. 可靠且高效的存储,Samba和iSCSI都是必要的
  2. 方便的扩展,如阵列卡、万兆网卡等
  3. 适中的性能,需要用Docker跑一些额外的服务

鉴于目前开源NAS系统基本都有上述功能,因此这里着重分析对于硬件的要求:

  1. 机箱最好是8bay的,留点余地最好
  2. CPU的性能至少强于J3455
  3. 主板至少拥有一条PCIe gen3 x16用于扩展
  4. 主板支持拥有8个SATA口,或者通过阵列卡拨接硬盘笼
  5. 尽量选服务器级别的硬件

硬件选型

总体的指导原则:稳定为先,适中的性能,抛开UPS、硬盘、阵列卡,整体预算控制在5.5K以内。

目前,某宝上很多基于J3455或者J4205的主板,清一色PCIe x1,如果对于万兆网络以及扩展性没有要求,这些主板可以很好地控制成本,基本可以做到2K以内。既然这边把预算控制在5K这一级别,所以就不考虑这些了。

项目型号
CPUXeon D-1521
主板永擎D1521D4I
内存镁光 DDR4 ECC RDIMM 8GB * 2
电源海韵 SS-350M1U
机箱万由 810A

CPU的选择是Xeon D-1521,4核8线程,TDP 45W,支持ECC内存。原本准备入超微的X10SDV-4C-TLN2F,无奈年底基本都无货,且期间经历一次离奇的退货,奉劝大家切记贪便宜。一番纠结后,只剩下了永擎D1521D4I,相比于超微的,区别主要在于前者有2个10Gbps口,而后者只有2个1Gbps口(i210),但是价格便宜至少1K。

(题外话,这段时间购买Xeon D很尴尬,2017Q3以及2018Q1都会发布新款,当然拿到货估计得等上一年半载。所以我的策略是购入尽可能便宜的Xeon D,免得到时候掉价太狠。)

board_arch.jpg

从上图可以发现M.2口是从PCIe x4转的,因此我准备通过M.2口转一个PCIe gen3 x4槽,32GT/s(~3940MB/s)的带宽供给双口万兆NIC够用了。当然如此就无法“简单”地使用NVMe SSD了,比较遗憾。PCIe x16则是留给Raid卡或者HBA卡的。

我在这款主板的Bios中发现其PCIe槽支持拆分,通过转接卡倒是可以省出M.2槽,无奈机箱实在太小,插上转接卡后,高度应该会超。

这款主板最大的问题在于只有一个USB 2.0 Header,因此需要购入一个内置的USB HUB,转成4口的,另外比较尴尬的是,HUB芯片可能与主板存在兼容问题,经过测试,GL850G芯片工作良好,FE1.1s存在兼容性问题

内存条的选择比较简单,2条镁光DDR4 ECC RDIMM 8G,组双通道能够喂饱D-1521。这套核心配置,基本都是服务器级别的硬件,且有IPMI,配合稳定一点的电源,7*24小时运行问题不大(需要UPS的配合)。

组装NAS,硬件方面最大的麻烦在于机箱,8盘位NAS机箱只有万由在做,我的选择是810A。自带电源是海韵的1U电源,80PLUS GOLD,算是比较好的一款,低功耗下风扇根本不转,没噪音。坦白说,这一套的价格还是较高的,且细节方面有些不理想,比如:

  1. 机箱边角容易划伤手指,或者损坏线材
  2. 固定的螺丝过多,拆卸不够方便
  3. 机箱实在太重,难以想象装满8块硬盘后的情况
  4. 主板IO挡板开槽的位置有一定的偏差,安装IO挡板时十分勉强
  5. 前置的USB3.0真不如换成ESATA口,供热备硬盘使用

原本计划弄一块Dell的H740P阵列卡,看中它的8GB cache,但对于硬件的兼容性心里没底,且从目前实验室T440服务器中H740P的使用情况来看,连续开机半个月左右,总会出现“迷之故障”,直接报backplane fault。最终入手了一张HBA卡,LSI 9300-8i,准备组软raid。这张卡最大的问题在于发热过高,被动散热需要空气的流通,但在万由的机箱中这是奢望,发热完全压不住,于是又买了Noctua A9x14风扇,给它吹吹风~

hba_9300.jpg

散热

万由810A这款机箱的空间实在小,又有如此多的线,光布线就耗费不知多少时间,而且有些线是不能乱折的,比如miniSAS转SATA线,所以最后就是这副样子。。。

nas_mb.jpg

起初担心如此乱糟糟的布线会影响CPU的散热,但在实际环境中测试时,发现一般负载下能够控制在50度以下,唯一比较烦人的是自带的CPU风扇太吵,于是乎我将CPU散热片上的风扇换成了Gelid silent5,这款风扇没有PWM控速,但噪音控制的不错,散热效果也完全可以接受。在换上暴力熊的硅脂后,在20℃的环境温度下,满载温度可以控制到51℃左右,空载状态下温度42℃,其中硅脂大概贡献了2度左右的温度下降,有机会上液态金。

CPU上侧的2颗电感温度感人,贴上散热片后,效果不错。后面板的风扇也被我换成了镰刀的KF120-1850,满负载的情况下风量很大,当然这种情况下噪音也挺大,但肯定不会“起飞”,至于是朝内送风还是朝外抽风,我的实验结果是抽风,否则难以确保气流最终从硬盘笼中送出,效果不理想。

nas_fan.jpg

另一个问题则是,猫扇的风量不给力,应该是pwm的原因,导致HBA芯片的温度没有得到较好控制,原本是烫到没法摸散热片,现在倒是可以摸,但感觉依旧是烫,要知道现在可是冬季,看来还是需要换成4cm的风扇贴着散热片可劲吹。

[更新 2018/03/18]买了一个4cm的猫扇贴着散热片吹,温度很快就降下来了,目前的运行温度应该不会超过CPU,这个问题算是彻底解决了。

总结

品牌NAS的优点在于,内部集成度高,不会有那么多的线干扰风道,而代价就是价格和后期的扩展能力。既然选择组装NAS,就要有长期折腾的准备,不仅仅是硬件,还有内部的软件。虽说这种配置应付7*24工作是没问题的,但细想来,除了自己懒得开关机,其余情况下并没有这种需求。何况,没有UPS,没有冗余硬件谈什么7*24。。。

折腾了一个多月,硬件篇就这么结束了,而折腾软件的道路更是漫长,先挖个坑吧!

说两句: