🔤™ Home Server Part.1 #서버 업그레이드

이전 글

오랜만에 글을 씁니다.

유냉쿨링을 미뤄두고 서버를 구성한 이야기를 1학기 시작즈음에 전한것 같습니다.

반년정도 지나 2학기가 시작한 지금 서버를 손보았기 때문에 바뀐점을 기록하고 나누기 위해 다시 키보드를 잡습니다.

---

보안을 위해 도메인 접근에서 VPN접근으로 방식을 바꾸던 중,

주소로 서비스에 접속하게 해주는 프록시 서버가 맛이 가버려

모든 서비스에 접근하지 못한채 2주라는 시간이 지나도록 복구를 하지 못하는 상황이었습니다.

 

이와 관련해 친구와 이야기를 하던 도중 정신을 차려보니

새로운 견적을 짜고있는 본인을 발견합니다.

하기야 기존의 QTJ1 CPU는 가성비가 좋았지만 VM을 두개 이상 돌리기에

8코어와 32GB는 조금 부족한감이 없잖아 있었습니다.

 

또 DDR5가 5000MHz가 넘어가는 시점에서 2133MHz짜리 DDR4는 CPU성능을 보조해주기엔 안쓰러운 성능입니다.

눈에 들어온 12코어의 3900X가 20만원대였기 때문에

램 클럭도 높이고 증설도 할겸, 코어수도 늘릴겸 가격도 괜찮겠다 싶어서 서버 사양을 변경하게 되었습니다.

심각한 하드웨어 문제는 없었지만 기분좀 내봤습니다.

분명 장비병, 기변증이 도진것입니다.

기름에 담궈버릴 목적으로 맞췄던 블랙 & 화이트 조합의 메인보드와 메모리 방열판이 참 보기 좋습니다.

군더더기 없이 깔끔하고 모던한 느낌을 받습니다.

하지만 반밖에 채우지 못한 램슬롯에 싱숭생숭 아쉬운 느낌이 가시질 않습니다.

노트북 기반의 CPU의 낮은 베이스 클럭에서 나오는 낮은 아이들 전력소모량과

10만원대의 가격대임에도 8코어라는 많은 코어수에 반해 선택했던 QTJ1.

무려 중국산, 노트북용, ES CPU입니다.

하나만 해당돼도 별종취급 받을 키워드가 모두 해당되는 CPU죠.

이것보다 더 사연 많은 CPU가 있기도 힘들것 같습니다.

지금까지 열심히 전기를 먹어준 친구들은 새 주인에게 보내기 위해 깨끗이 새단장을 하고 보내주었습니다.

헌차가고 온 새차

QTJ1의 뒤를 이을 3900X과 그 동료들입니다.

 

이번 무지성 서버 업그레이드에 끌려온 부품으로는

12코어 24쓰레드의 넉넉한 성능을 제공하는 AMD RYZEN R9 3900X

60% 부족했던 메모리 용량을 해결해줄 삼성 DDR4 3200MHz 16GB *4ea = 32GB total + HyperX 방열판

새로운 CPU와 메모리를 품어줄 X470 AORUS ULTIMATE GAMING 메인보드

CPU 담당일진 CSI 240 ARGB 2열 수냉쿨러

이 외에 사진에는 없지만

맥+보조 게이밍 VM을 위한 SAPPHIRE RX480 NITRO GDDR5 4GB

내장그래픽이 없는 3900X를 위한 트랜스코딩용 NVIDIA QUADRO T400 GDDR6 2GB

가 있습니다.

 

대충 25+10+7+5+10+8.5=60.5.. 💸💸💸😂😂

 

QTJ1도 데려오면서 정말 오래쓸것이라 다짐했는데.. 더 오래 쓰고 싶은 생각에 바꾼것이라 하겠습니다ㅎㅎ

포장을 뜯는 기쁨을 즐길 새도 없이 새 부품들을 정신없이 보듬어 주다 보니 어느새 컴퓨터에 새 주인이 자리잡았습니다. 메인보드의 포인트 컬러가 주황색에 가까워 조금 안맞는점이 아쉽지만 사실 자주 볼일은 없으니 괜찮습니다.

기가바이트사 제품은 별로 좋아하진 않지만 다른 부품은 다 구했는데 메인보드는 그나마 괜찮은 가격의 매물이 이 제품밖에 없어 구매하였습니다.

독자분은 상급 아수스보드 혹은 중저가 애즈락 보드로 가세요. 뭔가 기가바이트는 정이 안가...

그토록 원했던 풀뱅크! 4개의 16GB가 주는 든든한 느낌이 깊은 가슴속에서 벅차오릅니다.

램슬롯을 모두 채웠으니 이제 PCIe 슬롯을 채워 볼 차례입니다. 메인보드의 헤더와 슬롯의 레이아웃이 여러모로 에러지만 최대한 작업해보았습니다.

 

NVIDIA TITAN X Pascal GDDR5X 12GB

작업용 VM과 게임용 메인 VM의 그래픽 가속용으로 사용하던 타이탄 X 파스칼 입니다.

12GB라는 무시무시한 VRAM용량과 파스칼 세대지만 3060 Ti급의 성능으로 지금도 사용하기에 아무런 부족함이 없는 GPU입니다.

2021년 한창 그래픽카드가 비쌀때 60을 주고 구매했지만 지금은 30만원도 안되는 가격으로

눈물이 나는 감가상각을 맞아버렸지만 직선 위주로 각진 특유의 디자인이 마음에 들어 아깝진 않습니다.

소장용으로 구매했어도 넉넉하게 보여주는 성능으로 인해 당분간은 현역으로 사용할 것 같습니다.

 

SAPPHIRE RX480 NITRO GDDR5 4GB

맥의 그래픽가속용으로 구매한 RX480입니다. RX550, RX460에 이어 세번째 시도죠ㅋㅋㅋㅋ

처음 맥의 그래픽 가속용으로 RX550을 사용했으나 Baffin 기반의 라데온 GPU는 해킨토시를 지원하지 않아 RX550에서 460으로 변경하였습니다.

하지만 RX460의 경우 일부 제조사 모델은 호환이안되는 문제가 있었는데 하필 구매한 모델이 당첨...

해서 결국 전력소모는 고려하지 않고 결정한 RX480을 맥, 서브 게이밍 VM용으로 사용하게 되었습니다.

보이기 보다 그래픽카드가 큰 편인데 카드의 너비가 보기보다 길어 PCI가드에 고정하는 나사를 손으로 돌리기에는 어려움이 있습니다.

그래도 보조전원의 파워부분 플러그를 감싸는 모양이 되는건 좋네요.

백플레이트 디자인도 수려하고 드디어 맥의 화면을 볼 수 있을거란 기대감에 두근거립니다.

전면과 측면은 위와같이 생겼습니다.

니트로+ 모델은 측면 로고에 LED가 들어오지만 니트로버전은 해당 부분이 제거되었으며,

대신 히트파이프가 한개 늘어나고 측면에 벤트홀이 생긴것이 차이점입니다.

두께는 2슬롯 두께로 여러 그래픽카드를 꼽기에 무난한 두께입니다.

바로 컴퓨터에 꼽아 주었습니다.

사파이어에 LED가 없는것아 아쉽지만 빽빽한 그래픽카드 숲에서 조금이나마 나은 발열해소 성능을 기대할 수 있다는 부분으로 위안을 삼아야겠습니다.

 

NVIDIA QUADRO T400 GDDR6 2GB

기존에는 QTJ1의 내장글래픽으로 QSV를 통해 미디어 서버의 트랜스코딩을 구동했지만 3900X에는 내장그래픽이 없기 때문에 대신 디코딩/인코딩을 해줄 그래픽카드가 필요합니다. 해서 튜링기반의 쿼드로 T400을 도입했습니다.

물론 3900X의 깡성능으로 소프트웨어 트랜스코딩을 해도 되고 보조 그래픽카드인 RX480을 사용해도 되지만, 전자는 전력소모가 극심하고 후자는 VAAPI기반이라 QSV, NVENC보다 효율과 결과물이 좋지 않습니다.

무엇보다 "전용" GPU가 따로 있으면 제 기분이 너무 좋습니다.

기존에는 파스칼 기반의 P400을 염두에 두고 있었지만! 중고로 구하는 입장에서 가격차이가 크지 않았습니다.

디자인도 훨씬 낫죠. 차이점으로는 GDDR5에서 GDDR6로 업그레이드 되었고 NVDEC도 한세대 높은 디코더가 탑재되어 4:4:4 샘플의 H.265 동영상의 하드웨어 디코딩을 지원하게 되었습니다.

제품 상태도 매우 좋고 제품의 박스와 구성품도 모두 있어 기분좋게 작업했습니다.

신기한점이 신품이 10만원대인 매우 저렴한 모델임에도 불구하고 3년의 무상 보증 기간과 정품보증 플라스틱 카드(...)가 있더라구요. 이거 대우가 너무 다른거 아닌가요ㅎㅎ

그래픽카드를 장착하려고 보니pci 슬롯과 묘하게 위치가 맞지않아 pcie가드 부분의 나사를 풀고 위치를 조정해서 장착하였습니다ㅋㅋㅋ 이런경우는 또 처음이라 메인보드가 틀어지게 장착이 된건지 pcie 슬롯이 실장이 잘못된건지 순간 당황했네요.

이후 정상적으로 메인보드의 마지막 PCIe 2.0 4배속 슬롯에 T400을 장착해 주었습니다.

해당 슬롯은 CPU 직결 PCIe 레인이 아닌 칩셋의 레인에 물리는 슬롯이라 만약 화면 출력용 그래픽 카드나 높은 성능이 필요한 PCIe 장치를 장착하기엔 부적합 합니다.

하지만 게임이나 실사용이 아닌 단순 트랜스코딩용이고, 메인보드에 남는 슬롯도 따로 없으니 이곳에 장착하기로 합니다.

 

# 이는 CPU와 메인보드의 구성에따라 달라 질 수 있으니 저처럼 여러개의 그래픽카드나 PCIe 장치를 사용하실 분은 CPU에서 제공하는 PCIe 레인 개수와 메인보드의 슬롯별 PCIe 레인 분배 방식을 메뉴얼을 통해 정확히 인지하는것이 중요합니다.

 

# 돈 많으시면 HEDT가십시오. 두번 가십시오.

3900X에는 총 20개의 PCIe 4.0 레인이 있습니다만, 메인모드에서 지원하는 최대 버전인 3.0으로 제한되고

첫번째와 두번째 x16 슬롯에 (16+0 or 8+8) 16개의 레인이,

첫번째 M.2 슬롯에 4레인이 할당되어 모든 레인을 사용하게 됩니다.

 

또 이 메인보드에서는 두번째 M.2 슬롯과 세번째 x16 슬롯이 PCIe 2.0 4배속 슬롯을 공유하는것으로 구성되어

저처럼 마지막 x16 슬롯에 장치를 장착할경우 위에 보이는 두번째 M.2 슬롯은 사용이 불가능 합니다.

이때 기가바이트의 메인보드 설계에 눈물을 흘렸습니다.

USB 2.0 헤더가 x16 슬롯 바로 밑에 위치하고 있어 앞으로 튀어나오는 2.0 젠더와 간섭이 생깁니다.

2개의 2.0 헤더 모두 간섭이 생기는 위치에 있습니다.

USB 3.0 헤더도 두개가 연달아 붙어있는 구조로 사실상 온보드에서 젠더를 통해 USB포트를 확보하기엔 어려움이 있는 구조입니다.

 

이런 모양의 USB 젠더

아무튼 그부분은 앞 뒤 USB 포트에 나눠서 꼽는 방법으로 해결했습니다..

이렇게 보니 메인보드에서 빈 슬롯도 안보이는 든든한 모습이 연출됩니다. 이제 부팅해서 그래픽 카드의 동작을 하나하나 확인해 보면 됩니다.

그런데 RX480의 팬 하나가 간섭으로 인해 돌지 않네요...

사실상 저정도 간격이면 흡기를 하기에도 무리가 있겠지만.. 일단 어쩔수 없이 진행하겠습니다.

최강 가성비 고성능 나무젓가락 그래픽카드 지지대로 문제를 해결해주었습니다.

높이 조절하기 편하고 저렴하고 구하기 쉽기까지.. 이만한 지지대 또 없습니다.

이렇게 세개의 그래픽카드를 장착하고 세팅을 완료한다음 찍어본 세팅입니다. 흰색 조명보다 붉은색 LED도 괜찮네요ㅎㅎ

밑에 보이는 작은 디스플레이는 아두이노와 결합된 미니 LCD 입니다. 서버 모니터링 용으로 구성한 하드웨어인데 서버에서 데이트를 불러와 뿌려주는 부분을 구성하지 못해 기능은 못하는 상황입니다. 추후에 설정이 모두 완료된다면 서버 구축가이드에서 함께 다뤄보겠습니다.

이건 그냥 카메라 잡은김에 찍어본 몇몇 디테일 샷입니다. 풀뱅크... 64GB...😃😃

여기까지 글을 썼었는데 다 날려먹었네

컴퓨터를 계속 보다 보니! 어차피 1번 2번 PCIe 슬롯은 둘다 8배속으로 작동하니 거리로 인한 조금의 딜레이는 있을 수 있겠지만, 타이탄을 밑으로 내리고 RX480을 위로 올려 두 그래픽카드에 대해서 발열해소 성능을 확보하는것이 낫다고 생각되었습니다.

해서 1번과 2번의 위치를 바꿔서 팬 방식의 RX480은 아래 그래픽카드와 거리를 확보해 발열해소성능을 증가시켰습니다. 밑으로 이동한 타이탄도 블로워 타입이라 팬부분이 하단의 시스템팬과 더 가까워져 온도하락에 도움이 될 것 같습니다. 쿼드로와 인접하게 되는 부분이 발열을 해소하는데 영향을 주지 않게 되는 부분도 바꾸는 이유중 큰 요소로 작용했습니다.

다행이 1번 슬롯까지 나무젓가락의 길이가 닿아서 위로 올라간 RX480도 지지할 수 있게 되어있습니다.

젓가락이 휜건 절대로 무거워서 휜것이 아니라 휘어진 나무젓가락이라 그렇습니다ㅋㅋㅋㅋ 

 

이렇게 결과적으로 CPU와 메인보드부터 그래픽 두개와 메모리까지 하드웨어의 대부분을 변경하게 된 일을 적어보았습니다. 잠깐 사용해본 결과 12코어와 64GB의 메모리는 메인 VM과 서브 VM까지 돌리기에 충분한 성능을 제공해주었습니다.

운영체제와 도커에서 사용하는 2개의 코어를 제외하더라도 게임을 위한 6코어 12스레드, 보조 VM 혹은 서브게이밍 VM을 위한 4코어 8스레드를 동시에 할당 할 수 있습니다. 기존에 2코어와 메인에 6코어를 할당하면 남는 리소스가 없었던 때를 생각하면 큰 차이입니다.

메모리도 훨씬 여유로워 졌습니다. 어찌저찌 VM을 두개 돌린다 해도 메모리를 16기가 8기가 할당하면 메모리에 슬슬 한계가 오는데 이젠 하나에 32기가 하나에 16기가를 할당해도 거진 14기가가 남아돕니다ㅎㅎ

 

서버 견적 표

	Before	After
CPU	QTJ1 8c/16t 4.9GHz	R9 3900X 12c/24t 4.6GHz+
M/B	Z170 Deluxe	X470 AORUS Ultimate Gaming
MEM	D4 2133 16GB *2 = 32GB	D4 2133 16GB *2 + D4 3200 16GB *2 = 64GB
GPU 1	TITAN X Pascal 12GB	TITAN X Pascal 12GB
GPU 2	RX460 2GB	RX480 4GB
GPU 3	-	Quadro T400 2GB
C/L	트리니티 공랭	CSI 240 수냉 2열
Storage	SSD 256+1TB / HDD 4+4+12TB	SSD 256+1TB / HDD 4+4+12TB
PSU	800W	800W

빨리 서버를 세팅하는 방법과 여러 서비스들을 소개시켜드리고 싶은데 언제 시간이 날 지 모르겠습니다.. 혹시 한번 따라해 보고 싶으신분이 계시면 열심히 응원을 받아 글을 써보겠습니다.

 

 

p.s 이제 파워 용량이 슬슬 부족해지네요.. 모듈러 고효율 900W 스리빙 케이블 파워서플라이가 눈에 아른거립니다.