서버와 슈퍼컴퓨터(이하 HPC) 관련 일하면서 사는 미친도사입니다...
매년 6월과 11월에 발표되는 세계 슈퍼컴퓨터 TOP500 랭킹이 이번 11월에도 어김없이 발표되었습니다.
이 랭킹을 한번 훑어봄으로 해서 세계 HPC 시장의 분위기를 파악해 보려 합니다.
지난 주 초에 발표되었지만, 슈퍼컴퓨팅쇼 (이하 SC18) 출장으로 조금 분석이 늦어졌습니다.
모든 자료는 www.top500.org 사이트의 랭킹 자료를 근거로 제가 재구성한 것임을 알립니다.
자, 한번 보죠. 내용이 좀 깁니다.
자료의 순서는 다음과 같습니다.
이번 회차 랭킹의 상위 20대입니다.
잘 안 보이니, TOP500 사이트에서 가져와 봅니다.
20위 안에 독일 라이프니츠의 연구소의 시스템과 미국 에너지부 산하 국가 핵보안국, 로렌스 리버모어 국립 연구수의 시스템이 각각 8위와 11위에 각각 새롭게 올랐습니다.
우리나라 KISTI의 시스템이 지난 회차에 11위에 등재된 이후 현재 13위에 위치하고 있습니다.
더 많은 얘기는 TOP500 사이트에서 이번 회차에 대해 요약한 부분에서 다뤄보겠습니다.
위의 자료가 잘 안 보일 것 같아 다시 텍스트로 옮겼습니다.
|
TOP500의 뉴스 요약을 그대로 번역한 것입니다.
특이할 만한 점은 ...
- 지난 회차에 1, 3위였던 IBM의 Summit과 Sierra가 시스템 설치가 완료되어서인지, 전체 성능이 조금씩 더 향상되어 1, 2위에 올랐습니다.
- 미국의 시스템이 1, 2위가 되면서, 중국 시스템이 3, 4위가 되었는데 이게 주목할 만합니다.
3위는 중국에서 자체 개발한 CPU로 만들어진 시스템으로 이미 1위를 했던 시스템이고,
4위 역시 수년간 1위를 했던 시스템인데 이번에 가속기를 Xeon Phi에서 자체 개발한 가속기로 업그레이드하면서 성능이 향상되었습니다.
국가 주도로 HPC와 관련한 원천 기술 연구가 꾸준히 이뤄지고, 그 성과물이 나오고 있는 것 같습니다.
굉장히 중요하다 보이는 부분입니다.
- 업그레이드한 시스템이 많이 보입니다. 10위 안에 다섯 대가 시스템 업그레이들 한 시스템들입니다. 모두 한 성능하는 시스템들이지만, 더 잘 쓸 수 있도록 노력하는 모습이네요.
지난 회차(오른쪽 그래프)에서 예측한 것에서 크게 변화는 없어 보입니다.
단일 시스템으로 엑사(Exa-, 10의 18제곱 Flops/sec) 스케일 시스템이 나오는 것은 2020년 정도 될 것으로 보입니다.
현재 1위가 이론값 200PF/s, 실측값 144PF/s이니 2년 내에 현재 1위 시스템보다 5배 이상의 성능인 시스템이 등장한다는 예측입니다.
성능 추이를 보면 가운데 갈색 점들이 1위 시스템의 성능 추이인데, 몇년에 한번씩 훅! 뛰어난 성능의 시스템이 등장하는 것을 보면 실현 가능한 예측인 것 같습니다.
몇 년 전에 미국 에너지부에서 엑사스케일로 준비하던 3대 프로젝트 중 2개가 Summit, Sierra로 등장하여 1, 2위를 차지하고 있고, 크레이의 Shasta가 정식으로 이번 SC18에서 공개되어 초대형 HPC 등장을 예고하고 있습니다.
인텔이 멀티 코어 프로세서 라인업인 Xeon Phi의 개발을 포기함으로써, 차기 Xeon 프로세서 라인업의 성능과 NVIDIA의 Volta 이후의 GPU 프로세서의 성능이 이 경쟁에 어떤 영향을 줄 지가 무척 관심이 갑니다.
IBM의 Power9 프로세서로 IBM이 아닌 서드 파티 제조사들이 서버를 만들어 공급하기 시작한 점도 흥미롭고, 향후 랭킹에 어떤 영향을 줄 지 궁금해집니다.
지난 회차부터 레노버가 많은 수의 시스템을 구축하여 등재하여 이번엔 2위와의 격차를 많이 벌려 놨습니다.
HP가 수년간 이런 형태의 점유율을 유지하고 있었는데, HP가 하락한 만큼을 레노버가 확보하는 것 같습니다.
중국 내에서만 구축하고 있는 inspur와 Sugon은 꾸준히 점유율을 높이고 있습니다. 중국에 얼마나 많은 시스템이 구축되고 있는 건가요. 놀랍습니다.
하지만, 100위까지의 대형 HPC에 대해서는 사실 큰 변화는 없는 편입니다.
여전히 슈퍼컴퓨터의 아이콘 Cray의 점유율이 제일 많습니다.
시스템 댓수의 점유율도 중요하지만, 말그대로 슈퍼컴퓨터인데 성능이 중요하죠!
얼마나 강력한 시스템을 공급했는지 보면, 역시 1, 2등을 보유한 IBM이 점유율이 가장 높습니다. 그리고, 자잘하지만 수량을 많이 늘린 레노버가 2위네요.
100위 안에서는 IBM의 비중이 더 크게 보이며, 역시나 대형 시스템 보유가 많은 Cray가 2위입니다.
NRCPC와 NUDT는 #3, #4인 중국 시스템 제조사입니다. 여러 대 등재시킨 HPE에 꿀리지 않습니다. 하~
상대적으로 전체 댓수가 많은 Lenovo는 100위 안에서의 성능으로 보면 좀 밀리죠. 상대적으로 작은 규모 시스템이 많다고 할 수 있겠습니다.
수많은 컴퓨터를 병렬 연결하는 HPC에서 네트워크는 매우 중요하다 하겠습니다. 시스템 댓수로 보면 저렴하게 구현 가능한 10G, 40G 이더넷이 많습니다.
최근 인텔이 주력 10G 이더넷 어댑터 라인업을 25G로 업그레이드해서인지, 25G 이더넷 비중도 많이 높아졌습니다.
하지만, 성능이란 측면에서 보면 역시나 인피니밴드입니다. 100G 속도의 인피니밴드 EDR이 점차 비중이 높아지고 있습니다.
인텔의 100G 고속 네트워크 솔루션인 옴니 패스 역시 조금씩 점유율이 높아지고 있습니다.
이번 SC18에서 만난 미국의 HPC 공급 업체와 인텔 본사의 관계자 얘기로는 올해 옴니 패스 꽤 선방했다 하네요.
인텔 진영이 아직 PCI Express가 3세대인데 반해, IBM의 Power9 프로세서는 PCI Epxress 4세대를 지원하며 인피니밴드 역시 200G인 HDR을 지원할 수 있게 되었습니다.
이번 SC18 전시장에서 멜라녹스가 인피니밴드 HDR의 데모를 보였는데 인상적이더군요.
멜라녹스에서는 PCI Express 3세대를 위한 HDR 솔루션을 제공하고는 있지만, 대역폭 문제로 PCI 슬롯을 2개 차지합니다.
Power9 시스템 + 인피니밴드 200G로 구성된 HPC가 다음 회차 정도에 등장하지 않을까 예측해 봅니다.
국가별 점유율은 역시나 중국이 6개월 전보다도 더 많이 구축했습니다.
큰 시스템 많은 미국이 성능 점유율은 더 높고요.
큰 점유율을 차지하는 나라들 외에 저는 이번 차트에서 프랑스와 이탈리아가 눈에 띕니다. 특히 이탈리아.
우리보다 늘 조금 적은 댓수와 규모였던 것 같은데, 이번 차트에서는 상당히 크고 많아졌습니다.
20위에 처음 등재된 타이완의 시스템을 덕에 타이완도 성능 차트에서 보이기 시작하는 것도 제겐 좀 특이했습니다.
프로세서는 인텔의 새로운 라인업인 Skylake가 점유율을 높여가고 있습니다. 전체적으로 인텔의 서버 라인업인 Xeon 제품군이 85% 가량 차지합니다.
하지만, 성능이란 측면에서는 IBM의 Power 라인업의 비중이 증가하는 게 보입니다.
1, 2위가 IBM의 Power9이기도 한데, NVIDIA GPU와의 최적 연결 인터페이스(물론 NVIDIA 주장이긴 합니다만)인 NVLINK의 탑재, 현재 PCI Exress 3세대보다 2배의 대역폭을 가진 PCI Express 4세대 등을 탑재한 Power9은 인텔의 Xeon 프로세서에 위협이 되는 것은 확실해 보입니다.
거기에다가 IBM 뿐만 아니라 서드 파티 서버 보드 제조업체에서도 Power9을 탑재하는 시스템들이 출시되고 있어 HPC 시장에서의 인텔 독재가 위협을 받을 수도 있겠다 싶은 생각이 듭니다.
그리고, 이번 SC18에서 보면, AMD의 EPYC 프로세서 라인업에 대해서도 관심이 높아지고 접근하고 있는 서버 제조사가 증가하고 있는 것도 주목할 만했습니다.
EPYC가 HPC에 그닥 매력적이라 생각하지 않았는데, 좀 관심 갖고 스터디해봐야 할 아이템이 되어가는 것 같습니다.
특히나 오래동안 AMD의 강력한 지지자였던 Cray가 AMD 프로세서로 제품 라인업을 추가한 것을 보면 다음 랭킹에서는 AMD의 괄목할만한 성장을 보게 될 지도 모르겠습니다.
NVIDIA Tesla 라인업으로 대표되는 가속기를 탑재한 시스템은 점점 더 늘어나고 있습니다.
시스템 수로 보면 27% 정도 점유율이지만, 성능으로 보면 41%를 넘는 점유율로 점차 그 세력을 넓히고 있음 확실합니다.
NVIDIA GPU 외에도 용도에 맞게 자체 개발하는 가속기도 조금씩 늘어나고 있는 부분도 흥미롭습니다.
특히 현재 #4인 중국의 Tianhe-2A은 자체 가속기로는 가장 높은 성능을 보이는 시스템이네요.
NVIDIA는 거의 10년 전부터 CUDA란 환경을 홍보하고 발전시켜 오고, Machine Learning (이하 ML)의 붐으로 점차 점유율을 높여갈 것으로 보입니다.
현대 HPC의 형태인 병렬 슈퍼컴퓨터는 사실 누가 더 많이 연결해서 쓰느냐가 중요하긴 합니다만, 소비 전력 역시 큰 문제가 됩니다.
고효율 시스템의 중요성이 점점 더 커지는 것은 당연한 것이지요.
그런 면에서 가속기를 쓴 시스템들이 성능당 전력 효율이 확실히 좋습니다.
그렇다고 해서, 가속기가 만능은 아니기에, 용도에 따라 일반 CPU만으로만 구성하는 HPC가 여전히 많은 것도 당연하다 하겠습니다.
NVIDIA의 Volta 코어가 확실히 성능이 좋아서, 같은 소비 전력의 Pascal 코어 제품을 거의 다 밀어내고 고효율 부문을 거의 싹쓸이 하고 있습니다.
그 사이에 자체 가속기를 쓴 제품들도 인상적이네요.
HPC의 수요와 활용은 확실히 늘고 있습니다. 6개월 전에 비해 최근(1년 이내) 구축한 시스템이 더욱 늘었습니다. 앞으로 더 많아지겠지요?
우리 나라의 HPC입니다. 지난 랭킹에서 400위 권에 있던 시스템들이 모두 밀려 나고, 2대가 새롭게 진입했습니다.
올해 우리나라 HPC 시장이 조금은 위축되었던 것 같긴 합니다.
하지만, 그 와중에도 조금씩 도입에 대한 관심이 늘고 있고, 작은 시스템이지만 구축이 이뤄지고 있는 것을 체감한 해였습니다.
이번 52회차 TOP500 랭킹을 정리해 보았습니다.
위에서도 대개는 언급했던 내용이지만, 수년간 이 랭킹을 정리해 오고 이번 SC18에 다녀와서 느낀 점을 다시 정리해 보자면...
- 인텔 이외의 CPU의 약진 - IBM Power9, AMD EPYC, ARM 계열의 서버 프로세서 등의 확대가 예상된다.
- 가속기에서는 NVIDIA Tesla V100의 독주! 하지만, ML 위주라면 새로운 Turing 코어인 Tesla T4도 주목!
- 중국의 꾸준한 성장, 특히나 자체 기술 확보를 위한 노력이 아주 인상적입니다.
이 정도로 해서 이번 52회차 TOP500 랭킹을 정리해 보았습니다.
감사합니다.
'디지털 라이프 電子的生活 My Digital Life > 슈퍼컴퓨터 (HPC)' 카테고리의 다른 글
| 2019/11 제 54회 TOP500 슈퍼컴퓨터 랭킹 리뷰 (0) | 2019.12.03 |
|---|---|
| 슈퍼컴퓨터 시조새, Cray 다시 한번 세상에서 사라지나... (0) | 2019.05.19 |
| 제 51회 TOP500 슈퍼컴퓨터 랭킹 이야기 (2018/06) (4) | 2018.06.26 |
| 제 50회 TOP500 슈퍼컴퓨터 랭킹 이야기... (2017/11) (0) | 2017.11.16 |
| TOP500 2016년 11월 슈퍼컴퓨터 랭킹 이야기 (0) | 2016.11.15 |