2019/11 제 54회 TOP500 슈퍼컴퓨터 랭킹 리뷰

제 54회 TOP500 슈퍼컴퓨터 랭킹이 2019년 11월 중순에 발표되었습니다.
매년 6월 ISC (International Supercomputing Conference) 행사, 11월 SC (Supercomputing Conference)에 맞춰 1년에 두 번 발표되는 순위입니다.
매번 발표될 때마다 간단히 리뷰를 했는데, 이번에도 훑어보도록 하겠습니다.

좀 깁니다. 시간을 두고 여유롭게 읽어보세요.

이번 SC19에 참관 중에 시간이 맞아서 TOP500 순위 리뷰를 하는 세미나 참석도 하여, TOP500 측의 최근 관심사에 대해서도 알 수 있었습니다.
그 부분에 대해서도 중간중간 언급하겠습니다. 행사는 슈퍼컴퓨터 분야의 상징적인 인물들 몇 명이 진행을 하는 형태였습니다.

 

우선 이번의 TOP20입니다.

이번에는 20위 이내에 새로운 시스템은 하나도 없습니다.
IBM의 Power9 + NVIDIA GPU 조합의 시스템이 1, 2위, 중국의 대형 시스템 둘이 3, 4위입니다.
우리나라 KISTI의 시스템이 지난 회차에서 15위였는데, 14위가 되었네요. 지난 회 차에 12위였던 시스템이 이번 순위에서 사라지면서 10위권대에 순위 변동이 있었습니다.
순위에서 사라지는 경우는 이번에 처음 봤는데, 찾아보니, Cray에서 수년 전에 구축하여 1위까지 했던 시스템이었습니다.
아마도, 너무나 오래된 시스템이다 보니 제조사 혹은 사이트 측에서 순위에서 내리기로 결정한 것 같습니다.

지난 번에 볼 때엔 잘 못 느꼈는데, 스위스, 독일, 프랑스, 이탈리아 등 유럽 사이트가 상위권에 많이 보입니다.
행사장에선 1-3위까지 인증서(상장?)을 주더군요. 그런데, 웃긴 것은 1-3위 안에 유럽 사이트가 없어서인지, 6위인 스위스 사이트에 유럽 1위 상장을 수여하네요. 쩝. 그리고, 전력 효율 부문 순위인 Green500에 대해서도 1위는 상장을 수여했습니다.


이번 랭킹에 대해 TOP500 사이트에 올라온 요약된 뉴스입니다.

지난 회차부터 500위도 1PF/s 이상이 되었습니다. 2005년 전후에 10TF/s 시스템 구축에 대한 논의가 되었고, 2010년 즈음만 해도 1위가 1PF/s급이었는데, 급속한 발전이 아닐 수 없습니다.
또한, 중국의 시스템 수가 급격히 늘어나고 있음을 지적했습니다.
순위 부분은 특이한 점이 없어 패스하겠습니다.
  

성능 발전 추이는 지난 회차를 비교하면 크게 다르지 않습니다. 

다만, 이번 SC19에서의 발표장에서는 이 그래프에서 Dennard Scaling이란 것을 얘기하더군요. CPU 성능에 대해 ‘무어의 법칙 (Moore’s Law)’에 대해 언급을 많이 했는데, 그게 큰 의미를 가지지 못 한지는 오래 되었고, 반도체 공정 상에서 소비 전력과 집적도에 대해 언급한 Dennard Scaling이란 법칙이 2008년 전후로 둔화되면서 시스템 성능이 둔화되었다는 분석을 하네요. 사실 인텔의 CPU 출시 루틴인 ‘틱-톡’도 최근에 무너지기 시작해서, 앞으로 시스템 성능이 어떤 속도로 향상되어갈지도 궁금해지는 부분입니다. 추이 그래프를 보면 2020년 즈음에 엑사스케일(Exascale, 1ExaFlop/s) 시스템이 등장할 것으로 예상되는데, 굉장히 기대되는 부분입니다.


업체별 시스템 점유율입니다.

IBM에서 x86 부문을 인수한 Lenovo가 여전히 전체 구축 시스템 수에선 1위입니다. 2-3위는 중국의 Sugon과 Inspur가 차지하고 있고요. 프랑스 계 회사인 Bull이 회사명을 모회사인 Atos로 변경했네요.
대형 시스템 순위라 할 수 있는 100위권에서는 HPE가 HPC의 시조새인 Cray를 인수함으로 해서 1/3 가량의 지분을 갖게 되었네요.

Cray는 여전히 100위권에서 1위이지만, 지난 순위에 비해 좀 줄어든 모습입니다. Lenovo가 조금 양이 늘었고, 미국의 중소 HPC업체인 Penguin computing이 100위권 안에 들어가는 큼직한 시스템을 많이 했다는 점이 특이하네요.


업체별 성능 점유율입니다.

시스템 댓수도 의미가 있지만, 슈퍼컴의 경우 시스템 성능도 큰 의미가 있다 하겠습니다.
성능에서는 확실히 초대형 시스템을 많이 한 IBM의 점유율이 크게 나옵니다. 500위에선 댓수가 많은 Lenovo의 성능 점유율이 많지만, 대형 시스템에선 확 순위가 낮아집니다.
내년, 내후년에 Cray의 초대형 시스템 완성이 예정되어 이 부분에 큰 변화가 있지 않을까 기대해 봅니다.


인터커넥트별 통계입니다.

현대의 HPC는 병렬 처리 시스템이어서 각 노드 간의 네트워크 연결이 중요하여 이 부분의 기술 추이를 알아보는 것도 나름 의미가 큽니다.
시스템 댓수로 봤을 때엔 가장 쉽게 구현 가능한 10Gbps 이더넷과 25Gbps 이더넷이 큰 비중을 차지하네요.
하지만, 성능 측면에서 보면 100Gbps의 InfiniBand EDR과 Omni-Path가 40%를 넘게 차지하고 있습니다.
그런데, 인텔이 Omni-Path의 추가 개발을 포기하면서, 앞으로도 고속 네트워크 부문은 InfiniBand의 독주가 예상됩니다.
3% 밖에 안 되지만, 200Gbps의 InfiniBand HDR도 차츰 비중을 높여 나갈 것이지만 PCIe Gen4의 보급이 늦어지면서 (인텔의 CPU 업그레이드 일정 지연) HDR 확산도 영향을 받을 것으로 보입니다. 물론, PCIe Gen3 슬롯 2개를 사용하면 되긴 합니다만, 아무래도 IBM Power9이나 AMD Rome 프로세서처럼 PCIe Gen4를 지원하는 CPU 확산에 더 큰 영향을 받을 겁니다.


대륙별 점유율입니다.

중국과 일본이 있는 아시아가 지난 회보다 아시아가 조금 더 증가하며 여전히 강세입니다.


국가별 통계입니다.

중국의 증가세는 정말 놀랍습니다. 여전히 성능면에서는 미국이 앞서 있지만, 예전만큼 지배적인 모습을 보여주지는 못하고 있습니다.
지난 회차 리뷰에서 언급을 안 했는데, 프랑스의 도약이 눈에 띕니다. 독일, 영국이 국가별 점유율 4위를 엎치락 뒤치락 했었는데, 프랑스가 4위네요. 우리나라는 … 쩝.


시스템에 사용되는 프로세서 통계입니다.

인텔의 Xeon 라인업이 지배적입니다. 그 중에서도 비교적 최신 제품인 코드명 Skylake인 Xeon Scalable 프로세서가 증가하고 있습니다.
IBM에서 굉장히 공격적으로 구축하고 있는 Power9 프로세서는 대형 사이트 덕에 성능 부문에서 큰 비중을 차지하고 있습니다.
인텔의 신제품 출시가 늦어지고 있고, 향후 로드맵 상의 제품 일정도 늦어지고 있어 향후 이 부분에 대해서는 변화가 생길 수도 있겠습니다. 
그런데, 현재 인텔 Xeon보다 더 넓은 메모리 대역폭과 PCIe Gen4와 같은 신기술을 탑재한 AMD의 Rome 프로세서가 아직 두각을 보이지 못하는 것이 이상합니다. Cray의 ExaScale 프로젝트들이 AMD로 진행되고 있다는 소문인데, 이 시스템들이 구축되는 시점이 되면 AMD가 좀 더 수면 위로 나오지 않을까 싶습니다. AMD는 마케팅 팀이 안티라는 우스개 소리가 괜히 진지하게 들리는 요즈음입니다. 개인적으론 AMD CPU + InfiniBand HDR 구성이면 정말 괜찮은 클러스터가 만들어질 것 같은데 말입니다. 흠.


가속기별 통계입니다.

CPU만으로 만드는 병렬 컴퓨터도 훌륭하지만, 병렬 처리에 특화된 별도의 가속기를 사용하여 구축한 시스템도 지속적으로 늘어나고 있습니다.
지난 회차보다 12대가 늘어서 전체 성능의 41.7%가 가속기를 탑재한 시스템의 성능이 점유하고 있습니다. 그 중에서는 가장 대중적인 NVIDIA의 Volta 계열이 지배적입니다. 성능이란 측면에서는 가속기를 채택한 시스템의 거의 3/4가 Volta 제품군(V100, V100 SXM2, GV100)이군요. 그런데, NVIDIA도 차기 라인업이 좀 주춤한 상태이긴 합니다. 흠.


사용 분야 통계입니다.

이 부문은 이번 리뷰에서 좀 새롭게 조사한 부분입니다. 이번 SC19의 발표회장에서 이 부분을 조금 깊이 소개하길래, 좀 더 세세하게 분류해 보았습니다. Top500 리스트의 Segment란 항목입니다.

연구 및 학문 분야에서는 미국이 강세고요, 산업 분야에서는 중국이 굉장히 강세입니다. 이 분류가 꽤 큰 의미가 있는 것 같습니다.
중국의 수많은 기업들이 HPC를 구축하여 사용하고 있다는 의미라 할 것입니다.

제조사 별로는 미국 정부 연구소 프로젝트를 많이 하는 Cray가 연구/학문 분야에서 큰 비중을 차지하고, 산업 분야에선 Lenovo, Inspur, Sugon 등 중국 업체가 휘어잡고 있네요. 매우 흥미로운 부분입니다.


기타…

Top500 리스트를 통해서 얻어내긴 힘든 자료인데, SC19 발표장에서 본 흥미로운 내용이라 찍은 사진으로 대체합니다.
예전엔 한번 구축한 시스템은 그 상태로 수명이 다할 때까지 썼는데, 최근엔 업그레이드하여 수명을 연장하는 경우도 많아졌다 합니다.
오른쪽 사진은 이번 Top500 리뷰에서 나름 강조한 부분이라 찍어 놨습니다. 이 부분에 대해서는 앞선 페이지 설명에서도 언급하였습니다.


Green500

병렬화하면서 덩치가 커진 시스템들에서 소비 전력은 시스템 구축이란 측면에서 중요한 의미가 있습니다. 그래서, 고효율 시스템에 대한 고민도 증가하고 있고요.
그래서인지 Green500이라 해서 전력 고효율 시스템에 대한 순위도 비중있게 다루더군요.

특히나 이번 회차에선 Fujitsu의 A64FX 프로토타입 시스템이 Green500에서 1위를 차지했는데, 10위권 내에서 유일하게 가속기를 사용하지 않은 시스템입니다.
그래서, 이번 발표회에서 Fujitsu의 개발 담당자가 해당 시스템의 개발 스토리를 소개하는 시간까지 있었습니다. K-Computer를 통해 세계 1위 시스템을 구축한 경험이 있는 Fujitsu 자체적으로 ARM64 코어를 채택하여 커스텀 설계를 한 A64FX 프로세서는 Fujitsu에서 상품화되어 판매되고, 세계적으로는 Cray의 클러스터 유닛 중 하나의 옵션으로도 판매될 예정이라 합니다. 새로운 기술이 세상에 나오기 힘든 요즘 같은 때에, 고효율 소비전력을 타겟으로 한 일본 Fujitsu의 접근은 신선하기도 하고 부럽기도 합니다.


Green500도 간단하게 요약이 올라와 있는데요, 특이한 설명은 없습니다.

한국의 슈퍼컴퓨터입니다.

지난 회차에선 400위 권에 있던 시스템들이 순위권 밖으로 나가면서, 이번 회차에선 국내에 있는 초대형 시스템 3대만 남았네요. 분명히 상당수의 기업에서 꽤나 큰 규모의 시스템을 운영하고 있는 것으로 아는데, 공개가 안 된 것 같긴 합니다.
내년에 완성될 기상청 5호기 외에도 대형 시스템 구축이 예정된 곳이 있다 하니, 좀 늘어나길 기대해 봅니다.