2015년 11월자 제 46회 TOP500 슈퍼컴퓨터 랭킹 이야기

www.top500.org라는 곳에서는 매년 6월과 11월에 세계의 슈퍼컴퓨터 랭킹을 매기고 있습니다.

해당 업계에 근무하고 있는 저는 순위가 발표될 때마다 시간을 내어 검토하여 자료를 정리해보고 회사 직원들에게 특이한 점이나 변화를 소개하고 있습니다. 지난 주에 발표된 이번 2015년 11월 순위를 바탕으로 만든 자료를 파워포인트 회사 템플릿을 바꾸고, 저희 회사에 특화된 내용은 몇 장 제거하는 등 약간의 가공을 거쳐 블로그에도 소개해 보려 합니다.

모든 데이터는 www.top500.org에서 나온 리스트를 근거로 하고 있으며, 몇몇 그래프는 해당 사이트에서 생성한 것을 캡쳐해서 썼습니다.

일단 다룰 내용은 아래와 같습니다.

기본적으로 사내 문서는 영어로 작성하기로 해서 영어입니다만, 제목 외엔 거의 그래프나 표여서 보는 데엔 지장이 없을 겁니다.

10위까지의 리스트, 수년간의 성능 추세, 주요 업체의 점유율, 슈퍼컴퓨터의 고속 네트워킹 점유율 및 추세, 국가별 대륙별 점유율, 마지막으로 한국의 슈퍼컴퓨터 순으로 다뤄 보려 합니다.

우선, Top 10입니다.

이번 2015년 11월 순위에서는 여전히 중국의 티안헤-2가 1위를 차지했습니다. 2013년 6월에 혜성처럼 등장해서 1위를 차지한 이후 연속 6회에 걸쳐 독보적인 1위를 차지하고 있습니다. 중국 업체가 빌드한 시스템인데, 원체 어마어마한 규모여서 어지간한 대규모 슈퍼컴퓨터로는 당분가 따라잡지 못 할 수도 있겠다 싶습니다.

2위는 크레이의 타이탄인데, 이 또한 2012년 11월에 1위로 등장했던 시스템인데, 다음 회에 티안헤-2에 1위를 넘겨주었지만, 꾸준히 2위를 유지하고 있는 대규모 시스템입니다. 이 시스템은 AMD의 서버 프로세서 Opteron 과 NVIDIA의 GPGPU 케플러(Kepler) 기반의 하이브리드 시스템에 크레이의 이전 세대 고속 네트워크인 ‘제미나이 인터커넥트 (Gemini Interconnect)’로 구성된 꽤나 예전 구성인데도, 아직 2위를 유지하고 있습니다.

3위는 IBM의 블루진(BlueGene)입니다. 미국 정부 부처인 에너지부(DOE, Department of Energy) 소속의 3대 연구소 중 하나인 로렌스 리버모어 국립 연구소(LLNL, Lawrence Livermore National Laboratory)의 시스템입니다. 처음 등장할 때만 해도 한참동안은 이것을 이길 슈퍼컴퓨터는 없을 것 같았는데, 2년 만에 3위로 밀려나서 아직 3위네요.

4위는 또한 세계 랭킹 1위를 했던 일본의 K컴퓨터가 유지하고 있습니다. 이 컴퓨터 센터는 고베에 있는데, 이 컴퓨터 센터 바로 옆 건물에 출장을 자주 가서 얘길 좀 들었었네요. 이 시스템을 돌리기 위해 전력 및 냉각을 위한 별도의 건물이 있었습니다.

5위부터는 1위는 못 해본 시스템이니, 자세한 설명은 생략합니다. 다만, 6위의 크레이의 트리니티(Trinity)는 이번 차트에 처음 등장한 시스템이네요. 그리고, 이번 Top10에서 주목할 부분은 다섯 대가 크레이라는 겁니다. 크레이가 최근 상당히 강세입니다. 이 얘기는 뒤쪽에서 조금 더 자세히 하겠습니다.

다음 슬라이드는 슈퍼컴퓨터 성능 추세에 관한 이야기입니다.

이는 Top500이란 사이트가 시작한 이래 성능 추세입니다.

초록색 점이 500위까지의 시스템 성능 합계이고, 오렌지색 점은 1위 시스템의 성능, 파란색 점은 500위 시스템의 성능일 나타냅니다. 이를 보면 꾸준히 선형적으로 성능이 높아지고 있음을 보여주는 것 같지만, 세로축을 자세히 보면 로그 스케일이어서 성능이 꾸준히 지수적으로 향상되고 있음을 보여주고 있습니다.

실선으로 된 것은 추세선으로 향후 변화를 예측하는 선이라 할 수 있는데, 2020년 정도가 되면 1위가 1-엑사플롭스(Exa-flops)의 성능이 될 것으로 예상됩니다. 사실 현재 세계적으로 이 산업계에선 수년전부터 엑사스케일(Exa-scale) 프로젝트라 해서 1-엑사플롭스 시스템 구축에 대한 논의가 계속되고 있습니다. 슈퍼컴퓨터를 구성하는 수많은 구성품들의 성능을 조화롭게 높여야 가능한 것이기에 프로세서, 메모리, 스토리지, 네트워크 등 모든 관련 분야에서 대응하고 있는 중입니다. 

자세히 보면, 전체 성능 합계의 1/10 정도가 1위 시스템의 성능임을 알 수 있습니다. 상위 시스템들이 얼마나 큰 규모인지 알 수 있는 거죠.

다음은 업체별 점유율입니다.

500위까지의 순위를 보면 HP가 31%로 절대 우위에 있습니다. 원래 IBM이 거의 50%에 육박하는 수준의 점유율을 가졌는데, 최근 x86 서버 사업을 레노버에 매각하면서 IBM의 지분이 급격히 줄고 있습니다. 현재 차트에서도 IBM은 IBM과 IBM/Lenova로 나눠져 있습니다. 2015년 11월 순위에서 아주 주목할 부분이 수곤이라는 회사의 급성장입니다. 수곤은 현재 1위인 티안헤-2의 실질적인 제조업체로 알려져 있는데, 중국 내에서 이번 반년 동안 엄청 많이 구축을 했나 봅니다. 나중에 이 회사와 관련된 이야기에 또 나오니, 그 때 더 언급하겠습니다.

100위까지의 순위를 보면, 크레이가 절대 우위에 있습니다. 크레이가 3년 전에 아프로(당시 4위 업체)라는 클러스터 제조업체를 인수하면서 점유율이 높아지기 시작했는데, IBM의 x86 사업 매각 등의 업계 변동에 힘입어 점유율이 점점 높아지고 있습니다. 500위까지 점유율로는 1위였던 HP는 100위까지의 점유율로 보면 한참 밑에 있어 중소규모 슈퍼컴퓨터 위주로 구축을 하고 있음을 짐작할 수 있습니다. 반면 크레이는 100위까지의 점유율이 높아 큰 규모의 슈퍼컴에 강세가 있음을 잘 보여준다 하겠습니다.

다음은 업체별 성능 합계 점유율입니다.

슈퍼컴퓨터를 누가 많이 공급했는지도 중요하겠지만, 얼마나 고성능인지도 의미가 있다 하겠습니다. 이 부문에서는 크레이가 역시나 강세입니다. 큰 규모의 슈퍼컴퓨터를 주력하고 있으면서, 그 성능 또한 뛰어나서, 앞선 시스템 대수의 점유율과는 다른 양상을 보여주고 있지요. 이 부문에서는 조각난 IBM 역시 상당히 높은 점유율을 보여주는데, 이는 현재 IBM의 주력인 블루진 시스템이 얼마나 뛰어난 슈퍼컴퓨터인지 알 수 있습니다.

다음은 업체별 10여년간의 점유율 추세입니다.

왼쪽은 시스템 대수 점유율 추세입니다. 전통적인 강호인 IBM(제일 아래 오렌지색)이 꾸준하다가 급격히 줄어들고 있음이 보여집니다. HP(연두색)는 꾸준한 편이고요, 옅은 회색인 크레이는 꾸준히 상승중인 추세네요.

오른쪽은 성능 합계 점유율 추세입니다. 확실히 HP(하늘색)은 성능 합계 점유율은 적은 현이네요. 회색 크레이는 왼쪽 그래프에서 보이는 점유율은 좁았지만, 성능 합계는 상대적으로 높았고 꾸준한 양상을 보여줍니다.

다음은 고속 네트워크 기술의 점유율입니다.

요즘의 슈퍼컴퓨터는 엄청 고성능의 프로세서 하나로 운영되는 것이 아닌, 여러 개의 프로세서가 여러 대의 시스템 위에서 고속 네트워크로 엮여서 운영되는 것이 일반적입니다. 따라서, 그 네트워크 기술이 큰 영향을 주는데요, 요즘 슈퍼컴퓨터의 대세인 클러스터 방식에서 가장 많이 쓰고 있는 인피니밴드가 거의 절반 가까운 점유율을 보이고 있습니다. 이전 기술인 QDR(12.8%)와 현재 기술인 FDR(32.4%)까지 해서 말이죠. 인피니밴드는 아주 짧은 latency와 빠른 속도(QDR; 40Gbps, FDR: 56Gbps)로 클러스터 쪽에선 절대적인 지지를 받고 있는 네트워크 기술입니다.

상대적으로 저렴하고 운영이 쉬운 10G 이더넷도 점유율이 많이 올라갔군요. 크레이의 에리즈(Aries) 네트워크가 상당히 큰 부분을 차지하네요. 크레이의 점유율이 높으니 상대적으로 그 중에 에리즈 네트워크를 쓰는 XC 시리즈의 점유율이 저 정도 된다 할 수 있는 거겠네요. 성능 쪽으로 보면 일반 클러스터 쪽에 쓰는 네트워크 기술들의 점유율이 좀 낮습니다. 그만큼 IBM이나 크레이의 XC 시리즈 같이 독자적인 시스템을 개발한 회사들의 네트워크들이 더 최적화가 잘 되어 있다고 할 수 있을 것 같습니다.

인피니밴드는 10여년 전에 등장해서 꾸준히 발전하면서 클러스터형 슈퍼컴퓨터의 네트워크 기술로 확고해지고 있습니다. 제가 인피니밴드라는 걸 처음 만져본 것도 벌써 10년이 되어가는 거네요. 어허…

다음은 국가별 점유율입니다.

이번 반년 동안 중국의 약진이 엄청납니다. 앞의 회사별 점유율에서 수곤이 급상승하고 있음을 보았는데요, 이에 중국의 점유율이 확 높아졌습니다. 중국은 글로벌 기업의 슈퍼컴퓨터 시장 진입을 국가 차원에서 막고 있습니다. 따라서, 자국 기업인 수곤이 성장할 수 있는 기회가 있다 할 수 있었는데, 이번에 엄청나게 많이 설치했나 봅니다. 반년 전에 7.4%였던 점유율이 21.8%로 급상승한 것을 보면 중국이 슈퍼컴퓨터의 활용이 급격히 늘었다고도 할 수 있겠습니다. 국내 기업은 레퍼런스가 없으면 입찰에 참가할 자격조차 없던 우리나라와는 참으로 다르지요. 씁쓸합니다.

성능 합계 면에서도 중국의 성장이 확연하지요. 일단, 현재 랭킹 1위 시스템을 갖고 있는데, 거기에 이번에 확 치고 올라섰습니다.

아시아에선 늘 일본이 슈퍼컴퓨터의 최강국이었는데, 한방에 뒤집히네요. 중국 무섭습니다. IT 강국이라고 혼자 떠드는 우리나라는 일본, 중국에 비해 확연히 부족합니다.

대륙별 차트입니다.

얼마 전만 해도 1/4도 못 미치던, 아시아가 1/3을 넘어섰습니다. 중국의 약진에 세계 슈퍼컴퓨터 시장의 판도가 바뀔 수도 있겠습니다. 

마지막으로 한국의 슈퍼컴퓨터입니다.

기상청 4호기 3대의 시스템을 포함하여 10개의 시스템이 등재되었습니다. 한국에선 역시 기상청이 제일 큰 규모의 슈퍼컴퓨터을 운용하고 있으며, KISTI를 제외하곤 모두 기업에서 사용하고 있나 봅니다. 어느 기업인지는 잘 모르겠지만, 대부분 HP가 따냈군요.

우리 나라과 과학 기술이 대단히 앞선 나라처럼 인식되곤 하는데, 이런 자료를 보면 많이 부족함을 느낍니다. 과학 기술이라는 것이 어떤 전자 기기를 잘 만드는 것만이 아닙니다. 과학 전반에 걸쳐 골고루 발전을 해야 그를 응요한 기술적인 부문도 발전하는 것인데, 우리는 이미 새로 나온 기술의 응용에만 집중하고 있는 것 같습니다. 슈퍼컴퓨터는 과학 전반에 걸쳐 그 응용분야가 많고, 이제는 일반 삶에 관계된 수많은 데이터의 분석에도 많이 쓰이고 있습니다. 이번 자료 분석을 하다보면 우리나라가 이런 연구와 노력이 아직 부족하지 않나 싶은 생각이 듭니다.

다행히 최근 1-2년 사이에 우리나라의 기업의 사용처가 늘어나고 있는 것 같아 조금은 다행스러워 보이고, 앞으로의 슈퍼컴퓨터 이용의 확산을 기대해 봅니다.

이번 자료 분석을 마무리하자면, 제일 큰 이슈는 중국의 무서운 약진이라는 겁니다. 6회에 걸쳐 세계 1위의 슈퍼컴퓨터를 유지해 오고 있으면서 최근 6개월간에 점유율을 급격히 늘리고 있습니다. 중국은 해외의 대표적인 슈퍼컴퓨터 업체인 IBM, 크레이, HP 등의 진출을 막고 자국의 업체를 키우고 있다는 점에서도 세계 슈퍼컴퓨터 업계가 긴장해야 할 듯합니다. 해당 분야에서 일하고 있는 저로서도 다음 번의 랭킹이 무척 궁금하면서도 우려가 됩니다.

그 다음으로 보자면, 크레이의 약진이 아닐까 싶습니다. IBM의 x86사업의 매각에 절대 강자가 수그러든 사이(2-3년 전만 해도 Top500의 시스템 점유율 거의 50%가 IBM)에, 크레이가 꾸준하게 시장을 키워오고 있습니다. 시스템 점유율은 높지만, 상대적으로 작은 크기의 슈퍼컴퓨터가 많은 HP에 비해, 성능 합계 점유율이 큰 크레이가 당분간은 계속 강세를 보일 것으로 보입니다. 다만, IBM과 NVIDIA의 합작 프로젝트와 크레이와 인텔과의 합작 프로젝트가 결과물로써 등장할 2017년 혹은 2018년 즈음에 시장의 판도가 주목해 볼만 합니다. 그러는 동안 중국이 어떻게 그리고 얼마나 점유율을 높여나갈지도 궁금합니다.

이상 2015년 11월 발표 슈퍼컴퓨터 랭킹 TOP500의 정리를 마칩니다.