TOP500 2016년 11월 슈퍼컴퓨터 랭킹 이야기

매년 6월과 11월에 TOP500.org이란 사이트를 통해 슈퍼컴퓨터 세계 랭킹이 발표됩니다.
6월엔 독일에서 있는 ISC (International Super Computing) 쇼에 맞춰 발표되고, 11월엔 미국에서 하는 SC (Super Computing) 쇼에 맞춰 발표됩니다.

이번 주가 SC2016이 있는 주간이어서, 미국 날짜로 11월 14일에 11월 랭킹이 발표되었습니다.
이 랭킹이 발표되면 제가 간략히 정리하여 회사 내에서 소개하는 시간을 갖는데, 보통은 저희 회사 관점에서 얘기를 풀어나가게 됩니다.

블로그에선 그 내용을 일반적인 관점에서 설명해 보겠습니다.

슈퍼컴퓨터 사용 단체 혹은 설치/제조업체가 슈퍼컴퓨터를 구축한 후에 기준이 되는 프로그램을 시스템에 최적화한 후에 실행하여 나온 결과값을 TOP500.org란 사이트에 올리면, 그걸 6개월마다 정리해서 발표합니다. 이번 2016년 11월 랭킹은 48회차입니다. 작년 이맘 때에 46회차 글을 썼으니 1년만에 같은 주제로 글을 쓰는군요. ^^

2015년 11월자 제 46회 TOP500 슈퍼컴퓨터 랭킹 이야기

이번 회차 상위 20위까지 리스트입니다.

1위는 지난 6월에 혜성과 같이 나타난 중국의 선웨이 타이후라이트가 93페타플롭스의 성능으로 계속 1위를 지키고 있습니다.

2위는 2013년에 처음 등장하여 1위를 6회 동안 1위를 지켰던 중국의 티안헤-2, 3위는 2012년에 등장하여 1위를 했던 미국 에너지부(Department of Energy) 소속 오크릿지 국립연구소의 크레이의 타이탄, 4위는 2011년에 등장하여 1위를 했던 미국 에너지부(Department of Energy) 소속 로렌스 리버모어 국립연구소의 IBM의 세콰이어가 위치하고 있습니다.

표에서 붉은 글씨로 된 시스템들은 이번에 처음으로 랭킹에 등재된 시스템들입니다. 미국 에너지부(Department of Energy) NERSC 국립연구소의 크레이 시스템이 5위로, 일본이 슈퍼컴퓨터가 강세인 두 국립대학교(츠쿠바대학교와 도쿄대학교)의 연합 센터인 최첨단공동HPC기반시설 (Joint Center for Advanced High Performance Computing)의 후지쯔 오크포레스트-팍스(Oakforest-PACS)가 새롭게 Top10에 등재되었습니다.

20위권에는 5개, 500위까지는 113개의 시스템이 새롭게 등재되었습니다.

TOP500.org가 랭킹을 매기기 시작한 이후의 성능 추세 그래프입니다.

파란 점은 500위 시스템의 성능값, 주황색 점은 1위 시스템의 성능값, 녹색 점은 1위부터 500위까지의 성능 합계입니다. 꾸준히 선형적으로 성장하는 것처럼 보이지만, 세로 축이 로그 스케일이기 때문에 기하급수적으로 증가하고 있는 셈이지요. 지금 500위 시스템이 10년 전의 1위보다 높은 성능임을 알 수 있습니다.

지금 이 업계에선 1엑사플롭스 성능의 슈퍼컴퓨터 구현에 대한 연구가 한창 진행 중입니다. 어떻게 효율적이며 경제적으로 구현하는 것인가에 대한 고민이지요. 현재 1위가 93페타플롭스이니, 약 10배가 빠른 시스템이면 되는데, 약 2018년~2019년 정도에 실현 가능하리라 보여집니다. 지금 대형 슈퍼컴퓨터 업체 모두 관련 프로젝트를 진행하고 있어 2-3년 후에 엄청난 시스템들이 세상에 쏟아져 나오지 않을까 싶습니다.

제가 아무래도 업계에 있다 보니, 업체별 랭킹에 관심이 많습니다.

500위까지만 보면 HPE가 22%로 가장 많은 시스템 수를 등재시켰습니다. HPE는 휴렛팩커드엔터프라이즈(Hewlett Packard Enterprise)로 기존 HP에서 기업 부문이 분사한 회사입니다. 그리고, 올해 8월에 또다른 중견 슈퍼컴 회사인 SGI를 인수하였습니다만 두 회사의 시스템 점유율의 합은 지난 차수에 비해 오히려 좀 줄었습니다. (30% >> 28%) IBM의 x86 서버 부문을 인수한 중국의 레노버가 중국 시장에서 많이 확장을 해서 약간 증가를 한 듯합니다.
실질적으로 슈퍼컴퓨터란 말이 상징하는 듯이 100위까지의 초대형 컴퓨터는 크레이가 지난 랭킹에 비해 수량도 늘어나면서 가장 많은 점유율을 보여주고 있습니다.

슈퍼컴퓨터의 시스템 대수보다도 얼마나 뛰어난 성능의 시스템을 많이 구축했는지도 큰 관심거리입니다.

이 부문에서는 모두 크레이가 가장 큰 점유율을 갖고 있습니다. 두번째로 큰 점유율을 갖고 있는 NRCPC란 회사는 실제로 1위인 중국의 선웨이 시스템 한 대의 성능에 의한 값입니다. 500위까지의 성능 합계 중 14%, 100위까지의 성능 합계 합계의 21%가 1위 시스템 1대가 차지하고 있는 것이지요. 실제로 얼마나 큰 규모인지 상상하기도 힘들 정도입니다.

요즘의 슈퍼컴퓨터는 대가 단일 CPU가 큰 성능을 내는 형태가 아닌, 멀티 코어 프로세서로 구성된 컴퓨팅 노드가 여러 대가 고속 네트워킹으로 연결되어 데이터를 병렬처리하는 형태로 구성됩니다. 그래서, 그 노드 간의 고속 네트워킹이 무척 중요한 요인 중 하나이지요.

시스템 대수로 따지면 상대적으로 저렴한 10G 이더넷이 1/3 가량 차지하고 있습니다만, 성능적으로 보면 인피니밴드, 그 중에서도 56Gbps 속도의 FDR이 가장 많은 점유율을 차지하고 있습니다. 성능으로 두번째 점유율을 갖는 Aries란 네트워킹은 크레이의 고유 고속 네트워킹 기술입니다. 크레이가 초대형 시스템 구축을 할 수 있는 배경으로는 독자적인 뛰어난 고속 네트워킹 기술을 갖고 있기 때문이라 할 수도 있겠습니다. 인피니밴드와 인텔의 새로운 고속 네트워킹인 옴니패스(Omni-path) 모두 100Gbps의 속도의 제품이 나오기 시작해서 시장을 언제 지배하게 될 지도 무척 궁금합니다.

대륙별 점유율은 얼마 전부터 아시아가 미대륙을 앞서기 시작했습니다.

나라별 점유율은 중국과 미국이 동일한 시스템 대수가 500위에 등재되어 공동 1위입니다.

6월 랭킹에서 사상 처음으로 미국이 중국에게 뒤치는 초유의 사태가 있었는데, 반년 동안 미국에 큼직한 시스템들이 많이 구축되었는지, 시스템 대수나 성능에서 모두 미국이 1위를 재탈환했습니다. IT 강국이라고 떠드는 우리나라는 사실 세계 점유율 1%도 안 됩니다. 슈퍼컴퓨터가 IT를 대표한다고는 할 수 없지만, 다른 나라들에선 그를 통해 과학 기술 연구에 적극적으로 활용하고 있는 것을 보면 많이 답답합니다. 우리나라보다 과학기술이 낮아 보이는 것 같은 유럽의 나라들도 우리나라보다 더 많고 큰 시스템을 운영하고 있는 것을 알 수 있습니다.
 
프로세서로는 인텔의 서버 프로세서 제품군인 Xeon E5-2600 V3 해스웰(Haswell) 프로세서가 가장 많은 시스템에 사용되었습니다.

그리고, 올 하반기에 공식 발표된 인텔의 Xeon E5-2600 V4 브로드웰(Broadwell) 프로세서도 상당히 빠르게 확장되고 있습니다. 브로드웰 프로세서 제품군은 10코어에서 20코어짜리까지 다양하게 적용되었습니다. 내년 상반기에 최대 28코어의 스카이레이크(Skylake) 아키텍쳐의 차세대 서버용 프로세서가 나올 예정이어서 내년 상반기에 또 상당한 성능 향상이 예상되네요.
점유율은 얼마 안 되지만, 1위를 한 선웨이 시스템에 탑재된 프로세서는 중국 자체 개발 제품이어서, 얼마나 발전하게 될지 기대됩니다.

최초로 TOP500에 등재된 차수의 평균은 45회차쯤 됩니다. 이번 차수가 48회차이니 대략 2년 (약 4회차)정도 머문다고 할 수 있습니다.

이런 슈퍼컴퓨터의 사용처로 보면 기업체가 가장 많고, 학교, 정부 산하 연구소 등에서 많이 쓰고 있음을 알 수 있습니다.

그러면, 우리 나라의 슈퍼컴퓨터은 어떤지 보죠.

이번 48회차에선 우리나라에 4대의 시스템이 등재되어 있습니다. 지난 6월에 7대가 있었다가 3대가 순위권 밖으로 밀려 나면서 이제 4대 남아 있습니다. 기상청 시스템은 상위권에 등재되어 있어 당분간 순위권에 머물겠지만, 아래 두 곳의 시스템은 조만간 순위권 밖으로 밀려날 것 같네요.

이렇게 간단하게 이번에 발표한 TOP500.org 슈퍼컴퓨터 랭킹을 간략하게 훑어 보았습니다. 이 자료들은 모두 TOP500.org의 데이터를 기반으로 제가 재구성한 것입니다.

작년 이맘 때 작성한 글에 중국의 약진을 언급했는데요, 이제는 중국은 미국과도 비견할 만큼 큰 규모의 시스템을 구축하고 있습니다.

미국은 에너지부 산하의 국립 연구소가 꾸준히 적극적으로 활용하고 있고, 전통적인 슈퍼컴퓨터 강국인 일본은 꾸준히 슈퍼컴퓨터를 구축하고 적극적으로 활용하고 있음을 엿볼 수 있었습니다. 특히나 도쿄대학교, 츠쿠바대학교, 교토대학교 등의 국립대에 국가가 투자하여 대형 슈퍼컴퓨터를 구축하여 학계나 기업에서 사용할 수 있는 여건을 만들어 주고 있는 것이 무척 바람직해 보입니다. 슈퍼컴퓨터가 자연과학 분야에서 많이 쓰이고 있음을 볼 때, 일본의 노벨 과학상 수상은 새삼스럽지 않게 느껴집니다.

기하급수적으로 쌓여가는 데이터들을 잘 분석하여 더 좋은 일을 할 수 있는 요즈음 세상에 슈퍼컴퓨터가 할 일은 더욱 많아질 텐데, 한국형 알파고 구축이니 하는 좁은 시야의 접근이 아닌 멀리 내다보고, 실용적인 접근을 통한 제대로 된 투자로 우리나라에도 진짜 제대로 쓰는 슈퍼컴퓨터들이 속속 등장했으면 합니다.

다음 랭킹은 2017년 6월 중순에 발표될 예정입니다.