CRaZY aBouT My LiFe!!! 미친도사의 이런저런 이야기

InfiniBand(이하 IB)로 네트워크를 구성하는 경우, 대부분 TCP나 UDP가 아닌 RDMA로 트래픽이 일어난다. 이런 경우, 일반적인 네트워크 모니터링 툴에서 트래픽이 보이지 않는다. 심지어 IB 전용 포트 모니터링 툴인 perfquery(QUERY INFINIBAND PORT COUNTERS ON A SINGLE PORT)에서도 이 RDMA 트래픽은 보이지 않는다. 이것 때문에 Lustre filesystem(이하 러스터)를 IB 기반으로 구성해서 OpenHPC와 연동해 놓고도 트래픽이 정상인지 확인할 길이 없었다. 이에 지인에게 문의하여 답을 찾았다. 의외로 이 부분에 대해 검색이 잘 안 된다. EPEL 패키지 중에 collectl 이란 명령어가 IB 모니터링을 지원하는 툴이다. 설치 방법은..

요새 병렬 파일 시스템을 공부 중이다. BeeGFS를 주력하고자 교육도 받고 시스템 엔지니어 자격증도 받았는데, 아무래도 Lustre를 모르고는 이 바닥을 이해하기 어려울 것 같아 Lustre도 공부하고 있다. 마침 고객 중에 Lustre를 쓰겠다는 고객이 있어 이 참에 공부해서 구축하고자 한다. Lustre를 시험하면서 특징 혹은 고려 사항 등을 정리해보면 다음과 같다. 전용 커널을 사용해야 해서, 사용할 수 있는 리눅스 배포판이 정해져 있다. 현재 최신 버전인 2.12.8을 기준으로 하면, RHEL/CentOS 7.9가 Lustre 서버로 구성할 수 있는 배포판이다. InfiniBand를 지원하기 위한 패키지가 별도로 존재한다. 따라서, repository 지정을 제대로 해야 한다. InfiniBan..