CRaZY aBouT My LiFe!!! 미친도사의 이런저런 이야기

SFP, QSFP니 하는 네트워크 포트 규격에 대해 이해를 돕고자 글로 써봅니다. 10G에서 100G로 넘어가는 데까지는 그닥 복잡할 게 없는데, 400G가 되면서 그 구현 방법이 회사마다 좀 달라서 혼선이 생길 수 있다는 얘기가 있습니다. 그 부분을 이해를 돕도록 좀 설명해 보겠습니다. 일단 우리가 현재 가장 많이 쓰는 10G는 보통 SFP+죠. 2000년대 초엔 1G도 광이 있던 때라 그 때 포트를 SFP라고 하고, 현재는 거기에 +를 붙여서 쓰는 겁니다. 사실 지금은 그냥 SFP라 하면 10G를 통칭하고요. SFP+ 10G포트는 쉽게 생각하면 PCIe 1배속 같은 겁니다. 데이터를 주고(TX) 받는(RX) 신호가 한 쌍입니다. 그걸 4쌍(Quad)으로 묶은 커넥터가 QSFP+, 즉 40G입니다. P..

InfiniBand(이하 IB)로 네트워크를 구성하는 경우, 대부분 TCP나 UDP가 아닌 RDMA로 트래픽이 일어난다. 이런 경우, 일반적인 네트워크 모니터링 툴에서 트래픽이 보이지 않는다. 심지어 IB 전용 포트 모니터링 툴인 perfquery(QUERY INFINIBAND PORT COUNTERS ON A SINGLE PORT)에서도 이 RDMA 트래픽은 보이지 않는다. 이것 때문에 Lustre filesystem(이하 러스터)를 IB 기반으로 구성해서 OpenHPC와 연동해 놓고도 트래픽이 정상인지 확인할 길이 없었다. 이에 지인에게 문의하여 답을 찾았다. 의외로 이 부분에 대해 검색이 잘 안 된다. EPEL 패키지 중에 collectl 이란 명령어가 IB 모니터링을 지원하는 툴이다. 설치 방법은..

그냥 내가 편하려고 남기는 포스트... 리눅스에서 IP 설정을 수동으로 바꿀 때엔 /etc/sysconfig/network-scripts/ifcfg-ethX 파일을 수정하곤 했다. 실제로 3년 전에 N사의 서비스용으로 개발한 어플라이언스에 이 방법으로 설정을 반영하느라 구현이 꽤 복잡했었다. 이후에 nmcli에 조금씩 익숙해지면서, 이젠 ifcfg-ethX를 손댈 일이 거의 없어 보인다. 1. DHCP로 설정된 eno2를 고정 IP로 수정하기 [root@dtdev ~]# nmcli con mod eno2 ipv4.addresses 10.10.50.51/24 [root@dtdev ~]# nmcli con mod eno2 ipv4.gateway 10.10.50.1 [root@dtdev ~]# nmcli co..