창간 준비호

람다, GPU 1만 개 넘는 망에 광 스위치 도입

엔비디아 포토닉스로 전력·안정성 높였다고 밝혔다

쎈프레스 편집국읽는 데 1분
람다, GPU 1만 개 넘는 망에 광 스위치 도입

클라우드 업체 람다(Lambda)가 엔비디아(NVIDIA)의 광학 일체형(CPO) 스위치로 GB300 NVL72 랙 1만 개 이상의 GPU를 연결했다. 업체는 기존 방식보다 전력을 덜 쓰고 장애에 더 잘 버틴다고 밝혔다.

지금까지

AI 모델을 학습시키려면 수천 개의 GPU가 한꺼번에 움직여야 해서, GPU를 잇는 네트워크가 빠르고 안정적이어야 한다. 지금까지는 전기 신호를 빛으로 바꾸는 꽂아 쓰는(pluggable) 광 모듈을 스위치에 달아 연결하는 방식이 쓰였다. 이 방식에서는 레이저가 고장 나면 모듈 전체를 바꿔야 했다.

AI 시대에는

새로 나온 방식은 전기 신호를 빛으로 바꾸는 광 엔진을 스위치 칩과 같은 패키지에 얹는 것이다. 엔비디아는 이 방식이 기존 꽂아 쓰는 광 모듈보다 전력 효율이 최대 5배, 신뢰성이 최대 15배 높고 레이저도 4분의 1만 쓴다고 밝혔다. 람다는 자체 시험에서 네트워크 지연이 랙 규모에서 약 4%, 포드 규모에서 최대 약 10% 줄었고 처리량은 기존 광 모듈과 같았다고 전했다. 광학 부품의 중간 온도도 36°C로, 기존 광 모듈의 51°C보다 낮았다고 한다. 다만 이 수치는 모두 엔비디아와 람다가 내놓은 것이며, 원문에는 외부 검증 내용이 없다.

지금 해 볼 것

  • ‘CPO’와 ‘꽂아 쓰는 광 모듈’이 어떻게 다른지 찾아 읽고, 자신이 쓰는 클라우드 GPU가 어떤 네트워크로 묶여 있는지 확인해 본다.
  • AI 학습이나 추론 작업을 돌리고 있다면 로그에서 통신 때문에 GPU가 기다린 시간이 얼마나 되는지 살펴본다.

원문에서 확인한 사실

  • 람다는 엔비디아 포토닉스 CPO 스위치로 GB300 NVL72 랙 1만 개 이상의 GPU를 연결했다.
  • 람다의 시험에서 네트워크 지연은 랙 규모에서 약 4%, 포드 규모에서 최대 약 10% 줄었다.
  • 랙, 스케일러블 유닛, 포드 구성 모두에서 처리량은 기존 꽂아 쓰는 광 모듈과 같았다.
  • 엔비디아는 기존 광 모듈보다 전력 효율이 최대 5배, 신뢰성이 최대 15배 높고 레이저는 4배 적게 쓴다고 밝혔다.
  • 스위치 한 대는 800Gb/s 포트 144개를 갖췄고, 탈착 가능한 외부 광원 18개를 쓴다.
  • 람다는 광학 부품 중간 온도가 36°C로 기존 광 모듈의 51°C보다 낮았다고 밝혔다.
#엔비디아#람다#광학 스위치#AI 데이터센터

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기

반도체

애플 칩, 두 메모리 규칙 섞어도 어긋남 없었다

애플(Apple)의 M 시리즈 칩은 스레드마다 서로 다른 메모리 규칙을 따를 수 있다. 한 연구진이 M1과 M2에서 두 규칙을 섞어 시험했더니 규칙이 금지한 결과는 나오지 않았다고 밝혔다.

반도체

칩에서 시스템까지, 필요하면 5주를 2주로

엔비디아(NVIDIA)의 운영 총괄 데브 쇼퀴스트가 AI 플랫폼을 만드는 공급망과 제조 협력 방식을 인터뷰에서 설명했다. 그는 칩이 TSMC에서 나와 시스템으로 완성되기까지 걸리는 시간을 필요할 때 5주에서 2주로 줄였다고 밝혔다.

반도체

엔비디아, 책상 위 4노드 슈퍼컴 키트 공개

엔비디아(NVIDIA)가 미국 시카고에서 열리는 슈퍼컴퓨팅 학회 SC26에서 연구자용 'DGX Spark HPC 개발자 키트'를 선보였다. DGX Spark 4대를 묶은 이 키트는 현재 판매 중이며, 연구자가 공용 GPU 클러스터 순서를 기다리지 않고 책상에서 작업을 돌리게 하는 것이 목표라고 회사는 밝혔다.

과학

새 환경을 배워도 옛 경험을 잊지 않는 학습 연구

연구진은 환경마다 잘하는 작은 신경망 '전문가'를 진화 방식으로 만들어 보관해 두고, 상황이 바뀌면 알맞은 것을 꺼내 쓰는 구조를 내놓았다고 밝혔다. 막대 세우기 과제인 카트폴(CartPole)에서 이 구조는 시험 환경 다섯 곳의 평균 성공률 83.2%를 기록했다.