"GPU 다음은 DPU?" AI 반도체 전쟁의 숨은 주인공, 데이터 처리장치 이야기

요즘 AI 반도체 얘기하면 다들 "GPU"만 떠올리는데, 사실 그 뒤에서 조용히 일하는 녀석이 하나 더 있다. 바로 'DPU(데이터 처리 장치)'다. 최근 한 반도체 스타트업 CTO의 인터뷰를 보니, 이 작은 칩이 AI 인프라 경쟁의 새로운 축으로 떠오르고 있다고 한다. 과연 무슨 역할을 하는 걸까?

GPU만으로는 부족한 시대가 왔다

몇 년 전까지만 해도 AI 인프라의 중심은 단연 GPU였다. 수십, 수백 개의 GPU가 동시에 학습을 돌리면서 데이터를 서로 주고받는데, 이때 "전체 데이터 병합(All-Reduce)"이나 "결과 배포(Broadcast)" 같은 통신 작업이 엄청나게 많이 발생한다. 이런 통신을 얼마나 빠르게 처리하느냐가 곧 AI 인프라의 경쟁력이었다. 그런데 최근엔 상황이 좀 달라졌다.

'에이전틱 AI'가 몰고 온 새로운 숙제

요즘 챗봇들은 단순히 질문 한 번에 답 한 번 하는 게 아니다. 스스로 여러 단계를 거쳐 생각하고, 필요하면 외부 도구를 쓰고, 이전 대화 내용을 계속 참조하는 '에이전틱 AI'로 진화하고 있다. 이렇게 되면 과거 문맥을 저장해두는 공간(흔히 KV캐시라고 부른다)이 눈덩이처럼 커지고, 이걸 저장하고 꺼내 쓰는 데 드는 부담도 같이 커진다.

AI 생성 삽화

결국 GPU들끼리 데이터를 주고받는 속도뿐 아니라, 네트워크로 연결된 대용량 저장장치를 얼마나 빠르게 다루느냐가 새로운 경쟁 포인트로 떠올랐다는 얘기다.

DPU는 정확히 뭘 하는 걸까

쉽게 말하면 DPU는 "데이터 심부름꾼"이다. 원래 이런 잡다한 데이터 이동, 저장, 통신 처리는 CPU가 담당했는데, 그러다 보니 CPU가 정작 중요한 연산에 쓸 힘을 데이터 나르는 데 뺏기곤 했다. DPU는 이런 부담을 CPU 대신 떠안아서, CPU는 본업에 집중하고 GPU는 계산만 열심히 하도록 돕는 역할을 한다. 말 그대로 AI 공장의 물류팀 같은 존재다.

왜 지금 이 기술이 주목받을까

AI 모델이 점점 더 길고 복잡한 대화를 기억해야 하고, 여러 번 생각을 거쳐 답을 내놓는 방향으로 발전하면서, 데이터 이동과 저장을 효율적으로 관리하는 기술의 가치가 덩달아 커지고 있다. 이 때문에 원래 네트워크 칩을 만들던 업체들이 이제는 AI 인프라 전반으로 사업 영역을 넓히는 흐름도 생기고 있다.

AI 생성 삽화

앞으로 AI 서비스를 쓰다가 "왜 이렇게 빠르지?" 혹은 "왜 이렇게 느리지?" 싶을 때, 그 답의 일부는 눈에 잘 안 보이는 이 DPU 같은 부품에 숨어 있을 수 있다는 점, 알아두면 꽤 흥미로운 상식이 될 것 같다.

마무리하며

AI 경쟁이 치열해질수록 눈에 보이는 GPU 성능 경쟁만큼, 눈에 잘 안 보이는 데이터 이동·저장 기술의 중요성도 커지고 있다. DPU는 그 중심에서 조용히, 그러나 점점 더 크게 역할을 넓혀가고 있는 부품이다. 앞으로 AI 인프라 뉴스를 볼 때 GPU 옆에 있는 이 작은 칩도 한번 눈여겨봐도 좋을 듯하다.

참고 자료

IT동아, "'DPU로 시작해 AI 인프라 전반으로 사업 확장'··· 권동업 망고부스트 CTO에게 듣다", 2026.10.06