Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GTC 2025 : 가속되고 있는 미래

GTC 2025 : 가속되고 있는 미래

이 발표에서는 NVIDIA GTC 2025에서 소개된 내용들을 독특한 시각으로 다뤄봅니다. NVIDIA 에 대한 설명과, 방향성, GTC 2025 발표들을 되짚어보고, 나름대로의 이후 방향에 대해 이야기합니다.

이 발표는 2025년 3월 28일 OKKY 와 테크수다의 초대로 진행한 라이브 세션을 위해 제작했던 자료입니다.

세션 유튜브 동영상 주소: https://www.youtube.com/watch?v=IaaGAeDjx3Y

Avatar for Jeongkyu Shin

Jeongkyu Shin PRO

November 01, 2025
Tweet

More Decks by Jeongkyu Shin

Other Decks in Technology

Transcript

  1. AI Enterprise AI Cloud AI Open Source AI MLOps GTC

    2025 가속되고 있는 미래 신정규 Lablup Inc. OKKY / 2025.3.28
  2. • Lablup Inc. : Make AI Accessible – 오픈소스 머신러닝

    클러스터 플랫폼: Backend.AI 개발 – https://www.backend.ai • 오픈소스 개발자 – Google Developer Experts (AI / Cloud) (2017~) ✓ MLOps Working Group (2019~2020) – Google Cloud Champion Innovator – Google Startup Accelerator Mentor (기술분야) – Principal Researcher, KOSSLab. (2015~2019) – 텍스트큐브 개발자 / 모더레이터 (20년!) – SW산업발전 유공자 대통령표창 (2018) – 대한민국 산업포장 (2024) • 물리학 / 뇌과학 – 통계물리학 박사 (복잡계 시스템 및 계산신경과학 분야) – (전) 한양대학교 ERICA 겸임교수 (소프트웨어학부) 안녕하세요! 2
  3. • 래블업은 대규모 AI 하드웨어 / 소프트웨어를 간편하게 확장하고, 운영할

    수 있도록 돕는 제품을 만들고 있습니다. – 우리는 과학과 공학 연구에서 생겨나는 다양한 문제를 표준화된 플랫폼을 통해 해결합니다. – Backend.AI는 대규모 인프라 하드웨어에서 분산 처리로 인해 나타나는 사용률 저하를 최소화합니다. – 대규모의 AI 모델을 학습하고, 추론할 때 하드웨어를 상호 연결하고, 운영을 자동화하여 관리 소요를 줄여줍니다. • Backend.AI는 정교한 하이퍼스케일 GPU 클러스터링 솔루션으로, AI 학습 및 서빙을 간소화, 통합, 가속화할 수 있는 제품입니다. – Backend.AI는 Fractional GPU Virtualization 기술이 적용된 GPU 플랫폼입니다. – 다양한 AI 가속기를 지원하고, 자체 Sokovan 오케스트레이터와 스케줄러를 통해 AI 워크로드를 최적으로 관리합니다. – 다른 것 보다 데이터를 우선하여 고려하는 워크로드 가속 기술을 통해 최적의 성능과 효율을 자랑합니다. – AI 추론에 필요한, 스마트한 워크로드 스케일링을 제공합니다. • Backend.AI는 다양한 분야에서 검증된 엔터프라이즈용 플랫폼입니다. – 다수의 기업, 금융기관, 의료기관, 연구센터 및 대학과 같은 다양한 고객사들이 Backend.AI를 활용하여 고효율, 저비용을 달성하고 있습니다. 래블업 3
  4. 제품 / 서비스 • Backend.AI: 온프레미스 및 하이브리드 클라우드 환경에서

    AI 개발, 서비스, 슈퍼컴퓨팅을 관리할 수 있는 다목적 엔터프라이즈 플랫폼 • FastTrack: 작업 파이프라인을 자동화, 통합, 관리할 수 있도록 하여 AI 개발을 간소화하며, 원활한 작업을 위해 재사용 가능한 템플릿을 제공하는 MLOps 플랫폼 • PALI (Performant AI Launcher for Inference): Backend.AI 모델 플레이어와 큐레이트 된 모델 카탈로그, 미리 정의된 모델을 조합한 고성능 추론 런타임 • Finetun.ing: 별도 데이터와 코드 없이 진행하는 LLM 자동 미세조정 서비스 핵심 기술 • Fractional GPU를 통한 컨테이너 수준의 GPU 가상화 • 분산형 딥러닝 모델 학습 및 초대형 모델 개발 플랫폼 • GPU를 기반으로 하는 저비용 / 초저지연 AI 모델 서비스 • AI 오퍼레이션 파이프라인을 통한 다양한 종류의 AI 가속기/반도체 지원 • 포터블한 하이퍼스케일 AI 플랫폼 사업 개요 • 대한민국 내 가장 많은 수의 GPU를 관리하고 있음 • 아태지역 최초의, 그리고 유일의 NVIDIA® DGX™ 지원 소프트웨어 파트너 • 대기업, 금융 기관, 의료 기관, 국내외 연구 기관 및 대학교에 이르기까지 약 100여개 이상의 고객사 및 파트너와 함께 AI 혁신을 위한 협력관계 구축 고객사 창립일 2015.04 대표자 신 정 규 직원 수 34 105+ and Growing! 파트너 4
  5. • 건강 문제에 치여서 슬라이드를 제대로 준비 못했습니다.. • 토크

    시간 잘 지키기 위해서 개요만 죽 적어봅니다. 오늘의 이야기는 • NVIDIA GTC 오늘 이야기 순서 5
  6. • 만 명 정도 참여하는 행사였는데 • 올해는 공식 등록

    2만명, 운영 및 참가 회사 포함 약 3만명 추산 – 같은 공간에서 열다보니 시장바닥임 • GPU Technology Conference – 한 회사가 이렇게 거창한 이름을 써도 되나? -> 됩니다. – WWDC (WorldWide Developer Conference) 를 여는 애플과 비슷한 이유 매출만큼 커진 GTC 7
  7. • 1993년 창립 – 젠슨 황(Jensen Huang) 등 3명의 공동

    창업자: “그래픽 프로세싱이 미래 컴퓨팅의 핵심” – ‘시각 컴퓨팅(Visual Computing)’에 대한 비전: 초기부터 게임, 엔터테인먼트, 시뮬레이션 등 시각 환경의 중요성 강조 • 빠른 하드웨어 혁신 – RIVA 시리즈(1990년대 말)로 3D 그래픽 가속 시장에서 영향력 확보 ✓ 저도 RIVA 128 있었죠. 8비트 컬러 가속이 안됐지만… – 경쟁사 대비 빠른 프로세서 업데이트 주기로 시장 점유율을 끌어올림: 1년에 2개씩 내놓기도 했음 • 개발자 친화적 마인드셋 – 초창기부터 그래픽 개발자들에게 SDK, API 등을 활발하게 제공 – 게이밍·그래픽 분야 소프트웨어 생태계 확장에 앞장섬 • 게이밍과 프로페셔널 그래픽 시장 동시 공략 – 하이엔드 워크스테이션 시장(디자인, 3D 모델링 등)까지 아우르면서 폭넓은 기술 스펙트럼 확보 NVIDIA의 비전과 초창기 8
  8. • GPU 개념의 등장 – CPU가 담당하기엔 무거운 3D 연산과

    대규모 병렬 처리에 특화된 프로세서가 필요하다! – GPU: 이를 해결하기 위한 별도의 코프로세서(그래픽 전용 칩) • NVIDIA의 ‘GPU’ 선언 – 1999년 GeForce 256 출시: “세계 최초의 GPU”로 홍보 ✓ GPU라는 말을 처음 제시함 ✓ 그 전에도 (RIVA라거나 Voodoo라거나…) 있었지만, 3D가속기가 아닌 범용 코프로세서 형태로서는 최초였음 – 당시로서는 혁신적인 그래픽 처리 구조 제시 ✓ 지금은 보편화되었지만 셰이더 파이프라인이나 라이팅 처리 등… GPU 기반 기술의 출발점 9
  9. • 병렬 처리 역량 강화 – GPU는 여러 코어가 동시에

    그래픽 연산을 수행하므로, CPU 대비 대규모 병렬 처리가 가능 – 초기에는 게임 그래픽을 빠르게 그려내는 데 집중, 이후 범용 연산으로 확장 • 시장 규모 확장 가능성에 주목 – 90년대 말만 해도 3D 그래픽은 주로 게이밍과 CAD 수준 – NVIDIA: 고성능 컴퓨팅(HPC)과 프로 엔터테인먼트 분야까지 활용 범위를 넓힐 수 있다고 전망 • Microsoft Windows의 보급 – 대중화의 시발점 – DirectX, OpenGL 등 그래픽 API와 함께 GPU가 보급되며, 일반 소비자에게도 고품질 3D 렌더링이 가능한 시대가 열림 GPU 기반 기술의 출발점 10
  10. • CPU와의 차별점 – CPU는 소수의 강력한 코어로 직렬 연산에

    최적화 – GPU는 수백~수천 개의 코어가 병렬 연산에 특화되어 대규모 연산량을 빠르게 처리 • 그래픽에서 범용 연산(GPGPU)으로 – 3D 렌더링뿐 아니라 물리 시뮬레이션, 딥러닝, 과학 연산 등 광범위한 분야에서 뛰어난 성능을 보일 가능성 – 3차원 공간 돌리는 것도 행렬 연산 (정확히는 Euler transformation) 인데 – HPC (High-Performance Computing) 분야에선 행렬 연산만 엄청나게 하니까…? ✓ 2022년부터는 AI 기반으로 전혀 다른 종류의 HPC 혁신을 만들어내고 있습니다만 오늘은 생략하겠습니다. – 수치 정확도 이슈 ✓ 그래픽 출력할 때는 16비트 정밀도로 충분하지만, 시뮬레이션은 64비트 정밀도가 기본인데? ✓ 갈렸던 AMD의 선택과 NVIDIA의 선택과 현재 GPU 병렬 처리와 범용 연산의 가능성 11
  11. • 훈련 – 추론 – 사고의 스케일 법칙 • AI

    가속 하드웨어 포트폴리오 • CUDA-X • AI Factory GTC 2025: 마음 가는 내용들 중심으로 12
  12. • 요약: NVIDIA 칩을 사면 살 수록 더 싸다. –

    Dynamo 가 인퍼런스를 해 줄게 훈련 – 추론 – 사고의 스케일 법칙 14
  13. • 가속 컴퓨팅이 보편화된 사회가 요구할 모든 분야에 포트폴리오를 갖추려고

    할 것 • 종적 스케일링 – Scale-in • 횡적 스케일링 – Scale-out • 결국 다 필요함 • 어떻게? NVIDIA: 2025년의 AI 가속 하드웨어 15
  14. • 2025년의 일반 사용자-프로페셔널 대상 포트폴리오 – PC 시장으로의 진출

    ✓ CPU, GPU, 머신 설계 및 경량화까지 모든 기술 확보 ✓ 퀄컴의 Windows on Arm 독점계약 종료로 장애물 없음 • 이 분야는 구글, 마이크로소프트를 포함한 대부분의 Arm IP가 있는 회사들이 손을 대 보려고 할 것임 ✓ GTC 2025: NVIDIA DGX Spark / DGX Station (new) 발표: AI 개발자 시장의 표준 플랫폼으로 진출 • 가속기 포트폴리오의 다변화 – 엔터프라이즈 / 데이터센터 GPU의 비중이 높아진 상태지만 다른 포트폴리오도 전부 갖추고 있음 – 지금까지: 훈련용 칩으로 공개 -> 차세대 칩 발표 후 기존 칩은 인퍼런스 칩으로 자리매김의 패턴 – 인퍼런스 시장에서 리더십을 놓치지 않기 위해 GDDR기반+고속 네트워크 지원 인퍼런스 타겟 칩 포트폴리오를 확충 ✓ GTC 2025: NVIDIA RTX PRO 6000 발표 NVIDIA: 2025년의 AI 가속 하드웨어 (개발자) 16
  15. • NVIDIA GB200, GB300: 주력제품 – Grace CPU + Blackwell

    GPU – NVL72, NVL144 ✓ GPU 72장 / 144장 (Blackwell Ultra) 대응 – CPU-GPU 간 초고속 데이터 전송 – 랙당 120kW 소비 NVIDIA: 2025년의 AI 가속 하드웨어 (신규 데이터센터) 17
  16. • B200, B300: 레트로핏 하드웨어 – 기존 랙 플랫폼에 그대로

    대체 가능 – Arm 이 아닌 x64 CPU로 기존 소프트웨어와의 호환성 유지 – 실질적인 구매가 많을 것으로 예상 NVIDIA: 2025년의 AI 가속 하드웨어 (기존 데이터센터) 18
  17. • 2026년 이후의 NVIDIA – Vera Rubin / Vera Rubin

    Ultra / Feynman ✓ VRU: GPU당 1TB (1024GB) HBM. 현재는 80/144GB – Optical cabling / 512포트 스위치 ✓ 현재는 64포트 스위치 – Kyber Rack 아키텍처: 랙당 600kW 소비 / NV576 ✓ 세로로 꼽자; – 현실감이 없는 로드맵 ✓ 현재 AI 데이터센터는 고밀도에 대응된 경우에도 랙당 20kW가 일반적임 ✓ 랙 2개면 1.2MW -> IDC 일반 랙 한 줄 전체 전력보다 큼 • 왜? – 현재는 불가능한 기술적 바를 높게 세팅하고 – 그걸 기준으로 파트너들에게 해당 기준을 달성하도록 로드맵을 제시 – 이런 회사로는 역사상 두 번째임 NVIDIA: AI 가속 하드웨어 (미래) 19
  18. • GPU-GPU 네트워크의 현재 문제 – Hopping 횟수에 따른 레이턴시

    문제 ✓ 48~64포트의 400Gb 인피니밴드 기반 – Leaf-Spine network ✓ 랙당 하나의 스위치, 랙 열당 하나의 스위치 배정 ✓ 4랙당 5개 스위치 사용 ✓ 그 이상 스케일할 경우 GPU-GPU 연결시 최소 4번의 Hopping 발생 ✓ 더 크면 6번까지 발생 – 해결책 ✓ 포토닉스 접합 + 초대용량 스위치 • 포트가 많으면 Spine을 줄일 수 있다 ✓ 이론상 맞긴 합니다. 그런데… NVIDIA: AI 가속 하드웨어 (네트워킹) 20
  19. • cuVS – 새로운 CUDA-X 패키지 – 벡터 스토어를 CUDA로

    가속 – 스토리지에서 벡터 스토어, 임베딩 처리를 하겠다 • 어떻게? – GPUDirect Storage 를 지원하는 벤더들이 참여 – Quantum IO 를 지원하기위해 스토리지에도 GPU가 있음 ✓ 아마 그걸 활용하지 않을까? NVIDIA: AI 가속 하드웨어 (스토리지) 21
  20. • 성숙한 플랫폼과 생태계 – 경쟁 GPU 업체(AMD, Intel..)도 범용

    GPU 컴퓨팅 플랫폼을 제공하나, CUDA정도의 연산 라이브러리와 커뮤니티 구축은 요원 – 대다수 딥러닝 프레임워크가 CUDA 기반 우선 지원: cuDNN wrapper로 시작한 경로의존성 존재 • 소프트웨어와 하드웨어의 동반 성장 – GPU 아키텍처와 CUDA가 긴밀하게 연동되어 세대별 성능 최적화가 상대적으로 용이 – 신형 GPU의 새 아키텍처에 새로 추가된 기능이 신속하게 CUDA 버전에 반영됨 ✓ 당연한거 아닌가요? -> 놀랍게도 안 그래요… • (유일한) 원스톱 솔루션 – AI, 그래픽, HPC를 포괄하는 통합 스택: NVIDIA DGX, Omniverse 등 하드웨어+소프트웨어+서비스를 결합한 패키징 • 개발자 그룹에서의 로열티 – GPU 가속 프로젝트나 AI 연구를 시작할 때 곧바로 CUDA를 떠올릴 정도로 업계 표준으로 자리매김 – 성공 사례(엔터테인먼트, 자율주행, 로보틱스 등)가 많아 학습 커브와 리스크가 낮음 ✓ 개발하다 잘 모르면 구글 검색이나 ChatGPT 치면 잘 나옴 CUDA-X: 경쟁사가 없는 것 처럼 보이는 이유 23
  21. • 슈퍼컴퓨터 시장 장악 – 전 세계 상위권 슈퍼컴퓨터 다수가

    NVIDIA GPU를 채택 – CPU 중심 아키텍처에 GPU 가속을 더해 에너지 효율과 계산 성능 극대화 • NVLink 및 멀티-GPU 스케일링 – GPU 간 초고속 데이터 전송을 지원하는 NVLink, NVSwitch 기술로, 여러 GPU를 묶어 강력한 컴퓨팅 노드 구성 – GPU 클러스터 구축을 통한 페타스케일·엑사스케일급 연산 능력 달성 • DGX 시스템 등 통합 솔루션 – NVIDIA DGX, HGX (DGX 호환 서드파티) 플랫폼으로 하드웨어·소프트웨어 및 SDK 통합 제공 – HPC, AI 연구소, 대기업 데이터센터 등에서 안정적인 대규모 컴퓨팅 환경 구축 • 그리고 쌉니다 – 에너지 효율성과 TCO(총소유비용) 관점: 전력 대비 성능이 CPU만 쓰는 구조보다 우수해, 데이터센터 운영 비용 절감 효과 – 같은 전력에서 더 많은 연산 성능을 뽑아낼 수 있어 규모가 커질수록 효율성 극대화 – 기업·기관과의 파트너십을 통해 HPC 경쟁력 강화 고성능 컴퓨팅(HPC) 시장에서의 영향력 24
  22. • 과학연구·AI 분야와의 시너지 – 천체물리학, 생물정보학, 기후 모델링 등

    다양한 과학 도메인에서 가속 컴퓨팅으로 • 변화의 시작 – 수치 해석이 HPC의 최종 목표는 아니잖아? – 새로운 접근: 시뮬레이션 결과를 시뮬레이션 하지 않고 얻기 ✓ AI 기반의 결과 인퍼런스 ✓ AlphaFold, GNoME ✓ 예측 모델로 시뮬레이션 대체하기 • 확산 – 기상학, 유체역학, 동역학, 신소재… 어느순간 슈퍼컴퓨팅 분야를 점령중 고성능 컴퓨팅(HPC) 의 혁신 주도 25
  23. • Isaac 플랫폼을 통한 로보틱스 혁신 – Isaac SDK와 Isaac

    Sim(Omniverse 상에서 로보틱스 시뮬레이션)으로 로봇 개발, 테스트, 배포 과정을 가속화 – 로봇팔, 자율주행 로봇(AGV) 등 다양한 물리적 장비 제어에 AI 접목 • Jetson 시리즈로 엣지 AI 구현 – 소형 폼팩터(embedded board)에 GPU 연산 유닛을 탑재해, 현장에서 실시간 영상·센서 데이터 분석 가능 – 산업용 로보틱스, 드론, 무인점포 시스템 등 ‘현장 AI’ 요구에 부합 • 자율주행차량(Drive) 플랫폼 – 카메라, 라이다, 레이더 등 복합 센서 데이터를 통합 처리해 자율주행 소프트웨어를 구동 – NVIDIA DriveSIm: 실도로 주행 없이도 Omniverse 기반의 시뮬레이션 환경에서 안전성을 대규모로 검증 가능 • 엣지+클라우드+데이터센터의 통합 – 엣지 디바이스에서 사전 처리된 데이터를 클라우드/데이터센터에 전송해 더 정교한 AI 학습 및 의사결정 가능 – NVIDIA의 네트워킹 솔루션(Mellanox 인수 등)으로 데이터 흐름의 효율성도 확보 – Isaac, Drive, Metropolis 등 AI 소프트웨어 스택으로 로보틱스·엣지·스마트시티를 아우르는 솔루션 제공 로보틱스·엣지 컴퓨팅 영역에서의 도전 26
  24. • 디지털 AI를 현실 세계로 확장하는 개념 – 기존의 AI가

    데이터, 소프트웨어, 가상 시뮬레이션 위주라면, Physical AI는 센서, 로봇, 자율주행 등 물리적 환경에 실제로 적용되는 AI – 현실 세계에서 축적되는 데이터와 AI 연산이 실시간으로 상호작용하여 문제를 해결 • Omniverse와 시뮬레이션의 연결 고리 – NVIDIA가 제공하는 실제 환경의 디지털 트윈(digital twin) 플랫폼인 Omniverse 활용 – 물리학적으로 정확한 3D 시뮬레이션을 통해 로보틱스, 자율주행 등을 학습 및 검증 후 현실에 적용하는 접근 • 하드웨어 & 소프트웨어 동시 강화 – 에지 디바이스(Jetson), 고성능 GPU(H100, A100, RTX 시리즈) 등 폭넓은 하드웨어 라인업 • NVIDIA Cosmos (2025) – NVIDIA가 물리적 AI(로봇, 자율주행 등)를 위해 설계한 World Foundation Model – 수십억 시간 분량의 실제 영상 데이터를 기반으로 훈련 • NVIDIA GR00T 파운데이션 모델 / GR00T N1 (2025) – 로봇 하드웨어 제어용 오픈소스 모델 공개 Physical AI 27
  25. • 양자컴퓨팅 실용성에 대한 회의적 시각 – "Uber 배달에 양자컴퓨터

    필요 없음" 발언 – 양자컴퓨팅의 과도한 문제 난이도 설정에 대한 비판 – 천문학적 자원이 요구되는 현실적 한계 지적 • GPU와 양자컴퓨터의 경쟁 구도 제시 – 동일한 목표 지향성 언급 (예: 최적화 문제) – GPU 가속 컴퓨팅의 빠른 진보 강조 – GPU가 양자보다 먼저 도달할 가능성 주장 • 시장성 축소에 따른 양자 스타트업의 위기 경고 – 문제 영역을 좁힐 경우 플라이휠 부족 현상 우려 – 외판원 문제 등 이미 해결 중인 사례 언급 – 양자컴퓨팅 필요 영역의 축소 가능성 제기 NVIDIA의 양자컴퓨팅 관점 • 양자컴퓨팅 연구센터 발표 – 양자컴퓨팅 개발에 필요한 모든 소프트웨어 + 시뮬레이션 플랫폼을 제공하겠다 – NVIDIA는 재료와 레시피를 제공하는 회사이므로 ✓ Physical AI 에 대응한 Cosmos, GR00T 와 같은 접근 28
  26. • AI Factory? – 브랜딩 전략이라고 봄. 머릿속에서 사고의 전환이

    필요한 상황 – AI 산업을 토큰을 생성하는 제조업이라는 관점에서 바라보는 "AI Factory" 프레임 제시·강화 ✓ IDC: 돈을 쓰는 곳. 비용 절감의 대상 ✓ 공장: 매출이 발생하는 곳. 투자가 매출로, 매출이 이윤으로 이어짐 – 주어진 전력 용량 내에서 가장 많은 토큰을 생성할 수 있게 해주는 모든 기술스택의 전방위적 최적화 • 2025년 이후의 NVIDIA – NCP (NVIDIA Cloud Partner) 진형 구축 ✓ 작년부터 각 국가 / 권역별 파트너를 규모에 따라 1, 2곳씩 선정 중 ✓ 현재 Big 4 CSP에 대항하는 GPU Neocloud / Hyperscalar 파트너를 전세계에 깔아두고 진영을 구축하겠다 ✓ 자체 칩 개발 및 생산력이 없는 클라우드 업체들의 하드웨어 대부가 되겠다 – 하이퍼스케일러 / Neocloud 들을 위한 Ready-made 데이터센터 ✓ 불가능해 보이는 요구사항을 미리 다 맞춰둔 데이터센터 상면을 제공하는 회사들과 파트너링 ✓ 장소 섭외 및 코로케이션 시설 확보 회사와 파트너십 (CBRE, 2025년 2월) AI Factory 전략 29
  27. • 한 마디로: 강결합된 하드웨어+소프트웨어 스택을 기반으로 한 버티컬 전략

    • 하드웨어+소프트웨어의 통합 역량 – GPU 아키텍처 발전과 CUDA 생태계의 동반 성장 덕분에 경쟁사 대비 높은 진입장벽 형성 – DGX, Omniverse 등 통합 플랫폼 전략으로 시장 곳곳을 선점 • AI·로보틱스·메타버스 등 신흥 분야의 확장 – 딥러닝 인프라 공급에서 시작해 이제는 자율주행, 로보틱스, 가상 세계 등 광범위한 영역에서 영향력 확대 – 미래 기술 분야에서의 우위를 지속 확보하기 위한 기술, 자본적 노력 • 산업 전반을 아우르는 활용성 – HPC, 엔터테인먼트, 게임, 클라우드 데이터센터, 제조, 의료 등 다방면 활용으로 리스크 분산 – 다양한 파트너십과 적극적 투자로 성장 동력을 계속 확보 – 새로운 분야에 끊임없이 협업 사례를 직접 들어가 만들고, 그 예들을 기반으로 영향력을 확대 NVIDIA의 현재 성장 동력과 해자 31
  28. • 지속 가능성과 에너지 효율 문제 – 전력 소모가 큰

    대규모 데이터센터 구동에 따른 환경 영향, 효율성 최적화가 중요한 숙제 – GPU 아키텍처 혁신, 쿨링·전력 관리 기술 개발로 해결책을 모색해야 함 • 너무 빠른 AI 분야의 발전과 그에 발맞추지 못하는 현실 – 발열: Blackwell 의 보급 이슈: 활활 타는 NVL72 – 모놀리식에서 칩렛으로의 늦은 전환: 기반 구조를 모두 엎어야 하는 문제 – 로드맵의 압박: 1년마다 새 제품 발표하겠다! (3월에 Rubin 발표해야 하는데…) • 친구가 많으면 적도 많다 – “아마 내가 우리 고객들이 나와 경쟁하기 위해 얼마나 많은 일을 하는지 가장 잘 아는 CEO일겁니다.” NVIDIA의 현재 핵심 과제 32
  29. • 경쟁 시장 – AMD: Radeon/Instinct GPU와 ROCm 으로 HPC/AI

    시장 도전 + RDNA와 CDNA 통합 선언 (2024년 9월) – Intel: CPU 시장 리더십에 기반, OneAPI, Gaudi 2/3 등으로 GPU 컴퓨팅 진출 – Apple 등: 자체 칩(M시리즈)으로 그래픽·AI 처리를 통합, 모바일·데스크톱 시장에서 GPU 의존도 낮추고 ACDC 발표 – Google: TPUv6 (Trillium) 으로 대규모 언어 모델 훈련 및 서비스 제공, 이전보다 훨씬 빠르게 외부에 클라우드 TPU 공급 시작 • NVIDIA의 대응 – 탄탄한 생태계와 개발자 로열티, 시장 선점: CUDA로 대표되는 프로그래밍 모델과 풍부한 라이브러리, 커뮤니티, AI·HPC 분야에서 ‘사실상 표준’ – 하드웨어 혁신과 모험: FP8, FP6, FP4 하드웨어 가속, 보안 컴퓨팅 분야에 공격적인 대응 등 • NVIDIA의 약점·도전 과제 – GPU 가격 상승과 시장의 저항: 너무 비싼거 아니냐?! – 경쟁사 추격: 모든 것이 AI가 될 것이라 모두가 뛰어드는 중. 공성보다 수성이 어렵다. – 에너지·환경 문제: 대규모 연산에 따른 전력 소비와 열관리, 탄소 배출 등. (IDC 지을 곳이 없다!) 경쟁 시장 및 NVIDIA의 장단점 33
  30. • 일반인(소비자) 관점 – 게이밍 & 엔터테인먼트 업그레이드: 실시간 레이

    트레이싱, DLSS(업스케일링) 등 시각적 품질과 성능 향상 ✓ 하지만 못사요… (4090 중국 밀수사태부터 5080,90 생산 이슈까지) – 메타버스 체험 확대: Omniverse 기반 플랫폼이 대중화되면, 몰입감 있는 3D 환경과 가상 협업·교육·엔터테인먼트 – AI 서비스의 품질 향상: 클라우드 기반 AI 서비스(번역, 음성 비서, 추천 시스템 등)들의 엄청난 발전 • 개발자 관점 – 탄탄한 툴체인과 라이브러리: CUDA, TensorRT, cuDNN, Isaac SDK 등 분야별로 최적화된 개발 리소스 – 빠른 기술 진화에 따른 학습 부담: GPU 아키텍처, CUDA 버전 업그레이드에 맞춰 지속적인 스킬 향상 필요 – 커뮤니티와 생태계 강점: 풍부한 예제, 포럼, GTC 컨퍼런스를 통해 최신 기술과 노하우를 계속 모아 공유함 • 투자자 관점 – 장기 성장성: AI, 자율주행, 로보틱스, 클라우드 등 차세대 시장에서 파이 계속 커질 전망 – 경쟁 구도 및 리스크: AMD, Intel, Arm 등과의 경쟁, 반도체 공급망 이슈, 거시경제 변화에 따라 주가 변동성이 큼 – 지속 R&D 투자 필요: 새로운 아키텍처나 AI 가속 기술 개발에 큰 비용이 들지만, 성공 시 경쟁우위 장기화 가능 관점별로 바라보는 NVIDIA 34
  31. • AI 대중화 가속 – 딥러닝 모델 학습 시간 단축,

    추론 속도 향상으로 중소기업·스타트업도 AI를 쉽게 도입 – 의료, 금융, 교육 등 다양한 분야에 AI 솔루션 적용이 빨라짐 – 우리 할아버지도 딥씩을 알아요! • 메타버스·디지털 트윈 확산 – 3D 가상공간에서 제조·물류·건설 등 산업 공정의 최적화와 원격 협업 – 인프라·도시 계획, 교통 시뮬레이션 등 사회 전반의 효율을 높이고 비용을 절감할 가능성 • 자율주행·로보틱스 도입 가속 – 물류, 유통, 서비스업까지도 무인화·자동화가 활발해져, 인력 구조 변화가 예상됨 – 안전성과 편의성을 높이지만, 전통적 일자리 감소 등 사회적 영향도 고려할 필요가 늘어나는 중 • 데이터 주도 혁신 문화 정착 – GPU 중심의 고성능 컴퓨팅이 필수가 되며, 데이터 수집·분석·활용이 기업·기관의 생존과 직결 – 정부·교육기관·연구소에서도 AI 인프라 구축을 적극 지원하면서 전 국민적인 AI 리터러시 향상 압력이 발생 NVIDIA 가 유도 중인 사회 전반적 기술 가속 35
  32. • GTC 2025 키노트 앞서 열린 두시간의 팟캐스트 – 어디서

    많이 보던 분들이 앉아서… – NVIDIA가 지금 어떤 위치인지를 명확하게 깨닫게 하는 식전 인터뷰 마치며 36
  33. AI Enterprise AI Cloud AI Open Source AI MLOps Thank

    you! [email protected] https://www.facebook.com/lablupInc Lablup Inc. https://www.lablup.com Backend.AI https://www.backend.ai Backend.AI GitHub https://github.com/lablup/backend.ai Backend.AI Cloud https://cloud.backend.ai 37