수 있도록 돕는 제품을 만들고 있습니다. – 우리는 과학과 공학 연구에서 생겨나는 다양한 문제를 표준화된 플랫폼을 통해 해결합니다. – Backend.AI는 대규모 인프라 하드웨어에서 분산 처리로 인해 나타나는 사용률 저하를 최소화합니다. – 대규모의 AI 모델을 학습하고, 추론할 때 하드웨어를 상호 연결하고, 운영을 자동화하여 관리 소요를 줄여줍니다. • Backend.AI는 정교한 하이퍼스케일 GPU 클러스터링 솔루션으로, AI 학습 및 서빙을 간소화, 통합, 가속화할 수 있는 제품입니다. – Backend.AI는 Fractional GPU Virtualization 기술이 적용된 GPU 플랫폼입니다. – 다양한 AI 가속기를 지원하고, 자체 Sokovan 오케스트레이터와 스케줄러를 통해 AI 워크로드를 최적으로 관리합니다. – 다른 것 보다 데이터를 우선하여 고려하는 워크로드 가속 기술을 통해 최적의 성능과 효율을 자랑합니다. – AI 추론에 필요한, 스마트한 워크로드 스케일링을 제공합니다. • Backend.AI는 다양한 분야에서 검증된 엔터프라이즈용 플랫폼입니다. – 다수의 기업, 금융기관, 의료기관, 연구센터 및 대학과 같은 다양한 고객사들이 Backend.AI를 활용하여 고효율, 저비용을 달성하고 있습니다. 래블업 3
AI 개발, 서비스, 슈퍼컴퓨팅을 관리할 수 있는 다목적 엔터프라이즈 플랫폼 • FastTrack: 작업 파이프라인을 자동화, 통합, 관리할 수 있도록 하여 AI 개발을 간소화하며, 원활한 작업을 위해 재사용 가능한 템플릿을 제공하는 MLOps 플랫폼 • PALI (Performant AI Launcher for Inference): Backend.AI 모델 플레이어와 큐레이트 된 모델 카탈로그, 미리 정의된 모델을 조합한 고성능 추론 런타임 • Finetun.ing: 별도 데이터와 코드 없이 진행하는 LLM 자동 미세조정 서비스 핵심 기술 • Fractional GPU를 통한 컨테이너 수준의 GPU 가상화 • 분산형 딥러닝 모델 학습 및 초대형 모델 개발 플랫폼 • GPU를 기반으로 하는 저비용 / 초저지연 AI 모델 서비스 • AI 오퍼레이션 파이프라인을 통한 다양한 종류의 AI 가속기/반도체 지원 • 포터블한 하이퍼스케일 AI 플랫폼 사업 개요 • 대한민국 내 가장 많은 수의 GPU를 관리하고 있음 • 아태지역 최초의, 그리고 유일의 NVIDIA® DGX™ 지원 소프트웨어 파트너 • 대기업, 금융 기관, 의료 기관, 국내외 연구 기관 및 대학교에 이르기까지 약 100여개 이상의 고객사 및 파트너와 함께 AI 혁신을 위한 협력관계 구축 고객사 창립일 2015.04 대표자 신 정 규 직원 수 34 105+ and Growing! 파트너 4
2만명, 운영 및 참가 회사 포함 약 3만명 추산 – 같은 공간에서 열다보니 시장바닥임 • GPU Technology Conference – 한 회사가 이렇게 거창한 이름을 써도 되나? -> 됩니다. – WWDC (WorldWide Developer Conference) 를 여는 애플과 비슷한 이유 매출만큼 커진 GTC 7
창업자: “그래픽 프로세싱이 미래 컴퓨팅의 핵심” – ‘시각 컴퓨팅(Visual Computing)’에 대한 비전: 초기부터 게임, 엔터테인먼트, 시뮬레이션 등 시각 환경의 중요성 강조 • 빠른 하드웨어 혁신 – RIVA 시리즈(1990년대 말)로 3D 그래픽 가속 시장에서 영향력 확보 ✓ 저도 RIVA 128 있었죠. 8비트 컬러 가속이 안됐지만… – 경쟁사 대비 빠른 프로세서 업데이트 주기로 시장 점유율을 끌어올림: 1년에 2개씩 내놓기도 했음 • 개발자 친화적 마인드셋 – 초창기부터 그래픽 개발자들에게 SDK, API 등을 활발하게 제공 – 게이밍·그래픽 분야 소프트웨어 생태계 확장에 앞장섬 • 게이밍과 프로페셔널 그래픽 시장 동시 공략 – 하이엔드 워크스테이션 시장(디자인, 3D 모델링 등)까지 아우르면서 폭넓은 기술 스펙트럼 확보 NVIDIA의 비전과 초창기 8
대규모 병렬 처리에 특화된 프로세서가 필요하다! – GPU: 이를 해결하기 위한 별도의 코프로세서(그래픽 전용 칩) • NVIDIA의 ‘GPU’ 선언 – 1999년 GeForce 256 출시: “세계 최초의 GPU”로 홍보 ✓ GPU라는 말을 처음 제시함 ✓ 그 전에도 (RIVA라거나 Voodoo라거나…) 있었지만, 3D가속기가 아닌 범용 코프로세서 형태로서는 최초였음 – 당시로서는 혁신적인 그래픽 처리 구조 제시 ✓ 지금은 보편화되었지만 셰이더 파이프라인이나 라이팅 처리 등… GPU 기반 기술의 출발점 9
그래픽 연산을 수행하므로, CPU 대비 대규모 병렬 처리가 가능 – 초기에는 게임 그래픽을 빠르게 그려내는 데 집중, 이후 범용 연산으로 확장 • 시장 규모 확장 가능성에 주목 – 90년대 말만 해도 3D 그래픽은 주로 게이밍과 CAD 수준 – NVIDIA: 고성능 컴퓨팅(HPC)과 프로 엔터테인먼트 분야까지 활용 범위를 넓힐 수 있다고 전망 • Microsoft Windows의 보급 – 대중화의 시발점 – DirectX, OpenGL 등 그래픽 API와 함께 GPU가 보급되며, 일반 소비자에게도 고품질 3D 렌더링이 가능한 시대가 열림 GPU 기반 기술의 출발점 10
최적화 – GPU는 수백~수천 개의 코어가 병렬 연산에 특화되어 대규모 연산량을 빠르게 처리 • 그래픽에서 범용 연산(GPGPU)으로 – 3D 렌더링뿐 아니라 물리 시뮬레이션, 딥러닝, 과학 연산 등 광범위한 분야에서 뛰어난 성능을 보일 가능성 – 3차원 공간 돌리는 것도 행렬 연산 (정확히는 Euler transformation) 인데 – HPC (High-Performance Computing) 분야에선 행렬 연산만 엄청나게 하니까…? ✓ 2022년부터는 AI 기반으로 전혀 다른 종류의 HPC 혁신을 만들어내고 있습니다만 오늘은 생략하겠습니다. – 수치 정확도 이슈 ✓ 그래픽 출력할 때는 16비트 정밀도로 충분하지만, 시뮬레이션은 64비트 정밀도가 기본인데? ✓ 갈렸던 AMD의 선택과 NVIDIA의 선택과 현재 GPU 병렬 처리와 범용 연산의 가능성 11
✓ CPU, GPU, 머신 설계 및 경량화까지 모든 기술 확보 ✓ 퀄컴의 Windows on Arm 독점계약 종료로 장애물 없음 • 이 분야는 구글, 마이크로소프트를 포함한 대부분의 Arm IP가 있는 회사들이 손을 대 보려고 할 것임 ✓ GTC 2025: NVIDIA DGX Spark / DGX Station (new) 발표: AI 개발자 시장의 표준 플랫폼으로 진출 • 가속기 포트폴리오의 다변화 – 엔터프라이즈 / 데이터센터 GPU의 비중이 높아진 상태지만 다른 포트폴리오도 전부 갖추고 있음 – 지금까지: 훈련용 칩으로 공개 -> 차세대 칩 발표 후 기존 칩은 인퍼런스 칩으로 자리매김의 패턴 – 인퍼런스 시장에서 리더십을 놓치지 않기 위해 GDDR기반+고속 네트워크 지원 인퍼런스 타겟 칩 포트폴리오를 확충 ✓ GTC 2025: NVIDIA RTX PRO 6000 발표 NVIDIA: 2025년의 AI 가속 하드웨어 (개발자) 16
Ultra / Feynman ✓ VRU: GPU당 1TB (1024GB) HBM. 현재는 80/144GB – Optical cabling / 512포트 스위치 ✓ 현재는 64포트 스위치 – Kyber Rack 아키텍처: 랙당 600kW 소비 / NV576 ✓ 세로로 꼽자; – 현실감이 없는 로드맵 ✓ 현재 AI 데이터센터는 고밀도에 대응된 경우에도 랙당 20kW가 일반적임 ✓ 랙 2개면 1.2MW -> IDC 일반 랙 한 줄 전체 전력보다 큼 • 왜? – 현재는 불가능한 기술적 바를 높게 세팅하고 – 그걸 기준으로 파트너들에게 해당 기준을 달성하도록 로드맵을 제시 – 이런 회사로는 역사상 두 번째임 NVIDIA: AI 가속 하드웨어 (미래) 19
문제 ✓ 48~64포트의 400Gb 인피니밴드 기반 – Leaf-Spine network ✓ 랙당 하나의 스위치, 랙 열당 하나의 스위치 배정 ✓ 4랙당 5개 스위치 사용 ✓ 그 이상 스케일할 경우 GPU-GPU 연결시 최소 4번의 Hopping 발생 ✓ 더 크면 6번까지 발생 – 해결책 ✓ 포토닉스 접합 + 초대용량 스위치 • 포트가 많으면 Spine을 줄일 수 있다 ✓ 이론상 맞긴 합니다. 그런데… NVIDIA: AI 가속 하드웨어 (네트워킹) 20
가속 – 스토리지에서 벡터 스토어, 임베딩 처리를 하겠다 • 어떻게? – GPUDirect Storage 를 지원하는 벤더들이 참여 – Quantum IO 를 지원하기위해 스토리지에도 GPU가 있음 ✓ 아마 그걸 활용하지 않을까? NVIDIA: AI 가속 하드웨어 (스토리지) 21
GPU 컴퓨팅 플랫폼을 제공하나, CUDA정도의 연산 라이브러리와 커뮤니티 구축은 요원 – 대다수 딥러닝 프레임워크가 CUDA 기반 우선 지원: cuDNN wrapper로 시작한 경로의존성 존재 • 소프트웨어와 하드웨어의 동반 성장 – GPU 아키텍처와 CUDA가 긴밀하게 연동되어 세대별 성능 최적화가 상대적으로 용이 – 신형 GPU의 새 아키텍처에 새로 추가된 기능이 신속하게 CUDA 버전에 반영됨 ✓ 당연한거 아닌가요? -> 놀랍게도 안 그래요… • (유일한) 원스톱 솔루션 – AI, 그래픽, HPC를 포괄하는 통합 스택: NVIDIA DGX, Omniverse 등 하드웨어+소프트웨어+서비스를 결합한 패키징 • 개발자 그룹에서의 로열티 – GPU 가속 프로젝트나 AI 연구를 시작할 때 곧바로 CUDA를 떠올릴 정도로 업계 표준으로 자리매김 – 성공 사례(엔터테인먼트, 자율주행, 로보틱스 등)가 많아 학습 커브와 리스크가 낮음 ✓ 개발하다 잘 모르면 구글 검색이나 ChatGPT 치면 잘 나옴 CUDA-X: 경쟁사가 없는 것 처럼 보이는 이유 23
NVIDIA GPU를 채택 – CPU 중심 아키텍처에 GPU 가속을 더해 에너지 효율과 계산 성능 극대화 • NVLink 및 멀티-GPU 스케일링 – GPU 간 초고속 데이터 전송을 지원하는 NVLink, NVSwitch 기술로, 여러 GPU를 묶어 강력한 컴퓨팅 노드 구성 – GPU 클러스터 구축을 통한 페타스케일·엑사스케일급 연산 능력 달성 • DGX 시스템 등 통합 솔루션 – NVIDIA DGX, HGX (DGX 호환 서드파티) 플랫폼으로 하드웨어·소프트웨어 및 SDK 통합 제공 – HPC, AI 연구소, 대기업 데이터센터 등에서 안정적인 대규모 컴퓨팅 환경 구축 • 그리고 쌉니다 – 에너지 효율성과 TCO(총소유비용) 관점: 전력 대비 성능이 CPU만 쓰는 구조보다 우수해, 데이터센터 운영 비용 절감 효과 – 같은 전력에서 더 많은 연산 성능을 뽑아낼 수 있어 규모가 커질수록 효율성 극대화 – 기업·기관과의 파트너십을 통해 HPC 경쟁력 강화 고성능 컴퓨팅(HPC) 시장에서의 영향력 24
다양한 과학 도메인에서 가속 컴퓨팅으로 • 변화의 시작 – 수치 해석이 HPC의 최종 목표는 아니잖아? – 새로운 접근: 시뮬레이션 결과를 시뮬레이션 하지 않고 얻기 ✓ AI 기반의 결과 인퍼런스 ✓ AlphaFold, GNoME ✓ 예측 모델로 시뮬레이션 대체하기 • 확산 – 기상학, 유체역학, 동역학, 신소재… 어느순간 슈퍼컴퓨팅 분야를 점령중 고성능 컴퓨팅(HPC) 의 혁신 주도 25
Sim(Omniverse 상에서 로보틱스 시뮬레이션)으로 로봇 개발, 테스트, 배포 과정을 가속화 – 로봇팔, 자율주행 로봇(AGV) 등 다양한 물리적 장비 제어에 AI 접목 • Jetson 시리즈로 엣지 AI 구현 – 소형 폼팩터(embedded board)에 GPU 연산 유닛을 탑재해, 현장에서 실시간 영상·센서 데이터 분석 가능 – 산업용 로보틱스, 드론, 무인점포 시스템 등 ‘현장 AI’ 요구에 부합 • 자율주행차량(Drive) 플랫폼 – 카메라, 라이다, 레이더 등 복합 센서 데이터를 통합 처리해 자율주행 소프트웨어를 구동 – NVIDIA DriveSIm: 실도로 주행 없이도 Omniverse 기반의 시뮬레이션 환경에서 안전성을 대규모로 검증 가능 • 엣지+클라우드+데이터센터의 통합 – 엣지 디바이스에서 사전 처리된 데이터를 클라우드/데이터센터에 전송해 더 정교한 AI 학습 및 의사결정 가능 – NVIDIA의 네트워킹 솔루션(Mellanox 인수 등)으로 데이터 흐름의 효율성도 확보 – Isaac, Drive, Metropolis 등 AI 소프트웨어 스택으로 로보틱스·엣지·스마트시티를 아우르는 솔루션 제공 로보틱스·엣지 컴퓨팅 영역에서의 도전 26
데이터, 소프트웨어, 가상 시뮬레이션 위주라면, Physical AI는 센서, 로봇, 자율주행 등 물리적 환경에 실제로 적용되는 AI – 현실 세계에서 축적되는 데이터와 AI 연산이 실시간으로 상호작용하여 문제를 해결 • Omniverse와 시뮬레이션의 연결 고리 – NVIDIA가 제공하는 실제 환경의 디지털 트윈(digital twin) 플랫폼인 Omniverse 활용 – 물리학적으로 정확한 3D 시뮬레이션을 통해 로보틱스, 자율주행 등을 학습 및 검증 후 현실에 적용하는 접근 • 하드웨어 & 소프트웨어 동시 강화 – 에지 디바이스(Jetson), 고성능 GPU(H100, A100, RTX 시리즈) 등 폭넓은 하드웨어 라인업 • NVIDIA Cosmos (2025) – NVIDIA가 물리적 AI(로봇, 자율주행 등)를 위해 설계한 World Foundation Model – 수십억 시간 분량의 실제 영상 데이터를 기반으로 훈련 • NVIDIA GR00T 파운데이션 모델 / GR00T N1 (2025) – 로봇 하드웨어 제어용 오픈소스 모델 공개 Physical AI 27
필요 없음" 발언 – 양자컴퓨팅의 과도한 문제 난이도 설정에 대한 비판 – 천문학적 자원이 요구되는 현실적 한계 지적 • GPU와 양자컴퓨터의 경쟁 구도 제시 – 동일한 목표 지향성 언급 (예: 최적화 문제) – GPU 가속 컴퓨팅의 빠른 진보 강조 – GPU가 양자보다 먼저 도달할 가능성 주장 • 시장성 축소에 따른 양자 스타트업의 위기 경고 – 문제 영역을 좁힐 경우 플라이휠 부족 현상 우려 – 외판원 문제 등 이미 해결 중인 사례 언급 – 양자컴퓨팅 필요 영역의 축소 가능성 제기 NVIDIA의 양자컴퓨팅 관점 • 양자컴퓨팅 연구센터 발표 – 양자컴퓨팅 개발에 필요한 모든 소프트웨어 + 시뮬레이션 플랫폼을 제공하겠다 – NVIDIA는 재료와 레시피를 제공하는 회사이므로 ✓ Physical AI 에 대응한 Cosmos, GR00T 와 같은 접근 28
필요한 상황 – AI 산업을 토큰을 생성하는 제조업이라는 관점에서 바라보는 "AI Factory" 프레임 제시·강화 ✓ IDC: 돈을 쓰는 곳. 비용 절감의 대상 ✓ 공장: 매출이 발생하는 곳. 투자가 매출로, 매출이 이윤으로 이어짐 – 주어진 전력 용량 내에서 가장 많은 토큰을 생성할 수 있게 해주는 모든 기술스택의 전방위적 최적화 • 2025년 이후의 NVIDIA – NCP (NVIDIA Cloud Partner) 진형 구축 ✓ 작년부터 각 국가 / 권역별 파트너를 규모에 따라 1, 2곳씩 선정 중 ✓ 현재 Big 4 CSP에 대항하는 GPU Neocloud / Hyperscalar 파트너를 전세계에 깔아두고 진영을 구축하겠다 ✓ 자체 칩 개발 및 생산력이 없는 클라우드 업체들의 하드웨어 대부가 되겠다 – 하이퍼스케일러 / Neocloud 들을 위한 Ready-made 데이터센터 ✓ 불가능해 보이는 요구사항을 미리 다 맞춰둔 데이터센터 상면을 제공하는 회사들과 파트너링 ✓ 장소 섭외 및 코로케이션 시설 확보 회사와 파트너십 (CBRE, 2025년 2월) AI Factory 전략 29
• 하드웨어+소프트웨어의 통합 역량 – GPU 아키텍처 발전과 CUDA 생태계의 동반 성장 덕분에 경쟁사 대비 높은 진입장벽 형성 – DGX, Omniverse 등 통합 플랫폼 전략으로 시장 곳곳을 선점 • AI·로보틱스·메타버스 등 신흥 분야의 확장 – 딥러닝 인프라 공급에서 시작해 이제는 자율주행, 로보틱스, 가상 세계 등 광범위한 영역에서 영향력 확대 – 미래 기술 분야에서의 우위를 지속 확보하기 위한 기술, 자본적 노력 • 산업 전반을 아우르는 활용성 – HPC, 엔터테인먼트, 게임, 클라우드 데이터센터, 제조, 의료 등 다방면 활용으로 리스크 분산 – 다양한 파트너십과 적극적 투자로 성장 동력을 계속 확보 – 새로운 분야에 끊임없이 협업 사례를 직접 들어가 만들고, 그 예들을 기반으로 영향력을 확대 NVIDIA의 현재 성장 동력과 해자 31
대규모 데이터센터 구동에 따른 환경 영향, 효율성 최적화가 중요한 숙제 – GPU 아키텍처 혁신, 쿨링·전력 관리 기술 개발로 해결책을 모색해야 함 • 너무 빠른 AI 분야의 발전과 그에 발맞추지 못하는 현실 – 발열: Blackwell 의 보급 이슈: 활활 타는 NVL72 – 모놀리식에서 칩렛으로의 늦은 전환: 기반 구조를 모두 엎어야 하는 문제 – 로드맵의 압박: 1년마다 새 제품 발표하겠다! (3월에 Rubin 발표해야 하는데…) • 친구가 많으면 적도 많다 – “아마 내가 우리 고객들이 나와 경쟁하기 위해 얼마나 많은 일을 하는지 가장 잘 아는 CEO일겁니다.” NVIDIA의 현재 핵심 과제 32
시장 도전 + RDNA와 CDNA 통합 선언 (2024년 9월) – Intel: CPU 시장 리더십에 기반, OneAPI, Gaudi 2/3 등으로 GPU 컴퓨팅 진출 – Apple 등: 자체 칩(M시리즈)으로 그래픽·AI 처리를 통합, 모바일·데스크톱 시장에서 GPU 의존도 낮추고 ACDC 발표 – Google: TPUv6 (Trillium) 으로 대규모 언어 모델 훈련 및 서비스 제공, 이전보다 훨씬 빠르게 외부에 클라우드 TPU 공급 시작 • NVIDIA의 대응 – 탄탄한 생태계와 개발자 로열티, 시장 선점: CUDA로 대표되는 프로그래밍 모델과 풍부한 라이브러리, 커뮤니티, AI·HPC 분야에서 ‘사실상 표준’ – 하드웨어 혁신과 모험: FP8, FP6, FP4 하드웨어 가속, 보안 컴퓨팅 분야에 공격적인 대응 등 • NVIDIA의 약점·도전 과제 – GPU 가격 상승과 시장의 저항: 너무 비싼거 아니냐?! – 경쟁사 추격: 모든 것이 AI가 될 것이라 모두가 뛰어드는 중. 공성보다 수성이 어렵다. – 에너지·환경 문제: 대규모 연산에 따른 전력 소비와 열관리, 탄소 배출 등. (IDC 지을 곳이 없다!) 경쟁 시장 및 NVIDIA의 장단점 33
트레이싱, DLSS(업스케일링) 등 시각적 품질과 성능 향상 ✓ 하지만 못사요… (4090 중국 밀수사태부터 5080,90 생산 이슈까지) – 메타버스 체험 확대: Omniverse 기반 플랫폼이 대중화되면, 몰입감 있는 3D 환경과 가상 협업·교육·엔터테인먼트 – AI 서비스의 품질 향상: 클라우드 기반 AI 서비스(번역, 음성 비서, 추천 시스템 등)들의 엄청난 발전 • 개발자 관점 – 탄탄한 툴체인과 라이브러리: CUDA, TensorRT, cuDNN, Isaac SDK 등 분야별로 최적화된 개발 리소스 – 빠른 기술 진화에 따른 학습 부담: GPU 아키텍처, CUDA 버전 업그레이드에 맞춰 지속적인 스킬 향상 필요 – 커뮤니티와 생태계 강점: 풍부한 예제, 포럼, GTC 컨퍼런스를 통해 최신 기술과 노하우를 계속 모아 공유함 • 투자자 관점 – 장기 성장성: AI, 자율주행, 로보틱스, 클라우드 등 차세대 시장에서 파이 계속 커질 전망 – 경쟁 구도 및 리스크: AMD, Intel, Arm 등과의 경쟁, 반도체 공급망 이슈, 거시경제 변화에 따라 주가 변동성이 큼 – 지속 R&D 투자 필요: 새로운 아키텍처나 AI 가속 기술 개발에 큰 비용이 들지만, 성공 시 경쟁우위 장기화 가능 관점별로 바라보는 NVIDIA 34
추론 속도 향상으로 중소기업·스타트업도 AI를 쉽게 도입 – 의료, 금융, 교육 등 다양한 분야에 AI 솔루션 적용이 빨라짐 – 우리 할아버지도 딥씩을 알아요! • 메타버스·디지털 트윈 확산 – 3D 가상공간에서 제조·물류·건설 등 산업 공정의 최적화와 원격 협업 – 인프라·도시 계획, 교통 시뮬레이션 등 사회 전반의 효율을 높이고 비용을 절감할 가능성 • 자율주행·로보틱스 도입 가속 – 물류, 유통, 서비스업까지도 무인화·자동화가 활발해져, 인력 구조 변화가 예상됨 – 안전성과 편의성을 높이지만, 전통적 일자리 감소 등 사회적 영향도 고려할 필요가 늘어나는 중 • 데이터 주도 혁신 문화 정착 – GPU 중심의 고성능 컴퓨팅이 필수가 되며, 데이터 수집·분석·활용이 기업·기관의 생존과 직결 – 정부·교육기관·연구소에서도 AI 인프라 구축을 적극 지원하면서 전 국민적인 AI 리터러시 향상 압력이 발생 NVIDIA 가 유도 중인 사회 전반적 기술 가속 35