도구에서 동료까지: 10년차 AI 스타트업의 AI 적응기

이 발표에서는 맨땅에서 시작한 AI 스타트업의 10년 여정을 통해, AI가 단순한 도구에서 '동료'로 진화하며 개발 문화와 비즈니스 속도를 어떻게 바꿨는지 짚어봅니다.

본 발표는 2026년 5월 2일 Build with AI Seoul 2026 with Google DeepMind 의 세션 발표로 진행한 발표의 슬라이드입니다.

1. AI Enterprise AI Open Source AI MLOps AI Cloud AI PC 도구에서 동료까지: 101년차 AI 스타트업의 AI 적응기 신정규 래블업 주식회사 2026. 5. 2 Build with AI Seoul 2026 with Google DeepMind
2. AI 플랫폼 만드는 회사
3. AI 란 우리에게
6. 황혼부터 새벽까지
7. 2024년 8월 • 3박 4일 휴가 할 일이 없으니 미뤄둔 코드를 하나 짜보자! GPU 클러스터에서 모든 정보를 한 번에 쿼리하고 모니터할 수 있는 도구 이걸 하려고 Prometheus Grafana는 너무 부담이 큼 • AI증강 프로그래밍 rust 를 배워볼 겸 Google AI Studio ChatGPT 로 프로젝트 시작 한 땀 한 땀 창에 붙여 가며 프로그래밍 사흘동안 프로토타입 완성: 그러나 휴가 후 다시 창고로… Cursor, Cline 등의 유행 명확한 한계와 떨어지는 관심 난 러스트를 거의 처음 한다. C 프로그래밍 및 파이썬 3에는 익숙하다. 비동기 기술 및 패키징 기술, UI 기술에 대해서는 jQuery와 웹컴포넌트 에 대한 풍부한 경험이 있다. 지금부터 프로그래 밍을 하다가 오류가 생기면 디버그를 부탁할 것 이다. 오류 및 수정 제안 코드를 설명할때 나의 백 그라운드를 고려하여, 이해할 수 있는 설명 및 비 유를 충분히 활용해서 설명하라. 비슷한 레토릭 및 일대일 대응이 되는 기능이 있다면 그 내용을 원용하여 설명하라. 오류가 발생할 경우, 원래 내 가 알고 있는 지식과 러스트 언어의 특징을 비교 하여, 러스트 언어의 특징에 의한 휴먼 에러인 경 우 해당 부분을 상세하게 설명하라. 당시 프롬프트
8. DockLink / 2025년 2월 • Docker compatible API 를 지원하는 베어메탈 워크로드 실행 솔루션 도저히 Orin Nano 에선 성능 하락폭이 커서 제대로 된 도커를 운영할 수가 없다! 애플 실리콘에서는 MPS 가속을 활용하고 싶다! • AI 증강 IDE 기반의 프로젝트 개발 GitHub Copilot 코딩 IDE 기반 개발 / co authoring에 가까움 문젯점 생각보다 도움이 안 됨 컨텍스트에 맞지 않는 제안을 자꾸 함 • 창GO 이후 2025년 8월 상하이에서 Google I/O Connect 행사 때 마무리
9. 2025년 4월 • 구글과 마이크로소프트 Cloud Next: IDE 는 계속 존재할까? 봄에 30 이상의 코드 커버리지, 연말까지 50 이상을 목표로 함 일단 코드 개발의 반 이상은 연말 안에 대체된다고 못을 박았음 • 코딩 어시스턴트를 넘어서 어디까지 가능한가? 터미널 기반 코딩 어시스턴트의 등장
10. 코딩 에이전트와 비용 감소 압력 • 코딩: 생성AI의 다음 시장 챗봇 서비스의 약점 유저수는 많은데 돈이 잘 안됨 원가 절감이 어려운 사용 패턴이 늘어남 캐시에 의존하는 비용 절감이 가장 위력을 발휘하기 좋은 분야 배치 걸기 좋게 실시간성이 덜 요구되며 토큰 소모가 엄청나서 원가만 잘 절감하면 유저를 못 나가게 하기도 좋고 월 20달러 대신 월 1000달러를 낼 수 있는 시장 • 코딩 어시스턴트에서 코딩 에이전트로 엔드 투 엔드로 업무를 처리할 수 있게 됨 컨텍스트 관리, 툴 콜링 기능 강화 및 Skill, command 등의 커스텀 하네스 방법 등장
11. TUI 기반 코딩 AI 플랫폼의 등장 • TUI 기반 도구인 이유 편의성? 심리적 이유? • Claude Code 2025. 2 기반 모델의 압도적인 성능을 바탕으로 급격한 성장 토큰 생성량 20배 증가 • OpenAI Codex 2025. 5 GPT 계열 모델 기반 오토스티어링 • Gemini CLI 2025. 7 저렴한 API 가격을 무기로 빠르게 성장 • OpenAI 의 Windsurf 인수와 실패, Claude Code 개발진의 이직 및 2주만의 환향 시간을 사는 인수들
12. ClusterLoom / 2025년 4월 • 터미널 기반 NVIDIA GTC 에서 왕창 사온 Jetson Orin Nano 들을 관제하고 관리하기 위한 도구 당시 막 발표된 claude code 로 진행한 프로젝트 • 경험 조악하지만 어느정도 완성된 프로그램까지 만들 수 있었음 가장 좋았던 점: TUI 기반이라 사람이 붙어 있을 필요가 없음
13. Decomplex / 2025년 6월 • 2025년 6월 • 독일 출장 중 Gemini CLI EAP 시작 뭘 만들어볼까? 세일즈 파이프라인 도구를 만들어보자 구체적인 계획에 따라 코딩 에이전트에 위임 • 결과 ISC 2026 부스 운영 이틀동안 기획부터 프로토타이핑, MVP까지 돌아가는 최종 결과물을 만듦 • 깨달음 어?
14. 참 좋은데 어떻게 설명할 방법이 없네 …
15. 트랜스포머가 실제로 트랜스포밍을 할 때
16. 2025년 6월: 래블업 Idea up 해커톤 • Doing is Believing 해 보는 것이 믿는 것 계속 올핸즈를 통해 이야기하던 내용들의 실질적 동기화 대표 머릿속과 당신의 머릿속이 같아야 합니다 • 변화의 방향 갈수록 코딩이 줄어듦: Decomplex 의 경우 사람 코딩을 두 줄 했음 • 그럼 난 무엇을 할 수 하는가? 질문이 잘못됨 난 무엇을 해야 하는가 • Docklink, ClusterLoom, Decomplex… 두 달 간격으로 세 코딩 프로젝트 진행 Docker replacement 프로젝트, 베어 메탈 클러스터 매니지먼트 도구, 세일즈 파이프라인/CRM 도구 세 개발의 경험이 모두 달랐음
17. 래블업 Idea up 해커톤 결과 • 수요일에 진행 프리 해커톤 미팅 : 미리 가이드 안내하고 기획서 작성하는 법에 대한 내용 이틀동안 각 10분 해커톤: 오전 10시에 해커톤을 시작해서 점심시간 전에 끝 오프닝 15분, 준비 15분, 코딩 시간 1시간, 데모 및 시상식 30분 / 개인별 해커톤 한 시간동안 Claude Code에게 지시하는 것으로 코딩 • 인기상 우승: 점심메뉴 추천 자동화 및 게임화와 사내 리뷰시스템을 구글 리뷰와 결합한 AI 플랫폼 컨설팅 팀 멤버 2등: 회사 개요 및 문서 기반으로 현재 필요한 직책 추천 및 잡 디스크립션 자동 생성 서비스를 만든 CFO 3등: 필드부터 개발까지 이어지는 이슈 트래커 만든 연구 팀 멤버 번외: Chief Revenue Officer: CRM 드래프트를 통째로 하나 작성 • 이후 모든 구성원이 AI 기반 증강 코딩 도입 시작 숙원사업 자동화
18. all smi • https://github.com/lablup/all smi • 2024년 여름 작업을 꺼내와서 2025년 6 7월에 마무리 • 모든 AI 가속기를 위한 통합 모니터링 솔루션 벤더별 유틸리티를 대체하는 단일 도구 NVIDIA GPU / NVIDIA Jetson Google TPU v4 Tenstorrent, Rebellions, FuriosaAI NPU Apple Silicon GPU/ANE • 핵심 설계 원칙 범용 호환성 운영의 단순성 성능 안정성 단일 바이너리 배포
19. all smi • 독립 실행 모드 현재 노드의 가속기 메트릭 표시 일반 노드 성능 지표 확인 • API 모드 Prometheus 호환 메트릭 서버 메트릭 수집을 위한 RESTful 엔드포인트 • 원격 뷰 모드 모든 API 모드 서버의 데이터 집계 터미널 기반 중앙 집중식 모니터링 대시보드 • 급격히 찾아온 우울함과 고민
20. 2025년 여름의 우울 • 프로그래밍과 인생 예술가여 무엇이 두려운가? • 화가와 사진사 • 사진사의 시대 4월 Cloud Next의 패널토크를 이해하게 됨 어떤 일이 벌어질 것인가 무엇을 하고 무엇을 안 해야 하는가?
21. 피할수 없다면 즐겨라 AI 쓰는데 이유가 어딨어! 그냥 하는거지! photo credit: Onesound
22. 2025년 하반기 • 도입 정량화? 대부분이 토큰 카운트부터 시작할 것임 수영을 가르칠 때는 물에 빠뜨리는게 가장 빠름 • 마크다운 칸반에서 GitHub으로 어차피 칸반보드면 굳이 로컬 시스템에서 트래킹할 필요가 있을까? 그냥 gh 커맨드로 트래킹하자
23. 2025년 하반기 • 전체 도입 개발자? 연구자? 세일즈? 회계? 전부 다 • ＂코딩을 잘 한다 의 의미 논리적인 일 컨텍스트 의존적인 일 그 모두를 할 수 있는 상황이 되었음 • 도입 정량화? 대부분이 토큰 카운트부터 시작할 것임 수영을 가르칠 때는 물에 빠뜨리는게 가장 빠름
24. BSSH • https://github.com/lablup/bssh • Broadcast SSH / Backend.AI SSH 기존 SSH 클라이언트를 그대로 대체하는 드롭인 솔루션 분산 컴퓨팅 환경을 위한 포괄적인 기능 제공 기존 워크플로와의 매끄러운 통합 • 목표 모든 원격 작업 요구를 충족하는 단일 도구 표준 SSH와의 하위 호환성 유지 최신 인프라에 최적화된 확장 기능
25. 2025년 4분기: 부작용 • 사람의 한계 개발 시간 비용이 적어진 상태 개발 시간의 빈자리 개발자의 마인드 • 기계 중독 되든 안되든 뭔가 되는거 같고 노력보다 결과가 잘 나오니 뭔가 하는 느낌이 듦 그러다보니 중독이 됨 • 그리고 편차 누군가는 엄청나게 잘 다루지만 누군가는 적응하지 못함 쓰레기 코드좀 그만 내라고!
26. 도입의 병목 • 도구 자체 • 도구가 일하는 대상 비개발자 구성원: 까만 터미널은 무섭다 • 대응 파워포인트, 엑셀, 워드, hwp • 대응 파워포인트: marp 로 이전 Claude cowork 가 2026년 초에 나오면서 해결 모든 구성원이 Claude 사용하는 시스템 제공 Gemini AI:GO 기반의 워크플로 도입 뒤에서 설명 GPT 5를 엑셀, 워드: Claude Cowork 등이 해결 claude for Excel HWP: hwp 포맷을 역공학으로 분석해서, 역으로 만들어 낼 수 있는 체계 만듦
27. Continuum router • Continuum Project: 프로덕션 환경을 위한 Multi LLM 아키텍처의 표준 플랫폼 차세대 경쟁력 프로젝트의 일환 재해 대책용 스마트 라우터로 2024년 11월 시작, Full OpenRouter like 서비스 아키텍처로 진화 2025년 3월 GTC 발표 / 5월 첫 버전 테스트 https://github.com/lablup/backend.ai continuum 컨테이너 13개: 너무 크다 자체 인증 시스템 OpenTelemetry, minio, Prometheus, Grafana, PostgreSQL, Redis, ClickHouse… 종현님 왈: 그걸 누가 갖다가 고객사에 깔아요? • Continuum router: 라우팅 기능만 살려서 리부트 라우터 기능만 따로 떼어 Rust 로 재작성 2025년 8월 라우팅 어그리게이션으로 시작해서 현재는 종합 트랜스파일러까지 진화함 2025년 12월 정식 릴리즈
28. 개발의 정의 • AI 프로그래밍 개발 개념의 변화 개발하는 것을 가속화하는 도구 개발의 세부 사항을 위탁하는 도구 개발 계획을 세우고 실행하는 도구 전과정의 대부분을 담당하는 도구 도구? • 더이상 도구라고 부를 수 있는가?
29. 2025년 하반기: 개발 도구에서 개발 시스템으로 • 만드는 목표의 변화 소프트웨어 엔지니어의 역할: 프로그램 자체를 만드는 것이 아님 프로그램을 만드는 시스템을 기획하고 만들기 머신러닝 모델이 못 짜는 코드가 있으면, 그건 사용자의 한계라고 봐도 무방한 싯점이 됨 • 프로그램의 정의의 변화 고전적 정의: 코드 8: 하네스 시스템 CI/CD 2 향후의 정의: 모델 8: 하네스 1: 시스템 1 • 우리 회사 는 어떻게 해야 할까? 가치의 이동에 따른 무게 중심의 변화에 대한 고민
30. 2025년 하반기: 개발 시스템의 자동화 • 재귀적으로 스킬/커맨드/에이전트 업데이트 • • • 최근 한 달간 가장 많이 사용한 상위 10개의 명령어 패턴을 조사해주세요. 조사한 패턴 중 커맨드로 만들어 재사용 가능한 패턴들을 추출해주세요 해당 커맨드들을 추출해주세요 • 이 명령도 커맨드화 하고 주기적으로 실행 gemini p, claude p • 개발 단위 설계 issue manager 이슈 생성, 리뷰, 갱신 등 impl, chain impl, epic impl 이슈 단위, 다수 이슈 단위, 에픽 및 하위 이슈 단위 처리 pr reviewer, pr security checker, pr finalzer PR 처리 등 모든 판단 및 결과, 인간이 배워야 할 지식들을 레포트로 제시 레포트를 읽고 공부하는 일이 사람의 핵심
31. 데모 이슈 처리 자동화 / 거기서 배우기
32. AI 개발을 다시 정의하기
33. AI:GO • Backend.AI:GO https://go.backend.ai 로컬 LLM 및 클라우드 LLM을 데스크탑에서 운영하는 강력하고 사용자 친화적인 에이전틱 AI 솔루션 이지만 • 방향성 테스트 개발의 측면 개밥의 측면 미래 방향성의 측면
34. 목표 • 프라이버시 우선 데이터가 사용자 PC에만 머무름. 로컬 추론을 위해 클라우드에 데이터를 업로드할 필요 없음. • 하드웨어 최적화 macOS Metal/MLX , Windows/Linux NVIDIA CUDA, AMD ROCm 및 표준 CPU에서 높은 성능 발휘 • 에이전트 기능 웹 검색, 파일 작업 등 도구를 사용하여 스스로 작업을 수행하는 에이전트 기능 제공 • 쉬운 관리 앱 내에서 Hugging Face의 모델을 직접 검색하고 다운로드 • 표준 API 제공 OpenAI 호환 API를 제공하여, 즐겨 사용하는 AI 도구들의 백엔드로 Backend.AI GO를 활용 • 기타 등등 미소녀 미소년 아바타도 만들고 싶고요 멀티 에이전트 확장한 후 에이전트 워크플로우 공유 기능도 넣고 싶고…
35. CES 데모부터 에이전틱 워크플로 플랫폼까지 • Control Panel / WebUI for Continuum router Continuum router 의 방대한 사용 방법 및 매뉴얼 https://docs.continuum.lablup.ai/ko/ 이걸 CES 2026에서 어떻게 발표하지? 컨트롤용 WebUI 를 만들자 DGX Spark 에서 모델 돌리는걸 라우터로 묶어 연동해서 보여주는 시나리오 그런데 너무 모델 돌리는 설정이 어렵다. …그냥 UI에 넣을까? • 크리스마스 이브 Anthropic: 연말 포인트 2배 이벤트! 우리 명절은 2월이지롱 • 기록 Continuum router: 67회 릴리즈, 코드 43만줄 AI:GO: 이슈 1299건, PR 1580회, 코드 150만줄
36. 2026년 초의 워크플로우: 저녁이 있는 삶 • 출근 후 밤사이 마무리된 이슈들 중 수동 점검이 필요한 것들 수동 테스트 추가 검수가 필요한 경우 codex 에 보완 파이프라인 걸기 릴리즈 일정이 있다면 릴리즈 절차 • 점심 식사 후 릴리즈 여부 확인 다음 목표 정하기: 미팅, 이메일, 문서 작업 등 • 퇴근 두 시간 전 GitHub 이슈 등록 30 40개 내외 등록된 이슈 검토 지시 퇴근 직전: Gemini CLI 및 Claude code 에 등록 이슈 처리 트리거
37. 2026년 초의 워크플로우: 실제 • 퇴근 후 집에 가면 일이 안 끝남 일을 빨리 시켜도 느리게 시켜도 문제가 되는 상황 5시간 리밋에 걸리지 않도록 일을 주고 주간 리밋에 걸리지 않도록 주당 배분을 하고 Gemini, Claude, Codex 누구한테 뭘 줄지 고민도 하고 천천히 천천히… • 예: claude code epic impl 은 1시간 안에 5시간 윈도우 토큰을 다 소모함 chain impl 로 적절하게 로드를 걸어야…
38. 2026년 초의 숙제 • 토큰 아끼기 같은 일을 할 때 어떻게 토큰을 덜 쓸 것인가? • 도구 독립적 메모리 시스템 모델 성능과 가격 문제 X 특정 일을 잘 하는 모델 사용을 위한 전역 메모리 시스템 속도가 핵심: 모두가 AI 로 작업하고 있다면, 어떻게 먼저 끝내는가가 포인트가 됨 Gyeol 프로젝트 https://github.com/inureyes/gyeol 토크나이저에 맞춘 프롬프트 압축 모델마다 토크나이저가 다름 가벼운 모델 사용 당신의 일엔 flash 면 충분하다 모델이 이미 알고 있는 내용을 프롬프트에서 최대한 제외할 수 있는 방향 찾기 코딩의 목적 X, 컨텍스트 트래킹의 목적 더 깊은 문제 어떻게 하면 모델이 토큰을 알아서 덜 쓰게 만들 것인가? 토큰이 모델에게 대체 무엇인가?
39. 마치며
40. 마치며 • 2024년 8월 휴가 • 무엇이 바뀌고 있는지, 가치가 어떻게 이동하고 있는지 • 2025년 2월 Claude code • 가치의 비중이 어떻게 이동하고 있는지 • 2025년 4월 Cloud Next • 2025년 6월 래블업 해커톤 • 무엇이 필요하고 무엇이 중요해질지 • 2026년 1월 AI:GO • 궁극적으로 여기에 뭐가 남을지 • AI:GO 기록 Continuum router: 16회 릴리즈, 코드 5만줄 AI:GO: 이슈 1299건, PR 1580회, 코드 150만줄
41. AI 플랫폼을 만드는 회사로서의 도전 • 해결하는 문제의 영역 변화 • 4월 중순 이야기 모델 개발을 모델이 하는 시대 inode 가 고갈되어 mac studio 가 다운됨 그렇다면 모델을 개발하는 모델에게 필요한 것은 무엇일까? PC를 구성하는 SW/HW 요소의 도전 Backend.AI as an agentic system ready harness • 무게 중심의 이동 GPU, CPU, RAM… 파일시스템과 I/O의 중요성 모델은 단명해도 권한은 영원하다 • 클라우드 넥스트의 교훈 중요한 것은 모델도 아니고 에이전틱 시스템도 아님 RBAC 과 하드웨어, 나머지는 다 바뀜
42. AI Enterprise AI Cloud AI Open Source AI MLOps 감사합니다! contact lablup.com https://www.facebook.com/lablupInc Lablup Inc. https://www.lablup.com Backend.AI https://www.backend.ai Backend.AI GitHub https://github.com/lablup/backend.ai Backend.AI Cloud https://cloud.backend.ai