Upgrade to Pro — share decks privately, control downloads, hide ads and more …

What's new on FastTrack MLOps

Avatar for Lablup Inc. Lablup Inc.
November 27, 2024
22

What's new on FastTrack MLOps

Avatar for Lablup Inc.

Lablup Inc.

November 27, 2024
Tweet

More Decks by Lablup Inc.

Transcript

  1. 발표자 소개  이름: 강정석  소속: 래블업 주식회사 |

    DevOps 이미지 출처: https://spelunky.fandom.com/wiki/Spelunky_2
  2. Backend.AI 용어 설명 (Glossary)  커널 (Kernel): 실제로 자원이 할당되어

    연산을 수행하는 격리된 계산 단위 (e.g. Docker 컨테이너, Kubernetes 포드 등)  세션 (Session): 다양한 계산 작업을 수행하기 위해 컴퓨팅 자원을 할당받는 실행 단위 (하나 이상의 커널을 포함)  태스크 (Task): 파이프라인에서의 최소 실행 단위 (e.g. 세션, 사용자 정의 동작 등)  파이프라인 (Pipeline): 하나 이상의 태스크로 구성된 실행 단위 https://docs.backend.ai/en/latest/concepts/computing.html
  3. What's New #1 - 프로젝트 파이프라인  Q. 프로젝트 구성원

    간 파이프라인을 공유하고 싶습니다.  현재 구조 – Backend.AI는 멀티 테넌시 구조로 설계됨 (도메인, 프로젝트/그룹) – VFolder, Resource Group, …  한계 – 그러나 세션은 현재 사용자의 것만 접근할 수 있음  RBAC 적용을 통해 세션 공유 기능 제공 예정 (24.09)
  4. What's New #1 - 프로젝트 파이프라인  Backend.AI는 프로젝트 구성원

    간의 세션 공유를 지원하지 않습니다. (24.03 버전 기준) Bob Alice
  5. What's New #1 - 프로젝트 파이프라인  Q. 프로젝트 파이프라인의

    실행 로그를 확인하려면?  제약: 코어의 API는 해당 세션의 소유자만 조회 가능하도록 허용하고 있음
  6. What's New #1 - 프로젝트 파이프라인  Q. 프로젝트 파이프라인의

    실행 로그를 확인하려면?  해결: 중간 레이어를 추가하여 소유자의 권한으로 대체하여 로그 요청하도록 변경함
  7. What's New #2 – 다단계(Multi-level) 환경 변수  모델을 실행할

    때 수많은 환경 변수 입력을 관리해 주어야 합니다.
  8. What's New #2 – 다단계(Multi-level) 환경변수  여러 태스크로 구성된

    파이프라인이라면? Pipeline-level 환경 변수 Task-level 환경 변수 Task-level 환경 변수 One-shot 환경 변수
  9. What's New #2 – 다단계(Multi-level) 환경변수  Pipeline-level 환경 변수:

    모든 태스크가 공통적으로 사용하는 값을 설정
  10. What's New #2 – 다단계(Multi-level) 환경변수  Task-level 환경 변수:

    각 태스크마다 특정적으로 사용하는 환경 변수
  11. What's New #2 – 다단계(Multi-level) 환경변수  One-shot 환경 변수:

    실행 시점에 일회성으로 덮어쓰기 되는 환경 변수
  12. What's New #2 – 다단계(Multi-level) 환경변수  요약 A B

    C Pipeline-level 1 2 3 Task-level 4 5 One-shot 9 최종 9 5 3
  13. Future #1 – Pipeline-level priority scheduler  현재: 태스크(세션) 단위의

    스케줄링 지원 Scheduling Queue Pipeline Job #1 Pipeline Job #2 Task-1A Task-1B Task-2A Task-2B Task-1A Task-1B Task-2A Task-2B
  14. Future #1 – Pipeline-level priority scheduler  미래: 파이프라인 단위

    우선 순위 스케줄링 지원 Scheduling Queue Pipeline Job #1 Pipeline Job #2 Task-1A Task-1B Task-2A Task-2B Pipeline Job #1 Task-1A Task-1B Pipeline Job #2 Task-2A Task-2B
  15. 안내사항 • 권장이지만 꼭 이렇게 맞춰야 하는 것은 아닙니다. •

    글꼴 : Pretendard (한글/영문) 및 Inter (영문 이탤릭용) Prentendard는 이 파일에 포함되어 있지만, 아래 주소에서 직접 다운로드하여 활용하셔도 무방합니다. https://cactus.tistory.com/306 https://fonts.google.com/specimen/Inter • 코딩 글꼴 : JetBrains Mono https://www.jetbrains.com/lp/mono/