Upgrade to Pro — share decks privately, control downloads, hide ads and more …

從零開始導入 Singularity Container 歷程雜談

Avatar for Frank Lin Frank Lin
January 13, 2021
Programming
1
270

從零開始導入 Singularity Container 歷程雜談

Cloud Native Taiwan 年末聚會 Lighting talks
Avatar for Frank Lin

Frank Lin

January 13, 2021
Tweet

More Decks by Frank Lin

See All by Frank Lin
那些年我們在開源社群的日子 - Cloud Native Taiwan
Avatar for Frank Lin yylin1
0
240
DeepOps – An efficient way to deploy GPU cluster for computing
Avatar for Frank Lin yylin1
0
960
Kubeflow 進行分散式深度學習訓練之作業排程瓶頸
Avatar for Frank Lin yylin1
0
1.4k
Kubeflow 對於機器學習平台的願景
Avatar for Frank Lin yylin1
1
1.2k
kubeCon經驗分享-搭上KubeCon大船遇見 Kubeflow Community大牛們
Avatar for Frank Lin yylin1
1
250
Kubeflow:容器機器學習實戰
Avatar for Frank Lin yylin1
2
560

Other Decks in Programming

See All in Programming
コードに語らせよう――自己ドキュメント化が内包する楽しさについて / Let the Code Speak
Avatar for nrs nrslib
5
1k
テスト分析入門/Test Analysis Tutorial
Avatar for Hiroki Iseri goyoki
11
2.7k
TypeScript エンジニアが Android 開発の世界に飛び込んだ話
Avatar for Yui Sakamoto yuisakamoto
6
950
TypeScript製IaCツールのAWS CDKが様々な言語で実装できる理由 ～他言語変換の仕組み～ / cdk-language-transformation
Avatar for k.goto gotok365
7
380
インターフェース設計のコツとツボ
Avatar for おぎ togishima
2
490
TypeScript だけを書いて Tauri でデスクトップアプリを作ろう / Tauri with only TypeScript
Avatar for tris tris5572
2
530
型付け力を強化するための Hoogle のすゝめ / Boosting Your Type Mastery with Hoogle
Avatar for TAKASE Kazuyuki guvalif
1
230
Proxmoxをまとめて管理できる コンソール作ってみました
Avatar for karugamo karugamo
1
410
ユーザーにサブドメインの ECサイトを提供したい (あるいは) 2026年函館で一番熱くなるかもしれない言語の話
Avatar for uvb_76 uvb_76
0
170
『Python → TypeScript』オンボーディング奮闘記
Avatar for takumi_tatsuno takumi_tatsuno
1
140
Practical Domain-Driven Design - Workshop at NDC 2025
Avatar for Mufrid Krilic mufrid
0
130
MLOps Japan 勉強会 #52 - 特徴量を言語を越えて一貫して管理する, 『特徴量ドリブン』な MLOps の実現への試み
Avatar for Tomohiro Tani taniiicom
2
570

Featured

See All Featured
The Web Performance Landscape in 2024 [PerfNow 2024]
Avatar for Tammy Everts tammyeverts
5
620
The Cost Of JavaScript in 2023
Avatar for Addy Osmani addyosmani
49
8.1k
4 Signs Your Business is Dying
Avatar for Josh Pigford shpigford
183
22k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
Avatar for Rebecca Miller-Webster rmw
34
3k
Embracing the Ebb and Flow
Avatar for Simon Collison colly
85
4.7k
Scaling GitHub
Avatar for Zach Holman holman
459
140k
Code Reviewing Like a Champion
Avatar for maltzj maltzj
523
40k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
3.9k
Music & Morning Musume
Avatar for Bryan Veloso bryan
47
6.6k
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
46
14k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
Avatar for Michelle Schulp Hunt marktimemedia
30
2.4k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
133
9.3k

Transcript

  1. 從零開始導入 Singularity Container 歷程雜談 Frank Lin

  2. Frank Lin 林義洋 • Infrastructure Engineer at Cadence • Co-organizer

    of Cloud Native Taiwan User Group

  3. 選擇 Contaienr Runtime • 安全性 • 效能減損問題 • Developer 對開發版本環境依賴性

  4. Singularity Container • 專門為HPC和深度學習(DL)工作負載開發，具備輕量資源開銷小、 啟動迅速、快速部署、方便遷移與擴展 • 無需 root 權限的特性廣受 HPC

    相關應用服務採用

  5. 選擇 Singularity Container • 限制容器使用者權限，使用者權限在容器內部和外部都是相同的 • 能直接在容器啟動目錄下切換環境, 無同步上問題，會有沒有進入容器的錯覺 • 授權

    fakeroot 就可以建立/修改自己需要的 image 環境, 無需 root 權限 • 可使用 Docker Hub / 的資源 • 簡單的 image / sandbox 概念設計 • 符合 OCI 標準, CRI 介面 • 單文件格式SIF增強環境遷徙

  6. Singularity 安利! - Linux Developer 都應該學習 Ref: https://champyen.blogspot.com/2020/10/linux-developer-container-singularity.html

  7. 可以一起從零開始 • 基本介紹 Ref: https://yylin.io/2020/06/16/singularity-introduction/

  8. k8s + singularity-cri

  9. Singularity CRI • Sylabs 供應商沒有計畫要持續支援 2019 !!!!!

  10. None

  11. k8s + singularity-cri

  12. 從零開始到放棄

  13. https://indico.cern.ch/event/757415/contributions/3421576/attachments/1856070/3048604/Solving_Problems_in_H PC_with_Singularity.pdf