陸海空の物理コンテナ担当の運び屋さんから、AWSクラウド担当のストレージ屋さんになった話

2024/11/02の「JAWS-UG金沢支部×コンテナ支部合同企画 物理コンテナ見ながらコンテナ勉強会！」のLT登壇資料です。
こちらの登壇資料に含まれているGitHubのaws/containers-roadmapに立てたIssueは以下です。
https://github.com/aws/containers-roadmap/issues/2464

Transcript

1. 1. 自己紹介 2. 「海上コンテナ」の話 3. 現在までのキャリアの話 4. 最近やっているコンテナ関係の仕事 5. Storage x Containerの話 陸海空の物理コンテナ担当の運び屋さんから、 AWSクラウド担当のストレージ屋さんになった話 Disclaimer：本日発表内容は所属する組織を代表するものでは ありません。 また、オフラインでの投影を目的としている資料は外しています。
2. 藤原 善基（ふじわら よしき ネットアップ合同会社 AWS SE Support / Sr. Cloud Solutions Architect – AWS AWS Community Builder 2023(Storage)、2024(Cloud Operations) 2024 Japan AWS Top Engineers(Software) 最近やっていくること：生成AI、ランサムウェア対策、仮想化環境のAWS移行/拡張 経歴 • 物流業の営業→コールセンターのオペレーター→SIer ヘルプデスク→ SIer インフラエンジニア→ネットアップ合同会社 ← 今ココ 趣味 • 技術イベントへの参加・旅行・外食・ロックフェスティバルに行くなど • Storage-JAWS運営メンバー 好きなAWSのサービス • Amazon Elastic Container Service • Amazon FSx for NetApp ONTAP • AWSサポート 自己紹介
3. キャリア：趣味/特徴と経歴(IT業界以前) ・趣味/特徴 ・生後10ヶ月から7才までギリシャのアテネ(1986 - 1992) ・全国通訳案内士(英語)資格保有 →物事を調べたり、ガイドするのが好き ・ギリシャ語：Kubernetes、Prometheusなどギリシャ語/神話が気になる ・経歴(IT業界以前) ・物流業の営業（航空/海上コンテナを利用した国際貨物運送業） ・レンタカーのコールセンターのバイリンガルチームリーダー
4. キャリア：国際貨物運送業とは？ • Google Choromeで聞いてみた。以下のフォワーダー(Forwarder)あるいは、サードパーティ ーロジティクスの仕事、などと当時呼んでいました。
5. • この本「コンテナ物語 世界を変えたのは「箱」の発明だった」を読んだことある方、 挙手お願いします！ • まだの方は、とてもオススメなので、是非読んでみてください。技術を通して世界を変えてい く物語が多角的に学べて、会場周辺の施設がよくわかります。Kindle版あります。 5 「海上コンテナ」の話
6. コンテナが世界にもたらしたもの例：ITでは「効率的なオペレーション、スケーラビリティ、開発へのフォーカス」 • 手作業のオペレーションの自動化、最適化 ◦ …船が入港してから出港するまでの複雑きわまりない作業を指示するのは、人間ではなくコンピュータだ。手順の一つひとつは入港のはる か前から決められている。どこに積み込まれたコンテナをどの順序で下ろすか。船のトリムを適正に維持しつつどのように作業をスピードアップ するか。それを計画するのは、コンピュータと荷役プランナーである。クレーンによる揚積作業、ヤードでの運搬手順などすべてが予めプログラ ミングされており、港湾作業員の仕事は、いまやモニター画面を見ながら指示されたコンテナを下ろし、あるいは積み込むことである。 • 規格化による、物流コストの削減、サプライチェーンの変革と信頼性向上 ◦ 貨物を一つひとつ揚げ積みする作業がほとんどなくなったおかげで港湾労働者にかかる費用が激減したほか、保険料も安くなったし、 係船料その他諸々の費用も切り詰められた。コンテナは陸上輸送にまず登場し、荷役作業の短縮と積み替えコスト（鉄道とトラックな ど）の軽減に役立った。海上輸送の場合には、大型のコンテナ専用船が導入されるようになってようやく運賃が急激に下がる。やがてイン ターモーダル方式が導入され、コンテナ輸送は船からトラックまたは鉄道へ、あるいはその逆という具合にシームレスなシステムに変貌を遂げ る。さまざまな商品がアジアの工場からアメリカやヨーロッパの小売店へまっすぐに運ばれるようになると、輸送費は取るに足らないコストとなっ た。実際、企業のコスト分析では、輸送費が欄外に小さな字で書かれるだけということさえある。 ◦ 一九五六年に実現したコンテナ最初の航海は、その後一〇年以上におよぶ「コンテナ戦争」の幕を切って落としたのだった。コンテナを葬り 去ろうとした輸送業界の大物が何人もいた。労働組合も躍起になってコンテナの普及を阻止しようとし、あちこちの港でストライキを打った。 コンテナ導入に巨額の投資をする港もあったが、旧態依然の埠頭と倉庫に予算を注ぎ込む港も多かった。コンテナはそのうち廃れると予測、 いや希望したのである。 • サプライチェーン攻撃、悪意のある貨物の混入リスクなど新たな考慮 ◦ …そしてロングビーチや東京のような大きな港では、平均的な週日には毎日一万個のコンテナが扱われるのだ。そのコンテナ一つひとつの 中に床から天井までいっぱいに段ボール箱が積み重ねられているとしたら、どれほどいい加減な検査で済ますとしても、全部の箱を点検する ことなどできるはずもない。つまりコンテナは、核物質、麻薬、テロ用の爆弾から不法移民にいたるまで、不正な品物を忍び込ませる格 好の手段なのである。 「海上コンテナ」の話
7. • 様々なコンテナの規格 ◦ 20フィート/40フィートコンテナ：ドライコンテナ（Dry Container）と冷凍・冷蔵コンテナ（Refrigerated Container ＜Reefer Container＞） ◦ オープントップコンテナ、フラットラックコンテナ、タンクコンテナ 「海上コンテナ」の話 引用：https://blog.mol-logistics-group.com/blog/knowledge/container
8. • コンテナ以外の船もまだあります！ ＜在来船とコンテナ船の違い＞ • コンテナ船はコンテナのみを扱い積載する船です。 • 在来船は一般の貨物船の事を指し、コンテナに収めることができない重量貨物や長尺貨物などの特殊貨物を運ぶことができます。 • 現在はコンテナ船が普及し、海上輸送と言えばコンテナ船が主流となっています。 コンテナ化する前は、在来船で貨物を運んでおり、 品目ごと、または容積（もしくは重量のいづれか大きい方）により運賃が仕分けされていました。 • 在来船は、様々な貨物の形状や性質に合わせた積込、積付(雨禁貨物の場合は天候も考慮)を行うため、一般的にコンテナ船より荷役作業 に時間がかかることが多いです。 • コンテナ船が主流になってからは、天候に左右されず、作業がスムーズに行えるようになり、予定が大幅に遅延することがなくなりま した。 ＜不定期船と定期船＞ • 在来船には、不定期船（トランパー/Tramper）と定期船（ライナー/Liner）があります。 • また、在来船は小さな小船から大型の重量貨物船など様々な種類があります。 費用は上がりますが１隻チャーターすることも可能です。 ・不定期船（トランパー/Tramper） • 荷主の依頼により希望の積港と揚港に配船します。 決まった航路を運航しているわけではありません ・定期船（ライナー/Liner） • 決まった航路を運航しています。 ただし、集貨物量が少ないと定期船でも寄港しないこと（抜港すること）もあります。 「海上コンテナ」の話 引用：https://blog.mol-logistics-group.com/blog/knowledge/bulk-vessel-1
9. 経歴(IT業界) 客先常駐/リモートヘルプデスク (前々職)富士通コミュニケーションサービス →プロジェクト①：G社のグループウェアのサポートのプロジェクト：なんやかんやあり、プロジェクトを離脱 →プロジェクト②商社のヘルプデスクOffice 365、その他社内ITなどのサポート ネットワークエンジニア（ISP: 100G回線バックボーン網） (前職)エーピーコミュニケーションズ→客先常駐①： 他社ISP向け回線とバックボーン網の保守運用/設計・構築 Juniper: MX960/480 Interopを自主的に見に行くなど IT業界への転職：前々職、前職
10. IT業界への転職：前職の仕事続き エーピーコミュニケーションズ→客先常駐②： (1)某社SREチームプロジェクト (2)AWSの共通基盤の運用保守開発約100アカウント) 共通基盤 • セルフサービス型 • 開発者が使用したい機能を自由に使える • 車輪の再発明を防ぐ • LDAP,メールGW,ID管理、コスト分析、 ログ分析、SSH踏み台、標準VPC、 • 共通リポジトリ：EOL情報とその対応策 →AWS TAM/SAの方々に確認しながら対応 (3)横断組織と連携し、AWS最新情報の発信/管理 →FargateがPV1.4.0でEFSエンドポイントをサポートしたので、Jenkinsコンテナで検証してみたり →ECRにコンテナイメージをpushしたら、コンテナイメージをスキャンして、脆弱性を社内開発のUIで表示するようにする Lambdaのコード書いたり、など • ECS(Fargate)でEFSをマウントさせてみた(2023年版) • https://dev.classmethod.jp/articles/202310-ecs-efs-01/
11. ・コミュニティー活動（2021年） ・テックカンファレンス/イベントの運営/登壇 ・Cloud Native Days Spring 2021 ONLINE →実行委員：海外/Promotion担当 ・July Tech Festa 2021winter →プログラム委員：スピーカー担当 ・テックブログを毎週執筆 ・テーマはKubernetes/SRE/DevOps ・日本語：はてなブログ ・英語：Medium IT業界への転職：前職の社外活動
12. 最近やっているコンテナ関係の仕事① • オンプレ、AWS上のファイルストレージのデータをAmazon Bedrockで活用するためのアレコレ • 生成AIのチャットボット環境をAWSのPublic Sectorのプロトタイピングチームと実施したり • 下記ブログのAWS CDK化とアーキテクチャ変更実施完了内容 by AWSプロトタイピングチーム。藤原の方で もコードの変更内容の確認、トライ&エラー、コード作成者/ブログ執筆者へのフィードバックとディスカッション • IaCツールの変更:TerafformからAWS CDK化 • Ongoing: 一部構成変更とセキュリティ向上 → ECS on EC2 or ECS on Fargate、Lambdaなどの構成変更など • https://aws.amazon.com/jp/blogs/news/build-rag-based-generative-ai-applications-in-aws-using-amazon-fsx-for-netapp-ontap-with-amazon-bedrock/
13. 最近やっているコンテナ関係の仕事② • VMwareワークロードのAWSへの移行支援、イベント登壇。以下2パターンのアイデアの展開 • EC2 x FSx for ONTAPの組み合わせ • Red Hat OpenShift Service on AWS (ROSA)でのOpenShift Virtualization x FSx for ONTAPの組み合 わせ。VmwareワークロードでのライブマイグレーションをRHELベースのEC2インスタンス(KubeVirt) or コンテナベース での共有ブロックストレージ / ファイルストレージで実現。 • AWSブログ Seamless migration from any VMware environment to Amazon FSx for NetApp ONTAP and Amazon EC2： https://aws.amazon.com/jp/blogs/storage/seamless-migration-from-any-vmware- environment-to-amazon-fsx-for-netapp-ontap-and-amazon-ec2/ • 赤帽ブログ OpenShift VirtualizationをRed Hat OpenShift Service on AWS (ROSA)で試して みよう：https://rheb.hatenablog.com/entry/202410-rosa-openshift-virt
14. 最後に：GitHubのFargateへのFSxシリーズのサポートについて • AWSストレージ x コンテナの課題をStorage-JAWSメンバーとして… • 課題：Fargate タスクが 前述のEFSエンドポイントはサポートされていますが、他のファイルストレージサービスが サポートされていないため、EFSが何かしらの制約によりマッチしない場合に、AWS上でファイルストレージを利用し てコンテナアプリを作る選択肢が無い→EC2 on ECS / EC2 on EKSでマウントして使うしか… • FargateのRoadmapに関するGitHubリポジトリーにFSxシリーズのIssueが既存でありますが、進捗がありませんので、 ニーズや要望を確認いただき、 のリアクションやをいただけると嬉しいです。 • [service] [request]: Add support to FSx for Fargate inコメントWindows Containers #1654 • https://github.com/aws/containers-roadmap/issues/1654 • [ECS] Support for FSx for Lustre in ECS on EC2 and Fargate #650 (coultn opened this issue on Dec 14, 2019 · 25 comments) • https://github.com/aws/containers-roadmap/issues/650 • [ECS] [FSx,FARGATE]: Support FSx OpenZFS mounting on ECS Linux fargate #2323 drozier opened this issue on Apr 6 · 1 comment • https://github.com/aws/containers-roadmap/issues/2323 • [Fargate] [request]: Enable FSx Lustre and FSx OpenZFS storage for EKS PersistentVolumes running on Fargate #2252 colearendt opened this issue on Dec 23, 2023 · 0 comments • https://github.com/aws/containers-roadmap/issues/2252 • [Fargate] [FSx,FARGATE]: Support FSx ONTAP mounting on ECS and EKS Fargate for Linux and Windows Tasks #2464 colearendt opened this issue on Dec 23, 2023 · 0 comments • 以下のFSx for ONTAPのIssueをこのイベント中に作成しました • [Fargate] [FSx,FARGATE]: Support FSx ONTAP mounting on ECS and EKS Fargate for Linux and Windows Tasks #2464 • https://github.com/aws/containers-roadmap/issues/2464
15. ご清聴ありがとうございました！！ Storage-JAWSもよろしくお願いします！ Thank you!!