Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSでGoを使いたい!
Search
Nayuta S.
September 25, 2019
Technology
0
350
AWSでGoを使いたい!
AWSでGo言語を使う方法を調べました。Dockerコンテナを作成して、Fargateで動かしてみました。
Nayuta S.
September 25, 2019
Tweet
Share
More Decks by Nayuta S.
See All by Nayuta S.
AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech
nayuts
0
500
Vertex AIとBigQueryでつくる簡単ベクトル検索&テキスト分析システム
nayuts
0
650
AIが強力にサポート!データ分析・ML系サービスアップデート
nayuts
0
530
dbt Coreとdbt-athenaによるAWS上のdbt環境構築ナレッジ
nayuts
0
1.2k
Amazon Athena for Apache Sparkを使ってデータ分析をしよう!
nayuts
0
1.4k
AWS Glue Data Quality(プレビュー)が機械学習システムに使えそうか調べてみるぞ!
nayuts
0
950
FargateとAthenaで作る、機械学習システム
nayuts
0
930
Redshift内のデータの活用をAthenaにオフロードしてみた / akiba-aws-online7
nayuts
0
1.1k
GoでgRPCを使ってみた
nayuts
0
410
Other Decks in Technology
See All in Technology
Recap: Kotlin Language Features in 2.0 and Beyond (Michail Zarečenskij)
dalinaum
0
160
やさしいITを目指すために
ishity__
0
290
経営視点から捉えた開発生産性 / Development productivity from a management perspective
kyuns
3
480
プロダクト拡大フェーズでプロダクト検証サイクル効率化を目指す過程で見えたもの / Streamlining Product Validation in Growth Phase
kakehashi
2
420
マルチエージェントで性能が上がったText-to-SQLのいま/Text-to-SQL
yoshidashingo
2
1.1k
What's New in Firebase 2024
firebasethailand
1
130
AWSの生成AIサービス Amazon Bedrock入門!(2024/6月版)
minorun365
PRO
5
1.3k
MySQLのリリースモデルの変更点と最新アップデート / MySQLNewReleaseModel
yoshiakiyamasaki
3
280
お手並み拝見にしないオンボーディング
zuckey_17
2
1.2k
予知保全利用を目指した外観検査AIの開発 〜画像処理AIを用いた外観画像に対する異常検知〜
sadynitro
0
110
実践チームトポロジー: プラットフォーム性とイネイブリング性の戦略 / Practical Team Topologies in Timee
go0517go
1
270
はてなのチーム開発一巡り / Hatena Engineer Seminar 30
daiksy
0
210
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
325
20k
What’s in a name? Adding method to the madness
productmarketing
PRO
18
2.8k
Building Applications with DynamoDB
mza
89
5.8k
Gamification - CAS2011
davidbonilla
77
4.8k
Designing for Performance
lara
603
67k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
A designer walks into a library…
pauljervisheath
201
24k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
143
43k
It's Worth the Effort
3n
180
27k
Practical Orchestrator
shlominoach
184
9.9k
Web Components: a chance to create the future
zenorocha
307
41k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.7k
Transcript
AWSでGoを使いたい! DesignOne Go #5 by Nayu T. S.
自己紹介 • 名前: Nayu T. S. • SNS:@tasotasoso • 仕事:AWS、上流とか
• 最近の趣味: 自作 • Go歴:4ヶ月くらい ▽⾃作キーボード ▽⾃作めっちゃ⾼い中華料理
内容 ü AWSでGoを使う方法を調べた。 ü AWSでGoのDockerコンテナを実行して、別のサービスを操作してみた。
AWSでも使えます! https://aws.amazon.com/jp/serverless/patterns/serverless-pattern/ 引⽤:AWSの形で考えるサーバーレス設計から Go⾔語はGCP( Google Cloud Platform )のイメージが強いですが、AWSでも使えます! サーバーレスでAPIを提供 分散並列処理
~ CPUトータル100時間を10分で終わらせるには ~ (´ω`) シェアはAWSが30%強(2019 1Q) 公式のドキュメントも豊富。
AWSでGoを使う方法 2. SDK ü Lambda(FaaS) …短めの処理(15分以内の実⾏などの制限) ü EC2(仮装OS) …サービス運⽤など 1.
コンピュートサービス ü Go SDK …GoからAWSを操作する ü コンテナ系サービス …⻑めの処理、サービス運⽤ 今回はここをやってみた。 ü 処理量多めのバッチ処理がしたい ü 将来的にサービス運⽤などで使ってみたい
Fargate サーバーやクラスターの管理の必要なしにコンテナを実行するための、 Amazon ECS に対応したコンピューティングエンジン。 仕組み ※引⽤元 https://aws.amazon.com/jp/fargate/ ノード管理不要。 非常にシンプルで
わかりやすい。 ü タスク…1回だけ/定期の実⾏ ü サービス…実⾏状態を維持
GoのDockerコンテナを動かしてみる 1. S3からファイルをダウンロードする。 2. なんにもしない。 3. S3にファイルをアップロードする。 ③Pull ②起動 ④ダウンロード
⑤アップロード ①Push ECR S3(ストレージ) バッチ処理用のイメージ: やったことのイメージ
バッチ処理用のコード
AWS側でやること 1. ECRにレポジトリ作成 2. 作ったイメージをタグ付け (docker tag イメージ名 ecrのURL/レポジトリ名) 3.
ECRにコマンドラインからログイン (aws ecr get-login) 4. ECRにPush (docker push ecrのURL/レポジトリ名:latest) Push (2) Dockerイメージ・リソース量など指 定してタスク作成 (3)起動タイプ・クラスター・タスクの 数・ネットワークなど指定して実行 (1) クラスター(ネットワークなど実行環境)作成 DockerイメージをBuildしとく。 Pull 実行ログ ※実⾏時に渡す⽅法でも良い ECR これだけでGo言語のクラウド上でコンテナを実⾏できた。
まとめ • コンピュート系サービス・SDKでGo言語が使える。 • FargateでシンプルにGoのDockerコンテナの実行ができる。