Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
gob バイナリが Go バージョンによって 出力が変わることについて調べてみた / Inve...
Search
convto
September 13, 2024
Technology
0
43
gob バイナリが Go バージョンによって 出力が変わることについて調べてみた / Investigating How gob Binary Output Changes Across Go Versions
Asakusa.go #3 での発表資料です
convto
September 13, 2024
Tweet
Share
More Decks by convto
See All by convto
Go 関連の個人的おもしろCVE 5選 / my favorite go cve
convto
3
300
バイナリを眺めてわかる gob encoding の仕様と性質、適切な使い方 / understanding gob encoding
convto
6
1.9k
みんなでたのしむ math/big / i love math big
convto
0
170
Go1.22からの疑似乱数生成器について/go-122-pseudo-random-generator
convto
2
430
Go1.20からサポートされるtree構造のerrの紹介と、treeを考慮した複数マッチができるライブラリを作った話/introduction of tree structure err added since go 1_20
convto
0
840
byte列のbit表現を得るencodingライブラリ作った
convto
1
1.1k
Go runtimeの歩き方/how to follow go runtime function
convto
1
880
入出金ドメインの苦労話と解決へのアプローチ/funds in/out difficulties and solutions
convto
2
1.3k
rsa_understanding_memo
convto
0
530
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile for engineer
hr01
1
11k
学術機関におけるID連携とOpenID Connect
fujie
0
580
Classmethod AI Talks(CATs) #2 司会進行スライド(2024.09.25) / classmethod-ai-talks-aka-cats_moderator-slides_vol2_2024-09-25
shinyaa31
0
110
AI前提のサービス運用ってなんだろう?
ryuichi1208
6
1.3k
公共交通データとアプリ制作 - Mini Tokyo 3D の初期制作過程を振り返る
nagix
2
190
HashHub会社案内「なぜ今、パブリックブロックチェーンに賭けるのか」
hashhub
3
75k
1000万DL人を支えるiAEONアプリ:完全停止を防ぐ耐障害性の設計/iAEON app supporting 10 million users
aeonpeople
5
2.2k
開発フェーズでのオブザーバビリティ活用やプロファイルのススメ / getting-started-profile-o11y
k6s4i53rx
2
360
急拡大する開発組織を支えるナレッジワークの E2E テスト基盤
kworkdev
PRO
1
480
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
8
2.3k
Maps with Django - DjangoCon US 2024
pauloxnet
0
140
オブザーバビリティの探求 〜性能劣化から始まった旅路〜
sansantech
PRO
3
350
Featured
See All Featured
Building Applications with DynamoDB
mza
90
6k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
3k
Designing for humans not robots
tammielis
248
25k
The Illustrated Children's Guide to Kubernetes
chrisshort
47
48k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Building an army of robots
kneath
302
42k
VelocityConf: Rendering Performance Case Studies
addyosmani
322
23k
Learning to Love Humans: Emotional Interface Design
aarron
271
40k
Navigating Team Friction
lara
183
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
8.9k
Fireside Chat
paigeccino
31
2.9k
BBQ
matthewcrist
83
9.2k
Transcript
gob バイナリが Go バージョンによって 出力が変わることについて調べてみた 2024/09/13 Asakusa.go #3
自己紹介 @convto 株式会社LayerX所属 (読みはこんぶとです)
gob ってなに? - Go が標準パッケージで実装してる独自のエンコーディング! - 仕様とかくわしく知りたい人はこちらをご覧ください https://speakerdeck.com/convto/understanding-gob-encoding - きょうは
5min LT なので全員完全理解者だと思って話を進めます
ある日知人から以下のタレコミをうける
タレコミ - なんか Go のバージョンによって gob の出力が異なるんだけど - marshal/unmarshal 間の互換性はありそう
- どこで変わったんだろうね
確認してみる
確認してみる
None
cnt: 36 id: -64 cnt: 12 id: 64 cnt: 37
id: -65 cnt: 12 id: 65
なんか typedef / value の id がずれてそう - たしかに出力は変わっている -
id の値が変わっている - id = 65 だと typedef がちょうど 1byte で表現できないため、古い方は ちょっと勿体無い - 先頭 1bit が終端判定、末尾 1bit が正負判定。値が 6bit で収まる なら 1byte で表現できる。65 はちょうどたりない
どこで入った? - 霊感で 1.21 まで比べてみたら 1.23 と一致してた $ diff -s
<(go1.21.0 run main.go) <(go1.23.0 run main.go) Files /dev/fd/11 and /dev/fd/12 are identical - 1.20.1 系では挙動に差がない $ diff -s <(go1.20.1 run main.go) <(go1.20.14 run main.go) Files /dev/fd/11 and /dev/fd/12 are identical - 1.21 に上がる時に入っているはず!
見つけた! https://go-review.googlesource.com/c/go/+/460543/4 /src/encoding/gob/type.go#b184
id ずれた理由 - firstUserId = 64 が定義されてて user 定義の型は id
= 64 から始ま る - とりあえず nextId +1 から確保してたのが止まって 64 から使えるように なったという話っぽい!
スッキリ
知人に伝えて平和が訪れた
感想 - marshal/unmarshal の互換を担保した上で encoded な値が変わるこ とはちょいちょいある - よくあるのはフィールド順番担保されないとか。今回は typeid
が揃わな かった - encoded な値に対して一致するか確認する、みたいな処理は秘孔をつく 可能性があるのでやめておきましょう
ご清聴ありがとうございました