Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20250614_LT_走れメロスの個人情報マスク処理をMacStudio 512GBメモリマ...
Search
NobuakiOshiro
PRO
June 13, 2025
Technology
1
16
20250614_LT_走れメロスの個人情報マスク処理をMacStudio 512GBメモリマシンで試してみた
https://agifukuoka.connpass.com/event/352826/
NobuakiOshiro
PRO
June 13, 2025
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
20251025_LT_catgpt_atlasでわかるOpenAI歴
doradora09
PRO
0
32
20251015_LT_BIのAIがAGI過渡期は流行るのではと思った話
doradora09
PRO
0
9
20251015_第4回_GenAIアナリティクス勉強会at東京_オープニングトーク
doradora09
PRO
0
1
20251011_第75回ChatGPT部_オープニングトーク_v1.00
doradora09
PRO
0
50
20250910_生成AIでスタンドアロンなデータ分析ダッシュボードを作りたい
doradora09
PRO
0
26
20250906_“GPT-5、Cerebras、 あとgpt-oss-120bの話” をしようと思ったら Qwen3-480Bがつよつよだっ た話(テトリスで検証)
doradora09
PRO
0
72
20250901_LT_爆速AI_CerebrasでリアルタイムSVG生成
doradora09
PRO
0
100
20250823_LT_爆速AI_Cerebrasから考える未来
doradora09
PRO
0
49
20250726_DeepResearchで何かしらの情報を調べた後のTips
doradora09
PRO
1
56
Other Decks in Technology
See All in Technology
RemoteFunctionを使ったコロケーション
mkazutaka
1
120
可観測性は開発環境から、開発環境にもオブザーバビリティ導入のススメ
layerx
PRO
4
1.2k
SOTA競争から人間を超える画像認識へ
shinya7y
0
570
CNCFの視点で捉えるPlatform Engineering - 最新動向と展望 / Platform Engineering from the CNCF Perspective
hhiroshell
0
140
GraphRAG グラフDBを使ったLLM生成(自作漫画DBを用いた具体例を用いて)
seaturt1e
1
150
AI AgentをLangflowでサクッと作って、1日働かせてみた!
yano13
1
160
Kubernetes self-healing of your workload
hwchiu
0
560
Amazon Athena で JSON・Parquet・Iceberg のデータを検索し、性能を比較してみた
shigeruoda
1
130
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.4k
Zero Trust DNS でより安全なインターネット アクセス
murachiakira
0
100
激動の時代を爆速リチーミングで乗り越えろ
sansantech
PRO
1
120
ゼロコード計装導入後のカスタム計装でさらに可観測性を高めよう
sansantech
PRO
1
480
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
36
7k
Code Reviewing Like a Champion
maltzj
526
40k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Agile that works and the tools we love
rasmusluckow
331
21k
Automating Front-end Workflow
addyosmani
1371
200k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
10
890
The Straight Up "How To Draw Better" Workshop
denniskardys
238
140k
RailsConf 2023
tenderlove
30
1.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
Producing Creativity
orderedlist
PRO
347
40k
What's in a price? How to price your products and services
michaelherold
246
12k
Transcript
LT : 「⾛れメロス」の 個⼈情報マスク処理を Mac Studio 512GBメモリ マシンで試してみた 2025/6/14 @doradora09
Mac Studio 512GBメモリマシン • メモリ512GBまでマ シましにできるポー タブルPC(4kg) • LLMの⼤きいモデル が動くので今回実験
利⽤
Mac Studio 512GBメモリマシン • ちなみにスペック増 し増しにすると200万 を超えます・・ • ( 3台買ったらカード
を⽌められたのは良 い?思い出・・ )
閑話休題:⾛れメロス • ⻘空⽂庫で全⽂公開されてます • https://www.aozora.gr.jp/cards/000035/files/1567_14913.html • ローカルLLMで「メロス」や「セリヌンティウス」などの名称をマス クしたい -> これができれば、社内でいろんなデータをLLMに⾷わせて処理できる
-> また、マスク後データを外部のさらに性能の良いAPIに投げて分析させるとか もできて良さげ • 現時点での結論 • Mac Studio 512GBならいけそう • 128GBメモリのMac Boop Proだと厳しいかも?
原⽂ • だいたい1万⽂ 字くらいの物語
LM StudioでLlama-4を動かす • Mavericのモデルは230GBくらい容量あるのでダウンロードの 帯域とか注意( スマホテザリングではやらない⽅が吉・・ ) • メモリ使⽤量はこんな感じ
注意:トークン⻑は伸ばしておくこと • ML Studioでロード したモデルのデフォ ルトが4000トークン くらいなので、 input/outputの⽂字 数が全然⾜りない (2000⽂字くらい)
• 設定で5-10万トーク ンにしておけばOK
参考:Llama-4 Mavericのメモリ使⽤量 • 240GBくらい • 頑張れば2本くら い⾛らせられる?
今回⽤いたプロンプト ・指⽰ 以下の原⽂に対して、個⼈が特定できないように⽒名のマスクを お願いします。また後で復元できるように対応表を作成し、最初と 最後に提⽰してください。【⼈物1】のようなイメージでお願いし ます。 ・原⽂ ⾛れメロス 太宰治 メロスは激怒した。必ず、かの邪智暴虐の王を除かなければなら
ぬと決意した。メロスには政治がわからぬ。・・・(以下、最後ま で記載)
実⾏結果① ( Llama-4 Maveric ) • とても良い感じです • 動作中のメモリ使⽤量は 266GBくらい
• 15token/sec、くらいのス ピードは出てそうです
実⾏結果② ( Llama-4 scout-17b-16e ) • やや、いい感じです ( アレキスが⾜りない )
• 動作中のメモリ使⽤量は 116GBくらい • 15token/sec、くらいのス ピードは出てそうです
実⾏結果③ ( Llama-3.3-70b ) • 少し間違えているものの、概ねOK ( 太宰治を⼈物2、とかたまに間 違えている )
• 動作中のメモリ使⽤量は87GBくら い • 5token/sec、くらいのスピードな のでやや遅めですが許容範囲
実⾏結果④ ( Llama-4 dolphin-8B ) • 全然ダメでした ( そもそも指⽰を聞いて おらず、おうむ返し
) ・トークン⻑も8000トー クンくらいが上限だった ので2000⽂字まで縮⼩し て実験
参考:各モデルの特徴⽐較
その他所感等 • Llama-4 mavericでようやく及第点。ただ、⼗分ではない ( ChatGPT-4と4oの中間くらいの感覚 ) • 個⼈情報マスクは⼗分だが、バイブコーディングで分析させる にはまだ弱い印象(
複雑な分析は失敗する ) • ⼀⽅で「どんなデータでもローカルで安全に扱える」という点 はやはりデカい • ローカルLLM活⽤も引き続き⾊々検証していきたいと思います
Enjoy..!!