20250614_LT_走れメロスの個人情報マスク処理をMacStudio 512GBメモリマシンで試してみた

https://agifukuoka.connpass.com/event/352826/

Transcript

1. LT : 「⾛れメロス」の 個⼈情報マスク処理を Mac Studio 512GBメモリ マシンで試してみた 2025/6/14 @doradora09
2. Mac Studio 512GBメモリマシン • メモリ512GBまでマ シましにできるポー タブルPC(4kg) • LLMの⼤きいモデル が動くので今回実験 利⽤
3. Mac Studio 512GBメモリマシン • ちなみにスペック増 し増しにすると200万 を超えます・・ • ( ３台買ったらカード を⽌められたのは良 い？思い出・・ )
4. 閑話休題：⾛れメロス • ⻘空⽂庫で全⽂公開されてます • https://www.aozora.gr.jp/cards/000035/files/1567_14913.html • ローカルLLMで「メロス」や「セリヌンティウス」などの名称をマス クしたい -> これができれば、社内でいろんなデータをLLMに⾷わせて処理できる -> また、マスク後データを外部のさらに性能の良いAPIに投げて分析させるとか もできて良さげ • 現時点での結論 • Mac Studio 512GBならいけそう • 128GBメモリのMac Boop Proだと厳しいかも？
5. 原⽂ • だいたい１万⽂ 字くらいの物語
6. LM StudioでLlama-4を動かす • Mavericのモデルは230GBくらい容量あるのでダウンロードの 帯域とか注意( スマホテザリングではやらない⽅が吉・・ ) • メモリ使⽤量はこんな感じ
7. 注意：トークン⻑は伸ばしておくこと • ML Studioでロード したモデルのデフォ ルトが4000トークン くらいなので、 input/outputの⽂字 数が全然⾜りない (2000⽂字くらい) • 設定で5-10万トーク ンにしておけばOK
8. 参考：Llama-4 Mavericのメモリ使⽤量 • 240GBくらい • 頑張れば２本くら い⾛らせられる？
9. 今回⽤いたプロンプト ・指⽰ 以下の原⽂に対して、個⼈が特定できないように⽒名のマスクを お願いします。また後で復元できるように対応表を作成し、最初と 最後に提⽰してください。【⼈物１】のようなイメージでお願いし ます。 ・原⽂ ⾛れメロス 太宰治 メロスは激怒した。必ず、かの邪智暴虐の王を除かなければなら ぬと決意した。メロスには政治がわからぬ。・・・(以下、最後ま で記載)
10. 実⾏結果① ( Llama-4 Maveric ) • とても良い感じです • 動作中のメモリ使⽤量は 266GBくらい • 15token/sec、くらいのス ピードは出てそうです
11. 実⾏結果② ( Llama-4 scout-17b-16e ) • やや、いい感じです ( アレキスが⾜りない ) • 動作中のメモリ使⽤量は 116GBくらい • 15token/sec、くらいのス ピードは出てそうです
12. 実⾏結果③ ( Llama-3.3-70b ) • 少し間違えているものの、概ねOK ( 太宰治を⼈物２、とかたまに間 違えている ) • 動作中のメモリ使⽤量は87GBくら い • 5token/sec、くらいのスピードな のでやや遅めですが許容範囲
13. 実⾏結果④ ( Llama-4 dolphin-8B ) • 全然ダメでした ( そもそも指⽰を聞いて おらず、おうむ返し ) ・トークン⻑も8000トー クンくらいが上限だった ので2000⽂字まで縮⼩し て実験
14. 参考：各モデルの特徴⽐較
15. その他所感等 • Llama-4 mavericでようやく及第点。ただ、⼗分ではない ( ChatGPT-4と4oの中間くらいの感覚 ) • 個⼈情報マスクは⼗分だが、バイブコーディングで分析させる にはまだ弱い印象( 複雑な分析は失敗する ) • ⼀⽅で「どんなデータでもローカルで安全に扱える」という点 はやはりデカい • ローカルLLM活⽤も引き続き⾊々検証していきたいと思います
16. Enjoy..!!