Upgrade to Pro — share decks privately, control downloads, hide ads and more …

KDDI共同講演:@niftyメール基盤移行プロジェクト - NIFTY Tech Day 2023

KDDI共同講演:@niftyメール基盤移行プロジェクト - NIFTY Tech Day 2023

ニフティ株式会社

November 27, 2023
Tweet

More Decks by ニフティ株式会社

Other Decks in Programming

Transcript

  1. Copyright ©NIFTY Corporation All Rights Reserved.
    <KDDI共同講演>
    @niftyメール基盤移行プロジェクト
    KDDI株式会社 プラットフォームエンジニアリング部
    足立 貴昭
    ニフティ株式会社 会員システムグループ
    三国 彰

    View full-size slide

  2. 2
    Copyright 2023 KDDI
    © 2023 KDDI
     足立 貴昭(アダチ タカアキ)
     KDDI株式会社
     技術統括本部 エンジニアリング推進本部
     プラットフォームエンジニアリング部
     ビジネスソリューショングループ
     経歴
     2013年 KDDI入社
     ~2016年 EPCコア設備の開発/検証
     2017年~ メール設備の保守/運用
     2020年~ メール設備の開発/運用(DevOps)
     2021年10月~ @niftyメール基盤移行プロジェクト担当
     その他
     週末は草野球に興じている
    自己紹介

    View full-size slide

  3. 自己紹介
    Copyright © NIFTY Corporation All Rights Reserved. 3
    ■氏名
    三国 彰(ミクニ アキラ)
    ■所属
    ニフティ株式会社
    システム統括部 会員システムグループ
    ■経歴
    1996年4月 ニフティ入社
    ニフティマネジャー部配属
    (途中省略)
    2021年3月~ メールシステム担当

    View full-size slide

  4. 目次
    Copyright © NIFTY Corporation All Rights Reserved. 4
    背景
    KDDIメールシステムについて
    基盤移行について
    ディスカッション
    メールシステムの移行方法
    システム構成 ビフォーアフター

    View full-size slide

  5. Copyright ©NIFTY Corporation All Rights Reserved.
    背景

    View full-size slide

  6. ニフティ社メールサービスの現状と歴史
    Copyright © NIFTY Corporation All Rights Reserved. 6
    メールアカウント数:約250万アカウント
    1日あたりの流量:着信 約2,000万通、送信 約40万通
    SNSが普及した現在でも、多くのお客様に利用されています。
    インターネットに初めてメールを送ってから、今年で31年です。
    1987年 パソコン通信「NIFTY-Serve」開始
    1994年 インターネット接続サービス開始
    1992年 インターネット実験開始
    1999年 Infowebと統合し「@nifty」へ

    View full-size slide

  7. 課題
    Copyright © NIFTY Corporation All Rights Reserved. 7
    長年の積み重ねで構築された独自ソフトウェア
    老朽化したハードウェアのリプレース
    長年サービス提供している過程でシステムもつぎはぎとなっており、
    様々な課題を抱えていました。
    大規模災害への備え

    View full-size slide

  8. 課題① 長年の積み重ねで構築された独自ソフトウェア
    Copyright © NIFTY Corporation All Rights Reserved. 8
    システム全体の把握が困難
    ・長年改修されていないモジュールの中身を理解している担当者はごく一部
    ・理解者を増やして改修しようと思ってもC言語の壁がある
    ・改造されたsendmailなんかもある
    ・実行モジュールやライブラリはあるが、ソースが見つからないケースも…
    一般的な仕様とのギャップ
    ・例えば空白の入ったフォルダを作成できないなどの独自仕様がある
    ・改善したくても影響範囲の調査が困難
    @niftyメールシステムは規模が大きく、また年代も大きさもさまざまな
    機能で構成されています。
    システムの改善や最適化が高コストとなってしまうため、
    最低限の改修とシステム運用保守に終始

    View full-size slide

  9. 課題② 老朽化したハードウェアのリプレース
    Copyright © NIFTY Corporation All Rights Reserved. 9
    多くのメールサーバーは仮想マシンですが、ストレージやネットワー
    クは物理機器で構成されています。
    ストレージ
    Scality Inc. が開発したSDS(Software Defined Storage)にて、
    大規模ストレージを構築
    ネットワーク
    ストレージ容量:約3PB、サーバー台数:約70台
    HDD本数:約800本、コピー数:3冗長
    数十台のネットワーク機器(ルーター、スイッチ等)

    View full-size slide

  10. 課題② 老朽化したハードウェアのリプレース
    Copyright © NIFTY Corporation All Rights Reserved. 10
    ライフサイクルの異なるHWが同一システム上に共存
    HWのリプレースは、調達のリードタイムを含めて1年近くの期間
    を要する
    リプレースが終わったら、
    また次のリプレースが始まる無限ループ
    2012-2015年頃に導入した機器が老朽化しており、全般的なリプ
    レースが必要な状況
    ストレージ
    ネットワーク

    View full-size slide

  11. 課題解決に向けて
    Copyright © NIFTY Corporation All Rights Reserved. 11
    HWのみリプレースして継続する(延命策)
    自社内で大幅なシステム刷新を行う
    他社に委託する(他社メール基盤への移行)
    どのような手段で課題を解決すべきか、社内で検討を重ねました。

    View full-size slide

  12. 課題解決に向けて
    Copyright © NIFTY Corporation All Rights Reserved. 12
    どのような手段で課題を解決すべきか、社内で検討を重ねました。
    HWのみリプレースして継続する(延命策)
    自社内で大幅なシステム刷新を行う
    KDDIに委託する(KDDIメール基盤への移行)

    View full-size slide

  13. 選定理由
    Copyright © NIFTY Corporation All Rights Reserved. 13
    携帯キャリアとして膨大なアカウントを抱えたメールシステムを運用
    している実績(信頼性)
    大規模災害に備えたエリア冗長
    大規模システムの移行実績(実現性)
    下記のような理由でKDDIメール基盤への移行を選定しました。
    KDDIメール基盤について、次のパートで詳しくご説明頂きます。
    ニフティ社員は付加価値向上に専念

    View full-size slide

  14. Copyright ©NIFTY Corporation All Rights Reserved.
    KDDIメールシステムについて

    View full-size slide

  15. 15
    Copyright 2023 KDDI
    © 2023 KDDI
    障害に備えた設備構成を実現するための重い設備投資
    日々進化するウィルス、迷惑メールなど脅威への対策
    開発・運用要員の確保
    サービス運用や障害対応などに対するノウハウの蓄積
    様々な課題に対して、KDDIが持つ豊富な知見や実績から
    最適なソリューションをご提案
    メールシステムが抱える課題

    View full-size slide

  16. 16
    Copyright 2023 KDDI
    © 2023 KDDI
    障害に備えた設備構成を実現するための重い設備投資
    日々進化するウィルス、迷惑メールなど脅威への対策
    開発・運用要員の確保
    サービス運用や障害対応などに対するノウハウの蓄積
    様々な課題に対して、KDDIが持つ豊富な知見や実績から
    最適なソリューションをご提案
    KDDIが考えるご提案
    1.品質:キャリア品質のシステム設計・サポート
    2.構築コスト:システム基盤統一によるコスト最適化
    3.運用面:保守運用要員の見直し・再配置
    4.ノウハウ:豊富なユーザ基盤に基づく知見

    View full-size slide

  17. 17
    Copyright 2023 KDDI
    © 2023 KDDI
    1.キャリア品質のシステム設計・サポート
    東西2拠点で冗長化した高可用性を持つシステム設計
    KDDI
    メールシステム基盤
    メールシステム
    (西日本サイト)
    メールシステム
    (東日本サイト)
    KDDI サーバNW
    東西冗長構成
    スマートフォン タブレット
    PC ニフティ社
    SOシステム
    サイト内サーバ
    2重化以上
    サイト内サーバ
    2重化以上
    ■メールシステム
    ネットワークは2冗長以上。
    メール本体のストレージは4冗長。
    ニフティ関連サーバは計300台以上。

    View full-size slide

  18. 18
    Copyright 2023 KDDI
    © 2023 KDDI
    1.キャリア品質のシステム設計・サポート
    ストレージ4冗長
    KDDIにおいても Scality RING を採用
    ■ストレージ規模
    Before
    容量:約3PB
    サーバ台数:約70台
    HDD:約800本
    コピー数:3冗長
    After
    容量:約4PB
    サーバ台数:約44台
    HDD:約1,250本
    コピー数:4冗長
    ※東西それぞれ2コピーずつ

    View full-size slide

  19. 19
    Copyright 2023 KDDI
    © 2023 KDDI
    1.キャリア品質のシステム設計・サポート
    東西2拠点で冗長化した高可用性を持つシステム設計
    ■高可用性
    単一障害はサービス影響なし。
    大規模障害時は、
    片方のサイトへ切替え事業継続。
    自動化による早期復旧を具備。
    KDDI
    メールシステム基盤
    メールシステム
    (西日本サイト)
    メールシステム
    (東日本サイト)
    KDDI サーバNW
    東西冗長構成
    スマートフォン タブレット
    PC ニフティ社
    SOシステム
    サイト内サーバ
    2重化以上
    サイト内サーバ
    2重化以上

    View full-size slide

  20. 20
    Copyright 2023 KDDI
    © 2023 KDDI
    1.キャリア品質のシステム設計・サポート
    十分な実績を持つ監視部門による、高品質なサポート
    万全の監視体制
    ■監視体制
    キャリアメール(au)なども
    担う熟練者が
    24H/365日体制で監視。
    ■大規模障害への備え
    監視拠点も東西に分散。
    片側が機能不全に陥っても
    他方サイトに機能を切替え
    サービス・監視継続。

    View full-size slide

  21. 21
    Copyright 2023 KDDI
    © 2023 KDDI
    2.システム基盤統一によるコスト最適化
    共通システム基盤
    A社 B社
    関連会社を含めた大規模なシステム基盤
    KDDIサービス仕様に合わせることでコスト低減
    自社(au)、関連会社を含む
    約5,000万のユーザを担う
    大規模なシステム基盤
    ・・

    ニフティ社 システム
    システム基盤統一により
    新規構築よりも開発に係る
    コストを低減
    豊富な構築実績
    最適コストでデリバリ
    他社 システム

    View full-size slide

  22. 22
    Copyright 2023 KDDI
    © 2023 KDDI
    3.保守運用要員の見直し・再配置
    運用体制を弊社へアウトソースいただくことにより、
    新規事業へリソースを最適配置可能
    ベンダー
    保守
    運用
    監視
    開発
    ベンダー
    効率化
    保守
    運用
    監視
    開発
    ベンダー
    ニフティ社 保守体制
    KDDI 保守体制
    弊社にて請負
    他の事業へ
    要員を再配置

    新規売上創出
    × ●名
    × ▲名
    × ■名
    請負件数の増加により、弊社保守部隊の
    効率化を実現し、更なるコスト削減を実施

    View full-size slide

  23. 23
    Copyright 2023 KDDI
    © 2023 KDDI
    4.豊富なユーザ基盤に基づく知見
    KDDIの実績や知見を活かしたサポート
    各種ノウハウのご提供
    フィルタ機能
    ホワイトリスト
    ブラックリスト
    スパムチェック
    ウィルスチェック
    メール振り分け
    (WebMail利用時)
    メール転送
    メールBOX
    ■フィルタ情報の移行
    従来ニフティの
    フィルタ優先度に合わせ
    柔軟に設計カスタマイズ。
    ■機械学習
    アンチスパムソフトに加え
    KDDI独自分析のフィルタ機能

    View full-size slide

  24. 24
    Copyright 2023 KDDI
    © 2023 KDDI
    余談)迷惑メールフィルタの実績
    百万通/日 検知率(%)
    9月下旬から10月初頭、
    迷惑メールが増加傾向。
    いずれも 拒否 判定。
    通過数(=迷惑メールでは
    ない件数)は横ばい。
    40%
    0%
    20%
    10%
    30%
    12
    0
    16
    8
    4

    View full-size slide

  25. 25
    Copyright 2023 KDDI
    © 2023 KDDI
    4.豊富なユーザ基盤に基づく知見
    KDDIの実績や知見を活かしたサポート
    各種ノウハウのご提供
    システム移行
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    メールデータコピー
    Step1 アカウント情報コピー
    Step2-a. 取得ルート切り替え
    Step2-b. 送信ルート切り替え
    Step2-c. 受信ルート切り替え
    Step3 メールを新システムへコピー
    メール取得ルート
    メール送信ルート
    メール受信ルート
    アカウントコピー
    システム移行詳細は
    次章で説明します
    ■メールデータ移行
    標準IMAPコマンド。
    オプションでPOPUID引継ぎ。
    自社キャリアメール(au)含め、
    5,000万アカウント以上の実績

    View full-size slide

  26. Copyright ©NIFTY Corporation All Rights Reserved.
    基盤移行について
    ・システム構成 ビフォーアフター
    ・メールシステムの移行方法

    View full-size slide

  27. Copyright ©NIFTY Corporation All Rights Reserved.
    システム構成 ビフォーアフター

    View full-size slide

  28. 移行前の構成
    Copyright © NIFTY Corporation All Rights Reserved. 28
    お客様
    送信[SMTP] 受信[SMTP]
    メールボックス ストレージ
    メール
    情報
    メタ情報
    インターネット
    取得[POP/IMAP]
    Webメール
    顧客管理

    View full-size slide

  29. 移行後の構成
    Copyright © NIFTY Corporation All Rights Reserved. 29
    お客様
    送信[SMTP] 受信[SMTP]
    メールボックス ストレージ
    メール
    情報
    メタ情報
    取得[POP/IMAP]
    Webメール
    顧客管理 顧客管理
    顧客情報同期
    インターネット

    View full-size slide

  30. 移行後の構成
    Copyright © NIFTY Corporation All Rights Reserved. 30
    お客様
    送信[SMTP] 受信[SMTP]
    メールボックス ストレージ
    メール
    情報
    メタ情報
    取得[POP/IMAP]
    Webメール
    顧客管理 顧客管理
    顧客情報同期
    インターネット
    メール配送に関わる機能は、ほぼ全てKDDI基盤に移行

    View full-size slide

  31. 移行後の構成
    Copyright © NIFTY Corporation All Rights Reserved. 31
    お客様
    送信[SMTP] 受信[SMTP]
    メールボックス ストレージ
    メール
    情報
    メタ情報
    取得[POP/IMAP]
    Webメール
    顧客管理 顧客管理
    顧客情報同期
    インターネット
    顧客管理のマスタはニフティ
    旧来の顧客管理の仕組みを維持しながら、
    キューイングを介した連携システムを新たに構築

    View full-size slide

  32. Copyright ©NIFTY Corporation All Rights Reserved.
    メールシステムの移行方法

    View full-size slide

  33. 33
    Copyright 2023 KDDI
    © 2023 KDDI
    メール基盤移行の流れ
     STEP1. アカウント情報コピー
     STEP2-a. 取得ルート切替
     STEP2-b. 送信ルート切替
     STEP2-c. 受信ルート切替
     STEP3. メールデータコピー
    取得
    送信
    受信
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    メールデータコピー
    アカウントコピー
    1
    2
    3
    外部MTA 利用者

    View full-size slide

  34. 34
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP1. アカウント情報コピー
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    アカウントコピー
    1
    メール基盤移行
     アカウント情報を
    引継ぐには
    A. ファイルでのコピー
    コピー中に差分が出るため
    システム停止が必要。
    t
    t’
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  35. 35
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP1. アカウント情報コピー
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    アカウントコピー
    1
    メール基盤移行
     アカウント情報を
    引継ぐには
    B. SO同期連携 ★ニフティ
    管理システムから
    双方に同じ情報を連携。
    システム停止不要。
    SO : サービスオーダー
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  36. 36
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP2-a. 取得ルート切替
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    2
    メール基盤移行
     DNSレコード変更
    KDDI設備を経由し
    ニフティ設備へコマンドを
    プロキシーし、
    クライアントへ応答。
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  37. 37
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP2-b. 送信ルート切替
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    2
    メール基盤移行
     DNSレコード変更
    KDDI設備から送信開始。
    システム間を経由して
    送信済みメールを保存。
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  38. 38
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP2-c. 受信ルート切替
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    2
    メール基盤移行
     DNSレコード変更
    KDDI設備で外部受信し
    迷惑メール判定した結果を
    フラグ付けしてからリレー。
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  39. 39
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP3. メールデータコピー
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    メールデータコピー
    3
    メール基盤移行
     アカウント単位で移行
    オンラインでデータコピー。
    IMAP FETCHで得た情報を
    新BOXに格納。
    全メールコピー後、
    取得/送信/受信ルートを
    一括切替。
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  40. 40
    Copyright 2023 KDDI
    © 2023 KDDI
    STEP3. メールデータコピー
    既存
    BOX
    KDDI
    ニフティ
    フロント
    設備
    新BOX
    フロント設備
    ユーザ
    情報
    ユーザ
    情報
    顧客管理
    システム
    メール基盤移行
    約250万アカウント、
    計105億通のメールを
    約3か月半で移行
    移行完了!
    取得
    送信
    受信
    外部MTA 利用者

    View full-size slide

  41. Copyright ©NIFTY Corporation All Rights Reserved.
    ディスカッション

    View full-size slide

  42. Copyright ©NIFTY Corporation All Rights Reserved.
    移行で苦労したこと

    View full-size slide

  43. ご清聴ありがとうございました
    Copyright © NIFTY Corporation All Rights Reserved. 43

    View full-size slide