ログ分析基盤構築事例
KDDI株式会社様
Hadoopのデータ分散処理技術を用いた大規模ログ分析基盤の構築により、スピーディーで、より深い分析を実現
移動通信と固定通信を併せ持つKDDI株式会社では、通信サービスのさらなる品質向上に向け、複数の通信系システムから出力される大量のログを分析しています。こうしたデータ分析をより手軽に行うために、同社は三菱電機インフォメーションシステムズ株式会社(MDIS)の支援を受けて、新しいログ分析基盤を構築しました。
オープンソースベースの分散処理ミドルウエアである「Hadoop」の「MapR」ディストリビューションを用いた新しいログ分析基盤は、数十台のサーバーで構成されており、ペタバイト級の大規模データを高速に入出力可能としています。併せて、サービス設備のリソースの可視化や従来システム単位で行っていた分析環境を集約し、共通基盤化することで、コストメリットと分析提供スピードの向上を実現。サービス改善に役立つことができたことから、利用部門とユーザー数が大幅に増加しています。
通信サービスの品質向上のためログ分析基盤を活用
通信の力でお客様の生活を豊かにする「生活革命」を目指し、「マルチユース」「マルチネットワーク」「マルチデバイス」の3つの頭文字からなる「3M戦略」を推進するKDDI。この3M戦略に基づき、モバイルと固定の通信サービスや、モバイルと固定を組み合わせた「auスマートバリュー」、アプリが定額で利用できる「auスマートパス」、金融と物販を結ぶ「au WALLET」「au WALLET Market」などの各種サービスを提供しています。
こうしたサービスを安定して提供し続けるためには、システムやネットワークから出力される各種のログを分析しながら、改善を重ねていくことが欠かせません。従来は、通信サービスのシステムごとに分析ツールを導入し、担当者が個々にログを集約し、機器の補修のタイミングなどの予兆を検出するために使用していました。しかし、このような方法では、コストがかさむだけでなく、ユーザーの分析スキルに依存してしまいます。そこで、分析に関するトータルコスト圧縮とノウハウの蓄積、情報の連携に向けて、各システムのログを集約して一元的に分析するログ分析基盤を、KDDIのマルチテナント型共通基盤として構築しました。
マルチテナント環境では、複数の利用者がひとつの基盤上に同居するため、セキュリティーやリソース配分にきめ細かな制御が必要になります。構築と運用の両面から、独自ノウハウを加味してマルチテナント環境を実現しました。
ログ分析基盤には、ログの増加に合わせてスケールアウトで対応できる拡張性や、KDDIの自社開発によるコスト効率、短サイクルのバージョンアップで常に最新機能が提供される先進性などを重視してオープンソースの分散処理ミドルウエアApache Hadoopを採用しました。
従来のログ分析基盤に関して、プラットフォーム開発本部 プラットフォーム技術部 インフラ基盤2グループ グループリーダーの杉田徹哉氏は次のように語ります。
「Hadoopのファイルシステムを理解したうえで分析を行う必要があったため、少々敷居の高いものでした。そこで、新しいログ分析基盤では、もっと手軽に分析ができる仕組みを考えました」
サイジングやライセンスの最適化の面でバランスに優れた提案を評価
新しいログ分析基盤の構築にあたり、KDDIは、分析にHadoopの知識を必要とせず、マルチテナントでリソースの最適化が可能なHadoopのミドルウエアとしてMapR社の「MapR」ディストリビューションの採用を決定。複数社の提案の中からMDISを構築パートナーに選定しました。
杉田氏は「MDISは、当社のインフラに欠かせないドメイン管理(DNS)や認証管理(RADIUS)の基盤などを構築してきた実績があり、当社の共通プラットフォームについても深く理解しています。さらに今回、HadoopやMapRに精通したメンバーがプロジェクトに参画するという提案を踏まえて採用を決めました」と話します。
プラットフォーム開発本部 プラットフォーム技術部 インフラ基盤2グループ 課長補佐の亀澤知博氏は「各社の提案は、サーバー機器の構成やサイジング、さらにMapRのライセンスの組み合わせなどが様々でした。その中でMDISの提案はこれらを的確に捉えており、コストを抑えたバランスに優れたものでした」と語ります。
システムの構築は、2014年8月からスタートし、2014年12月にファーストユーザーによる段階的稼働を開始。
また、スピード・コスト・ノウハウ蓄積の面からログ分析・可視化はKDDIが自社開発を行う方針とし、システム構築と並行して、分析ツール(Hunk)をアジア・パシフィックで最初に導入し、3ヵ月の開発期間を経て、システムログの分析/可視化に備えました。
「MDISはインフラ構築だけでなく、データサイエンティストによるHunkでのシステム開発など、トータルで現在もサポートしてくれています。またログ分析基盤をどのようにチューニングすればもっとうまく活用できるかなどを検証する取り組みにおいても、MDISが分析ツールのベンダーとともに知恵を絞ってくれたことで、高速で利用しやすい仕組みが構築できました」(杉田氏)
分析スピードの向上とともにより深いレベルでの分析を実現
KDDIで本格運用が始まった新しいログ分析基盤は、現在、通信系サービスや法人系サービスの開発・運用部門が、各種サーバーや個別サービスなどのログデータの分析に利用しています。また、その他の部署にも、新しいログ分析基盤の完成をアナウンスし、関心を寄せるユーザーに利活用の勉強会やデモンストレーションを実施しました。
「想定以上の反響があり、嬉しい悲鳴でした。当初は従来のログ分析基盤と同容量を確保していたものの、勉強会などで分析実績を紹介したことから利用を希望する部署が約3倍に増えました。そこで、すぐにスケールアウトを実施しました。このように容易に容量を追加できるのがこの仕組みの特長です」(杉田氏)
最新の共通ログ分析基盤に切り替えたことで、従来の個別に分析システムを開発していた時と比較すると分析にかかる時間を大幅に短縮できました。プラットフォーム開発本部 プラットフォーム技術部 インフラ基盤2グループ 課長補佐の水谷聡氏は次のように語ります。
「個別の分析システムで半日から1日かかっていたものが、新しいログ分析基盤では2、3時間ほどで完了するようになりました。また、一部のデータを用いた要素分析が限界だったものが、各種の相関分析も可能となり、今までは見えなかった深いレベルでの関係性が把握できます。ログ分析基盤を導入するまでは、ユーザーが分析要件ごとにRFPを書いてベンダーに発注して分析シナリオを作ることが一般的でしたが、今では、自社内でユーザーがタイムリーに高度な分析を行えます」
簡単にログを可視化して自由に分析ができる環境が整備されたため、ユーザー自身による利用が多くなりました。その結果、特定の分析担当者に集中していた業務負荷も軽減されました。
「プラットフォーム技術部は通信系システムの品質を向上させ、KDDIの各種サービスを利用するお客様に満足いただくことがミッションです。ログ分析基盤によってサービスの改善に役立てたことをうれしく思います」(水谷氏)
ユーザーのさらなる利用拡大に向けて分析機能を強化
プラットフォーム技術部では、ユーザーの要望に応じて分析範囲を拡大しながら、IoT関連のビッグデータ分析なども広く手がけていく予定です。杉田氏は「より高速に分析したい、複数の部門の結果を組み合わせたクロス分析を実現したいといった、より広範な分析ニーズに応えるために、Hadoop周辺のエコシステムを取り込みながら、継続的に機能強化を図っていきます」と語ります。
ビッグデータ活用を進めるKDDIは、ログ分析基盤を駆使しながら、よりよい通信サービスを提供していきます。
KDDI株式会社:
http://www.kddi.com/
マップアール・テクノロジーズ株式会社:
http://www.mapr.com/jp/
この記事について:
この記事は、情報誌「MELTOPIA」2016年3月号(No.214)に掲載されたものを転載しました。