Downloaded 20 times
Uploaded byDataWorks Summit/Hadoop Summit
Use case and Live demo : Agile data integration from Legacy system to Hadoop and IoT.
Use case and Live demo : Agile data integration from Legacy system to Hadoop and IoT.
Use case and Live demo : Agile data integration from Legacy system to Hadoop and IoT.
- 1. Agile data integrationfrom Legacy system to Hadoop and IoT. 株式会社セゾン情報システムズ 友松 哲也 Copyright© APPRESSO K.K. All rights reserved. 1
- 2. 会社紹介 社名：株式会社セゾン情報システムズ 設立年月日：1970年9月1日■代表者：代表取締役社長 内田 和弘 資本金：13億6768万7500円 ■上場市場：東京証券取引所JASDAQスタンダード市場 事業内容：HULFTシリーズ製品事業、カードシステム事業、流通・ITソリューション事業 The top share of Managed File Transfer Tool No.1 customer satisfication Data Integration Tool fil e fil e fil e fil e fil e fil e fil e All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 2
- 3.
- 4. あらゆるシステム・サービスをつなぐミドルウェアを提供 10年連続日本シェア 第１位 世界シェア第４位 HULFTシリーズ は日本シェア77％ 8400社のお客様に選ばれ、世界42か国でご利用いただいています 顧客満足度第1位 All RightsReserved SAISON INFORMATION SYSTEMS CO.,LTD. 4
- 5. 5 HULFTシリーズ All Rights ReservedSAISON INFORMATION SYSTEMS CO.,LTD.
- 6.
- 7.
- 8. データとは 「特定の何かの状態を表現したもの」 である 8 データとは何か All Rights ReservedSAISON INFORMATION SYSTEMS CO.,LTD.
- 9. データ活用は状態よりつながりを重視 9 SoR システム・オブ・レコード SoE システム・オブ・エンゲージメント 従来型の企業管理システム 人と人との関係性を 強化するためのシステム データ活用の変遷 All RightsReserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 10. SoRとSoEを融合して新たな知見から洞察を得るシステム。 業務システムに蓄積された構造化データと、SNSなどの普 及で爆発的に増加した非構造化データをあわせて分析。 10 データ活用は次にステップへ System of Insight AllRights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 11. 11 AIに代替されてなくなると考えられる職種 【図1】10～20年以内にAIに代替されてなくなってしまう業務はあると思いますか。 【図2】AIに代替されなくなると考えられる職種を教えてください。 2016/05/09 enjapan ―『ミドルの転職』コンサルタントアンケート集計結果― All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 12. 12 AI時代にデータアーキテクチャはどうあるべきか • 大規模でも柔軟性の高いシステムアーキテクチャ • 難しいことが簡単にできる •様々なシーン/分野で利用できる多様性 スケーラビリティ メンテナビリティ フレキシビリティ All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 13. データインテグレーションプラットホーム •Visualization •Diagnosis •Predictive maintenance •Data governance SensorIoT Factory Mobile FA ERPHR DWH EDI MachineLearning DataIntegration Platform ・Data Flow Control ・Dynamic Routing ・Data Management 13 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 14.
- 15. 15 データ活用のプロセス あつめる ためる つかう •データの全貌を把握する • 必要データを決める • 必要データを集める • データを蓄積する • 処理可能な状態にする • データを処理する • データを分析する 実現方法 データウェアハウス BI/分析ツール 実現方法実現方法 ETL/EAI All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 16. たまったデータをきれいにする 16 処理可能な状態にする ためながらデータをきれいにする ETL/EAI 分散処理FW 疑似リアルタイム/頻度の高いバッチ 超大容量データ/頻度の低いバッチ AllRights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 17. データインテグレーションプラットホーム •Visualization •Diagnosis •Predictive maintenance •Data governance SensorIoT Factory Mobile FA ERPHR DWH EDI MachineLearning DataIntegration Platform ・Data Flow Control ・Dynamic Routing ・Data Management 17 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 18. 18 データインテグレーションプラットフォーム Sensor Mobile ERP HR MachineLearning Log DWH/DataLake Streaming All Rights ReservedSAISON INFORMATION SYSTEMS CO.,LTD.
- 19.
- 20. 20All Rights ReservedSAISON INFORMATION SYSTEMS CO.,LTD. 導入事例 某大手スーパーマーケット様 基幹システム 在庫更新バッチ 新発注システム データ収集/変換/クレンジング 店舗別売上 仕入れ情報 HDFS HDFS データ変換/クレンジング • バッチ処理に時間がかかる • 基幹からのデータ収集が手間 • 毎回コストの稟議に時間がかかる 課題 最新在庫 データ バッチ処理高速化（1/20の削減） GUIによる開発で15～20%の工数削減 連携処理の内製化で開発スピードUP
- 21. 導入事例 21 豊田ハイシステム株式会社様 リアルタイムに情報収集/見える化 情報の登録方法を整理、統一 データ一元化による瞬時に検索が可能 • ライン異常を共有できない • 生産記録が集約できない •情報収集に時間がかかる 課題 データ連携HUB All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 22. 22 Amazon Web Servicesで センサーデータリミックスハッカソン 1.オトナの体力測定/センサーで運動量を検知してグラフにして表示 2. お部屋Watch α/部屋に誰もいないのに電気がついていることがないか確認できる仕組み 3. Hotspot Finder/センサーを使って、人がたくさんいる場所を地図上に可視化 4. GuzzREACH/赤ちゃんのぐずりをセンサーを使って検知。メールで通知してくれるサービス 5. IoN/コンサートやライブの観客のノリ(グルーブ感)を可視化 2015年1月17日（土）開催 東京都目黒区 イベントの開催報告が掲載されています http://dstn.appresso.com/blogdetail?id=4971 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 23. 赤ちゃんのグズリ検知 機械学習 赤ちゃんのグズリを検知して通知 グズリかどうかを 随時判定する 学習データ登録 赤ちゃんの動き を取得する ぐずっている 場合は通知 （プリファードインフラストラクチャー社提供） 23 All Rights ReservedSAISON INFORMATION SYSTEMS CO.,LTD.
- 24. 某大手電力会社 導入事例 24 使用量 管理 契約者 情報 スケーラビリティしやすいアーキテクチャ 汎用的でメンテナンス性に優れたAPI 柔軟で変更に強いインフラ • 需要予測ができない • システム利用者が多様 •ニーズが変動 契約者 小売 電気事業者 電力提供 スイッチング 申し込み 情報提供 依頼 情報提供 供給開始• REST • ファイル 課題 データ連携HUB All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 25. Microsoft Azureアダプタ 対応サービス HDInsight MachineLearning Azure SQL Blob Storage DocumentDB Queue Storage Service Bus 共同開発： 25 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 26. マルチクラウド連携 HDInsight MachineLearning Blob Microsoft AzureAWS S3 log loglog Webサイト 他クラウドから のデータ取得 ジョブ実行 解析実行 一連の分析プロセスを完全自動化！ 26 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 27. Microsoft Azure Microsoft Azure デモイメージ MicrosoftAzure ユーザデータを BLOBへ格納 Microsoft Azure 結果を出力 Log BLOBに格納された データを使用し、 MachineLearning で機械学習を実行 結果を取り込む 複数のレストランを経営。ユーザの会員情報をもとにレストランをレコメンドする。 取り込んだユーザ会員情報をHD Insightで解析。MachineLearningでデータ解析を行い レコメンド情報を出力、表示。 Hiveジョブを実行し、 取り込んだデータの成 形を行う Microsoft Azure データ 27 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
- 28. 電話 0120-80-8620 E-mail hulft@saison.co.jp WebHULFT IoT 株式会社セゾン情報システムズ HULFT事業部 お問合せ先 検 索
Editor's Notes
- #3 こちらのスライドをご覧ください。 「データを活用するためのプロセス」を整理した図になります。 まず初めに必要となるプロセスが「データを集める」ところです。 会社にとって有用な情報がせっかく社内にあるのに、事業に生かせていないというお客様は、この「集める」というプロセスでつまづいているケースが多いようです。 これからご紹介するDataSpiderは、 この「データをあつめる」プロセスを支援するためのツールとなります。 その後のプロセス「ためる」「つかう」に繋げるための“データ連携基盤”として多くのお客様に活用していただいております。
- #5 こちらのスライドをご覧ください。 「データを活用するためのプロセス」を整理した図になります。 まず初めに必要となるプロセスが「データを集める」ところです。 会社にとって有用な情報がせっかく社内にあるのに、事業に生かせていないというお客様は、この「集める」というプロセスでつまづいているケースが多いようです。 これからご紹介するDataSpiderは、 この「データをあつめる」プロセスを支援するためのツールとなります。 その後のプロセス「ためる」「つかう」に繋げるための“データ連携基盤”として多くのお客様に活用していただいております。
- #14 また、データインテグレーションプラットホームと書いていますが、 今までよりもDataSpiderが使われる範囲、適用範囲が広がっていると認識しておりますので、 それに伴って機能をDataSpiderも成長、拡張していかなければならないと考えております。 ですので例えばSNSオープンデータと連携できるように。 マシンラーニングのようなAIとか、Hadoopなどのビッグデータ、それから 今回テーマとして挙げているIoT、 こういったものと連携できるようになっていかなければならないと我々は考えております。
- #18 また、データインテグレーションプラットホームと書いていますが、 今までよりもDataSpiderが使われる範囲、適用範囲が広がっていると認識しておりますので、 それに伴って機能をDataSpiderも成長、拡張していかなければならないと考えております。 ですので例えばSNSオープンデータと連携できるように。 マシンラーニングのようなAIとか、Hadoopなどのビッグデータ、それから 今回テーマとして挙げているIoT、 こういったものと連携できるようになっていかなければならないと我々は考えております。
- #26 では、再度スライドの方に戻りまして新機能のご紹介をさせていただきます。 Microsoft Azureのアダプタについてです。 6月リリース予定のSP1では、AmazonWebServicesのアダプタ同様 Azure IoTとの連携が実現できるMicrosoft Azureアダプタ機能も提供していきます。 先行でV3.2でもいくつかアダプタをリリースさせていただいていますが、 4.0SP1でこちらに記載のアダプタがすべて揃ってくるイメージになります。 HadoopサービスのHDInsight IoTでの利用の多いDocumentDB MachineLearning StrageQueue のアダプタをリリースさせていただく予定です。
- #27 ということで、DataSpiderは、AmazonWebサービスとMicrosoftAzure 両方の様々なサービスに対応したアダプタを提供していますので AWSのサービスとAzureのサービス間の連携にも使用いただくことが可能です。 例えば、こちらの図は、実際のお客様がやりたいことを纏めた図となります。 AWS上にWebサーバを立ててWebのログがS3に溜まっているんですが、 それをAzureのHadoopサービスのHDInsightとMachineLearning を使って解析をしたい場合のイメージ図になります。 このようにクラウドをまたいだデータの連携もDataSpiderServistaを ご使用いただくと、S3からデータを取ってきて、Azureにデータを渡して解析結果を受け取る といいった一連のプロセスを各サービスと接続するためのアダプタを使用して 非常に簡単に実現できるようになります。