テクノロジーがわかるとクルマはもっと面白い。未来を予見する自動車技術情報サイト

  • 2018/10/20
  • Motor Fan illustrated編集部

NECとHortonworks:SX-Aurora TSUBASAを活用したビッグデータ向け高速分析プラットフォームを共同開発

Apache Hadoop/Sparkによる高速なAI処理に対応

このエントリーをはてなブックマークに追加
日本電気(NEC)とHortonworksは、NECの次世代イノベーションプラットフォーム「SX-Aurora TSUBASA」上で、AIにも利用可能なビッグデータ向け高速分析プラットフォームを共同開発する。

 2017年9月にビッグデータ活用における大規模分散処理プラットフォーム分野での戦略的協業の強化を発表(注1)した両社は、より幅広い業種や分野でビックデータの高速かつ高度な分析を可能にするため、両社の強みを活かしたソリューション基盤を、2018年度中に提供予定。また、今回の共同開発の成果はオープンソース(OSS)として公開を予定しており、多様な環境や様々な業種ごとのユースケースで利用できるようにする。

■ 共同開発の内容
・「SX-Aurora TSUBASA」が、Hadoop/Spark領域での代表的なリソース管理/分散アプリケーション管理基盤である「YARN(ヤーン、注2)」に対応することで、従来のHadoop/Sparkによるビッグデータ解析プログラムが「SX-Aurora TSUBASA」上で管理可能となるため、容易なアプリケーション連携とシステム管理者の負荷軽減を実現する。「YARN」を利用している一般的なシステム構成では、従来(注3)同等の解析を、最大99%少ないサーバリソースで実行できる。
・NECのミドルウエア「Frovedis(フロベディス、注4)」をSparkに組み込むことにより、「SX-Aurora TSUBASA」上でのSparkを使用したAI(機械学習)アプリケーションが、従来(注3)のサーバ比で最大100倍高速に動作。Spark上で、機械学習用のライブラリ「MLlib(エムエルリブ、注5)」などを活用したAI・ビッグデータ処理を高速に実行したい利用者へ、通常のHadoop/Sparkと同様な管理環境で利用可能な使いやすいプラットフォームとして提供していく。

 またNECは、「SX-Aurora TSUBASA」をHadoopアプライアンス製品「Data Platform for Hadoop」に適用し、AI・ビッグデータ分析をより高速かつ正確に実行できる環境を提供することで、顧客のビジネス成果向上に貢献する。

NEC執行役員・西村知泰氏のコメント
「HortonworksとNECが、「SX-Aurora TSUBASA」向けにSpark環境の共同開発を合意できたことはNECにとって大変有意義なことです。今回の協業によって、先端のSpark上でAIやビッグデータをご利用のお客様に、これまでの常識を超えた高速計算環境を提供していきます」

ホートンワークスジャパン執行役員社長・廣川裕司氏のコメント
「機械学習による分析に極めて高い精度を求めるには、膨大なデータを対象にする必要があり、SX-Aurora TSUBASAの高速処理能力とHortonworks HDPが提供するスケーラビリティのコンビネーションは、グローバル市場に於いて革新的な選択肢として注目を集めると確信しています」

 なおNECは、「SX-Aurora TSUBASA」を、下記2イベントに出展する。
・「DataWorks Summit Tokyo 2018」(会期:10/16(火)、会場:赤坂インターシティAIR)
https://jp.dataworkssummit.com/tokyo-2018/
・NECグループが開催する「C&Cユーザーフォーラム&iEXPO2018」(会期:11/8(木)~11/9(金)、会場:東京国際フォーラム)
「C&Cユーザーフォーラム&iEXPO2018」について
https://uf-iexpo.nec/

(注1) NECとHortonworks、ビッグデータの分散処理領域における戦略的協業を強化(2017.9.25)  https://jpn.nec.com/press/201709/20170925_01.html
(注2) Apache Hadoop/Spark環境で、CPUやメモリなどのコンピューティングリソースの各ジョブへの割り付けやスケジュールを管理する基盤
(注3) Xeon (Gold 6126) 1ソケットとのNEC比較結果。
(注4) NECの中央研究所で開発した技術を組み込んだ機械学習向けのデータ処理ミドルウェア(「NEC、ベクトル型コンピュータに適した機械学習向けデータ処理技術を開発」https://jpn.nec.com/press/201707/20170703_02.html)
 OSSとして公開(https://github.com/frovedis/frovedis)
(注5) Java, Scala, Python, 及びR言語から利用可能なApache Spark用の機械学習ライブラリ

自動車業界の最新情報をお届けします!


大車林

大車林

基礎原理から最新技術、産業、環境、行政、モータースポーツ、デザインまで、クルマ社会をキーワードで理解する自動車総合情報・専門用語事典『大車林』の検索サービスです。

キーワードを検索
注目のキーワード
シーケンシャルターボ
複数の排気ターボを装着したエンジンシステムにおいて、運転状態に応じて段階的に...
フリーホイールハブ
パートタイム4WD車において、前輪のホイールハブのところで動力軸を断続する装置。...
スロットルチャンバー
電子制御式燃料噴射装置において、吸気マニホールドのコレクターに取り付けられ、...

カーライフに関するサービス

ランキング

もっと見る
@motorfan_illustrated