Microsoft、MapR、新しいApache Sparkベースのリリースを発表

今週のサンフランシスコでスパークサミットが開催される中、ビッグデータゲームの多くのプレイヤーは、オープンソースのメモリベースのビッグデータプラットフォームであるApache Sparkの周りにアナウンスを行う予定です。

ビッグデータ分析、Big Data Analytics、DataRobotはデータサイエンスの欠点を自動化することを目指している、Big Data Analytics、MapR創設者のJohn Schroederが辞任し、交換するCOO

MapRとMicrosoftが最初に立ち上がり、それぞれ独自の新しいSparkディストリビューションを発表します。重要なのは、両方のディストリビューションは、スタンドアロンのSparkクラスタに基づくのではなく、実際にはHadoopベースであることです。しかし、両方ともヘッドラインとしてスパークとリードし、スパーク中心のディストリビューションを構築しました。

Spark-lit Redmond;マイクロソフト社の場合、ディストリビューションは既にプレビュー形式で提供されており、今日は一般に入手可能です。ほぼ1年前に発表された最初のプレビューは、Windows用のHDInsight(MicrosoftのクラウドベースのHadoopディストリビューション)をベースにしていたが、Linuxベースのディストリビューションを中心に再設計した。 PythonとScalaで書かれたコードを処理できる基盤のカーネルとともに、Jupyterのノートブック環境にパッケージ化されているMicrosoftは、Azureアカウントを持っている人なら誰でもクラスタをプロビジョニングし、リンクをクリックし、チュートリアルノートすぐにSparkで作業を開始してください。

マイクロソフトはまた、Power BI(スパークストリーミングの統合を含む)と、Haseop for RadealとHadoopのR Serverとの統合を発表しています。

また読む:MicrosoftはApache Sparkの大規模データフレームワークへのコミットメントを拡大

MapRはSpark-firstに進み、MapRはオープンソースのApache Sparkビットを使用しているが、独自のHadoopディストリビューションとHDFS互換Map-FS、HBase互換MapR-DB 、およびApache Kafka APIと互換性のあるMapRストリームが含まれます。

MapReduceを渡さないでください。MapRのJack Norrisは、Hadoopの基本を最初に学ぶのではなく、Sparkを使用している多くの顧客がSparkで始まっていると言いました。あるMicrosoft社の従業員は、Hadoop固有のMapReduceが基本的に死んでいる(私の言葉ではなく、彼のこと)ので、Sparkはいろいろな意味で新しいデフォルトであると私に説明しました。

このスパークファーストパラダイムは、この時点でビッグデータ空間で比較的一般的です。 Apache Tezは、HiveやTezなどの既存のHadoopエコシステムコンポーネントを引き続きサポートする、非常に優れたMapReduceプラットフォームを提供して以来、特に正しいとは確信していません。しかし、十分な顧客がSpark中心のディストリビューションを要求しているときには、それがベンダーが提供する必要がある点です。

これらの新しいディストリビューションを提供するにあたってMapRとMicrosoftの両方が、ますます一般的な構成を支持していることは注目に値する.Hafo(つまりYARN、HDFS)上でSparkが実行されることがよくある。また、Hadoopスタック(Hive、Pig、HBase)の残りの部分を利用できるようにします。

その設定はデファクトスタンダードになりつつあります。将来的にスパークの雷を奪うようなエンジンもあるが、ビッグデータスタックのパターンは、完全に置き換わるファッションではなく、累積的に進化していく(新しいコンポーネントが古いものを補完する)。スタック全体がリッピングされ交換されている)は、前進のように見えています。

注:この投稿は、Microsoft HDInsightのJupyterノートブックをPythonとScalaでプログラミングできるようにするために更新されました。もともとは、ScalaとRでプログラミングできると書かれていました。

LinkedInが新しいブログプラットフォームを発表

これはBig OLAPの時代ですか?

DataRobotは、データサイエンスの果実を自動化することを目指しています

MapRの創設者John Schroederが辞任し、COOが辞任