ApacheのHadoopのは、コモディティハードウェアのクラスタ全体のプロセスや店舗ビッグデータというソフトウェアフレームワークです。 Hadoopのは分散して大量のデータを処理するためのMapReduceモデルに基づいている。
このMapReduceのチュートリアルのMapReduceのいくつかの機能を入隊しました。 MapReduceのは、膨大な量のデータを処理するための最良の適合である理由、これを読んだ後、あなたは明確に理解されます。
まず、我々は、MapReduceのフレームワークへの小さな紹介が表示されます。その後、我々は、MapReduceののさまざまな機能を検討します。
私たちは、MapReduceのフレームワークの紹介から始めましょう。
はじめにMapReduceの
MapReduceは中・高価なノードのクラスタ間で大量のデータを処理できるアプリケーションを作成するためのソフトウェア・フレームワークです。 HadoopのMapReduceのは、ApacheのHadoopの処理部である。
また、Hadoopのの中心地として知られています。これは、最も好ましいのデータ処理アプリケーションです。等アマゾン、ヤフー、及びZuventusなどの電子商取引分野におけるいくつかのプレイヤーが大量のデータ処理のためのMapReduceフレームワークを使用している。
私たちは今のHadoopのMapReduceのさまざまな機能を検討してみましょう。
のMapReduce
の特長1。スケーラビリティ
ApacheのHadoopのは、高度にスケーラブルなフレームワークです。これは、店舗への能力であり、サーバのたくさん渡って膨大なデータを配布します。これらのすべてのサーバーは、安価であり、並列に動作することができます。私たちは、簡単にクラスタにサーバーを追加することによって、ストレージと計算能力を拡張することができます。
HadoopのMapReduceのプログラミングは、データのテラバイトの何千もの使用を含むことができ、ノードの大規模なセットからアプリケーションを実行することが可能になります。
HadoopのMapReduceのプログラミングは、ノードの大規模なセットからアプリケーションを実行するために事業組織を可能にします。これは、データのテラバイトの何千ものを使用することができます。
2。柔軟性
MapReduceのプログラミングは、データの新しいソースにアクセスするために会社を可能にします。これは、異なるタイプのデータを操作するために会社を可能にします。これは、データの複数のソースからの洞察を得ることによってだけでなく、非構造化データ、および導出有意値として構造化アクセスする企業を可能にする。
また、MapReduceのフレームワークはまた、クリックストリームに、電子メール、ソーシャルメディアに至るまでのソースから複数の言語やデータのサポートを提供します。
MapReduceはこれのメタデータ、画像、大規模なファイルを含むデータ型をサポートする単純なキーと値のペアでデータを処理します。したがって、MapReduceはデータではなく、伝統的なDBMSに対処するために柔軟である。
3。セキュリティと認証
MapReduceのプログラミングモデルは、データを操作するために認証されたユーザーのみにアクセスを許可するのHBaseとHDFSセキュリティ・プラットフォームを使用しています。したがって、それはシステムデータとを強化システムのセキュリティへの不正アクセスを保護します。
4。費用対効果の高いソリューション
MapReduceのプログラミングフレームワークとのHadoopのスケーラブルなアーキテクチャは、非常に手頃な方法で格納および大規模なデータセットの処理を可能にする。
5。高速
Hadoopのは、基本的に、クラスタ内のデータの位置を特定するためのマッピング・システムを実装することをHadoopの分散ファイルシステムと呼ばれる分散格納方式を使用する。
そのようなMapReduceのプログラミング等のデータ処理に使用されるツールは、一般的に高速データ処理を可能にする非常に同じサーバ上に配置されている。
我々は構造化されていない大量のデータを扱う場合であってもそう、HadoopのMapReduceは、単にデータのプロセステラバイト分かかります。それはちょうど時間でデータのペタバイトを処理することができます。
6。プログラミングの簡単なモデル
HadoopのMapReduceののさまざまな機能の中でも、最も重要な機能の一つは、それが簡単なプログラミングモデルに基づいていることです。基本的に、これは、プログラマが簡単かつ効率的にタスクを処理することができたMapReduceプログラムを開発することができます。
MapReduceプログラムをピックアップするのは非常に難しいことではありませんし、また広く使用されているJavaで記述することができます。だから、誰でも簡単に学習し、書き込みのMapReduceプログラムをとニーズを処理し、そのデータを満たすことができます。
7。並列プログラミング
MapReduceのプログラミングの作業の主要な側面の1つは、並列処理です。これは、並列での実行を可能にする方法でタスクを分割する。
並列処理は、複数のプロセッサが、これらの分割されたタスクを実行することを可能にします。プログラム全体をより短い時間で実行されるようにします。
8。可用性と弾力の自然
データは、個々のノードに送信されるたびに、データの同じセットは、クラスタ内の他のノードに転送されます。だから、障害からの任意の特定のノードを被る場合、必要なときはいつでも依然としてアクセスできる他のノード上に存在する他のコピーが常に存在します。このデータの分確保、高可用性。
ApacheのHadoopのが提供する主な機能の1つは、フォールトトレランスです。 HadoopのMapReduceのフレームワークは、迅速に起こる障害を認識する能力を有する。
その後、迅速かつ自動復旧ソリューションを適用します。この機能は、ビッグデータ処理の世界ではゲームチェンジャーになります。
概要
私はあなたが明確にHadoopのMapReduceのさまざまな機能を理解し、この記事を読んだ後願っています。記事は、MapReduceののさまざまな機能を入隊しました。 MapReduceのフレームワークは、拡張性、柔軟で費用対効果の高い、高速処理システムである。
これは、セキュリティ、フォールトトレランス、および認証を提供しています。 MapReduceはプログラミングや特典並列プログラミングの単純なモデルである。