以前のブログでは、 Hadoop HDFSについて学びました。 詳細については、このブログで、HDFSの機能について説明します。 Hadoop HDFSには、フォールトトレランス、レプリケーション、信頼性、高可用性、分散ストレージ、スケーラビリティなどの機能があります。
HadoopのHDFSのこれらすべての機能については、このHadoopHDFSチュートリアルで説明します。
HadoopHDFSの概要
Hadoop分散ファイルシステム（HDFS） Hadoopのプライマリストレージシステムです。コモディティハードウェアのクラスターで実行されている非常に大きなファイルを格納します。 HDFSはGFS（Google FileSystem）に基づいています。ハードウェア障害が発生した場合でもデータを確実に保存します。
HDFSは、並行してアクセスすることにより、アプリケーションへの高スループットアクセスも提供します。 2017年末までの予測によると、地球上で利用可能なデータの75％がHDFSに存在することになります。
HDFSの6つの重要な機能
Hadoop HDFSの紹介を学習した後、HDFSの最も重要な機能について説明しましょう。
1。フォールトトレランス
Hadoop HDFSのフォールトトレランスは、不利な状況でのシステムの動作強度です。フォールトトレラント性が高いです。 Hadoopフレームワークは、データをブロックに分割します。その後、クラスター内の異なるマシン上にブロックの複数のコピーを作成します。
したがって、クラスター内のいずれかのマシンがダウンした場合、クライアントは、データブロックの同じコピーを含む他のマシンからデータに簡単にアクセスできます。
2。高可用性
Hadoop HDFSは、可用性の高いファイルシステムです。 HDFSでは、HDFSクラスターに存在する他のスレーブにブロックのレプリカを作成することで、Hadoopクラスター内のノード間でデータが複製されます。したがって、ユーザーがこのデータにアクセスしたいときはいつでも、そのブロックを含むスレーブから自分のデータにアクセスできます。
ノードの障害などの好ましくない状況では、ユーザーは他のノードから自分のデータに簡単にアクセスできます。ブロックの重複コピーがHDFSクラスター内の他のノードに存在するためです。
3。高い信頼性
HDFSは信頼性の高いデータストレージを提供します。数百ペタバイトの範囲のデータを保存できます。 HDFSは、データをクラスターに確実に保存します。データをブロックに分割します。 Hadoopフレームワークは、これらのブロックをHDFSクラスターに存在するノードに保存します。
HDFSは、クラスター内に存在するすべてのブロックのレプリカを作成することにより、データを確実に保存します。したがって、フォールトトレランス機能を提供します。データを含むクラスター内のノードがダウンした場合、ユーザーは他のノードからそのデータに簡単にアクセスできます。
HDFSはデフォルトで、ノードに存在するデータを含む各ブロックの3つのレプリカを作成します。そのため、ユーザーはデータをすぐに利用できます。したがって、ユーザーはデータ損失の問題に直面しません。したがって、HDFSは信頼性が高いです。
4。レプリケーション
データレプリケーションは、HDFSのユニークな機能です。レプリケーションは、ハードウェア障害、ノードのクラッシュなどの好ましくない状態でのデータ損失の問題を解決します。HDFSは、定期的な間隔でレプリケーションのプロセスを維持します。
HDFSは、クラスター内に存在するさまざまなマシン上にユーザーデータのレプリカを作成し続けます。したがって、いずれかのノードがダウンした場合、ユーザーは他のマシンからデータにアクセスできます。したがって、ユーザーデータが失われる可能性はありません。
5。スケーラビリティ
Hadoop HDFSは、クラスター内の複数のノードにデータを保存します。したがって、要件が増えるたびに、クラスターをスケーリングできます。 HDFSでは、次の2つのスケーラビリティメカニズムを使用できます。垂直 および水平スケーラビリティ。
6。分散ストレージ
HDFSのすべての機能は、分散ストレージとレプリケーションを介して実現されます。 HDFSは、ノード間で分散された方法でデータを保存します。 Hadoopでは、データはブロックに分割され、HDFSクラスターに存在するノードに保存されます。
その後、HDFSはすべてのブロックのレプリカを作成し、他のノードに保存します。クラスタ内の1台のマシンがクラッシュした場合、そのレプリカを含む他のノードからデータに簡単にアクセスできます。
結論
結論として、HDFSはフォールトトレラント性が高いと言えます。ハードウェア障害があっても、大量のデータを確実に保存します。また、高いスケーラビリティと高可用性を提供します。したがって、HDFSはHadoop機能を強化します。 HDFSの他の機能を見つけた場合は、下のコメントセクションで共有してください。