状況 hiveを実行中、MAPPERのSTATUSがINITIALIZINGのまま全く動かないことがあった。 実行環境 hive-cli 1.2.1000.2.6.2.0-205 対策 Dynamic Partition Pruningのバグによりこの現象が発生することがあるらしい https://issues.apache.org/jira/browse/HIVE-…

Sparkとは？ 分散環境で高速に計算を行うための汎用システムです。Java、Scala、Python、Rに対してAPIが用意されており、以下のような応用ツールも用意されています。 Shark(Hive on Spark) MLib( 機械学習) GraphX(グラフ処理) Spark Streaming(ストリーム…