Cloudera Managerのチャート機能でリソース使用状況を可視化する
前回、Hadoopのパフォーマンスを計測するベンチマークの使い方を見た。
totech.hateblo.jp
通常、パフォーマンス計測時には裏でdstatやsarのようなサーバのリソース使用状況を取得するツールを走らせておくが、これらはログとして保管したり報告資料を作る上では便利だが、計測中にリソースを眺める分にはやや見づらい。
そこで、Cloudera Managerのチャート機能を使えば、リアルタイムにリソース使用状況をグラフ化できてとても見やすくなる。
チャート機能はtsqueryというSQLのようなクエリを登録することで取得対象のリソースを定義したり、where句で取得対象を絞ったりできる。
以下に基本的な設定内容を以下にまとめる。
リソース | tsquery |
---|---|
CPU | select cpu_percent |
Load Average | select load_1 |
メモリ | select physical_memory_used |
スワップ | select swap_used |
ネットワークIn | select bytes_receive_rate |
ネットワークOut | select bytes_transmit_rate |
ディスクread | select read_bytes_rate where roleType = DATANODE |
ディスクwrite | select write_bytes_rate where roleType = DATANODE |
これで以下のようなグラフができる。
tsqueryを使えば、その他にもさまざまな指標が取得できる。取得可能なメトリクスの一覧は以下のClouderaのドキュメントにのっているのでこれを参考にいろいろ組み合わせられる。
http://www.cloudera.com/documentation/enterprise/5-3-x/topics/cm_metrics.html
以上!
Hadoop関連書籍(過去に読んだ本)
- 作者: Tom White,Sky株式会社玉川竜司,兼田聖士
- 出版社/メーカー: オライリージャパン
- 発売日: 2013/07/26
- メディア: 大型本
- この商品を含むブログ (4件) を見る
Hadoop徹底入門 第2版 オープンソース分散処理環境の構築
- 作者: 太田一樹,岩崎正剛,猿田浩輔,下垣徹,藤井達朗,山下真一,濱野賢一朗
- 出版社/メーカー: 翔泳社
- 発売日: 2013/07/09
- メディア: 大型本
- この商品を含むブログ (5件) を見る