ノードの健全性を監視します

Node Problem Detectorは、ノードの健全性を監視し、報告するためのデーモンです。 Node Problem DetectorはDaemonSetとして、あるいはスタンドアロンデーモンとして実行することができます。

Node Problem Detectorは様々なデーモンからノードの問題に関する情報を収集し、これらの状態をNodeConditionおよびEventとしてAPIサーバーにレポートします。 Node Problem Detectorのインストール方法と使用方法については、Node Problem Detectorプロジェクトドキュメントを参照してください。

始める前に

Kubernetesクラスターが必要、かつそのクラスターと通信するためにkubectlコマンドラインツールが設定されている必要があります。 このチュートリアルは、コントロールプレーンのホストとして動作していない少なくとも2つのノードを持つクラスターで実行することをおすすめします。 まだクラスターがない場合、minikubeを使って作成するか、 以下のいずれかのKubernetesプレイグラウンドも使用できます:

• Killercoda
• Play with Kubernetes

制限事項

• Node Problem Detectorは、ファイルベースのカーネルログのみをサポートします。 journaldのようなログツールはサポートされていません。

• Node Problem Detectorは、カーネルの問題を報告するためにカーネルログフォーマットを使用します。 カーネルログフォーマットを拡張する方法については、Add support for another log format を参照してください。

ノード問題検出の有効化

クラウドプロバイダーによっては、Node Problem DetectorをAddonとして有効にしている場合があります。 また、kubectlを使ってNode Problem Detectorを有効にするか、Addon podを作成することで有効にできます。

kubectlを使用してNode Problem Detectorを有効化します

kubectlはNode Problem Detectorを最も柔軟に管理することができます。 デフォルトの設定を上書きして自分の環境に合わせたり、カスタマイズしたノードの問題を検出したりすることができます。 例えば:

1. node-problem-detector.yamlのようなNode Problem Detectorの設定を作成します:

   debug/node-problem-detector.yaml

   apiVersion: apps/v1 kind: DaemonSet metadata:  name: node-problem-detector-v0.1  namespace: kube-system  labels:  k8s-app: node-problem-detector  version: v0.1  kubernetes.io/cluster-service: "true" spec:  selector:  matchLabels:  k8s-app: node-problem-detector   version: v0.1  kubernetes.io/cluster-service: "true"  template:  metadata:  labels:  k8s-app: node-problem-detector  version: v0.1  kubernetes.io/cluster-service: "true"  spec:  hostNetwork: true  containers:  - name: node-problem-detector  image: registry.k8s.io/node-problem-detector:v0.1  securityContext:  privileged: true  resources:  limits:  cpu: "200m"  memory: "100Mi"  requests:  cpu: "20m"  memory: "20Mi"  volumeMounts:  - name: log  mountPath: /log  readOnly: true  volumes:  - name: log  hostPath:  path: /var/log/

   備考:

   システムログのディレクトリが、お使いのOSのディストリビューションに合っていることを確認する必要があります。

2. Node Problem Detectorをkubectlで起動します。

   kubectl apply -f https://k8s.io/examples/debug/node-problem-detector.yaml 

Addon podを使用してNode Problem Detectorを有効化します

カスタムのクラスターブートストラップソリューションを使用していて、デフォルトの設定を上書きする必要がない場合は、Addon Podを利用してデプロイをさらに自動化できます。 node-problem-detector.yamlを作成し、制御プレーンノードのAddon Podのディレクトリ/etc/kubernetes/addons/node-problem-detectorに設定を保存します。

コンフィギュレーションを上書きします

Node Problem Detectorの Dockerイメージをビルドする際に、default configurationが埋め込まれます。

ConfigMap を使用することで設定を上書きすることができます。

1. config/ にある設定ファイルを変更します

2. ConfigMap node-problem-detector-configを作成します。

   kubectl create configmap node-problem-detector-config --from-file=config/ 

3. node-problem-detector.yamlを変更して、ConfigMapを使用するようにします。

   debug/node-problem-detector-configmap.yaml

   apiVersion: apps/v1 kind: DaemonSet metadata:  name: node-problem-detector-v0.1  namespace: kube-system  labels:  k8s-app: node-problem-detector  version: v0.1  kubernetes.io/cluster-service: "true" spec:  selector:  matchLabels:  k8s-app: node-problem-detector   version: v0.1  kubernetes.io/cluster-service: "true"  template:  metadata:  labels:  k8s-app: node-problem-detector  version: v0.1  kubernetes.io/cluster-service: "true"  spec:  hostNetwork: true  containers:  - name: node-problem-detector  image: registry.k8s.io/node-problem-detector:v0.1  securityContext:  privileged: true  resources:  limits:  cpu: "200m"  memory: "100Mi"  requests:  cpu: "20m"  memory: "20Mi"  volumeMounts:  - name: log  mountPath: /log  readOnly: true  - name: config # Overwrite the config/ directory with ConfigMap volume  mountPath: /config  readOnly: true  volumes:  - name: log  hostPath:  path: /var/log/  - name: config # Define ConfigMap volume  configMap:  name: node-problem-detector-config

4. 新しい設定ファイルでNode Problem Detectorを再作成します。

   # If you have a node-problem-detector running, delete before recreating kubectl delete -f https://k8s.io/examples/debug/node-problem-detector.yaml kubectl apply -f https://k8s.io/examples/debug/node-problem-detector-configmap.yaml 

ノード問題検出装置がクラスターアドオンとして実行されている場合、設定の上書きはサポートされていません。 Addon Managerは、ConfigMapをサポートしていません。

Kernel Monitor

Kernel MonitorはNode Problem Detectorでサポートされるシステムログ監視デーモンです。 Kernel Monitorはカーネルログを監視し、事前に定義されたルールに従って既知のカーネル問題を検出します。 Kernel Monitorはconfig/kernel-monitor.jsonにある一連の定義済みルールリストに従ってカーネルの問題を照合します。 ルールリストは拡張可能です。設定を上書きすることで、ルールリストを拡張することができます。

新しいNodeConditionsの追加

新しいNodeConditionをサポートするには、例えばconfig/kernel-monitor.jsonのconditionsフィールド内に条件定義を作成します。

{  "type": "NodeConditionType",  "reason": "CamelCaseDefaultNodeConditionReason",  "message": "arbitrary default node condition message" } 

新たな問題の発見

新しい問題を検出するために、config/kernel-monitor.jsonのrulesフィールドを新しいルール定義で拡張することができます。

{  "type": "temporary/permanent",  "condition": "NodeConditionOfPermanentIssue",  "reason": "CamelCaseShortReason",  "message": "regexp matching the issue in the kernel log" } 

カーネルログデバイスのパスの設定

ご使用のオペレーティングシステム(OS)ディストリビューションのカーネルログパスをご確認ください。 Linuxカーネルのログデバイスは通常/dev/kmsgとして表示されます。 しかし、OSのディストリビューションによって、ログパスの位置は異なります。 config/kernel-monitor.jsonのlogフィールドは、コンテナ内のログパスを表します。 logフィールドは、Node Problem Detectorで見たデバイスパスと一致するように設定することができます。

別のログ形式をサポートします

Kernel monitorはTranslatorプラグインを使用して、カーネルログの内部データ構造を変換します。 新しいログフォーマット用に新しいトランスレータを実装することができます。

推奨・制限事項

ノードの健全性を監視するために、クラスターでNode Problem Detectorを実行することが推奨されます。 Node Problem Detectorを実行する場合、各ノードで余分なリソースのオーバーヘッドが発生することが予想されます。

通常これは問題ありません。

• カーネルログは比較的ゆっくりと成長します。
• Node Problem Detector にはリソース制限が設定されています。
• 高負荷時であっても、リソースの使用は許容範囲内です。

詳細はNode Problem Detectorベンチマーク結果を参照してください。