ちょっとした手間でミス撲滅を！

システムの運用・保守のためには作業を行う、という行為を欠かすことはできません。そして、作業は私たち人間が行うものですから、残念ながらミスを０にすることはできません。

特にクリティカルなシステムの場合、万が一作業起因で問題が発生や、そもそもサービスの停止が伴う場合などに備えて影響を少なくするために、深夜帯や休日などに作業を行うケースも多いと思います。そんな時は、得てして注意力が衰えたりするもので、それが作業ミスの発生する確率を高める一因となっているとも思います。

ただ、運用のちょっとした工夫で、こういった作業ミスを大幅に減らすことはできます。
今回は、実際に役立つ「ちょっとしたコツ集」をお届けしたいと思います。かかる手間が少ないものを選びましたので、ぜひ活用してみてください。

ケーブル類は必ず手追いする

サーバーラックの中で一部のサーバーだけを撤去する、といったシチュエーションはよくあります。最終的に電源ケーブルを抜線するわけですが、ここで誤ったケーブルを抜いてしまって、関係ない別の現用サーバーをダウンさせてしまったというのは、あるあるです。

そういったことを防止するためには、面倒でも必ずケーブルはサーバー側から追っていきましょう。この際に目で追うだけではなく、手を滑らせるように這わせて、触りながら追っていく、いわゆる「手追い」を行うのが有効です。

これにより、誤抜線の発生を低くすることができます。

養生テープで作業対象を特定

上記のようなケースでは、そもそも撤去するサーバー自体を取り違えてしまう、といったこともよく発生します。予備サーバーなどは、ケーブルを差し替えて使用する都合などにより、本番機のすぐそばに設置していることも多いですので、予備機の撤去だから、と油断していて、間違えて本番サーバーを停止させてしまう、というミスを見たことがあります。

こういった事故を防ぐには、養生テープを活用しましょう。養生テープは、粘度の弱いテープで、作業対象に貼って特定したり、逆に作業対象外のサーバーや機器、ケーブル類に貼って物理的に触れなくするのが使用法です。

作業開始前に、複数名で確認しながらテープを貼ることでミスを減らしましょう。

設定ファイルは必ず事前バックアップ

サーバーの作業などでは、設定ファイル（コンフィグファイル）を変更するケースがあります。軽微な変更だからといって、ファイルを書き換えた際に誤って、サービスが正常に動作しなくなる、という作業ミスも頻発しています。

これは事前にファイルのバックアップを取ることで、影響を最小限に元に戻すことができるようになります。手動で書き換えた箇所を書き換えるよりも、早くミス無く行えます。
元のファイル名に.orgやyyyymmddなどの文字列を付加します。このルールをきちんと定めておくことで、戻す元のファイルの取り違いを防止しましょう。

本番環境と検証環境でターミナルの色を変える

SSHなどでリモート接続をして作業する際によくあるのが、本番機と検証機の取り違えです。検証環境で気楽に確認をしようとして、間違って本番機に適用して問題を起こすというパターンです。

これを避けるためには、予めターミナルの設定を変更しておき、背景色や文字色を変えるのがよいでしょう。例えば本番機は注意を引く赤色などにしておくと、取り違えに気がつきやすくなります。

また、これに類するものとして、サーバーの壁紙にホスト名などの情報を大きく記載しておくのも有効です。簡単ですが、かなりの効果が見込めます。

ファイル転送後はハッシュ値確認

原因不明の事象が起きた際に時折見られるのですが、例えばアプリケーションのバイナリファイルなどが破損していて、見た目は問題ないにも関わらず、正常にプログラムが動作しない場合などがあります。

こういった事象は、発見が難しいです。そのため、ファイルをSCPなどで転送した直後にハッシュ値を確認し、事前のものと事後のもので差分を見ましょう。欠損している場合は、ハッシュ値が変化しますので、すぐに問題に気がつくことができます。

こういった習慣をつけておくことは重要です。

まとめ

いかがだったでしょうか？
いずれも、ちょっとした手間で、作業ミスの発生低減に大きく貢献すると思います。この手間を惜しんで大障害を引き起こしてしまうのは非常にもったいないことです。

ぜひ習慣化して、職場内で標準的なルールとして導入してみてください。そういった仕組みの中に取り入れることで、さらに安全性を高めることができます。
ぜひ即日実践してみてください！

運用