体験を伝える―『ガジェット通信』の考え方

面白いものを探しにいこう 本物を体験し体感しよう 会いたい人に会いに行こう 見たことのないものを見に行こう そしてそれをやわらかくみんなに伝えよう [→ガジェ通についてもっと詳しく] [→ガジェット通信フロアについて]

大規模障害に対する見る目の違い

大規模障害に対する見る目の違い

今回はメカAGさんのブログからご寄稿いただきました。

大規模障害に対する見る目の違い

「大規模障害の概要と原因について(中間報告)」2012年06月25日『ファーストサーバ サポートWEB』
http://support.fsv.jp/info/nw20120625_01.html

「大規模障害の概要と原因について(中間報告) ファーストサーバ サポートWEB」『はてなブックマーク』
http://b.hatena.ne.jp/entry/support.fsv.jp/info/nw20120625_01.html

このブックマークのコメントの内容で、その人がどれだけプロかわかるな。まず一番の素人は「なぜ更新プログラムの確認をもっと慎重にしなかったんだ」という批判。まあ気持ちはわかるが、プログラムにバグがあるのはあたりまえで、問題の本質じゃない。

次に「本番環境とバックアップ環境に対してなぜ同時に更新したんだ」という批判。同時にやったら同時に障害が起きる可能性があるだろ、と。まあこれはその通りである意味正しいのだが、これも本質じゃない。「今回のケース」は防げるかもしれないけど、またいつか防げない別なケースに見舞われる。

「そもそも待機系をバックアップと呼ぶのはおかしくね?」と指摘している人が正解。これが本質だと思うのだよね。データのバックアップが別途必要。そして1世代では危険。バックアップの直前に何らかの理由でデータが消えたら、消えた状態がバックアップに上書きされる。やっぱ最低でも2世代は必須だろう。

でもファーストサーバの今回の件を「信じられない杜撰さ」とか言ってる人たちは、モグリ…。

 * * * * *

どうして現状のような仕組みになっているのだろう?想像するに最初は図のバックアップ環境というのは、あくまでデータのバックアップだったのではなかろうか。

しかし何度かトラブルを経て、その度にバックアップ環境から本番環境へデータを移し、必要な設定も再度行うという手間をかけることで、客からも「トラブルからの回復が遅い」とクレームをつけられ、「それならバックアップ環境がそのまま動くようにすれば、迅速に回復できる」と、誰かが思いついてしまったのではなかろうか。

そうなるとレポートにもあるように、バックアップ環境に切り替えた瞬間に脆弱性のパッチが当たっていない状態で動作してしまうことが問題になり、今度はバックアップ環境にもパッチを当てることにした…。

 * * * * *

なんかどんどん危うい方向へ進んでいった結果、とうとう崖から落ちてしまったという感じ。たぶんこの危うさを指摘した技術者はいたことだろう。しかしきっと「事前に更新プログラムのチェックをきちんとやること」という精神論で、無視されたのだろう。

チェックや検証を厳密にすることでバグがないプログラムを作れれば世話はない。バックアップというのは、予期せぬことが起きた時のため存在するわけで。とはいえ結構こういうのってあるよねぇ。最終的な対策が「気をつける」っなってるのって。結果がここまで破滅的でないなら、それでいいと思うけど。

新しく配属されてきた技術者「あの…すみません、ちょっと質問いいですか?このやり方だと○○が起きるとデータがバックアップも含めて全部消えちゃう気がするんですが…」
古参管理職「うむ、そういうことが起きないように、十分注意する、それだけだ」
新しく(ry「はあ…(ここではそういうもんなんだ…)」

 * * * * *

福島原発事故で、ベントしたら1号機が爆発してしまったのに、なぜ3号機もベントして爆発させたのだという非難の声があった。素人目には一見信じられないほど馬鹿な行いに見える。なんでプロの技術者がこんなことを!と。

でも違うと思うんだよね。あの時の3号機は爆発の危険を犯してでもベントしなければ、もっと大変なことになっていたのだろう。実際ベントできなかった2号機が、炉心の破裂で一番放射性物質をまき散らしたのだし。

 * * * * *

追記

なんで「削除停止コマンドの記述漏れ」が検証環境でチェックできなかったか疑問だったのだが、

「ファーストサーバ社データー大量消失事故原因を公開。更に顧客DB情報流出の可能性も?」2012年06月25日『NAVER まとめ』
http://matome.naver.jp/odai/2134034723695240101

1 2次のページ
寄稿の記事一覧をみる

記者:

ガジェット通信はデジタルガジェット情報・ライフスタイル提案等を提供するウェブ媒体です。シリアスさを排除し、ジョークを交えながら肩の力を抜いて楽しんでいただけるやわらかニュースサイトを目指しています。 こちらのアカウントから記事の寄稿依頼をさせていただいております。

TwitterID: getnews_kiko

  • 誤字を発見した方はこちらからご連絡ください。
  • ガジェット通信編集部への情報提供はこちらから
  • 記事内の筆者見解は明示のない限りガジェット通信を代表するものではありません。