« 消費者物価が上がらない | トップページ | 財政状況厳しい折、医療費は増やせない...のか? »

2007年9月12日 (水)

「システム障害と闘う」

本日の日経新聞に、「企業とIT システム障害と闘う 上」という記事が掲載されていました。

冒頭で、全日空のシステム障害が取り上げられています。

・・・
百三十便が欠航になり、七万人を足止めにした五月二十七日の大規模障害の”犯人”は通信機器に内蔵されたたった一個のメモリー部品の故障。ごく一部が狂うだけで全体に大きな影響が及ぶ「ガラス細工」のようなIT(情報技術)システムのもろさが露呈した。
・・・
実はメモリー部品の故障の予兆を担当者らは障害発生の前日につかんでいた。にもかかわらず対応を先送り。実際に障害が起きた時も別のシステムが原因と勘違いし四時間強を無駄にした。ガラス細工と隅々に目を凝らし、問題に適切に対処できる人材をどう育てるか。長期戦は必死だが「コストはかかってもやりぬく」(広報・総務担当の長瀬真専務)覚悟だ。
・・・

「企業とIT システム障害と闘う 上」, 日本経済新聞,2007年9月12日, 13面

ネットワークのスイッチ等の通信機器を原因とするシステム障害というのは、原因の特定が遅れて長時間に及び、大規模なものとなる傾向があるように思います。全日空のシステム障害の原因となったのは、シスコ製のスイッチだそうです。こうしたアプライアンス(ハード・ソフト一体で販売)型の機器は、”ハード”として扱われ、運用保守もメーカーにお任せになっていたりして、ユーザからは盲点になりがちなのかもしれません。

・・・
スイッチは米シスコ製でNECが納入、ICSは日本ユニシスが開発と機器納入、ATCPは東芝グループが開発と機器納入、をそれぞれ担当した。もっとも「トータルとしてANAサイドの判断が遅かった。どこのメーカーが悪いと言及もしていない」(同)と語り、ANA側に一定の責任があることを認めている。ネットワークの設計や構築はANAのグループ会社が行っている。
・・・

【会見詳報】ANA障害の原因判明、「世界4例のスイッチ故障がきっかけ、対応も遅れた」:ITpro

オープン系のシステムというのは、多くの異なるベンダーによって、機器が提供されるがゆえに、競争原理が働き、価格が安くなっているわけですが。反面、システムに関わるベンダーの数は、大規模なシステムでは、相当なものになります。システム障害の際には、ユーザは自身の手で障害の原因を突き止めなければ、担当のベンダーがどこなのかもわからない、ということになります。

・・・
システムが大規模化し複雑になるにつれ「落とし穴」の数も増えたが、それを管理する人の体制が追いつかない。NTT東西の五月二十三日の障害ではサーバーのハードディスク交換の際に大文字で書くべきコマンドを小文字で書くという人為ミスが原因になった。
・・・

「企業とIT システム障害と闘う 上」, 日本経済新聞,2007年9月12日, 13面

細かいところですが、ここは、「小文字とすべきを大文字」じゃないのかな。。。

・・・
間違えたのは、「コマンドの引数」(NTT-ME ネットワークビジネス事業本部ネットワークソリューション事業部IPソリューション部門担当部長の黒田敦氏)。本来、小文字とするところを大文字にしてしまったのである。そのシステムを提供するベンダーから「大文字を使うと重大な問題が発生する」という連絡は届いていたが、現場の担当者まで伝わっていなかった。
・・・

NTT東のフレッツ・トラブル,「ルート再計算により・・・」の真相:ITpro

*nix系OSの、ある種のコマンドでは、小文字・大文字の別で意味が逆になる、というルールが使われていたりしますが。それに倣ったものなのかもしれませんね。

・・・
連絡不徹底など反省すべきことであるが、大文字/小文字を間違えただけで大きな問題につながるとは、そのシステム自体も問題である。そのような“怖い”コマンドは入力できないようにするのがシステム側の役割であろう。
・・・

NTT東のフレッツ・トラブル,「ルート再計算により・・・」の真相:ITpro

ごもっとも。しかし、OSやファームウエアなどの”低レベル”なソフトウエアでは、「そのような“怖い”コマンド」が結構あるんですよね。サーバのファイルシステムを破壊してしまった人を見たことがあります(lnコマンドの引数を逆にしたのですが)。自分でも、コマンド操作は結構日常業務でやるんですが、深刻な”ミス”を自分でやったことは今のところないんですよね。我ながら不思議な感じがしています。

・・・
工場で働く一人一人に品質管理への強い意識を持たせることで世界最強の工場を育ててきた日本企業。ITを競争力の源泉に育てるには同様の知恵と努力が欠かせない。
・・・

「企業とIT システム障害と闘う 上」, 日本経済新聞,2007年9月12日, 13面

ややおざなりな感じのまとめ方ですけども。ユーザサイドとしては、運用体制の強化を考えるしかないのかもしれません。私は、”「ガラス細工」のようなITシステム”であることが真の問題であって、それを、運用側の努力でカバーするのも限界があるかな、と思います。

|

« 消費者物価が上がらない | トップページ | 財政状況厳しい折、医療費は増やせない...のか? »

コメント

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/80472/7917894

この記事へのトラックバック一覧です: 「システム障害と闘う」:

« 消費者物価が上がらない | トップページ | 財政状況厳しい折、医療費は増やせない...のか? »