FPTおいこら
はじめに
あまりにも情けないんで晒すわ。日本のプロバイダでベトナムに進出している人とか、うちがいいんですよという材料の一つとしてでも使ってください。
今FPTのホスティングサービス使っているんだけど、先日ハードディスク障害が出たんで復旧依頼をした。
ホスティングしているのはDBサーバとWEBサーバ。今回障害起きたのはWEBサーバ側。
復旧作業は絶対適当に再起動しそうだったがとりあえず様子見てみるかと思ったので、特に要求出さず復旧依頼だけ出したら予想通り適当に再起動しようとしてサーバ再起動せず。
サーバ落ちたまんまで復旧にはデータ紛失の危険性が伴うので立ち会って欲しいと言われたんで、立ち会ったら担当が全然障害内容把握しておらず、I/Oエラー起こしてマウント失敗してる空っぽのサーバ渡され、「さあどうぞ復旧してください」となぜかバトンタッチされる。
何言ってんだこいつらと思って、諸々事情説明してとりあえずRAIDが悪さしていたらしいので、read-onlyモードで起動しなおさせて、一応無事だったDBサーバにバックアップをとった。
まあ、この辺りまではベトナムではよくあることだ。
WBEサーバ再フォーマットまでの流れ
んで、バックアップとったらその後復旧しますよというんだが、データセンターだというのにネット回線の貸し出しすら出来ないらしいので一回社に戻ってバックアップをとる。
バックアップはFPTがDBサーバにバックアップすれば？といってたんで、まあSCPでまとめて持ってこれるしいいかということでDBサーバにバックアップ。
バックアップ終わったよーと連絡して、今後の作業方針を折り返し連絡してもらうことになったので待っていたのだが、いつまで経っても連絡が来ない。そうこうしている内にサーバはなんか動いている。
詳しく確認してみるとハードディスクを2台つないで状態だと起動しないので、1台を外して起動している模様。
それじゃRAIDが動かないんじゃないかという事なんだが、RAIDははじめから動いてなかったらしい。つまりこれまでシングルハードディスクでDBサーバをホスティングしていたわけだ。
理由聞いてみるとUbuntuだからよくわかりませんでしたと。
じゃあこっちでソフトウェアRAIDくらい入れてやるよって話にして、ハードディスクはつながってるか確認したらつながってるとのこと。SSHで入ってみるとどうにもsdbが見当たらないので再度確認。つながってると。
DBサーバに入ってみると普通にsdbが認識されてる。
俺がバカなだけでWEBサーバとDBサーバ違う形になっているのかと詳しく見てみたんだが、サーバスペックがそもそも同じなんで、んなわけないというね。
そもそも俺DBサーバはハードウェアRAID入れろって言ってたはずなのにソフトウェアRAIDになってるとか、色々訳わからんが、つながってますつながってないですなんてやり取りするのもばからしいんで、じゃあそっちが得意なCentでインストールしなおしてちゃんとRAID組めよって話にした。
この辺りまでは、まだFPTだっせーなぁというレベルで許せた。
このくらいでめげていてはベトナムで仕事出来ない。
全フォーマットまでの流れ
さて、翌日直ってるかなぁと思ってみてみると、なんか普通にWEBサーバにSSHで入れる。ユーザとパスが変わってないだけじゃなくファイルも普通にある。
まさかここまで直したのかと期待してみるとUbuntuのままだしハードディスクは1台だし、どうも昨日のままっぽい。
まだやってないのかなぁと思っておもむろにこれまで入れたシステムにアクセスすると、DB接続エラーが出る。
おいおいまさか・・。
ってこの時点でほぼ確信してたんだが、DBサーバが落ちてる。
Tauさんに連絡とって「まさか間違ってDBサーバフォーマットしてるとか無いよね？」と確認してもらう。確認してもらいながらやりやがったと確信してるけど。
電話すると、「今回壊れたのはDBサーバでしたよね？」と連呼してる模様。
メールの過去ログあさったり状況証拠積み上げて、壊れたのがWEBサーバなのは間違いないだろと連絡する。
ちなみにこの時点でDBサーバはフォーマットされててもうWEBサーバだけあってもどうしようもない状態。
で、そういう話するのも不毛なんで、Webサーバが壊れたままでは困るんでDBサーバもWebサーバもお前らお得意のCentで入れなおせという話にした。
これは、俺が犯した痛恨のミスだったんだが。
すでに怒りで頭が沸騰してた事もありやらかしちまった。
つまりどういう状況かというと
流れこうなんだけど。
- WEBサーバが壊れるので調査
- I/Oエラーで手が出せないっぽいのでWEBサーバ修復依頼
- なんか適当に修復作業する
- WEBサーバが本格的に壊れる
- 立会い依頼が来る
- 立ち会うが直らない
- 社に帰ってDBサーバにバックアップ
- バックアップ終了したので連絡。折り返し連絡もらう予定になる
- 連絡来ないんでこっちから連絡。どうもインストール初期からおかしかったらしい
- 話にならないのでフォーマットからやり直させる
- 間違えてDBサーバをフォーマットしやがる
- 言い訳多くてもういいからWebサーバもフォーマットしろという話にする
- 現在（まだ修正中らしい）
つまり。
バックアップも消えちゃってんのよ。
俺か？俺が悪いのか？いや俺も悪い。確かに一回ミスしたからね。
でも間違えてフォーマットしちゃうとかありえるものなの？
RAID構成無しでハードディスク一台遊んでる状態で貸し出すとかありえるものなの？
Ubuntuわかりませんでしたっていうならはじめにそういえばいいんじゃないの？
後でわからなかったのでいれませんでしたエヘヘでサービスって出来るものなの？
なんなのこれ？
大概の事にはなれたんだけど、久々にベトナムでキレましたよ。
これで謝罪も何も無いとか笑うしかないんだけど。
これがベトナムの現状だとさ。ベトナムに肩入れしてきた立場の人間として、マジで情けないんだけど。
夜中に追記。
まだ直ってねー。
当たり前だけどね。WEBサーバのハードディスクがI/Oエラー起こしてたから確実に不良セクタあるんで、素人がマニュアル通りにやって入る訳ねーから。
んで、絶対もう帰ってる。
ちなみにFPTってIT系だとベトナム最大の国営企業で日本でいえば昔のNECっすね。
つまり、ベトナムのTopっつーことっす。
俺土曜日出てDB用のサブドメインきったCentOSとかいう使いにくいパッケージ管理が入ったOSのサーバに、MySQLとApache入れて仮想ホスト設定してWordPressインストールしてとりあえず今週中のタスクこなすことになるんだろうけど、旅行誘われてたの断る事になって社員から非難轟々よ。
アホくせー。
そんなに俺にベトナム見限らせてぇのかよ。
