Tsukiji Systems
RSS1.0


googleで
サイト内検索
このブログ
を検索!
  help

巻き戻し中。

2007年
8月
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31


2007-08-18(土) 緊急事態 [長年日記]

_ PC

昨日酔っぱらったのもあって動き出したのは昼前。

鯖つついてみたらなんだか反応ナス。

なんじゃこりゃ?

httpもsshも反応がない。

popは時々帰ってくる。

昨日のApacheコンパイルの時にキャッシュ関連を色々入れたのを思い出した。

まさか、これが悪さをしているのか?

いずれにしても遠隔からコンソールに入れないのではお手上げ。

会社のセカンダリDNSも兼ねているので落ちっぱなしでは都合が悪い。

車を飛ばして急遽会社へ出動。

_ PC あらら。。。

会社に到着してコンソールを見たらswapperがもうホント o(゜Д゜)っ モムーリ!ってメッセージ。

やっぱりhttpdかと思って30秒に一度ぐらいしか反応しない瀕死のコンソールから

プロセスをはたき落としたがそれでもおかしい。

topを見ると、sweepが沢山。。。

要はメールのウイルスチェック関連だ。

sendmailのプロセス見たらびっくり。数十個のsendmailの子供がsweepしてる。

キューには数百個のメールが。。。

どうやらsendmail.cfでプロセスのフォーク数を制限していていなかったので、

大量メールで身動きが出来なくなっていた。

受信用とウイルススキャン後の転送用それぞれ10個までに制限、QueueRunnerもだ。

本当ならばスプールの中身をごっそり消したいのだが、大事なメールが混じっていると困る。

先週もそんなことしちゃったばかりだし。

_ PC そもそも

数百通のメールって何が起きたのか調べたら。。。

昨日sshのチェックツールを弄ったのが失敗。

毎分「異常」と検知してメールを出す&grepする行数が増加。

grepで負荷が上がってsendmailはacceptのプロセスが無くなったのだが、

これをsendmail監視ツールが勘違いしてsendmailを更に起動&通知メールを送信。

メールが来ればsweepが動いて負荷が上がる。

これの繰り返しで数百のqueueと身動きできないサーバーが出来てしまった。

sshのツールは一旦元に戻した。

grepに--mmcオプション付けるぐらいしか手がないなぁ。

mysqlあたりでDB化してみようかな。

=>とりあえず、1分前と差が無いときはすぐにexitするように改造。

 今度はちゃんと動いているみたい。

_ 車 ブースト

湾岸で5-6速での最大ブースト圧をゆっくり観察。

フロントパイプ変えてからはオーバーシュートと実際にアクセルを踏んでいるときの差が少なくなった。

安定して掛かり続けるのはおおよそ0.98ぐらい。

ガツンと踏み込んだときに一瞬1.02の警告ランプがつく。

_ バイク タペット?

ヘッドから音がする旨を電話。

「今日は休み明けで忙しいので明日にして」と。

鯖不調で会社に行かねばならなかったので丁度良かった。

明日は朝っぱらから行って早めに帰ってこないと。



アクセスカウンター!
累計:
本日:
昨日:
最近のツッコミ