サーバのリソース使用状況レポートを作る

数百台のサーバに対して CPU メモリ HDD の使用状況をサクッとチェックしたいなーと思ったのですが、さすがにmuninのグラフで見るのはダルすぎる。 というわけで日次でこういうページを作ってチェックするようにしました。上記の情報が数字でダーっと並んで…

ログの差分出力スクリプト

昔Perlで書いたやつのRuby1.9版をとりあえず作りましたログファイルを指定すると、前回実行からの差分を出力してくれます $ echo 111 > test.log $ ./logtail.rb test.log 111 $ echo 222 >> test.log $ echo 333 >> test.log $ ./logtail.rb test.log 222 3…

CLIでNagiosのアラートを停止する

先日、こんなことをつぶやいたところ、 Nagiosで作業サーバのアラートを管理画面でポチポチ停止するのが超ダルいんだけど、コマンドラインとか設定ファイルでできないのかなぁ2013-05-16 17:56:03 via web @hirose31さんから親切なアドバイスをいただきまし…

『qpstudy3周年記念LT大会』でLTしてきた!

『qpstudy3周年記念LT大会 〜新人さん、業界にようこそ!〜 with ビール』に参加&LTしてきました! 14時から始まって簡単なメインセッションの後、20人くらいのLTが19時近く?まで! いやー、さすがに飲み疲れましたw 自分のLT資料です qpstudy3周年記念L…

rsyslogでNW機器のログ集約

NW機器のログはsyslogサーバに集約してWEBで見れるようにしてます 理由はこのへんです。 いちいちログインして見るのがダルい 障害時にログインして確認しようにも入れないことが多い(だってNW機器ですもん) 仕方ないので再起動するとログ消えちゃう 見た…

2012年の振り返り

2012年は全体的にダラダラ過ごしてしまって印象に残ってることが少ないですが、あえてあげるとこの2つでしょうか。 転職&引越しをした 今年も彼女ができなかった 転職のこと 10月アタマに転職してから3ヶ月がたちました。 『CROOZを退職してナビプラスに入…

より快適なDCライフを送るために愛三電機で買ってきたもの

秋葉原に行く用事があったので、愛三電機に立ち寄っていろいろ買ってきました。 http://www.aisan.co.jp/ ベルクロ LANケーブルを束ねるにはやっぱコレですね! 好きな長さに切れて、付け外しが楽なのがいいです。 4.57mで1200円 つけたり外したりできるタイ…

GrowthForecastでAPI使って複合グラフ作ったり、グラフの色を変えたりしてみた

最近、大ブームなFluentd+GrowthForecastを試し始めました!で、サクッと『GrowthForecastで複合グラフ作ったりグラフいじったりするの┌┤´д`├┐ダル〜』となりました。 なんとかサボれないかなーとソースを眺めていたら、JSON APIっぽいものがあるのに気づきま…

『おぺかじ!』に参加&トークしてきた

ずいぶん時間がたってしまいましたが『おぺかじ!』という勉強会に参加して来ました。 『おぺかじ(Operation Engineers' Casual Talks)』 そしてなんとトークセッションに登壇させてもらいました! ※@studio3104さん、お誘いありがとうございました! DevO…

VyattaでVPC接続するなら6.5がオススメ!

いつのまにかAWS VPCのコンフィグダウンロード機能にVyattaが加わってました!!! バージョンが6.5+なので既存ユーザはアップデートが必要になるかもしれません。 ただ6.3と6.5の両方で設定してみた自分としては迷わず 『VyattaでVPC接続するなら6.5がオス…

Vyattaを6.5にアップしたらMTU制限が効かなくなって切り戻した→解決!?

以前ブログに書いたように、自宅のルータはVyatta(KVM上のVM)を使っています。 先日そのバージョンを6.5にアップしようとしたのですが、うまくいかずに切り戻すことになったのでその時のメモを。 移行前後のバージョンはこんな感じ。 移行前のバージョン V…

twilogからリア充度グラフを作る

先日、友人の結婚パーティでLTをすることになり、 『リア充化(奥さんと付き合い始めた)前後で、その友人のTwitterのツイートにどのような変化があったか』 について語って来ました。メインはこの2つのグラフでした。 Tweet数の推移 リア充度の推移 ※ちょっ…

sqliteでSkypeの『あの発言はどのグループだったかな・・・』を発見する

Skypeで全グループ検索のやりかた知らないので(あるのかな?)、 『あの発言はどのグループだったかな・・・』 というのがけっこうあって困ってました。 生データはどこにあるんだろう・・・とファイルを探してみたらSQLiteファイルだったので、 (以下の手…

CROOZを退職してナビプラスに入社しました

3年4ヶ月在籍したCROOZを退職しました。 最後にオフィスを見渡したとき「ホントに大きくなったなぁ」と思いました。 「29歳で社会人&Linux歴が2年、ApacheもMySQLも触ったことありません」 という怪しい自分をあっさり受け入れて、すごくいろんなことをやら…

Fluentd Meetup 2で話してきました

というわけでFluentd Meetup #2で話してきました!!! Fluentd meetup #2 from Tomohiro Ikeda Fluentd & TreasureDataに関する使ってみた系の発表です。 資料みづらいっすねー ※『事前アンケートの結果、7割の人がFluentdを既に使っています』(ホントか!…

実用的なZabbixスクリーン

Zabbixは見たいグラフにたどり着くのがめんどくさい&難しいなー、と思っていて、 『ZabbixAPIを使ってCactiっぽいビューを作成』とかいろいろやってみたけどしっくりこない。『やはりZabbixのインタフェース内でなんとか見やすい運用を考えよう』、というわ…

inotify-toolsでファイルの更新を監視

Linuxでファイル更新の監視というと、inotifyという機能を使います。 実際はPHPやPerlのラッパーライブラリを使うことが多くて、コレがけっこうめんどくさかったのですが、 inotify-toolsというCLIツールがあることに最近気が付きました。 『特定ディレクト…

ネットワーク機器のコンフィグバックアップを自動化

ネットワーク機器のコンフィグバックアップをよく忘れちゃうよ!!! という人のためにスクリプトで自動化する方法を軽くまとめてみました。 Telnetで繋がる機器 みんな大好きexpectの出番ですね! expect系の記事はいっぱいあると思うので、今回はPerlモジ…

検証中のtd-agent(fluentd)の設定とか負荷とか

せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ(APPサーバ)のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する(とりあえずやってみ…

Treasure Dataにもれなくログをつっこむ

なんとなくログをTreasureDataに突っ込み始めると、開始時期のデータが不完全な状態になっちゃいます。 というわけで『過去ログのアップも含めて、もれなくデータを突っ込むにはどうしたらいいのか』ということです! 今回はこういう手順でやってみました。 …

Treasure Dataプラットフォームの管理画面を作る

前置きです。 IT界隈の人とHadoopの話をするとこういうギャップを感じます。 Hadoop使ってみたいところ >>> 実際に使っているところ みんな どう使って、どう収益に結びつけるか 設計、サーバ購入、構築、運用などなどの技術的コスト とか考え始めて止まっち…

Treasure Dataの解析プラットフォームを使ってみた

ログの解析は日時でscpでかき集めてバッチ集計してるんだけど リアルタイムで集計したい もっと柔軟に集計したい という人は多いんじゃないでしょうか。 リアルタイム収集はFluentdを使えばいけそうですが、集計部分を柔軟にというとどうだろう。 CookpadやA…

PHPでVPC内にEC2インスタンスを作成

AWS

AWS SDK for PHPを使ってVPC内にEC2インスタンスを作成するサンプルプログラムが見当たらなかったので作成 固定のプライベートIPを持ったインスタンスをVPC内に作成 ElasticIPを取得してインスタンスに紐付ける この本のサンプルをVPC用に書きなおしただけで…

fluentdのin_tailで特定フィールドをintに変えたい

fluentdのin_tailでApacheのアクセスログをmongodbに突っ込んでたんだけど、 数値比較の絞り込みがうまくできない。 > db.access.find({size:{"$gt":100}}) そうですよね、全部文字列でした! > db.access.find(); { "_id" : ObjectId("4fb124dd32ddfb55bc00…

Android版ざびたんをリリースしました

Android版ざびたん、『ざびたんウィジェット』をGoogle Playにて公開しました! ZabbixAPIベースで動作します(ZabbixにグローバルIPを設定 OR Wifiを使ってLAN内のみ利用) ログインユーザはREAD権限だけで動作します フルネイティブアプリです 実機確認は…

Zabbix勉強会5でLTしてきました

Zabbix勉強会5で懇親会LTしてきました! タイトルは『Zabbix関連で最近やったこと』で、要するにこの3つです。 初めてのバグ報告やってみた Fluentd使ってみた Android版ざびたん作ってみた Zabbix study5lt View more PowerPoint from Tomohiro Ikeda 日本…

MySQL Casual Talksに初参加&LTしてきました

『MySQL Casual Talks Vol.3 〜カジュアルだよこわくないよ〜』に初参加&LTしてきました! とりあえずLT資料です! MySQL Casual Talks Vol.3 LT View more PowerPoint from Tomohiro Ikeda 急なLT希望を快くOKしてくれた@myfinderさん、ほんとにありがとう…

Google Public DNSを使うとアカマイにマレーシアのエッジサーバに飛ばされた

アカマイに置いたファイルのダウンロードがオフィスからだと異常に遅い!なぜだ!? というモメごとが起こったのですが、結論からいうとこういうことでした。 『社内DNSキャッシュサーバのフォワーダをGoogle Public DNS(8.8.8.8)にしていたら、アカマイか…

3月に読んだ本

相変わらず少ない>< MMO RPGのリアルタイム処理にはずっと興味があったので『オンラインゲームを支える技術』はインフラからアプリまで、その雰囲気が味わえてよかったです。 けっこう細かくて広範囲な内容なので興味のない人にはちょっとつらいかもです。…

自宅ルータをVyattaに移行しました

自宅ルータをコレガのルータから、KVM上のVyattaに移行しました。 きっかけは設定ミスって繋がらなくなったときの、GUI&記憶ベースの復旧作業がとてもめんどくさかったからです。 というわけで今回やった作業や構成について簡単にメモ書いておきます。 とて…