Treasure Dataプラットフォームの管理画面を作る

前置きです。 IT界隈の人とHadoopの話をするとこういうギャップを感じます。 Hadoop使ってみたいところ >>> 実際に使っているところ みんな どう使って、どう収益に結びつけるか 設計、サーバ購入、構築、運用などなどの技術的コスト とか考え始めて止まっち…

Treasure Dataの解析プラットフォームを使ってみた

ログの解析は日時でscpでかき集めてバッチ集計してるんだけど リアルタイムで集計したい もっと柔軟に集計したい という人は多いんじゃないでしょうか。 リアルタイム収集はFluentdを使えばいけそうですが、集計部分を柔軟にというとどうだろう。 CookpadやA…

PHPでVPC内にEC2インスタンスを作成

AWS

AWS SDK for PHPを使ってVPC内にEC2インスタンスを作成するサンプルプログラムが見当たらなかったので作成 固定のプライベートIPを持ったインスタンスをVPC内に作成 ElasticIPを取得してインスタンスに紐付ける この本のサンプルをVPC用に書きなおしただけで…

fluentdのin_tailで特定フィールドをintに変えたい

fluentdのin_tailでApacheのアクセスログをmongodbに突っ込んでたんだけど、 数値比較の絞り込みがうまくできない。 > db.access.find({size:{"$gt":100}}) そうですよね、全部文字列でした! > db.access.find(); { "_id" : ObjectId("4fb124dd32ddfb55bc00…

Android版ざびたんをリリースしました

Android版ざびたん、『ざびたんウィジェット』をGoogle Playにて公開しました! ZabbixAPIベースで動作します(ZabbixにグローバルIPを設定 OR Wifiを使ってLAN内のみ利用) ログインユーザはREAD権限だけで動作します フルネイティブアプリです 実機確認は…

Zabbix勉強会5でLTしてきました

Zabbix勉強会5で懇親会LTしてきました! タイトルは『Zabbix関連で最近やったこと』で、要するにこの3つです。 初めてのバグ報告やってみた Fluentd使ってみた Android版ざびたん作ってみた Zabbix study5lt View more PowerPoint from Tomohiro Ikeda 日本…

MySQL Casual Talksに初参加&LTしてきました

『MySQL Casual Talks Vol.3 〜カジュアルだよこわくないよ〜』に初参加&LTしてきました! とりあえずLT資料です! MySQL Casual Talks Vol.3 LT View more PowerPoint from Tomohiro Ikeda 急なLT希望を快くOKしてくれた@myfinderさん、ほんとにありがとう…

Google Public DNSを使うとアカマイにマレーシアのエッジサーバに飛ばされた

アカマイに置いたファイルのダウンロードがオフィスからだと異常に遅い!なぜだ!? というモメごとが起こったのですが、結論からいうとこういうことでした。 『社内DNSキャッシュサーバのフォワーダをGoogle Public DNS(8.8.8.8)にしていたら、アカマイか…

3月に読んだ本

相変わらず少ない>< MMO RPGのリアルタイム処理にはずっと興味があったので『オンラインゲームを支える技術』はインフラからアプリまで、その雰囲気が味わえてよかったです。 けっこう細かくて広範囲な内容なので興味のない人にはちょっとつらいかもです。…

自宅ルータをVyattaに移行しました

自宅ルータをコレガのルータから、KVM上のVyattaに移行しました。 きっかけは設定ミスって繋がらなくなったときの、GUI&記憶ベースの復旧作業がとてもめんどくさかったからです。 というわけで今回やった作業や構成について簡単にメモ書いておきます。 とて…

bashを便利に使うためのいくつかのTIPS

人のオペレーションを見てるとそれぞれクセがあっておもしろいですよね! というわけで自分がよく使うbashの便利機能をまとめてみました。 1つ前の作業ディレクトリに戻る cd -で戻れます。 [mikeda@test01 tmp]$ cd [mikeda@test01 ~]$ cd - [mikeda@test01…

bashのSECONDS変数

bashには参照するたびにランダムな数値を返す、RANDOMって変わった変数があります。 $ echo $RANDOM 32036 $ echo $RANDOM 9500 $ echo $((RANDOM % 6 + 1)) ##サイコロを振る 2 最近、似たような変数でSECONDSというのがあるのに気づきました。 このパラメ…

2月に読んだ本

ぜんぜん本読めてない(;´Д`)ハァハァ『なれる!SE』は初の短篇集でした。ライトに読めますが話の進展はないのでちょっと残念。 『ローマはなぜ滅んだか』はタイトル通りの期待をするとちょっと肩透かしな感じです。エロ話そんなに必要かな・・・個人的にはあま…

シェルスクリプトを書くときに気をつけていること(その1)

初級者向けに『自分がシェルスクリプト書くときに気をつけていること』をまとめてみました。@masudaKの『シェルスクリプトを書く際に気を付けていること8箇条』の乗っかりエントリです。 内容は重複しないように書いてますので合わせて読んでください! 基本…

innotopでMySQL状態をtop風に表示(グループ単位で!)

innotopはMySQLの状態をtop風に表示するコマンドです。 DBを1台ずつ見ていくぶんには特に使う必要性を感じなかったのですが、 サーバのグルーピング&一括表示機能があることを知ってこれはけっこう便利なのでは?と思いなおしたので インストールからグルー…

MySQLのクエリログをDBごとに分割&整形して出力

MySQLをこういうふうに設定すると log = /var/log/mysqld/query.log全てのクエリをログファイルに出力してくれます。 [root@test01 work]# tail -f /var/log/mysqld/mysqld.log 5777179 Quit 120121 16:28:02 5777180 Connect dbuser@192.168.1.1 on testdb1…

ZabbixAPI.pmのサンプル集

Zabbixには、外部からZabbixを操作するためのAPIが実装されています。 http://www.zabbix.com/documentation/1.8/apiプログラマブルに監視システムを制御しようという面白い試みなのですが、 本家ドキュメントのサンプルが実際に動くソースコードじゃない(…

ZabbixAPIでホストグループからマップを作成

Zabbix2.0の新機能でこんなのがあるようです 【ラトビアの生活とZabbix 2.0 & カンファレンスの話】 by @kodai74 ホストを並べたマップは確かにホストの状態が一目でわかって便利ですね! でもZabbix1.8では作るのがけっこうめんどうです。 (要素のコピーが…

明けましておめでとうございます(遅

おめでとうございます!!! というわけで2011年→2012年、いくつか思うことを書いてみます。 このブログのこと アクセス数はビミョウな伸び ゆるりゆるりと伸びております 2012年にやること→はてブ数で@oranie、@masudaKを抜く 同じようなはてブ数だったので…

12月に読んだ本

ScalaとHaskellは改めて勉強する。 2012年は何を読もうかなぁ 7つの言語 7つの世界作者: Bruce A. Tate,まつもとゆきひろ,田和勝出版社/メーカー: オーム社発売日: 2011/07/23メディア: 単行本(ソフトカバー)購入: 9人 クリック: 230回この商品を含むブ…

node.jsとSocket.IOでログをリアルタイムっぽく表示

node.jsとSocketIOでなんか作ってみたい!!! というわけでログファイルをリアルタイムっぽく表示するページを作ってみました。 ※実際は一定時間ごとにログの追記分を配信しています 「開発サーバのアクセスログ、エラーログ、MySQLクエリログなどなど、わ…

Teratermはドラッグ&ドロップでSCPできる

最近まで知らなかった&知らない人が多そうだったのでメモ SSH接続中のTeratermにファイルをドラッグ&ドロップするとこういうポップアップが出てくる 『SCP』を選択するとログインユーザのホームディレクトリにファイルがSCPされる 便利だ!!! 注意点 『…

tcpdumpとmk-query-digestでMySQLのクエリ解析

Maatkitのmk-query-digestで定期的なMySQLのクエリ解析をやってみたのでメモ ※今はPERCONA Toolkitになっちゃったみたいですがそっちはまだ試してません! 参考にしたサイト 同じような記事はいっぱいあるので細かいところは書きません。 Maatkitについては…

11月に読んだ本

ダンボーかわいいよ(*´Д`)ハァハァ 365 Days of Danboard作者: アリエルナデル,Arielle Nadel出版社/メーカー: アスキーメディアワークス発売日: 2011/10/27メディア: 単行本購入: 1人 クリック: 21回この商品を含むブログ (17件) を見る図書館戦争 図書館戦争シ…

10月に読んだ本

『とある飛空士への追憶』はシンプルで爽快感があって、サクサク読めました。 あとは『ソーシャルゲーム業界最新事情』、中身の3/4は12社のゲーム会社との対談。先の見えないこの業界、みんな野心丸出しでとても楽しいですwコンスタンティノープルの陥落 (…

Zabbix勉強会で発表してきました

第4回 Zabbix勉強会で話をしてきました。 @kodai74さんありがとうございました! 発表資料はこちら Zabbix study View more presentations from Tomohiro Ikeda フォントがひどいことに・・・あとで直します 主題は『物理機器に縛られずに自由に監視を考えよ…

Tuningathon2いってきた!!!

もう1週間もたっちゃいましたが・・・ 『いろいろチューニングしてパフォーマンスを競うバトルイベント!Tuningathon2』に@masudaKさんとペアで参加してきました。 (@masudaKさんのレポートはこちら) 結果は7位!!! 当日の様子はECナビさんの広報ブログ…

9月に読んだ本

『ローマ人の物語』がとうとう完結! なれる!SE (5) ステップ・バイ・ステップ?カスタマーエンジニア (電撃文庫)作者: 夏海公司,Ixy出版社/メーカー: アスキー・メディアワークス発売日: 2011/09/10メディア: 文庫購入: 8人 クリック: 241回この商品を含むブ…

いい感じにサーバの構成情報を出力してくれるツール、ohaiを使ってみた

サーバの構成情報の収集にはdmidecode、uname、/proc/*などなど、いろいろ駆使してると思うのですが 覚えるの大変・・・出力のパースめんどくさい・・・複数OS使ってる場合は特に・・・というわけでいい感じにサーバの構成情報を出力してくれるツール、ohai…

ddのbs、「1MB」でだいじょうぶ?

ddで空のファイルを作るとき、bsの指定のしかたによってサイズがビミョウに違ってたりします。 [mikeda@test01 tmp]$ dd if=/dev/zero of=1M_file bs=1M count=1 [mikeda@test01 tmp]$ dd if=/dev/zero of=1MB_file bs=1MB count=1 [mikeda@test01 tmp]$ dd …

ブートディスクのパーティションいじったらpartprobe

よく忘れるのでメモ ブートドライブのパーティションをいじったらサーバ再起動しろって言われる。 [root@part-test ~]# ls /dev/vda* /dev/vda /dev/vda1 /dev/vda2 /dev/vda3 [root@part-test ~]# fdisk /dev/vda コマンド (m でヘルプ): n コマンドアクシ…

HTTPでSkypeにBOT投稿(CentOS5編)

「サーバの障害情報とかエラーログとか、簡単にSkypeに投稿できればなー」 というわけでHTTPで投稿できるようにしてみました botサーバにむけてこんな感じのURL叩くと指定したチャットに投稿できます http://192.168.1.11/skype/chat.py/chat?chat_name=botT…

8月に読んだ本

GOSICK最終巻の「どうしてこうなった感」がすごいです。壮大化した物語に翻弄されまくる主人公2人・・・ 伊坂幸太郎の「砂漠」はほのぼのしたりしなかったり、男女5人の大学生活のお話で学生時代を思い出しながら楽しく読めました。 砂漠 (新潮文庫)作者: 伊…

KVMゲストをVNCでGUIインストール

いつもテキストインストールで初めてやったのでいちおうメモ ホストはCentOS5.6です 準備 こんなエラーが出るので (virt-viewer:11024): Gtk-WARNING **: cannot open display:virt-viewerをインストール [root@vm-host01 ~]# yum install virt-viewer 127.0…

スタッキングって楽だよね(ネットワーク冗長化)

ネットワークに関しては「なんちゃってNEレベル」ですがたまには! というわけでスタッキングを使ったネットワーク冗長化について書いてみます。 ネットワーク冗長化と言えば STP(OR RSTP。L2レイヤの経路冗長化) VRRP(OR HSRP。VIPによるL3レイヤのスイ…

JavaでZabbix API叩いてみた

スマートフォン買ったので勉強がてらAndroid版ざびたんウィジェット作ろうかと、テスト用クラスを作ってみました。 こんな感じで実行すると package jp.mikeda.zabbix; public class ZabbixApiTest { public static void main(String[] args) { ZabbixApi za…

GMOさんの社員食堂いってきたよ!!!

いってきました!!! @oranieさん、@164cさん、@n0tsさん、@MongOnukiDBさんと突入ランチ!!! セルリアンタワー、デカかっこいいよ(;´Д`)ハァハァあんまり写真とってないので詳しくは@namikawaさんのブログをどうぞw 『噂のGMOインターネットグループさんの…

7月に読んだ本

SE絶対なれない!ということがわかりました 狼と香辛料〈17〉Epilogue (電撃文庫)作者: 支倉凍砂,文倉十出版社/メーカー: アスキーメディアワークス発売日: 2011/07/08メディア: 文庫購入: 5人 クリック: 327回この商品を含むブログ (80件) を見るローマとギ…

ZabbxAPIとJavaScriptで独自UI作ってみた2

ZabbixにCactiみたいなビューが欲しいなーと思ったので、 前作ったやつの改良版を作ってみました。見た目はこんな感じです 左のツリービューでホストを選択すると全てのグラフが右側に表示されます。 Cactiそのままですねー しかしそろそろ普通にPHPで書いた…

NFSの稼働状況確認

稼働中NFSの状態確認コマンドをメモ書き クライアント側 マウント状況、オプションの確認 [root@nfs-client01 ~]# df -h ... 192.168.1.154:/tmp/ 65G 47G 15G 77% /mnt [root@nfs-client01 ~]# mount ... 192,168.1.154:/tmp/ on /mnt type nfs (rw,addr=19…

複数サーバで一括コマンド、スクリプト実行

複数サーバでコマンドやスクリプトを一括実行したい>< というときのメモ書きと自作スクリプトの紹介。 事前に『SSHでパスワードなしログイン & sudo』の設定が完了してる前提です。 ※セキュリティや作業ミス時の影響範囲などを十分に考慮する必要がありま…

SSHでパスワードなしログイン & sudo

日々の作業で複数のサーバに1台1台ログインするのがめんどくさい>< という場合は「SSHでパスワードなしログイン & sudo」できるようにしちゃうという手があります。 ※セキュリティや作業ミス時の影響範囲などを十分に考慮する必要があります!!! 以下、C…

ZabbixAPI.pmのこと(晒されたり更新したり)

FISL12というブラジルのオープンソースカンファレンスで@BlueSkyDetectorさんが講演され、 その中で以前作成したZabbixAPI.pmが紹介されました! (ほんとに軽くですがw) Zabbix API at FISL12 by Takanori Suzuki View more presentations from takanori …

【一番煎じ】!?

『CloudWatchのカスタムメトリクスのまとめ』という記事(もうけっこう前ですが・・・)に AWSの発表からの「カスタムメトリクス使ってみた記事」がまとめられているのですが・・・ 【一番煎じ】、ということで自分の記事が紹介されてました! それにしても …

6月に読んだ本

少ない! 「死」の教科書―なぜ人を殺してはいけないか (扶桑社新書 20)作者: 産経新聞大阪社会部出版社/メーカー: 扶桑社発売日: 2007/11/29メディア: 新書 クリック: 27回この商品を含むブログ (8件) を見る阪急電車 (幻冬舎文庫)作者: 有川浩出版社/メーカ…

ZabbxAPIとJavaScriptで独自UI作ってみた

ZabbixAPIとJavaScriptを使って簡単なグラフ表示UIを作ってみました。 『ホストグループ』→『ホスト』と選択すればいくつかのグラフが表示されます。 なぜこんなことをしてみたかというと、「Zabbixの標準UIはグラフの一覧性が低いと思うから」です。 ドロッ…

5月に読んだ本

今さらながら。 まずはなんといっても、守り人シリーズ完結です。様々な登場人物の思いが交錯する最終章、アツかったです。あとは7人の作家の短編集め、『ストーリーセラー』。 有川浩、米澤穂信は初でしたが非常に楽しめました!出版社にまんまとノセられた…

ZabbixAPIでグラフを更新

Zabbixのいいところとの1つはビューのカスタマイズが容易なことです。 (Zabbix自体についてはみつばちワークスさんの資料等を参照してください) 複数ホストのグラフを重ねて表示することも簡単にできます。 このようなグラフは非常に便利です 各ホストを…

mrepoでCentOSミラー&自作なyumレポジトリ作るよ

自宅環境に CentOSのミラー 自作 なyumレポジトリ作りたいけど、手動もめんどうだし、cobblerもちょっと大げさだし・・・ というわけでmrepoというツールを使ってみました。 http://dag.wieers.com/home-made/mrepo/ 20行ほどのコンフィグを書いてmrepo -ugv…

CloudWatchのカスタムメトリクス使ってみた

AWS

【AWS発表】 クラウド監視サービスAmazon CloudWatchでカスタムのメトリクスが使用可能に、という記事が出てました。 要するに自分の好きな値をCloudWatchに突っ込める!!! いいですねー、さっそく使ってみましょう! CLIツールとPHPプログラムを使って動…