前から気になっていた QNAP の NAS を購入してみました。比較的あたらし目の機種で TS-550 Pro にしました。
- QNAP TS-550 Pro × 1 台
- ST31000528AS (1TB 500GBプラッタ 7200rpm) × 6 本 (内 1本予備)
さすがにニアライン版の HDD は倍の値段するので普通版、昔から好きで使っている Seagate です。あのファームウェア事件の後も使ってますよ。
買う前までは、結構不安だったのですが、箱、マニュアル、緩衝材、付属品など、いろいろしっかり作られていて、使う前から結構一安心。
まだ箱を開けて間もないのですが、設定は簡単ですでにばりばりに使ってます。まずはテストで負荷掛け気味でね。
電源を入れて、まずは RAID の初期化が動いたのですが、まずここが時間かかりました。その後、RAID のリビルド？。これまたリビルドも結構時間がかかります。リビルド最中に激しく操作したためか勝手に再起動？(やな予感) 再度 0% からリビルドになっちゃいまました。。。追求したいところだけど、この時点では終わるまで我慢で触るの止めときました。
無事リビルドが終り、こんな形で遊んでます。
- VMware ESXi と NAS 接続
- VMware ESXi と iSCSI 接続
- Windows Server と iSCSI 接続
- マイパソコンから CIFS 接続
QNAP 側は LACP 設定して 1GbE を束ねて 2 本で hp ProCurve に接続。
簡単手間いらずな ＮＡＳ のできあがり、良くできてますね。あとは障害時のテストとか RAID6 にしてみたりホットスペアを付けてみたり、これからしばらくテストかな。
何度かの切り替えテストを行い、やっと VMware ESXi 4.0 上の FreeBSD 7.2 (amd64) へ移行を完了させました。
rsync や rcp コマンドなどを組み合わせて、何度も何度も移行テストを行っているのでエラーは今のところ無しです。
用途としてはこんな感じ。
- Web (http, https)
- Movable Type (mod_fcgid)
- Word Press
- XOOPS
- pukiwiki
- Fresh Reader (RSSリーダ)
- メール
- pop3s, pop3, imap, imaps, smtp, smtps
- fetchmail / procmail
- 膨大な過去メールの MH 階層
- 迷惑メール対策用途
- SpamAssassin
- bogofilter
- bsfilter
- 管理の為にリモート接続ポート
- ファイルサーバ
- Dynamic DNS の更新 (ddclient を改造)
- データベース (MySQL)
今回の移行でははまったのが amd64 版の FreeBSD 環境にした影響で Fresh Reader に同梱されている iocube にはまったところ。これは amd64 対応版のライブラリを集めてきて無事動きました。あとは Apache 2.2 でキャッシュ関連かな、こっちも結構悩んだので少し勉強になりました。
以前の Celeron 2.3 Mhz から Athron64 LE-1640B (2.7GHz, 512kB, 65nm, 45W) と結構スピードが早くなって、Fresh Reader と Movable Type の管理画面が快適なところが嬉しい。当分はこの CPU で遊べそうです。
あとは、ESXi 側 3ware 9650SE の RAID10 のエラーを ssh 経由で検知する仕組みをどうにか作っておかないといけないのと、UPS の電池切れのため交換が必要なところ。VMFS 信じてます。壊れませぬように。
先日出た、クラウドOS (笑) VMware vSphere (ESX 4.0) は 3ware 9650SE のドライバが無かったのでじっと待ってましたが、ようやく情報発見、早速作業開始です。
既に ESXi 3.5 update 5 と 9650SE (oem.tgz ?) のドライバを使い、ゲスト OS も動かして使っているので消さずアップグレードです。
といっても USB メモリーブートをしているのでアップグレードではなく、まずは dd で ESXi 4.0 のイメージを書き込みし、ESXi 3.5 と ESXi 4.0 の USB を差し替えになります。
URL Q15548 に従ってインストールを行いました。
まず VMware vSphere Client と VMware VI Remote CLI をインストールします。
次に、Q15548 のページから ESXi 4.0 driver.iso をダウンロード、マウントし、中にある offline-bundle.zip を c:\ へコピーしときます。
vSphere Client を起動して GUI 操作でメンテナンスモードへ切り替え。
スタートメニューから VI Remote CLI のコマンドプロンプトを開き、cd bin して以下を実行。
perl vihostupdate.pl -server x.x.x.x -username root -password "" -b c:\offline-bundle.zip --nosigcheck -i
この vihostupdate.pl は結構時間がかかったので、焦らずに待ちます。
ここで ALT+F11 の画面で core dump とメッセージが出ていたので、電源強制 off/onして、VMware ESXi 側を再起動しました。
その後は順調に起動したので、メンテナンスモードを解除しました。
ESXi 4 に変更した時点で、3.5 時代のゲスト OS が認識していないので、ストレージのところからインベントリして認識完了。
無事 3ware 9650SE 4PML の RAID10 構成が、ESXi 4.0 で使えています。
ということで、本番移行までしばらくの間、いろいろやってエージングします。
VMware vSphere / ESXi 4.0
VMware vSphere と ESXi 4.0 が出たので ESXi 4.0 を USB に dd して起動してみました。
元々 3ware の 9650SE を使っていたので動かないだろうと思ってやってみたけど、結局認識せず。3.5 用の oem.tgz も試していませんが、夏頃にはサポートされるだろから素直に諦めた。
てことで、VIClient だけは VMware vSphere Client に変わってますが、ESXi 3.5 に戻して WindowsXP のインストールをやってます。日本語クライアントになったかと思えば、ESXi 3.5 に繋がったとたん英語に戻り、ログイン画面だけ日本語化された状態。
ESXi 3.5 に WindowsXP を LSI logic ドライバでインストール
BUS Logic のドライバだとスピードが出ないようなので、LSI 社のページからダウンロードして flp イメージを作成してインストール時に F6 連打で入れ込みます。
LSI Logic ドライバ
- LSI Logic LSI20320-R デバイスドライバー - LSI
- VMware ESXi 3.5 の場合、このページ内の WindowsXP 32bit 版で動作
- Floppyi - Vector
- 他にも有ると思うけど、Vector で探して一番上に出てきたので。一旦 3.5 2HD ディスクに保存したドライバーを Floppyi で flp イメージファイル化
BUS Logic ドライバ
ま、WindowsXP は、簡単に動きました。
1TB ハードディスクを 4 玉で RAID を組むことをで考えていた訳だけど、2TB の壁があることをすっかり忘れていた。
VMware は ESXi 3.5 Update3 に 3ware 9650SE 4LPML 用 oem.tgz を入れたバージョン。USB メモリーで無事起動して RAID のボリュームが見えたとおもって喜んでいたけど、ストレージ追加の画面では 2TB しか認識せず。がっくし。
残る選択肢としてはこの 3 パターン。どれにしようか、RAID10 かな。
- RAID10 (HDD x 4) で 2TB
- RAID1 (HDD x 2) の 1TB を 2 論理ボリュームで合計 2TB
- RAID5 (HDD x 3 + スペアHDD) で 1TB
夏には 3ware の RAID コントローラーが正式にサポートされるらしいしのと、最近発表のあった VMware vSphere の ESXi 版だったらもっと大きな領域にできる？
更にもう一つ。ESXi の仮想ディスクの最大容量は 256GB なのですね。
インフラというベース部分なので障害を考えて、小さい方で我慢かな。Write Cache に期待。
ここの FAQ を見る限りでは Auto Curving を設定することで出来るっぽいな。こんど RAID5 で試してみよう。
格安で素のML115G5にCitrix XenServerを入れてテストしてたんだけど、いつまでも2台動かしておくのは無駄なのでRAIDして本格的に準備開始！
AMD Phenom II X4のCPUの値段が下がったのを横目に、CPU以外の追加部品をゲット完了。まだ初めは1ゲストだけなのでCPUは買わず我慢我慢。電気代を少しでも節約するために3.2Ghzの95W版を待つことにしました。自宅サーバー1台の年間電気代はだいたい2万円って聞いたことがあるから無駄遣いしないとうにしないとね。最近のAM3版CPUはML115G5で動いているらしいけど、3.2Ghz版もML115G5で動くといいけどな。
- Seagate Barracuda 7200.12 ST31000528AS
- 3ware 9650SE-4LPML bulk
- 3ware BBU-MODULE-03
- 3ware CBL-SFF8087OCF-06M
ML115G5のnVidiaチップでもRAIDが組めるけど、良いという情報は見あたらないので素直にハードウェアRAIDにしました。ディスクはSeagateの1.5TB 7200.11という選択肢もあったけど、先日の大規模なファームウェアバグの事故、それにこっちは500GBプラッタで高速なので1TBに決めました。
それと失敗したのがケーブル。今回 RAID コントローラーは bulk 版を買ったんだけど、この bulk 版ケーブルが入っていなかった。しばらくパーツ購入して居なかったから感が鈍ってしまった。安くすませようと思ってけちった訳ですが素直にリテール版を買っておけば良かった。結局追加で送料支払って購入しました。
RAIDのバッテリーバックアップモジュールも仕入れたのでRAID5が出来るけどRAID10と迷ってはいます。
- RIAD5：3TB
- RAID10：2TB
- RAID5＋スペア：2TB
ESXiかXenServer用なので書き込み速度を稼ぎたい。けど1TBの差は大きいよなぁ。となるとここはRAID1+0かな。
というわけでとりあえず RAID 10 で ESXi を USB メモリーに入れ込んで、oem.tgz を入れ替えたらあっけなく 3ware の RAID も認識して VMware の開始です。
さくっと FreeBSD 入れてみたけど、今のサーバーより早くて快適。
また 4,000 円引き中で \15,750 - \4,000 = \11,750 と更に送料無料とのこと。
iSCSI したいし、もう一台購入しようかな。しかし、このサーバどんだけ大量の在庫があるのだろうか、まだまだ出てきそうな感じ。
外側。
AMD マーク。初めてかと思ってたけど、昔、CPU だけ AMD-K6 に交換して使ってたっけ。
中身。
この奥に見えるケースファンが爆音。交換せずに使ってるけど、忘れてて再起動すると超ビビる。
USB メモリースロットと SATA コネクタが 6 個。
メモリー追加後2.5GB搭載。
また NTT-X Store で 4000 円割引やってたんで1台ゲット。金曜日に4000円引き情報をとある方のブログで知った時は在庫180台、日曜日の購入時点で100個の在庫。一人で何台も買ってるんだろうね。
この格安のは去年もやってたんだけど、AMD CPU は過去 1 度しか使ったことがなかったんで手を出さなかったんだよね、今回は他に人柱になってくれた方がたくさんいたので買いました。
クライアントとしても、もう一台買っちゃいそうだったけど電源いれた時のあの爆音はかなわないからね。あくまでもサーバ用途でね。クライアントは、今サーバとして使ってる ATX のケースと電源が余るし、W数が足りればそのまま使って自作でどうにかするつもり。もう販売停止品だから、抱えすぎても捨てるの困るしね。
購入に踏み切った理由はこんな感じ。
- 今の最新 AMD Phenom II が unkown 認識ながら動いたという情報があってしばらく楽しめそう
- メモリーは 16 GB まで対応しているから、とりあえず格安 non-ECC 2GB x 2 で 4GB
- VMware ESXi が USB ブートで動くから
- ESXi でも Smart Array e200 でハード RAID が組めるから。でも遅いらしい。
- オンボード RAID コントローラーが動けば安上がりなんだけどな。
- ホストは Xen ベースのどれかを使う予定。最終的には、オンボード RAID も使えるLinux OS としても、自由に使える CentOS かな。
- Citrix XenServer Express Edition
- Oracle VM
- CentOS Xen
- ホスト OS はファイルサーバ iSCSI, NFS, DNLA, SMB としても兼ねる
- ゲスト OS に FreeBSD で公開サーバ
- Xen で仮想化用のイメージじゃなく、物理的ディスクを直接マウント出来るらしいからそれを試す
こんな計画でい行けそうだったからです。気になるのがケースファン、がかなりの爆音らしいです。どうやって静音化をしようかな。とりあえず超格安な non-ECC メモリー、SATA ディスク、E200 128 BBWCC をゲットしなくては。 着払い限定 15,750 円が 11,750 円です。送料と代引き手数料つけて 12,170 円、これを2回の分割払い。
昨日見たときは30個くらいまで在庫が減ってたけど、今は2000円割引の在庫が80個。あともう一台を ESXi ディスクレス化のiSCSI ターゲット用として欲しいな。悩み中。