Category Archives: HP ProLiant

FreeBSD:9.1RCでshutdownに失敗する件

9.1系にアップデートしてからall buffers syncedで固まる現象が出ている
確認しているのはhpのML110G7だけど、ほかにも起きる環境があるっぽい
rebootするときにハードリセットが必須になってまうので、ちょうめんどくさいのだ。

調べてみたらバグ報告が出てた。
freebsd-bugs – kern/172952: 9.1 hangs on reboot after all buffers synced
http://freebsd.1045724.n5.nabble.com/kern-172952-9-1-hangs-on-reboot-after-all-buffers-synced-td5754065.html

カーネルの電源管理絡みの問題かなぁとぼんやり思っていたら
ZFSの処理に問題があったらしい、解決するにはパッチとビルドが必須
RELEASEにこれ載ってくれるかなぁ・・・

FreeBSD:phpVirtualBoxでなんちゃってハイパーバイザー

FreeBSDを生かしたまま、もしくはハイパーバイザに載せ替えてLinuxのゲーム鯖を動かせられないか
夏頃から動き回って無駄金使った結果、FreeBSDにVirtualBoxとphpVirtualBoxを乗せて
仮想マシンのホストにすることが出来た。

FreeBSDのVirtualBoxでRDPによるコンソールはサポートされていないことから
仮想マシンを立ち上げるときに、VNCサーバを立てるオプションが渡されるように
スクリプトを書き換える必要があった

ここに書いてある内容でおk
FreeBSDでphpVirtualBoxのコンソールを使う方法 | TATSUYA.info
http://tatsuya.info/wp/archives/10652

サーバの名前に;ポート番号を入れることでVNCサーバが勝手に立ってくれるので
サーバのIP:ポート番号でOSのインストールからVNCで見れる。
ちょーべんり

いくつか仮想化ソフトを試してみたが、最大の候補だったESXiが
先行き不安&CSGO鯖として使い物にならないのには閉口した。
Hyper-Vは優秀だったが、Tickレートを上げるとラグが増えるのでちょっと厳しい。
KVMやXenは試す機会が無かったが、結局VirtualBoxが使えることがわかったのでこれでFA
Webブラウザでちょっとしたメンテナンスが出来るのもポイント高かったのでー。

サーバへの収容数はTickが128ぐらいになると2コアで1鯖あたりがCPU的に限界っぽい感じ
デフォルトの64なら3鯖ぐらいはいけるようだった。メモリは8Gぐらいいるような感じだったが。
仮想化してあるんで、割り込みによるオーバーヘッドのせいだろうから物理マシンならもう少し詰め込めそう
物理マシンの数を増やすと電気代や空調の問題が出てくるから、
仮想化して台数減らす方向に動いたわけだけども。

ML110G7:ESXi化を断念

ずいぶん前にやったことだけど、書くのを忘れてた

ML110G7は内部にSDカードのスロットとUSB2.0のポートがあり、そこに挿したデバイスから起動するオプションがBIOSにある
組み込み用の物なんだろうけど、後から入れるにも有効だったり。たとえばVmwareのESXiとか。
FreeNASとかもいいね。ディスクをOS用に潰さなくて済む。
他にもネットワークルーティング用のディストリビューションとか入れるのによさげ。

そんなわけで鯖の統合をするためにML110G7を以下のように強化した

CPU : Celeron G530 → Xeon E3-1260L (Xeon系しか使えない、まだIvyには未対応)
Mem : 2G → 8G(2Gx4) → 20G (8Gx2,2Gx2)
Storage : Areca ARC-1680ix-12 (BSD用のアレイがある)

そんなわけで公式から落としたISOからさっくりとインストール。

せっかくLACP対応のHP ProCurve Switch 2810/24があるので、GBE2本でリンクアグリケーションを・・・
げぇ!ESXiがLACPに対応していない\(^o^)/オワタ
LACPでリンクアグリケーションを組むと通信不可になる・・・
しかしhpさんはかしこいのでほぼVmware専用のモードを用意してくれているのでした。
詳しくはVmwareのサイトで^q^
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1004048
なんか手順通りに構成しないとまともに通信出来なかったり・・・
途中からとか中途半端なところから始めるとうまくいかんかった。どうなってんの・・・。

ハードの構成を整え、FreeBSDの仮想マシンを作ってAreca ARC-1680ix-12をVM DirectPath I/O経由で割り当てる
その仮想マシンを起動したところで大問題が発生
パープルバックスクリーンでハイパーバイザが落ちた\(^o^)/オワタ

こればっかりは手は尽くした・・・のだが、どうにもならなかった・・・
結論から言うと、ML110G7のシステムボードとESXiとArecaのカードの組み合わせでVM DirectPath I/Oは使えないという
これはhpのBIOSがちょっと変わってるのが原因らしく、対処法が無いという(;´Д`)
じゃあストレージ部分をvmdxにしてBSDに割り当てるかーと思ったら、
最大ファイルサイズ2TBまでという制限がありまして・・・、あの、このストレージ10TBあるんですけど^q^
どうしようもねえぞこれ・・・

そんなわけでサーバ統合計画を挫折してる真っ最中なり
買ってしまったハードで豪華なFreeBSD鯖が動いております^q^;;
FreeBSDがハイパーバイザになればいいのになぁ、BHyVeが早く使える物になってプロダクションに降りてこないかしら・・・

HP ProLiant:メモリを購入

無計画な鯖のうpぐれのため、メモリを買ってきました。


おや・・・?実は写真撮る前に組み込んでしまったのでした^q^
中に入ってるのは今まで使ってたECCメモリ
片方はもらい物だったような

んで買ったのはKingstonのKVR13E9K2/16Iですな、8Gx2で16Gのセットだす。
おかげで無事にごらんのありさまになりました。

合計20G!
ESXi化が捗るね!
問題があってまだ部品が足りないのだけど!
余ったパーツで一台生えるのが現実になりそうな・・・

HP ProLiant:Xeon E3-1260Lを買いました。

なんだか特価品と聞いて・・・小一時間は迷ったかも^q^



特に何事も無く認識
せっかくVT-d対応なんだし、メモリ増やしてESXi化しますかねぇ

HP ProLiant:iLOの独立ポートを買った

なんだか最近怒濤の更新です。何故かは分かりませんが。

ちょっとネットワーク周りを弄るつもりなのでML110G7のiLOポートを独立させようと思います。
NTT-Xで買った特価品はiLOがNIC1との共有になっており、ちょっと気になります。
「iLO専用マネジメントポート モジュール 514206-B21」を買うと独立したポートとして使えるようになります。
お値段はどこも4000円ほどと高くありませんが、本体価格(9980円)の半分に届かないぐらいと書くと高く感じます。
不思議ですね^q^

届いたものはこんな感じでした。

取り付ける場所はシステムボードのバックパネルになり、コネクタは背面ケースファンのすぐ側にあります。
分かりにくいですが黒いコネクタがそれですね。気になる人はマニュアルを見ると良いでしょう。

邪魔なファンを取っ払います。レバーを引いて(押すんだっけ?)引き上げるだけで簡単に外れちゃう。便利。

取り付けてみました。
バックパネルにある口はふさがれてますが、大きめのプラスドライバーでも挿し込んで捻ると簡単に外れます。

デフォルトのままなら特に設定の変更はいらないと思いますが・・・。
何もしなくても使えてますし、変更が必要そうなところも見当たらず。

鯖関係:ARC-1680ix on FreeBSD

Areca ARC-1680ix on FreeBSD

あんまり落札する気無かったけど、最低価格で入札入れたら落としてしまったので使い始めてみる
現行モデルは6Gbps対応の188xシリーズで、1680は一個前の物になる。

カタログはこちら
http://www.ask-corp.jp/products/images/areca/1680series.pdf
http://www.ask-corp.jp/products/images/areca/1680series_performance.pdf

関連しそうなWebサイト
http://www.areca.us/
http://www.kingtech.co.jp/products/raidcard/arc-1680ix.html
http://www.ask-corp.jp/products/areca/raid-card/arc-1680.html

インターフェイスなど
PCIe x8
3xSFF-8087(内部)
1xSFF-8088(外部)
RJ-45
RS232

FreeBSDでCLI以外のマネージメントツールが使えるRAIDカードって実は稀少だったり。
ドライバはGENERICカーネルに組み込み済みなので、基本的に何もしなくても使える。
ArecaのRAIDカードはブラケット部にRJ-45のポートが付いていて、
IPアドレスを割り当てると内蔵されたarchttpにアクセス出来るすぐれもの。
機能はOSで動かすarchttpと変わらないみたい。
ただ、何故か一度DHCPでIPを割り当ててやらないとまともに動かなかった。
DHCPを一度有効にしてから、IPを固定したら使えるように。
理由は不明。

ところで、ML110G7だとRAIDカードのBIOSが出てこないのですが・・・裏で動いてるのか?→裏で動いてました

とりあえず、出たばっかのFirmwareにUpdateする。
ファイルが4つあり、一つずつアップロードして最後にマシンごと再起動。これでv1.51なり。

使うHDDは買い集めたWDのWD30EZRXが4台
RAIDには非推奨な上、HDD Compatiblity Listにも無いぐらいには微妙なもの
障害報告も多いのう。とりあえずこれしか無いので使うだけ使ってみることに。
それとは別に、1680にはブリッジのせいで6Gbps対応HDDが1.5Gbpsで認識される不具合がある。
WD30EZRXは6GbpsのHDDなのでもろにぶち当たってしまう。
HDDの方でジャンパを入れ、3Gbpsモードにしないといけない。

構築が終わるまで使えないForegroundでInitializeしたところ、およそ10時間半で完了
バックグラウンドだとその3倍はかかるとかなんとか。
Kingtechの日本語マニュアルと、公式の英語マニュアルを参照しながらパラメータを設定
いくつか気になるところを抜粋して忘備録とする

RAID Set Functions
→Create RAID Set
kingtechのマニュアルにはRaidSet Modeの項目はSASHDDやSASExpanderを使う場合はMax128volumesに、
それ以外の場合はMax16Volumesにすると書いてあるが、この理由がよく分からない?( ̄_ ̄)?
公式のマニュアルには何も書いてないのだけども。

Volume Set Functions
→Create Volume Set
“Greater Two TB Volume Support”の項目だけど、64bitLBAと4KB Blockが選べる。
64bitLBAでいいみたいなこと書いてあるけど・・・WD30EZRXってAFTのHDDやん?
と、思ったが、結局”Volume Stripe Size”が4kbの倍数だから問題にならないっすね。
“Volume Cache Mode”はサイレントクラッシュが怖いのでWriteThroughへ。
実は落札した商品の中にオプションのバッテリが入っていたけど、
バッテリが膨らんでるように見えるので付けてない。
漏れたら大惨事確定だし・・・。

ArecaのRAIDカードを取り扱うのは初めてなので、気になるところは試しておかないと。
まずはリビルドの方法について

実は最初やり方がさっぱり分からなかった。
元3ware(AMCC)の3DM2にはRebuildのボタンがあったのだけど、archttpには無いのだ。
どうするのかというと、HotSpareに割り当てることでRebuildが始まるようになっていた。

まず障害想定としてHDDを一本引っこ抜きます。すぐにDegradedしてメールがバンバン飛んできました^q^
抜いたディスクを元に戻して復旧手順の確認。

HDDにはRAIDのアレイ情報が書き込まれているのでこれを消します。ブランクディスクならこれはいらない。

次にHotSpareを割り当てます。

自動的にRebuildが始まりました。

ArrayがOfflineにならない設定をしているのでバックグラウンドでRebuildされますが、
9時間17分でRebuildが終わっていました。
メールの設定をしていると、終わったときにメールが飛んできます。

ZFSのようにquickなところは無いですが、管理用の仕組みは大変充実しているのでよさげです。
難点はカードの価格が高いというところでしょうか・・・
ファイルシステム作成の部分はまた今度

鯖:HP ProLiant ML110 G7を買った

やっぱりNTT-Xで安かったので・・・^q^
お値段11,800円だったなり。ML110G6の常時稼働鯖を入れ替える。

届いた箱を開けてみる
付属品はこんな感じ。

ついにPS2のポートが無くなったのでキーボードとマウスはUSBになったのだ。
そういえばUSBのLegacySupportはあるのかしらん?ML110G6は無かったからBSDにはよくない環境だった。

こんな風に入っています。

取り出して立ててみた。
フロント部

背面部

側板を開けようと思ったら開かなかったので???となっていたらこんなシールが
フロントのロックを解除しないといけないのか

どうやらこれらしい。
後ろについてた鍵はこれのためか。

フロントパネルを外してみた。

ガシャポン出来るよ!やったねたえちゃん

ML110G6を引きずり出してきて並べてみた。
フロント

奥行きの違い
上がG7、下がG6
たぶん冗長化電源とドライブケージのせいでロングになったものと思われる。

実に鯖っぽい内部構造。うまく出来てるなぁ・・・安鯖なのに。
右上にネジ用のレンチがありますね。

エアフローダクトを外すとこんな感じ。

ところで、あれこれ弄る前にデフォの消費電力を計っておこうか。
HPのスペックシートには100v時で73%の変換効率となっている。
G6は80Plusだったからスペックダウンだね。冗長化電源の方は80PlusGoldなんだけど。
ちなみに販売ページには高効率電源などと書いてありますが・・・80plusですら無い電源が今時高効率だなんてちょっと^q^

電源OFF時
iLO3が動くので電源切っていてもこのぐらいになりまふ

電源投入直後のMAX

ブートローダを探しにいくところでこんなもん。
アイドル時はもう少し下がるでしょう。

効率73%の高効率電源はちょっと勘弁ですので、せめて80Plusの電源に差し替えます。
一応普通のATX電源が使えるようになっていますが、取り付けの向きが上下逆になります^q^
あと出っ張りがあったりするとうまくはまらないかもしれない。
ANTECのEA380は電源を挿すところが凸になっていて干渉した。
しかたが無いので80Plusの安物電源を差し替え。

ついうっかりメモリを3本増設してしまいましたが・・・一応
電源OFF時

起動時MAX

ブートローダーを探しにいく画面

およそ10%ぐらい効率が改善されているようなので、電源交換は有り。
取り付け出来るかどうかは配置とにらめっこ必須。

これに、HDDを積めるだけ積んで(HDD5台とSSD1台、DVDドライブは放置)OS起動後の数字が58Wぐらいだった。
ML110G6の時は85W超えてたから、だいぶ消費電力が減ったぽい
電源ユニットが別物だから、出力特性の影響もあるかもしれないが、ここまで数字が変わることは無いだろう・・・。
SandyBridgeは優秀だなぁ。

OSはFreeBSDでZFS BootなのでHDD載せ替えるだけで特に何かしなくても立ち上がって機能した。
LANの振り分けを設定しなおしたぐらい。
騒音はちょっと気になるぐらいにはある、ただこれは拡張カードを挿したことによる副作用っぽい。
どうも温度が取得出来ないカードを挿すとフロントファンの回転数が上がる仕様なのかしらん?
アップデートでマシになるといいんだけどなぁ・・・

手を入れてデスクトップにするには向かないけど、このレベルの鯖マシンが安価に手に入るとかすごいわw

続:HP ProLiant MicroServer

もともと起動させっぱなしは考えてなかったんだけど
電源入れてから切り忘れる事例が多発(笑)

アイドル時消費電力(HDDスピンダウン時)は35w以下なんで
そのまま放置しても月額600円いかないぐらいなんだけど
春からの電気代値上げの話もあるし、ちょっとでも減らしたいなぁと。

そんなわけでアドオンのLights-Outを入れて・・・気がついた
このBIOSはS3をサポートしていないΣ(゚д゚lll)ガーン

HackBiosなら・・・HackBiosならきっとなんとか・・・!

してくれませんでした^q^

フォーラムでS3対応出来ないかという問いに、作者が今のところ無理と答えている
S4(休止)は使えるっぽいので、とりあえずこれ使うしか無いなー
デフォルトだと無効になっているから、コマンドから「powercfg.exe /hibernate on」しないといけない。
休止は移行も起動も遅いからあんまり好きじゃ無いのだが・・・

鯖:HP ProLiant MicroServer を買った

がしゃぽん出来るNASとして購入。
外付けのHDDケース買うより使い勝手いいかなぁと思って。
お値段20800円ぐらいでした。

中身はこれしか入っていないというシンプルっぷり

さて、HDDの本数が十分にあればUSBメモリにBSDかFreeNASでも入れて
システムボードのUSB口に挿すんだけど
折しもタイ洪水の影響で大容量HDDが歴史的な高騰化にあるんで、
とりあえずシングルディスクのまま運用を予定。
WHS2011でも入れることにする。

5インチベイに空きがあり、システムボードにもSATAが一個空きがあるので
システムのHDDをひとまずここに収めようと思う。
ただ調べた限りだと、IDE互換になりAHCIも効かないポートのようなので遅いらしい。
しかし海外のフォーラムでhack biosが公開されていたので入れてみる。

HP N36L Microserver Updated AHCI BIOS Support. | AVForums.com – UK Online
http://www.avforums.com/forums/networking-nas/1521657-hp-n36l-microserver-updated-ahci-bios-support.html

導入方法は簡単で、HPのサポートからダウンロードしたBIOSのアップデートユーティリティで、
BIOS更新用のUSBメモリを作成し、ファイルをフォーラムからダウンロードした物と入れ替えるだけ。

一応対応バージョンにはご注意を。N36LとページタイトルにあるけどN40Lの現行モデルでも共通です。
当然ながら非サポートBIOSを導入することになるので諸々のリスクは織り込んだ上でどうぞ。
あんまりお勧めはしません^q^

SS取り損ねたけどAHCI化出来ていた。とくに不具合みたいのも無さそう。
WHS2011の導入も特に問題なし。最近やたら安いWindowsOSで(NTT-Xにて5980円で売ってた)、
中身はほぼWindows2008R2なことを考えれば割とありだと思う。
必要なドライバはAMDのチップセットドライバでほぼ全部入り、必要ならネットワークのドライバと
HPのチーミングユーティリティを導入すればいいのではないかしら。
SMB2.1対応だからVista以後のWindows機との親和性が良く、セットアップすればリモートアクセスなんかも提供される。
まあおらは今のところ使いませんけどね^q^

デフォの数字を取り忘れてしまったけど、ワットチェッカー読みの数字
積んだHDDは以下の通り。設定で"省電力"にしてあるので、完全アイドル時の数字はHDDの電源が落ちてる予感。

----------------------------------------------------------------------------
CrystalDiskInfo 4.2.0 (C) 2008-2012 hiyohiyo
                                Crystal Dew World : http://crystalmark.info/
----------------------------------------------------------------------------

    OS : Windows Server 2008 R2  SP1 [6.1 Build 7601] (x64)
  Date : 2012/02/07 19:33:25

-- Controller Map ----------------------------------------------------------
 + ATA Channel 0 (0) [ATA]
   - ST3160815AS ATA Device
 - ATA Channel 1 (1) [ATA]
 + ATA Channel 0 (0) [ATA]
   - WDC WD10EADS-00M2B0 ATA Device
 + ATA Channel 1 (1) [ATA]
   - Hitachi HDS5C3020ALA632 ATA Device
 + ATA Channel 2 (2) [ATA]
   - WDC WD20EARS-00S8B1 ATA Device
 - ATA Channel 3 (3) [ATA]
 + 標準デュアル チャネル PCI IDE コントローラー [ATA]
   - ATA Channel 0 (0)
   - ATA Channel 1 (1)
 + Standard AHCI 1.0 Serial ATA Controller [ATA]
   - ATA Channel 0 (0)
   - ATA Channel 1 (1)
   - ATA Channel 2 (2)
   - ATA Channel 3 (3)

-- Disk List ---------------------------------------------------------------
 (1) ST3160815AS : 160.0 GB [0-0-1, pd1]
 (2) WDC WD10EADS-00M2B0 : 1000.2 GB [1-2-0, pd1]
 (3) Hitachi HDS5C3020ALA632 : 2000.3 GB [2-3-0, pd1]
 (4) WDC WD20EARS-00S8B1 : 2000.3 GB [3-4-0, pd1]

起動時MAX:66w前後
アイドル時:33w前後