OpenSource « SawanoBlog.

ZFS、デバイスの用途をまとめ。それとTIPS。

sawano

(2010.06.03 01:24) | OpenSource, UNIX | 個別ページ | 1件のコメント

(7)

(0)

(0)

(0) Total: 7

ZFSでzpoolを作成するとき、各デバイスまたはファイルに3種類の役割がある。
データ用、キャッシュ用、ログ用とあるが、zpool構成するときにそれぞれどのように使えるかまとめてみた。

検証に使ったのは取ったのはOpenSolarisのb131、zpoolバージョンは22だ。

デバイスの用途と構成・特徴一覧

ざっとこうなる。

zpool形式	data	cache	log
スパン	○	○	○
ミラー	○	×	○
RAIDZ	○	×	×
RAIDZ2	○	×	×
RAIDZ3	○	×	×
detach	条件付○	○	条件付○※
ファイルを指定	○	×	○

dataとlogは似ている

data用は取れる構成コンプリートなのは当たり前だが、detachには制限がある。
logも同様だが、完全なデータのコピーがないデバイスは取り外せない、すなわちミラー状態の片割れが唯一取り外しOKで他の構成ではそもそも取り外しができない。

もちろんreplaceは可能、順序的にはミラーしてdetachだから当然。

data、logともにmkfileで作成したファイルも指定OK。
raidzはdataのみ、dataもlogも後からattachでミラーリングデバイスを追加出来る。

追記※
Logは最新のコードでは取り外せるようになってると情報をいただきました。
http://twitter.com/hasegaw/status/15496202547
取り外せないことがひそかに疑問だったが、すっきりしました。

cacheは特殊

一方cacheは冗長構成が一切とれない、必要がないからだろう。

また、デバイスの追加削除に制限がない。中身はあくまでキャッシュにすぎなく、ヒットしない・読み込めない場合はさっさと諦めて削除すればよい。

もう少し触れておくと、cacheには十分に早いデバイスの割り当てが推奨されている。
ミラーをはじめ冗長な構成では読み取りストライピング効果も確かにあるが、書き込みのペナルティが大きいため不向きだ。

また、degradeな状態を想像するといいだろう。
cacheにそんな状態があっては本末転倒だ、リシルバさせる意味も全くない。
高速に動作し、そうできない状態は必要ないのがcacheだ。

ちなみにファイルは指定できない、「ディスクまたはディスクスライスを指定すべき」と断られる。
cacheへの割り当てデバイス、お勧めはやはりSSDだ。

という感じ。ではついでにZFS利用にあたって私からのTIPSを。

zpoolミラーは多面鏡

zpoolのミラーリングはRAID1ではない。いくつも複製対象が増やせるのだ。
2つでは何かと心配、というときは3つにすればいい。

ミラー台数を増やすたびにリード性能は向上し、ライトはが下がる。リード重視という環境は多かろうので覚えておくとよい。

3-Way Mirrorの図、attachで作る。もちろん4つ目5つ目を追加していく事もOK。
NAME STATE READ WRITE CKSUM zfs ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 c4t0d0p0 ONLINE 0 0 0 c4t0d0p1 ONLINE 0 0 0 c4t0d0p2 ONLINE 0 0 0

ZILは意外と役に立たない(そんな事は無いというお話を追記してます)

これは特に主観が大きいTIPSなので参考程度に。
(※追記：LOGを別にした場合はかなり勝手が変わります。)

ZIL、まあトランザクションログみたいなのだが、アトミック書き込み、CoWが身上のZFSではイマイチ存在が薄いように思う。
実際どういうケースで役に立つのか、あまり実感がわかないのにZIL有効だとパフォーマンスがものすごく落ちる。

結局のところ、HDDやストレージ側の障害にZILは無力である。
ライトキャッシュ有効のストレージ装置が気まぐれでキャッシュを捨てたとする、別デバイスに取ったZIL上では正常終了なのにデータはおかしい。
逆もそう、HDDが死んでZILごと失った場合もZFSのCoW特性から、ファイルシステム上特に不都合はない。

データの小さい破壊はZFS内でミラーやRAIDZ構成をとっておくことでチェックサムから復旧でき、そこでもやっぱりZILは関係ない。

さてZIL、有用かな？

さて、ZILに関して有識者の方からご助言をいただきました。Twitter:hasegaw さんより。
ってか、『Xen徹底入門』とか付箋バリバリなのでえらい驚きましたが(汗

ZILはRAID-Zの上NFSサーバにしたときには効果大。Logデバイスは最新のコードだと取り外し可能に
http://twitter.com/hasegaw/status/15496202547

NFSですか。実は具体的にどう効果がもたらされるのかイメージが・・・
多分非同期だからということが関係してくるんだろう、ちょっと考えておこう。
本文がZILを完全に批判しているようになっているので載せるところまでは早くしないと。

で、答えはこちら。
http://togetter.com/li/27626
親切丁寧に教えてもらっちゃいました、なるほどですねえ。

RAIDZはデータをストライプした全デバイスに書く

使用デバイスの台数から RAIDZ=RAID5、RAIDZ2=RAID6と思ってはいけない。
詳しくは書き込みホールの問題を調べたらわかるので割愛する。

で、余所ではあまり触れてないと思ったことについて。
データを全部に書くのでRAIDZにあまり一杯デバイスを並べると書き込みのペナルティが馬鹿にならなくなってくる。

よってRAIDZを構成するのは6-8デバイスにとどめておき、大容量を求めるならRAIDZ構成をたくさんストライピングするのが多分賢い。

単純なスパン構成でも、後から冗長化できる（１）

導入時にRAID0っぽい構成にして、後からマズイと思ったりしますか？
zfsだとattachしていくことで冗長構成にする事が可能だ。

たとえばこんなスパンボリューム。
NAME STATE READ WRITE CKSUM zfs ONLINE 0 0 0 c4t0d0p0 ONLINE 0 0 0 c4t0d0p1 ONLINE 0 0 0

attachであれよと言う間にRAID1+0相当に。
NAME STATE READ WRITE CKSUM zfs ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 c4t0d0p0 ONLINE 0 0 0 c4t1d0p0 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 c4t0d0p1 ONLINE 0 0 0 c4t1d0p1 ONLINE 0 0 0

多少容量は犠牲になるが、RAID0相当の構成はすぐにRAID6以上の稼働率＆ハイパフォーマンスを誇るRAID1+0に進化させることができる。
これも覚えておいて損はないだろう。

単純なスパン構成でも、後から冗長化できる（２：追記）

追加するデバイスなんかネエヨ！って方のためには、copies プロパティの変更をお勧めする。
何が起こるかって言うと、ZFSが書き込むブロックのコピー保持数を指定できるのだ。

なのでコピー=2とすれば複数のデバイス間で同一のブロックを2つ持ってくれるというわけ、hadoopにもこんな機能あるね。
このように設定しよう。

# zfs get copies tank NAME PROPERTY VALUE SOURCE tank copies 1 default # zfs set copies=2 tank # zfs get copies tank NAME PROPERTY VALUE SOURCE tank copies 2 local

これで一応冗長構成になった、容量は半分になるけどな。
ミラーと違うのは、ミラーがどれだけデバイスを追加しても容量が大きくならないのと違い、デバイスを追加したらその半分だけ容量が増えていくことかな。

思いったったら即、実質ミラーリングが可能だ、

デバイスたくさんのZpool

悩むところだが、Log,cacheを入れたら・・・

logをミラー、cacheを複数、dataはRAIDZ以上の複数スパン(または1+0構成)がいいかなあ。
こんな感じ？あくまで一例ね。
NAME STATE READ WRITE CKSUM tank ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 c4t0d0p0 ONLINE 0 0 0 c4t1d0p0 ONLINE 0 0 0 c4t2d0p0 ONLINE 0 0 0 c4t3d0p0 ONLINE 0 0 0 c4t4d0p0 ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 c4t0d0p1 ONLINE 0 0 0 c4t1d0p1 ONLINE 0 0 0 c4t2d0p1 ONLINE 0 0 0 c4t3d0p1 ONLINE 0 0 0 c4t4d0p1 ONLINE 0 0 0 raidz1-2 ONLINE 0 0 0 c4t0d0p2 ONLINE 0 0 0 c4t1d0p2 ONLINE 0 0 0 c4t2d0p2 ONLINE 0 0 0 c4t3d0p2 ONLINE 0 0 0 c4t4d0p2 ONLINE 0 0 0 raidz1-3 ONLINE 0 0 0 c4t0d0p3 ONLINE 0 0 0 c4t1d0p3 ONLINE 0 0 0 c4t2d0p3 ONLINE 0 0 0 c4t3d0p3 ONLINE 0 0 0 c4t4d0p3 ONLINE 0 0 0 logs mirror-4 ONLINE 0 0 0 c4t0d0p4 ONLINE 0 0 0 c4t1d0p4 ONLINE 0 0 0 cache c4t2d0p4 ONLINE 0 0 0 c4t3d0p4 ONLINE 0 0 0 c4t4d0p4 ONLINE 0 0 0

ちなみにこれ、コマンド一発で構築可能だ。

ZFS特集でした！

(7)

(0)

(0) Total: 7

GrubのISOイメージをアップしておく

sawano

(2010.05.15 09:40) | Linux, OpenSource | 個別ページ | 1件のコメント

(0)

(0) Total: 0

以前ちょと入用でCDから起動するGrubのイメージをつくった。

また必要になって作ったので、もうここに置いておこう。

バージョンは0.97、lvmとかext4とか言わなければだいたい役に立つだろうと。

http://sawano.members.icraft.jp/wpa/wp-content/uploads/grub097.iso

(0)

(0) Total: 0

DeskNet’sからエクスポートしたスケジュールをPythonでGoogleカレンダー用に整形する

sawano

(2010.04.21 01:50) | MyBlog, OpenSource | 個別ページ | 1件のコメント

(1)

(0)

(0) Total: 1

DeskNet’s(デスクネッツ)のスケジュールをGoogleカレンダーにインポートして何かいいことあるのかい？
iPhone / iPod Touch が勝手に同期してくれるじゃないか。

というわけで、PGほぼ素人ながらPython手習いの一環としてスクリプトを書いてみた。
DeskNet’sからエクスポートしたCSVのスケジュールを、Googleインポート用にヘッダ変更と並び変えをして保存するというつくり。

まあ、変換するだけなので簡単ですね、サンプルをつなぎ合わせたような。

import csv csvfile_in='schedule.csv' csvfile_out='schedule_out.csv' reader = csv.reader(file(csvfile_in, 'r')) writer = csv.writer(file(csvfile_out, 'w'), lineterminator='\n') writer.writerow(['Subject','Start Date','Start Time','End Date','End Time','Description','Location']) i = 0 for row in reader: if i != 0: # print unicode(row[6], 'cp932').encode('utf8') rw = [row[8],row[3],row[4],row[5],row[6],row[9]] print rw writer.writerow(rw) i = i + 1

応用でサイボウズもいけますね、ファイル名もなぜか同じだし。

これをGoogleのAPIに投げてインポートまで自動化出来たらいいんだけどなあ。
テストツールを使えばともかく、取得元のDeskNet’sやサイボウズとかから取ってくるのをスクリプトで自動化するのが大変。

これだけだと汎用性が微妙にエクセルマクロ以下なので、WEBにおいて、CSVアップしたら加工して戻してくれるようにしたいな。

サイボウズLiveとか、もっとAPI充実しないかなー

(1)

(0)

(0) Total: 1

XenのおまけのVNC、起動終了時のコンソール出力をクライアント側に

sawano

(2010.03.27 01:28) | Linux, OpenSource | 個別ページ | コメントはまだありません

(0)

(0) Total: 0

XenでVM起動するときに、組み込みのVNCを使うことができる。
Qemuのライブラリ使ってるとか何とか。

しかし、適当に順仮想で導入したCentOS5.4では、起動と同時にVNC接続できるのはいいんだがペンギンしか見えない。

DISPLAY情報とか起動シーケンスの文字が流れなくて実に寂しい思いをしたので出す方法を探ってみた。grub.confの書き換えでOK。

grub.conf をみたらデフォルト起動になっているセットのカーネルオプションに、
（略) console=xvc0
の記述が。

なるほどね、Xenの consoleコマンドで入る仮想端末にはちゃんと名前があって、それを指定していたのか。

ということでこれを丸ごと削除。
無事にVNCクライアント上で起動終了の様子が流れるようになった。

(0)

(0) Total: 0

WEBサイト組み込み用途に最適？TightVNCのVNCViewer(Java)

sawano

(2010.03.24 02:39) | Linux, OpenSource, WEB, ネットワーク | 個別ページ | コメントはまだありません

(2)

(0)

(0) Total: 2

VNCを適当に入れたら、ポート5800でWEBサーバが立つじゃない。
RealVNCのJavaのアプレットがぽつんと置いてある奴。

あれが重たい＆ちょっと別用途でWEBブラウザから使いたいと思ったので別のものを探してみた。

TightVNC
http://www.tightvnc.com/

これが良かった。

Viewer Only のアーカイブをダウンロードしたら、サンプルのindex.htmlをclassesの中に放り込み、適当にWEBサーバの公開領域におこう。
それだけでVNCのクライアントが使える。まあ普通のJavaアプレットの展開と同じなんだけど。

TightVNCの利点はこのビュワーの手軽さと、軽快な動き。
RealVNCの奴は重たくてなかなか使い物にならなかったけど、これは軽い。CLIならほとんどストレスなく動かせた。

ちなみにサンプルのHTMLはこんな感じ。
最初直接叩いてみたが、*.jarが同一ディレクトリに無いと怒られる。

<HTML> <TITLE> TightVNC desktop </TITLE> <APPLET CODE="VncViewer.class" ARCHIVE="VncViewer.jar" WIDTH="800" HEIGHT="632"> <PARAM NAME="PORT" VALUE="5901"> </APPLET> <BR> <A href="http://www.tightvnc.com/">TightVNC site</A> </HTML>

このファイルを編集して、パラメータを渡せば別サーバに接続とか行ける。
<param NAME="HOST" VALUE="hoge.example.com">

さてこれをどっかに組み込んでみたいなと思ってる。
なぜ今更こんなのかっていわれると、VNCで使い勝手が上がるものがあるじゃない、Qemuとか、Xenとか・・・

ただ、これを別サーバ接続用のクライアントとして使おうとしたら、ポリシーの関係でなんだっけ、SocketPermission の違反が起きちゃうんだよね。
この制限解除はどこでやるんだ？できると助かる、サーバ側で指定できるといいんだがなあ。

追記
やっぱクライアント側か。。

(2)

(0)

(0) Total: 2

fail2banでブルートフォース対策

sawano

(2010.03.24 02:13) | Linux, OpenSource, ネットワーク | 個別ページ | コメントはまだありません

(9)

(0)

(1)

(0) Total: 10

以前のものでiptablesのipt_recentをつかって、2行のコマンドでsshのアタックを防ごうという記事があるのだけど、とあるサーバで適用できなかったので別手段を。

(ほぼ)共同で借りているVPSレンサバがあるんだが、OpenVZかVirtuozzoかのコンテナらしくてiptablesのモジュールが自由にできないのがある。
そこではipt_recentをつかうとエラーになってしまい、前述の簡単ブルートフォース対策が使えないのだ。

仕方ないので fail2ban を使うことに。
pythonで動く、アクセス制限操作用のプログラムだ。
ちなみに導入先はCentOS5.4。

fail2banのインストール

開発元のサイトから最新のStableを落とそう、記事の時点では0.8.4だった。
http://www.fail2ban.org/wiki/index.php/Main_Page

RPM があるみたいだけど、ここはtarボールで。簡単だから。

展開したらPythonのスクリプトを流そう、Python2.3以上がいるらしいが、
まあ問題ないだろう。
# python ./setup.py install

なんとこれだけで終わりだ、便利になったもんだ。

"/etc/fail2ban/" に設定が一式、"/usr/share/fail2ban"にpythonのスクリプトが入る。

fail2ban.conf：基本の設定
jail.conf：サービス別設定

これだけ覚えてりゃなんとかなる、今回は jail.conf しかいじらない。

fail2banの動作パターン

ログを30秒ごとに監視する⇒パターンマッチしたらアクション(iptables設定追加など)
一定時間経過⇒適用済みのアクションを解除

という感じだ。

色々細かい設定やテストが出来るが基本はこのパターン。シンプルで他に影響が出ない。
導入の敷居としては低いんじゃないかな。

※当然iptablesを動かして無いと効果がない。

sshの制限（設定）

じゃあ導入のきっかけ、sshの制限をしよう

jail.confにもともと書いてある設定をちょっといじる。太字は大事なとこで、他も適当に書き換えよう。

[ssh-iptables] enabled = true filter = sshd action = iptables[name=SSH, port=ssh, protocol=tcp] # sendmail-whois[name=SSH, dest=hogehoge@example.com, sender=fail2ban@mail.com] logpath = /var/log/secure maxretry = 5

有効にして、メール通知やログパスの設定を環境に合わせる。
通知はコメントアウトしているが、動作確認などでは便利なので安定動作を確認するまで使ったほうがいい。

sshの制限（デーモン稼働）

fail2banの軌道方法だけど、スクリプトが用意してある。
デーモンモードとなり、制御端末は切り離されるのでログアウトしても心配いらない。
# /usr/bin/fail2ban-client start

設定を変更した場合などは、
# /usr/bin/fail2ban-client reload

自動起動についてだけど、init.d/に置くスクリプトはとくに用意してないみたいだったので、inittabに書いちゃったな。
これについてはきっちり試してないのだが多分大丈夫だろう。

fail2banの様子

とりあえず同一のIPから600秒以内に5回ログインミスったらbanするように(さっきの設定)した。
デフォルトではbanして600秒たったら元に戻る。

"/var/log/fail2ban.log" にbanの様子が記録されるので見てみよう。

# tail /var/log/fail2ban.log 2010-03-23 18:20:55,628 fail2ban.actions: WARNING [ssh-iptables] Ban 211.142.19.251 2010-03-23 18:30:55,810 fail2ban.actions: WARNING [ssh-iptables] Unban 211.142.19.251 2010-03-23 21:35:14,533 fail2ban.actions: WARNING [ssh-iptables] Ban 211.142.19.251 2010-03-23 21:45:14,707 fail2ban.actions: WARNING [ssh-iptables] Unban 211.142.19.251 2010-03-23 22:33:37,424 fail2ban.actions: WARNING [ssh-iptables] Ban 211.157.108.132 2010-03-23 22:43:37,616 fail2ban.actions: WARNING [ssh-iptables] Unban 211.157.108.132 2010-03-24 00:00:34,088 fail2ban.actions: WARNING [ssh-iptables] Ban 64.3.96.221 2010-03-24 00:10:34,310 fail2ban.actions: WARNING [ssh-iptables] Unban 64.3.96.221 2010-03-24 00:53:33,939 fail2ban.actions: WARNING [ssh-iptables] Ban 211.142.19.251 2010-03-24 01:03:34,114 fail2ban.actions: WARNING [ssh-iptables] Unban 211.142.19.251

おお、引っかかってるね。Banして、10分後にUnban、10分もすりゃたいがい攻撃は終わってる。
こいつらほっといたら万単位で試行しやがる、まったく。

ついでにログを何秒間隔で掘っているのか気になったのでstraceして測ってみた。
# strace -p 26424 Process 26424 attached - interrupt to quit poll([{fd=3, events=POLLIN|POLLPRI|POLLERR|POLLHUP|POLLNVAL}], 1, 30000) = 0 (Timeout) poll([{fd=3, events=POLLIN|POLLPRI|POLLERR|POLLHUP|POLLNVAL}], 1, 30000) = 0 (Timeout) poll([{fd=3, events=POLLIN|POLLPRI|POLLERR|POLLHUP|POLLNVAL}], 1, 30000) = 0 (Timeout) …

30秒間隔見てるね、まー十分だろう。

他にも各種サービス用の設定がプリセットされていた、使いやすいツールの一つとして覚えておこう。

(9)

(0)

(1)

(0) Total: 10