2013-12-16

『Web開発者のための大規模サービス技術入門』五日目

OSのキャッシュと分散

VFS

　ディスクを操作するデバイスドライバと
　OSの間にはファイルシステムが挟まっている
　(Linuxだとext3,ext2,ext4,xfsなど)
　そのファイルシステムの上にはVFS(仮想ファイルシステム)がいる
　概要
　　インターフェイスの統一をすること
　　このVFSがページキャッシュの仕組みをもっている
　　どんなファイルシステム、ディスクシステムを使っても
　　同じ仕組みでキャッシュされる
　VFSの役割は・・・
　　・ファイルシステム実装の抽象化
　　・ページキャッシュ

Linuxはページ単位でディスクをキャッシュ

　例えば・・・
　　2GBのメモリで500MBをOSがプロセスに割り当て
　　4GBのファイルをキャッシュできる？
　答え・・・
　　出来る。OSはブロック単位でファイルの一部分をキャッシュする
　　ここではページ単位の4KBだけキャッシュする
　ページ＝仮想メモリの最小単位
　LRU
　　メモリの余裕が1.5GBあって4GB全部読んだらどうなる？
　　仕組みとしてLRU、一番古いものを廃棄
　　一番新しいものを残すという形になっている
　　よって、DBをずっと動かしていればキャッシュが最適化され
　　起動直後より後の方が負荷、ファイルI/Oが下がっていく
　(補足)どのようにキャッシュされるのか
　　Linuxはファイルをiノード番号という番号で識別
　　そのファイルのiノード番号とそのファイルがどこから始まるか
　　のオフセットの2つの値をキャッシュ
　　この仕組みでファイルの一部分がキャッシュできる
　　ファイルが大きくても小さくても同じ速度でキャッシュできる
　　(RadixTreeという工夫されたデータ構造のおかげ)

2013-12-15

『Web開発者のための大規模サービス技術入門』四日目

Web開発者のための大規模サービス技術入門

OSのキャッシュと分散

OSのキャッシュ機構

　そもそもOSにはディスクのアクセスを速くする仕組みがある

ページキャッシュ

　OSは「仮想メモリ」機能をもっている
　　仮想メモリ＝論理的なリニアアドレスを物理的な物理アドレスに変換
　　メモリには32ビットの番地が付いてる(0x12345678)
　プロセスがメモリが欲しいときOSは空いているメモリを返すが
　　アドレスを違うアドレスに変換する
　　なぜそうするか？
　　　決まった地点から使えたほうがプロセスが扱いやすいため
　　　(0x0000000に変換する)
　　ポイント
　　　OSはメモリを直接渡すのではなくカーネルの中で仕組みを抽象化している
　　備考
　　　OSはメモリを確保する時に1バイトずつではなく
　　　4キロバイトほどブロックを確保している
　　　この1ブロックをページと言う。OSは最低1個以上のページを確保

Linuxページキャッシュの仕組み

　OSは確保したページをメモリ上ずっと確保し続けている機構を持っている
　ページキャッシュの仕組み
　　1.OSがディスクから４キロバイトのブロックを読み出し
　　2.メモリ上に配置(プロセスは仮想メモリだけアクセス出来る)
　　3.OSは仮想メモリの番地をプロセスに教えてあげる
　　4.OSが仮想メモリにアクセス
　　5.プロセスがデータを読み終えても仮想メモリは開放されない
　　6.次に別のプロセスが同じディスクにアクセスする際は残しておいたページを使用
　ページキャッシュの身近な効果
　　Linuxではディスクにデータを読みにいくと必ずメモリにいってキャッシュされる
　　したがって、2回目以降のアクセスが速くなる
　　OSはずっと起動しておくと速くなる
　　起動直後はキャッシュがないのでディスクI/Oは発生しやすく重い

2013-12-04

『Web開発者のための大規模サービス技術入門』コラム1

Web開発者のための大規模サービス技術入門

具体的なロードアベレージとCPU負荷とI/O負荷の確認方法

　ロードアベレージ

　　top コマンド

load average: 0.52, 0.44, 0.37

　　左から順に1分、5分、10分の単位時間当たりの待たされたタスクの数

　　つまりはどの程度のどの程度のタスクが待たされたか

　　この値が高ければ遅延している

　CPU負荷とI/O負荷

　　sar コマンド

　　　CPUバウンドなサーバ

　　　%user or %system が高く%idleが少ない

00時00分01秒     CPU   %user     %nice     %system   %iowait    %steal   %idle
00時10分01秒     all      60.29      0.00      1.50         0.00         0.00     40.70
00時20分01秒     all      59.12      0.00      1.56         0.00         0.00     40.19

　　　I/Oバウンドなサーバ

　　　%iowait が高い

00時00分01秒     CPU   %user     %nice     %system   %iowait    %steal   %idle
00時10分01秒     all        0.29      0.00      1.50         22.00       0.00     99.70
00時20分01秒     all        0.12      0.00      1.56         22.00       0.00     99.19