2005-08-12

＜講義１＞ PCクラスタの作り方

PCクラスタ

PCクラスタの作り方
- PCクラスタとは？
  - いわゆるパソコン(PC)は、それぞれが単独に動くものだが、それらをネットワークでつないで、１つの処理を実行するように設定したシステムのこと
- PCクラスタの導入とは
  - 要求計算機性能を満たすハードウェアを手に入れる
  - ハードウェアを組み立てる
  - クラスタ化のためのソフトウェアを入れる
  - 使う
  - メンテナンスする
  - スケールアップ・チューンアップする
- ハードウェアの入手部分以外のコスト削減が可能
まずは作ってみよう：PCクラスタ構築の実際
- ハードウェア：複数台のPCとネットワーク接続機器の入手
  - Linux動作確認・ネットワーク接続OKのPCとネットワーク機器を購入、または
  - すでに複数台のLinuxPC+ネットワーク接続済みの機器セットを購入
- ソフトウェア
- インストールするソフトウェア
  - OS(Linuxとそのディストリビューション)
  - 並列ライブラリ(Linuxのライブラリ)
- Linuxディストリビューションの選択
  - ハードウェア・並列ライブラリ(後述)との組み合わせで動作確認のとれているディストリビューションを選ぶ
- 並列ライブラリとは
  - PCクラスタは『分散並列機』
  - 複数のCPUが存在し、それぞれのCPUがメモリを有する
  - 通常はCPU内メモリは当該CPUからのみアクセス可能である
  - クラスタでつながれたCPU同士が自身以外のCPUのメモリにアクセスすることがPCクラスタの仕組みである
  - あるCPUから他のCPUのメモリにアクセスするための仕組みを『メッセージパッシング』と呼び、この機能を実現するためのソフトウェアが『並列ライブラリ』である
- ソフトウェアのインストール
  - Linuxディストリビューションのインストール
  - 並列ライブラリのインストール
    - 依存関係の確認が容易な.rpmなどを用いるのが便利
構築上の留意点
- ハードウェア
  - PC
    - メモリ
    - チップセット
    - CPU
    - 函
    - ネットワークカードとそのドライバ
    - ハブ
    - ハードディスクとそのデータ転送方式
  - ネットワーク：並列PC間のデータ転送の効率化のため
    - PCあたりのネットワークカード数
    - 連結トポロジ
    - Ethernetとその代替
- ソフトウェア
  - カーネルの再構築
    - 必要機能のみの稼動に限定
    - Linuxのネットワーク関連部分の更新
    - PCクラスタに比較的特有なソフトウェアとの互換性の維持
  - 複数PCリソースの共有管理のためのツール
    - 複数ノードPCをサーバとそのクライアントに分ける『サーバ・クライアントシステム』
      - NFS(Network File System):ファイルの共有
      - NIS(Network Information Service):ユーザの共有
      - NTP(Network Time Protocol):時計の共有
    - 複数ノードPCに対して一括してインストール可能なアプリケーション
  - 並列プログラム作成・実行のためのツール
    - 並列プログラム作成
      - 並列プログラム用コンパイラ
        
        並列プログラムはクラスタPCのすべてでコンパイルが必要
        
        そのためのコンパイラの入手とインストール
        
        たとえば　mpich PGI コンパイラを使用したMPICHライブラリの生成とか
      - 並列プログラムのデバッグ
        
        並列プログラムには複数のノード(PC)でそれぞれ実行する部分とノード間の通信を要する部分とがある
        
        デバッグにあたり、複数のノードPCでの動作のデバッグと、ノードPC間の通信に依存する部分のデバッグとがある
      - 複数ノードPC上のバグを一括検知するデバッガの利用を検討:
        
        たとえば　TotalView PCI Express | High Speed Networks | Dolphin ICS
      - 通信状態とその遅延状態の検知のためのツール：プロファイラ
        
        たとえば　Paradyn Paradyn Tools Project
    - 実行時のリソースマネージメント
      - RMS(Resource Management and Scheduling)
        
        プロセスの配分・ロードバランスの調整・複数タスクのスケジューリングを行う
        
        たとえば　CONDOR HTCondor - Home