日本でも Windows HPC Server 2008 が発表されましたが
このクラスタノードで実行するアプリを書くためのライブラリとして
MPI.net (High-Performance C# Library for Message Passing) というライブラリが公開されていました
通常は C++ での開発となることが多いと思いますが
このライブラリを使うことで C# で Message Passing Interface を使って
Network Direct などのノード間通信を使いながらクラスタ計算が可能になる模様
詳しく試していませんがなかなかおもしろそうな予感です
MPI.net
http://www.osl.iu.edu/research/mpi.net/