MFCを使っているかどうかは書きましょう。
ProcessShellCommandってAPIは聞いたことないからMFCなんでしょうけど。
しかもダイアログベースではなくSDIかMDIなんでしょう。

SDI、MDIってよく分からないのでごく一般的な考えを回答します。

まず、二重起動防止はミューテックスなどを使って実現します。
で、二重起動された場合にそのファイルをオープンするには、コマンドラインの文字列を
(MFCではCWinApp::m_lpCmdLineになるんでしょうか？)起動しているウィンドウに対して
メッセージをポストしてやればいいでしょう。
もちろんそのメッセージを受けてファイルをオープンするためにはそれなりのコードは
書かないといけないんでしょうけど。

＃SDI、MDIってもっと簡単にできるんでしょうか...？

Cdsさんの回答だけでも十分かと思いますが、参考までに下記を見てみてください。
http://www2s.biglobe.ne.jp/~maekawa/dev/vc/tips/lib/chofuku_kidou.html
それから裏技だとここですね。
http://www.bd.wakwak.com/~opapa/VC/Bogus/SingleInst2.htm

>・ファイル名取得後に起動しているアプリにオープンさせたいと思いますが、どのメッセージ
>　を使えばよいか？
アプリケーションクラスでOpenDocumentFile()関数をオーバーライドするか、ドキュメント
クラスでOnOpenDocument()関数をオーバーライドすれば良いのではないでしょうか。

>・ProcessShellCommand()を呼んでからならファイル名情報は取得できるのですが、その
>　アプリの実行を停止すると「ファイルを開けませんでした」という感じのエラーがでて
>　しまいます。

ひょっとして、CWinApp::InitInstance() でFALSEを返して
アプリケーションを終了しているのでしょうか？
その場合、アプリケーションは初期化失敗で終了したことになるので、
エラーがでます。

>・ファイル名取得後に起動しているアプリにオープンさせたいと思いますが、どのメッセージ
>　を使えばよいか？

独自のメッセージを送信するのが簡単でしょう。
ファイルオープン用のメッセージというのはありません。

ところで、ファイルオープンを1つの実行中アプリケーションに
任せたいのなら、DDEを実装するのがよいのではと思います。

みなさん、返信ありがとうございます。
ＶＣ６．０（ＭＦＣ）、Ｗｉｎ２０００使ってます。

dairygoodsさん、ＤＤＥ実装ってEnableShellOpen()だけでいいんですかね？
これでいくと、ファイルダブルクリックを行なって起動したら問題無いんですけど、
ＥＸＥを単純に起動すると、その後にファイルダブルクリックしたものを認識して
くれないんですけど、誰かわかりますか？

1つずつ問題を解決した方が良いと思われます。
まず、二重起動防止の部分を抜きにして、ダブルクリックすると起動中のアプリケーション内で
ファイルを開けるようにしてから、二重起動防止を実装してはいかがですか？

EnableShellOpen()をコールしておけば、ダブルクリックしたときにファイルを開けるように
なっているはずです。ダブルクリックすると、CWinApp::OnDDECommand が呼び出されて、DDE
実行コマンドを処理します。ファイル名などはこの関数のパラメータ文字列の中に入っているの
で、これをオーバーライドすると、ファイルを開く前に特別なチェックなどができるでしょう。
とりあえず、オーバーライドして、ブレークさせてみてはいかがですか？ ここでブレークしな
かったなら、レジストリの登録に問題があるかもしれません。