Windowsの仕様上、DLL側の DLL_PROCESS_ATTACH のタイミングで
新スレッドを生成し、生成したスレッドからの通知待ちをやろうとすると
デッドロック（≠無限ループ）することになってます。(^^;;;

・DLL 側の InitInstance() は DLL_PROCESS_ATTACH 時に呼ばれる
・GetOpenFileName() は内部で新スレッドを起こして何らかの通知待ちをする（推測）

ということで、デッドロックするんだと思います。

Initnstance() の中ではなく、
・エクスポート用の関数を作成し、その中で CFileDialog を使うようにする
・exe からそのエクスポート関数を呼び出す
というやりかたにしないとちゃんと動かないと思います。
っていうか、それが普通のやり方だと思いますが．．．

>Windowsの仕様上、DLL側の DLL_PROCESS_ATTACH のタイミングで
>新スレッドを生成し、生成したスレッドからの通知待ちをやろうとすると
>デッドロック（≠無限ループ）することになってます。(^^;;;

具体例：

BOOL WINAPI DllMain(HINSTANCE hInst, DWORD fdwReason, PVOID fInpLoad)
{
HANDLE hThread;
switch (fdwReason)
{
case DLL_PROCESS_ATTACH:
hThread = CreateThread(NULL, 0, ...);
WaitForSingleObject(hThread, INFINITE); // こんなんでもデッドロックする
CloseHandle(hThread);
break;
case DLL_THREAD_ATTACH:
:
:
}
return TRUE;
}

DllMain() てのは特殊で、マルチスレッドプログラムでも並行動作はしないからね。

システムが DllMain() を呼ぶときは、当該スレッドのコンテキストを使って
EnterCriticalSection()
DllMain()
LeaveCriticalSection()
みたいなシーケンスで呼び出すのだと思えばいいんじゃないかと。

元のスレッドでは DLL_PROCESS_ATTACH 内の WaitForSingleObject() でイベントを待つ。
起動したスレッドは本処理を開始する前に DLL_THREAD_ATTACH で DllMain() を呼ぼうとす
るのだけど、元のスレッドが DllMain() を実行中なのでその終了を待つ。
で、双方のスレッドが互いの処理の待ち状態になってデッドロックに至るわけ。

Advanceさん、mxttraraさん、どうも有難うございました。
お二方が仰った事は、MSDNのDllMain()の解説に書かれていました。
が、自力でここに辿り付く為にはとても時間を要したでしょう。
何故なら、GetOpenFileName()に目がいっていた為です。お二人に深く感謝致します。

ただ、問題は未解決のままです。どうやら別の所にも問題がありそうです。
今後はこれに取り組みます。

お世話になりました。有難うございました。