こんにちわ
ファイルの読み取りクラスを作ろうと思い実装していますが
トークンの取得の仕方で困っています。

まずファイルを開く関数で
BOOL MyFile::Open(ファイル名)
{
//ファイルを開く
FILE* file = __tfopen( ファイル名, _T( rb ) );
//ファイルサイズを調べコピー
fseek( file , 0, SEEK_END );
int size = ftell( file );
fseek( file , 0, SEEK_SET );
Buffer = new TCHAR[ size + 1 ];
fread( Buffer , size , 1 , file );
Buffer[ size ] = _T( '\0' );
fclose( file );
//バッファの位置を格納
Pointer = Buffer;
}
とファイルを開き、バッファに格納しています
そしてトークンの取得で
LPCTSTR MyFile::GetToken()
{
while( *Pointer )
{
if( _tcschr( Separator , Pointer[ 0 ] ) == NULL ) Pointer ++;
else
{
int size = 0;
// 文字数を取得
while( _tcschr( Separator , Pointer[ size ] ) != NULL ) size ++;
// トークンを新たに作成
Token = debug_new TCHAR[ size + 1 ];
// トークンを設定
_tcsncpy( Token , Pointer , sizeof( TCHAR ) * size );
Token[ size ] = _T( '\0' );
// ポインタを進める
Pointer += size;
return Token;
}
}
}
としています。
Separatorには_T( \t\r\n,;\")といったように無効文字を指定しています。
このままだと欲しいトークンを取得できないのですがどうしたらいいのかわかりませ
ん。
よろしくお願いします。