完全にVC++で、キータッチ・クリック無しで、ネットの動作を行わせることは出来るか? – プログラミング – Home

完全にVC++で、キータッチ・クリック...
 
通知
すべてクリア

完全にVC++で、キータッチ・クリック無しで、ネットの動作を行わせることは出来るか?


たな
 たな
(@たな)
ゲスト
結合: 21年前
投稿: 5
Topic starter  

キーやマウスのクリックではなく、
音声で、番号を選択させたり、
エンターキーを押している仕事をなさせたいのです。
声をうまく認識できたとして、
VC++からネットにリンクして、
クリックや番号サーチ・選択の仕事を
代用させることはできるのでしょうか?
出来るとしたら、具体的には、
どういうコードにすればいいのでしょうか?


引用解決済
トピックタグ
PATIO
(@patio)
Famed Member
結合: 3年前
投稿: 2660
 

まずは音声認識でそういう操作まで可能なのかと言う点から調べて見ては
どうですか?その部分がそもそもどうにもならないのであれば、実現の道は
限りなく険しそうです。
音声認識のソフトとアプリケーションとの連携をうまくとる事ができれば、
何とかできるのではないでしょうか。

冷たいようですが、上記の部分の情報をきちんと集めて方法論まで
到達していないのであれば、コードがどうこうと言うレベルの話ではないと
思います。まずは基礎的な情報集めから始められてはどうでしょう。


返信引用
たな
 たな
(@たな)
ゲスト
結合: 21年前
投稿: 5
Topic starter  

いや。
今、音声認識の性能は結構いいものです。
極端に選ぶ対象が大きい時は別にして、
1、2、3、4、5、6,7、6、9、10、OK、キャンセル
の12文字くらいの発話なら9割の確率で判別できてきます。

よって、これらの文字が、各々CASEの入力としてならんでいて、
その後、従来のキーでの文字の引き取りやエンターキーでの
肩代わりとして、どう処理をすればいいか、ということが問いになります。


返信引用
RAPT
 RAPT
(@RAPT)
ゲスト
結合: 22年前
投稿: 310
 

リンクをクリックとか、具体的な操作と画面の動作とのマッピングについて
どう割り当てるかを別にすれば、COMを使えばできると思います。

細かい操作とか、フォームの入力とか出てくると、また別の問題も出てきますが、
単純にナビゲートするだけなら、なんとかなりそうだと思います。

COMによる操作については、「IEコンポーネント」について調べてみると吉かも。


返信引用
PATIO
(@patio)
Famed Member
結合: 3年前
投稿: 2660
 

でしたら音声認識ソフト側から想定しているアプリケーションとの
プログラム的なインターフェイスがはっきりすれば、
後は設計しだいなのでは?
逆に言うとインターフェイスがはっきりしないと何とも言いかねますが、
特にコーディングレベルの話であればそうです。
そのインターフェイスまでこちらで調べてくれと言うのはおかしいですよね。

例えば、対象のアプリケーションに対してキー入力を同じ形で送られてくるのであれば、
一般的なキー入力による処理と同じでいいのではないかと思います。
逆に音声認識しやすい選択肢を用意して音声入力から入力させると言うデザインで
良いのではないでしょうか。
一般的なキー入力に対してのコーディングであれば、Web上で検索すればかなり引っかかると
思います。


返信引用
PATIO
(@patio)
Famed Member
結合: 3年前
投稿: 2660
 

誤字訂正

誤)
>逆に言うとインターフェイスがはっきりしないと何とも言いかねますが、

正)
逆に言うとインターフェイスがはっきりしないと何とも言いかねます。

誤)
>例えば、対象のアプリケーションに対してキー入力を同じ形で送られてくるのであれば、

正)
例えば、対象のアプリケーションに対してキー入力と同じ形で送られてくるのであれば、


返信引用
たいちう
 たいちう
(@たいちう)
ゲスト
結合: 23年前
投稿: 662
 

音声認識が解決できるなら、下記のような仕様を考えてください。

IE(でなくてもいいのですが)の隣に電卓のようなウィンドウが
表示されていて、1から10までのボタンとOK、キャンセルのみ
あります。ユーザーはこのボタンをクリックするだけで、
IEを操作します。
必要なら、少々ボタンを増やしてもかまいませんが、
それ以外の操作は一切できません。

たなさんは、この条件で設計できるのでしょうか?
それとも、この設計が質問内容でしょうか?

# 最悪、十字キーを用意して、マウスポインタを動かすことで
# 全て解決できそうだけど、音声でやるとスイカ割りみたいになってしまう。
# HTMLを解析することで、スマートにできそうだけど。


返信引用
ITO
 ITO
(@ITO)
ゲスト
結合: 22年前
投稿: 1235
 

.net Frameworkで検討するのほうがいいのでは、ないでしょうか。
関係者お願いします。


返信引用

返信する

投稿者名

投稿者メールアドレス

タイトル *

プレビュー 0リビジョン 保存しました
共有:
タイトルとURLをコピーしました