2011年度 修士論文 冨岡 翔
『画像処理を用いた肢体不自由者用ポインティング／文字入力ツールの試作』
INDEX
研究の概要
序論
試作したツールについて
試作したツールの評価
結論
リンク
本研究では，寝たきりで可動部位の限られた肢体不自由者がベッドの上でもパソコンを操作するために使用する「ポインティングツール」および「文字入力ツール」の開発を行った． 本ツールの特長はUSBカメラ，装着マーカ，パソコンの3つの機器を用いてユーザの手の部分を撮影し画像処理を行うことで， ユーザがマウスやキーボードといった機器を手に持つ，あるいはベッドの上に置くことなく使用できることである．
本ツールは，ユーザの親指と人差し指に色つきの装着マーカを取り付け，この装着マーカをUSBカメラで撮影しながら使用する． このため，従来の機器のように直接機器に触れて操作する必要がないので，機器等を手から離してしまいパソコンの操作が不能になるといった事態を避けることができる．
本ツールにはマウスの代わりとなってマウスポインタを操作する「ポインティングツール」とキーボードの代わりとなって文字入力を行う「文字入力ツール」の機能がある． 2つのツールは連携しており「ポインティングツール」をメインツールとしながら必要に応じて「文字入力ツール」を起動してパソコンの操作を行えるようになっている．
本ツールの評価実験を被験者６名にベッドで寝たきりの状態で本ツールを使用してもらい既存のツールとの比較することで行った． 評価実験において比較対象として「トラックボール式親指マウス」と「Windows標準のスクリーンキーボード」を使用し，本ツールを使用した場合のパソコンの操作にかかる時間と使用感を比較した． 実験において試作したツールはベッドの上で使用不能だった被験者がいなかったのに対して，比較したツールには使用不能であったユーザが１人いたことが確認できた． さらに実験における操作時間においても追加実験として試作したポインティングツールの最適化を行うことで従来法であるツールの操作時間に迫る結果を出すことができた． またパソコンの操作における指の動作回数でも提案法である本ツールは従来法の動作回数を下回り，ユーザにとって負担の少ないツールであることも確認することができた．
以上のことから本ツールは，ベッドの上に寝たきりの肢体不自由者にとってパソコンを操作する際に選択するツールの１つになると考える．
INDEXへ
序論
昨今のパソコンにおけるインタフェースは，アイコンを画面上で選択するGUI（Graphical User Interface）が主流であり，マウス操作を前提としたものになっている． しかし，寝たきりで可動部位の限られた肢体不自由者がパソコンを使用する場合，健常者が使用するマウスやキーボードといった機器をそのまま使用することは困難である．
従来，肢体不自由者のために８方向のボタンを押し分けてマウスの代わりをする機器である「こねこの手」や頭にレーザポインタを装着し特殊な機器を指し示して操作する「光入力式マウス」を用いて マウスポインタの操作や文字入力を行う方法が提案されてきた．しかし，これらの機器はベッドの上に寝たきりのユーザにとっては安定して設置することができず使用することが難しい．
そこで，マウスやキーボード， 特殊な機器を使用しなくても安価で手に入る機器を使用し，手の指２本の動作によって，マウスポインタの操作・文字入力が可能になるツールを作成した． 本ツールは，USBカメラによって指の動きを検出し操作するので，ユーザは機器を直接持つ必要がなく，布団の上でパソコンを操作する場合に手から機器が離れてしまい操作不能になるということがなくなる． 実際にツールを使用する様子を図1.1に示す．
本ツールは，寝たきりであるが手の指２本が動作する肢体不自由者にとって，パソコンの操作の際に有用性の高い方法になると考えられる．
試作したツールについて
試作したツールの概要
本ツールで使用する機器はUSBカメラ，装着マーカ，パソコンの３つであり，いずれも市販されている安価なものを使用している． USBカメラは図2.1に示す一般に流通しているものを，装着マーカは布製のばんそうこうに水性サインペンで着色したものである．装着マーカに関しては自作することも容易であり，非常に安価で作成可能である．
装着マーカを図2.2に示すように指に取り付け，その部分を撮影し画像処理を行い，指の動きを画像の変化としてその情報を基にパソコンの操作を行う．筆者は操作性を考慮し，親指と人差し指の先に装着マーカを取り付け，操作を行う手法をとっている．
本ツールはメインとなるポインティングツールとそこから起動させる２種類の文字入力ツールから構成されている．ツールの構成図を図2.3に示す．ポインティングツールから文字入力ツールを起動し，文字入力ツールを終了させればポインティングツールに操作の対象が戻るようになっている．
ポインティングツール
ポインティングツールは図2.4に示すようなインタフェースになっている．このツールに必要な操作は以下の３つである．
・マウスポインタの移動操作
・マウスにおける左右クリック
・ドラッグ操作
「マウスポインタの移動操作」では親指で左右移動，人差し指で上下移動の制御を行う．これらの操作を組み合わせることで斜め方向への移動も可能である． マウスポインタの移動速度に関しても，指の動かす幅によって速度が変化する機能を備えている．
「マウスにおける左右のクリック」「ドラッグ操作」はモード切り替え機能を用いることで行う．モード切り替えを行うと移動操作は行えなくなるが，クリック，ドラッグの操作を行えるように機能が切り替わる．
ここでポインティングツールの操作画面について詳しく説明する．図2.4に示すように操作画面の各部の名称は以下のようになっている．
①カメラ画像表示部
USBカメラで撮影している画像を表示する．
②装着マーカの色選択ボタン
ユーザが取り付けている装着マーカの色を選択できるボタンである．検出する色を選ぶことができる．
③選択した色の表示
②で選択した色が何色なのかを表示する．
④標準の大きさの操作用領域での開始/停止ボタン
装着マーカの検出開始・停止用のボタンのひとつであり，標準の大きさの操作用領域を表示する．
⑤標準以外の大きさの操作用領域での開始/停止ボタン
いずれも装着マーカの検出開始・停止用のボタンであり，ぞれぞれのボタンに設定された大きさの操作用領域を表示する．
⑥現在選択されているモード
現在のモードを表示する．
⑦各領域に割り当てられている操作の表示
現在のモードでの各領域に割り当てられている操作を表示する．
⑧文字入力ツール起動ボタン
２つのボタンはそれぞれ異なる種類の文字入力ツールを起動することができる．
⑨「Internet Explorer」起動ボタン
ボタンを押すことで「Internet Explorer」を起動させることができる．
⑩操作用領域
開始ボタンを押されてから表示される黒い線で囲まれたそれぞれの領域のことである．
操作性を向上させるための機能として，操作用領域の大きさを調節できる機能がある．操作用領域とは，図2.4に示す装着マーカを基準として表示される枠線で囲まれた領域のことである． この領域は７つある開始/停止ボタン（図2.4の④および⑤）のいずれかを押した後，カメラ画像表示部上に表示される． 操作用領域にはそれぞれに操作が割り当てられており，装着マーカを取り付けた指を移動させることでツールを操作する．
この操作用領域の大きさの調節機能はユーザによって異なる指の可動範囲やUSBカメラと指の距離の違いによって起こる操作のしづらさをなくすためのものである． 大きさの調節にはボタンを用いており，段階的な調節ができるようになっている．大きさの種類は図2.5の領域の大きさを基準に大小３段階の大きさがある．基準の大きさを除く６段階の大きさの違いを図2.6に示す．
文字入力ツール
２つの装着マーカを検出し，その動きから得た情報を基に文字入力が可能なツールを作成した．文字入力ツールは２種類のレイアウトのものがある． このツールはメインツールとなるポインティングツールからの起動が可能であり，ひとつのツールとして連携している． またWindowsに標準で搭載されているオンスクリーンキーボードでの入力のようにマウスポインタをキーに合わせて入力する必要がないので入力の度に細かい動きを必要としないツールとなっている．
文字入力ツールは図2.7に示す「五十音キーボード」と図2.8に示す「バー型キーボード」の２種類である．
ツールの操作方法として「五十音キーボード」の場合は図2.7に示すように，ある文字にフォーカスが当たっている状態で上下にフォーカスを移動させるためには人差し指の上下の動きを， 左右に移動させたい場合は親指の左右の動きを使って入力や操作したいボタンにフォーカスを移動させる． 「バー型キーボード」場合は図2.8に示すように基本的には左右の動きでフォーカスを移動させるが，「あ」行のほかの文字を選択する場合には上下の動きを必要とするといった操作方法になる． 「あ」のボタンと「変換」の間もつながっているので左右の動きのみでフォーカスがループするようにもなっている．
ツールを使用する際の手順
実際にツールを使用する際に必要な手順を以下に示す．
①装着マーカの取り付け
②モニタのセッティング
③USBカメラのセッティング
④操作用領域の大きさの設定
⑤ツールの操作
①装着マーカの取り付け
装着マーカをユーザへ取り付けた様子は図2.2に示した通りである．
②モニタのセッティング
モニタのセッティングは図1.1に示すように寝たきりでの使用を想定しているため，モニタアーム等をベッド脇に設置し， ユーザがパソコンの画面を見ながら操作するために必要である．使用したモニタアームを図2.9に示す．
③USBカメラのセッティング
USBカメラのセッティングの際には，ユーザがツールを使用する環境に合わせた設定が必要である． これには「照明追加」「撮影する背景である布団の柄に合わせた装着マーカの色の選択」なども含まれる．図2.10に示すように背景である布団の柄は使用するユーザによって変わるので，色の違いに対応する必要がある． またUSBカメラの設置方法は図2.11に示すようにベッド脇の台からユーザの手を覆うように設置する必要がある．
④操作用領域の大きさの設定
ユーザに適した操作用領域の設定では，ツールを使用するための領域の大きさを，カメラと装着マーカの距離やユーザの指の可動範囲に応じて調節することで，ツールの操作性が悪くならないようにする． この領域の大きさについては図2.5，図2.6を参照されたい．
⑤ツールの操作
上記①から④のセッティングの後，メインツールの操作をはじめる．
画像処理部
ここでは画像処理を用いてUSBカメラでユーザに取り付けた装着マーカを検出している方法について説明する． 装着マーカの検出開始からツールの操作までの流れは以下のようになっている．
①装着マーカの色をボタンで選択する．選択できる色は「赤」「緑」「青」の３色である．
②表示したい大きさの操作用領域に合わせて開始・停止ボタンを選択する（領域の大きさは７段階）．
③内部処理１ 画像内の色の探索開始
USBカメラでキャプチャしている画像（サイズは320×240）内の探索を開始する（探索する色は①で選択された色）．
④内部処理２ 装着マーカの初期位置探索
③で装着マーカの初期位置を検出し，そこを中心に操作用領域を表示する（操作用領域の大きさは②で選択したボタンで選択した大きさ）．
⑤内部処理３ 装着マーカの位置の追従
④で検出した装着マーカの初期位置を値として保持したまま，現在装着マーカがある場所を検出し続ける．
⑥行いたい操作が割り当てられた操作用領域に装着マーカを移動させてツールを使用していく．
なお③～⑤については補足説明を加える．
③ 内部処理１ 画像内の色の探索開始
図2.12に示すように装着マーカを取り付けたユーザの手を撮影したサイズ320×240の画像を左上から右下まで順に探索していく． 探索は１ピクセル毎ではなく，３×３の合計９ピクセルでの探索を行っている．
④ 内部処理２ 装着マーカの初期位置探索
親指と人差し指の２つの装着マーカの初期位置の検出を行い，その位置を初期位置として装着マーカを中心に操作用領域を表示する（図2.13参照）．装着マーカの位置の検出方法として③で行った３×３，９ピクセルのRGB値のRの合計値，Gの合計値，Bの合計値を基に装着マーカかどうかの判定を行っている．
⑤ 内部処理３ 装着マーカの位置の追従
④の処理とは別に装着マーカがどこに移動したかを検出し続ける処理である．装着マーカが操作用領域のどこにあるか判断し，どこかの領域にあると判断すればある値を返し，割り当てられた操作を行うことができる．
INDEXへ
試作したツールの評価
評価実験の概要
寝たきりの肢体不自由者でも使用可能な市販の機器と試作したツールのパソコンの操作における操作性と操作にかかる時間の比較を行うことで試作したツールの有用性を確認する．
試作したツールである「文字入力ツール」「ポインティングツール」を使用し，マウスポインタの操作と文字入力の操作を行う． 一方，比較対象は寝たきりの肢体不自由者でも使用可能な機器であると考えた「トラックボール式親指マウス」とWindows標準のスクリーンキーボードの組み合わせである． 「トラックボール式親指マウス」を図3.1に，Windows標準のスクリーンキーボードを図3.2に示す．この実験では時間の比較をすると共に，主観評価を得るためにツールの使用感に対してのアンケートを行った．
評価実験の内容と結果
実験① ポインティングツールとトラックボール式親指マウスの操作性の比較
マウスのみで行える操作を試作したツールとトラックボール式親指マウスを使用し比較を行った． 図4.1に示すように，パソコンのデスクトップ上に配置したフォルダAをドラッグ操作によってフォルダB内にドラッグし， フォルダBをダブルクリックすることでフォルダB内にフォルダAが入っていることを確認するまでの一連の動作にかかる時間を計測した． ポインティングツール，トラックボール式親指マウスの両方の操作が一般的なマウスと異なるため，２回実験を行い１回目と２回目での時間の変化も確認した．
実験①の結果
実験の結果のグラフを図4.2と図4.3に示す．
この実験の結果のまとめとして以下の２点がある．
・時間においては従来法が速い
・従来法では使用できなかったユーザがいた
この実験での評価項目は「使用の可否」と「所要時間」である． またこの実験では健常者である被験者でも従来法のツールがほぼ使用不可能なケースがあり， 想定するユーザである上肢障害者では使用はかなり難しいと考えられる．
この実験でトラックボール式親指マウスの使用に関して起こった問題について述べる． 被験者Eが左クリック（トラックボール式親指マウスにおいては人差し指で握る内側のボタン）を押したままボールを転がすドラッグ操作が２本の指のみでは行うことができなかった． これはトラックボール式親指マウスが手のひらから全ての指を使用し，機器自体を握りこむことを前提として開発されたものであることと， 人差し指による左クリックのボタンが強く押し込む必要があることが原因として考えられる． ２回目は操作を完了させることができたが，記録が他の被験者と比べて逸脱している点にも注目してもらいたい．
まずポインティングツールを使用した場合，１回目と２回目での時間の短縮に着目すると被験者Aにおいては17秒の短縮が起きており，ツールに対する慣れが大きく時間に影響している． 次にトラックボール式親指マウスを使用した場合，ポインティングツールと比べても全体的に時間が短いことがわかる． しかし１回目と２回目の時間の短縮幅においては，１回目の時間ですでにかなり短い時間で操作を終えていることもあり， ２回目ではほとんどの被験者が時間を短縮させたものの，ポインティングツールと比べると短縮の量は大きくない． この理由としてトラックボール式親指マウスは被験者が普段使用しているマウスと操作感が近いことが考えられる．
実験② 文字入力速度の比較
試作した２つの文字入力ツールによる文字入力とトラックボール式親指マウスを使ってのWindows標準のスクリーンキーボードによる文字入力にかかる時間を計測した． 入力した文字は４文字のひらがなの単語を３つであり，３単語を１セットとした． ひらがなのみで実験を行ったのは変換を含めると実験の最初と最後で変換候補の順序が変わってしまい，時間に影響が出てしまうからである．
実験②の結果
実験②の文字入力速度の結果として，提案法の１つめである五十音キーボードを使用した場合の結果を図4.4に， 提案法の２つめであるバー型キーボードを使用した場合の結果を図4.5に，従来法であるトラックボール式親指マウスを使用した場合の結果を図4.6に示す．
この実験の結果のまとめとして以下の２点がある．
・時間においては従来法が速い
・提案法の２種類でも「バー型キーボード」の方が全体的に入力速度が速い
まず，試作した２つの文字入力ツールとトラックボール式親指マウスの文字入力速度は明らかに後者での入力の方が速いことがわかる． これは図3.2に示したように，Windows標準のスクリーンキーボードの配列が被験者の普段使用するキーボード配列とまったく同じであることやマウスポインタの移動速度の違いが理由として考えられる．
次に試作した２つの文字入力ツールの比較をしてみると，バー型キーボードが全ての被験者において五十音キーボードよりも入力速度が速いことがわかる． この理由として上下左右の動きを常に意識しなければならない五十音キーボードに比べて，バー型キーボードは縦の動きをいくら加えても横の動きには一切影響がないことが入力速度の違いに影響を与えたと考える．
実験③ 実験①，②の組み合わせによる総合的な操作の比較
マウスポインタの操作と文字入力の組み合わせに加え，ツールに実装している「Internet Explorer」の操作に対応した機能の有用性を確かめるためにこの実験を行った． 具体的には文字入力ツールまたはスクリーンキーボードで「じょうほうばりあふりー」と入力し，「Internet Explorer」で検索を行い情報バリアフリー研究室のトップページを開くといったものであり， この一連の動作にかかる時間を計測した．試作したツールで文字入力を行う場合は②の実験で被験者が使いやすいと感じた方の文字入力ツールで入力をしてもらった．
実験③の結果
総合的な実験として行った実験③では文字入力を行うツールは実験②で使いやすかった方のツールを選んで使用してもらうことにした． 結果被験者６名が全員バー型キーボードを選択したので，ポインティングツールとバー型キーボードの組み合わせを提案法とした． 提案法の使用による結果を図4.7に，従来法であるトラックボール式親指マウスとWindows標準のスクリーンキーボードの組み合わせの使用による結果を図4.8に示す．
実験①や実験②と同様，従来法が提案法よりも短い時間で操作を終える結果となった．理由として考えられることは実験①と実験②で述べたとおりである．
追加実験について
実験後に行ったアンケートによる主観評価では多くの被験者が「従来法に比べ提案法の方が疲労感が少ない」と感じていたことがわかった．
そこで疲労感の原因が指の動作回数にあると考え，操作の際の指の動作回数を実験①，③において計測し，これを実験⑤とした． また従来法と提案法の操作時間の差が大きく開いた原因をポインティングツールに対して最適化が行われていないところにあると考え，提案法のポインティングツール に対して最適化を行い，実験①，③と同じ操作における時間を計測した．実験はいずれもツールの操作に慣れた男性１名に対して行った．
実験④ ポインティングツールの最適化を行った後に実験①，③における操作時間の計測
ツール自身の最高性能を調べるために，ツールの操作に慣れた１名の被験者Ｆに対してツールの最適化の後に行った追加実験である． 具体的には試作したポインティングツールのマウスポインタの移動速度を速くして実験①と実験③を行い， 試作したツールでも最適化を行えば操作時間がどれくらいになるかを確認した．
実験④の結果
提案法の最適化後に実験①と同様の操作を行い比較したものを図4.9に，実験③と同様の操作を行い比較したものを図4.10に示す．
この実験の結果のまとめとして以下の１点がある．
・提案法は速さでは従来法に届かなかったが大きく時間を短縮できた
この追加実験で被験者Fは実験①と同様の操作において，最適化後のツールを使用することで，被験者Fは操作時間をほぼ半分にまで短くすることができた．また実験③と同様の操作においても70秒の短縮が起きている． 以上のことから試作したポインティングツールに最適化を行うことで操作時間という面でも従来法に近づくことができることを確認した．
実験⑤ 実験①，③における指の動作回数の計測
この実験も実験④と同様の被験者Ｆに行った追加実験である．この実験ではツールを使用する際の指の動作回数を数えるために行った． 実験②においては入力する単語によって動作回数が異なるため，実験①，③について動作回数を計測した．
動作回数の定義として，指の１回の往復の動作を１回とした．操作時間では提案法は従来法に対して短いという結果は出なかったが， 実験後のアンケートで操作するのが楽であるといった評価が多かった提案法の有用性を指の動作回数を計測することで確認した．この実験の結果を図4.11に示す．
実験⑤の結果
この実験では実験①と同様の操作，実験③と同様の操作のどちらにおいても提案法が従来法と比べ指の動作回数が半分以下という結果になった． この結果から被験者が提案法に感じていた操作が楽であるといった意見もデータによって明確にすることができた．
試作したツールに対する考察
はじめに行った実験について考察する．実験において操作にかかる時間という尺度で比較を行ったが，結果は試作したツールがマウスポインタの操作， 文字入力のどちらにおいても多くの時間を必要とするというものであった． 時間の差が大きく出た原因として，ツールの最適化が行われている従来法のトラックボール式親指マウスに対して， それが行われていない提案法のポインティングツールの問題が考えられた． そこで試作したポインティングツールに対して最適化を行った後に追加実験を行い従来法との操作時間の比較を行った． また追加実験では，ツール使用の際の疲労感の違いをデータで確かめるため，指の動作回数を計測し比較する実験も行った． 結果として，操作時間においては大きく時間の短縮することができ，また指の動作回数においては提案法が従来法よりも少ない回数で操作が可能ということを確認することができた．
また実験において，比較対象が適切ではなかったことが考えられるが，トラックボール式親指マウスではベッドで寝たきりであり動作部位が限られているユーザが使用できない場合があることを実験①で確認できた．
次に画像処理による装着マーカの検出について考察する．実験の際に装着マーカを誤検出することはなかったが，これは実験の際の室内の明るさが一定であり， かつ背景となっていたベッドのシーツの色が薄い水色のものを使用していたなどの装着マーカの検出に影響を与える要素が少なかったことが理由として考えられる． さらに異なる環境での実験に対応するためには応用性のある画像処理が必要になってくると考える．
最後に装着マーカやUSBカメラやモニタの設置方法についての考察である．装着マーカに関しては実験中に剥がれたりして補助者なしでは続行不能になる場面はなかったが， 実際の肢体不自由者が一日中，あるいは数日間ツールを使用した際の耐久性については，今回の実験では確認できなかった．さらにばんそうこうの上に着色した水性サインペンの耐久力も上記のような使用の際は考慮する必要があると考える． USBカメラやモニタについては被験者によって位置を変えることが必要であるが，実験においても被験者の体格や希望に合わせて機器の位置の微調整を行うことができたのでツール使用の際に適した器具を採用できたと考えている．
INDEXへ
結論
本研究ではベッドに寝たきりで動作部位の限られた肢体不自由者でも特殊な機器を使用せず安価で手に入る機器を使用して，パソコンの操作が可能となる「ポインティングツール」と「文字入力ツール」を試作した．
本ツールは，ユーザの親指と人差し指に色つきの装着マーカを取り付け，この装着マーカをUSBカメラで撮影しながら使用する．このため，従来の機器のように直接機器に触れて操作する必要がないので， 機器等を手から離してしまいパソコンの操作が不能になるといった事態を避けることができる． 実際に行った実験では，比較した機器である「トラックボール式親指マウス」よりもマウスポインタの操作，文字入力のいずれの操作においてもより多くの時間を必要としたが， インターネットブラウザでの検索までの操作を問題なく行うことができた．加えてツールの操作に力があまり必要ないことから， 比較した機器よりもパソコンの使用の際の疲労感が少ないとの意見を得ることができた．またこの疲労感を指の動作回数という尺度で定量化し， 実験によって提案法の疲労感が少ないことを確認した． しかし実験では今後の課題である使用するユーザに合わせたキャリブレーション機能の実装の必要性や様々な環境でも安定して装着マーカを検出するための画像処理のアルゴリズムの構築の必要性も感じさせられた．
これらの課題をツールに反映することができれば，寝たきりでパソコンの使用をしている肢体不自由者にとって導入のしやすさも合わせて有用性のあるツールなり，パソコンの操作の際のためのツールの選択肢の一つになると考える．
INDEXへ
リンク
●立命館大学
●情報バリアフリー研究室
INDEXへ