2006年度(平成18年度)

博士論文

視線を利用した直接選択方式による重度肢体不自由者向け
意思伝達装置の開発に関する研究

Development of Direct Eye-Gaze Communication Device

for Persons with Severe Physical Disabilities



伊藤和幸


Kazuyuki ITOH



本ページの内容

論文要旨  

背景・目的  

意思伝達装置の開発および改良  

文字盤表示の変更による入力補助  

視線を利用した環境制御装置  

結論  

発表論文

・論文要旨

 本論文では,筋ジストロフィ患者や筋萎縮性側索硬化症(ALS)患者のような重度肢体不自由者の意思伝達を確保する手法として,神経疾患の影響を受けにくく病状進行後でも比較的随意運動が残り易い眼球運動を入力手段とした意思伝達装置を開発し,臨床評価によりその有用性を検証した.
 まず,市販の視線検出装置を利用して視線入力装置を試作した.文字盤上の文字群から目的の文字を探し、見つめるという作業における視点移動の時系列データから文字選択アルゴリズムを検討した.文字盤上に得られる視点の移動速度から視線の状態を移動・停留・注視状態の3つのカテゴリーに分類し、注視文字の推定を注視状態内に限ることで確実な文字選択ができるようにした.
 次に,移動状態では文字盤に全文字を表示し、注視状態においては注視している付近の文字群を拡大表示するなど、各状態における表示方法を工夫することで使用感が向上する(画面の見易さが向上する)ことや、誤入力回数が低減できることを確認した.
 さらに、視線の検出を視線検出専用の画像処理ボードで行うのではなく、取り込んだ画像をソフトウェア的に処理して行うシステムを提案し,コストの削減を実現するとともに,低価格な視線を利用した文字入力装置および環境制御装置を開発し,普及・実用化に向けた提案を行った.

・背景・目的

 障害者が日常生活を営む上で直面する大きな障害の一つにコミュニケーションに関する障害(情報通信機器へのアクセスと意思伝達に関する問題)がある.
 意思伝達に関しては,ALS患者のような重度の肢体不自由者では,運動をつかさどる神経が侵され,腕や脚,姿勢を保つ筋肉などが萎縮して四肢の運動機能に障害が生じ,筆談や文字盤への指差しができなくなる.また,人工呼吸器を装着するために気管を切開し発声・発語が困難になると,独力で自己の意思を表示する手段を失うことになる,という問題がおこる.
 1-2個程度のスイッチ操作で多数個の選択肢から任意のものを選ぶには走査選択方式が一般的であり,コミュニケーション機器の導入時における選択肢として最初に挙げられることが多い.しかしながら,この方式では走査式であるがゆえに任意のものを選択するのに時間がかかるデメリットもある.
 一方,任意のキーを押下することで文字を入力していくキーボード操作のように,障害者が見つめた対象をそのまま選ぶことのできる直接選択式の入力装置が実現できるならば,操作はわかりやすく,入力効率も上がることになる.
 そこで,本研究では下記のように,

1)視線を入力手段とした効率の良い直接選択方式の意思伝達装置を開発すること.
2)文字入力装置における文字選択アルゴリズムを開発すること.
3)実用化を目指した意思伝達装置設計の提案をおこなうこと.

を研究目的として定めることとした.
 視線を利用した意思伝達装置を開発・提供することで,残存機能が眼球運動だけになってしまうような重度の肢体不自由者の意思伝達を可能にし,QOL(生活の質)の向上を目指す.
 また,単に視線を利用した意思伝達装置を開発するにとどまらず,普及・実用化に向けた提案を行うことも研究目的とする.視線検出装置は研究向けに開発されているのが主流であり,その需要は高いものではないため,研究用システムに利用されている機器を応用しただけではコスト面におけるハードルの高さにより,実用化は難しいと予想される.装置の普及を視野に入れると,現実的な金額で入手できる程度のシステム構築を提案する必要がある.

・意思伝達装置の開発および改良

 国内では視線による直接選択方式の文字入力装置の開発事例がないため,市販の視線検出装置を利用して文字入力用システムとして構築した.

視線を利用した文字入力装置の構成

視線を利用した文字入力装置の構成

 次いで,文字の選択アルゴリズムを検討し,視線の状態を移動,停留(Ts),注視状態(Tg)の連続として捉え,注視状態における注視文字データを処理することで注視文字を確実に選択できるようにした.


視線の移動速度による状態の分類

視線の移動速度による状態の分類

障害の無い被験者による使用風景

障害の無い被験者による使用風景


 次に,視線の検出を専用の画像処理ボードで行うのではなく,ビデオキャプチャした画像をソフトウェア的に処理することで視線検出を行い,システムにかかるコストの削減を図った.近年におけるパソコンの性能の向上により,ノートパソコンの使用も可能でありシステムのコンパクト化も可能となる.

視線を利用した文字入力装置の改良

視線を利用した文字入力装置の改良

改良した視線入力式文字入力装置の概観

改良した視線入力式文字入力装置の概観


・文字盤表示の変更による入力補助

 文字入力中の視線を移動(文字を探す)・停留(文字を見つける)・注視(意識的に見つめる)状態の連続と考え,注視状態における視線データを処理することで注視している文字を確実に選択できるようになっている.
 さらに,視線により文字入力を行う際の誤入力の減少と利用者が感じる負担の軽減を目的として,分類した視線の状態に合わせて文字盤の表示を変更することで入力を補助する方法を検討した.
 具体的には,視線の状態のうち文字を見つめている注視状態においてのみ注視点付近を部分的に拡大したり,表示内容を変更することでシステムの分解能を補う方法を提案する.
 注視状態においてのみ表示を変更することで,利用者の視線は目的の文字範囲内に定まりやすくなり,文字の選択が容易になるとともに,文字を探す段階では全文字を表示できるため,階層的な選択方法を取る必要が無く直感的に文字を選択することが可能となる.同時に,ベッドサイドでの限られたセッティング状況により分解能が十分に取れない場合や個人差のある障害者の個人特性にも対応できると考えている.


視線の状況と表示変更のタイミング

視線の状況と表示変更のタイミング



表示変更の1例(変更前)

表示変更の1例(変更前)


表示変更の1例(変更後)

表示変更の1例(変更後)


・視線を利用した環境制御装置

 利用者のニーズが,視線により文字入力を行うことよりはテレビの制御(電源のON/OFFやチャンネルの変更)などを自身で行ないたい,というような場合には,眼球の左右への動きや円を描くような大きな動きを計測することとする.
 取り込んだ画像内において,眉毛と眼球の近傍のみを画像処理し,眉毛と虹彩の重心を求める.それらの相対的な位置を大まかな視線として検出することで,テレビの制御に結びつけることが可能となる.
 システムに要求される視線の検出精度は,眼球の左右への動きと円を描くような大きな動きを計測できる程度の精度で十分であり,システム構成を更に簡略化することができる.


取り込み画像と処理範囲の設定

取り込み画像と処理範囲の設定


眉毛と虹彩の重心検出による大まかな視線の検出

眉毛と虹彩の重心検出による大まかな視線の検出


視線を利用した環境制御装置(テレビを見れば電源ON,テレビから目をそらせば電源OFF)

視線を利用した環境制御装置(テレビを見れば電源ON,テレビから目をそらせば電源OFF)




・結論

 本論文では,視線を入力手段とした意思伝達装置を開発することで,残存機能が眼球運動だけになってしまったような重度の肢体不自由者の意思伝達を可能にし,QOLの向上を図った.意思伝達システムを開発するとともに,視線の移動状況に合わせて適宜文字範囲を拡大する方法の実証実験から,視線検出精度の劣る装置にも対応できる文字配置と選択方法を提案することができた.また,普及・実用化に向け簡易な構成による文字入力システムの構築についての提案も行った.
 以下に,本研究の成果を要約する.

(1)市販の視線検出装置を文字入力用に応用したシステムを構築し,視線を利用した意思伝達装置を開発した.まず,画面上に得られる視点の時系列データから文字選択アルゴリズムを検討した.移動速度の変化から視線の状態を移動,停留,注視状態に分類し,注視状態における視線データを処理することで注視している文字を確実に選択できるようにした.次いで,画面上の文字呈示数を検討したうえで障害のない被験者,ALS患者の評価を加えた.眼球運動が確かであれば,障害の有無によらず文字入力できることが示された.
(2)視線の移動が注視状態に入った時点で注視文字付近を拡大表示し,入力を補助する方式について検討した.この方式では,初期状態では画面上の全文字を見渡すことが可能である一方,注視文字付近を拡大するため視点が目的の文字範囲内に収まりやすくなる.注視文字を特定するフェーズにおいてのみ文字を拡大することで利用者は目的の文字を見つめやすくなるとともに,隣接する文字上に視点が移動することが少なくなるため,誤入力を減少させることができる.障害者の臨床評価では,特別なトレーニングは必要とされず,短時間のうちに入力方法に慣れるため,導入時の負担を軽減できることが示された.
(3)視線の検出を視線検出専用の画像処理ボードで行うのではなく,取り込んだ画像をソフトウェア的に処理して行うことでコストの削減を実現し,視線を利用した文字入力装置の実用化に向けた開発を行った.画像をソフトウェア的に処理して視線を検出する処理は,簡易的な視線検出を行うことで環境制御システム(テレビの制御)へと応用できた.環境制御システムは視線検出精度では文字入力システムに劣るが,セッティングの容易さに重点を置いた実用的としたシステムとして構築できた.臨床評価において,病室における状況を詳しく検討した結果,室内環境の変化に対応可能な仕様として再設計することができた.



・発表論文

1) 伊藤和幸,数藤康雄,伊福部達,"重度肢体不自由者向けの視線入力式コミュニケーション装置", 電子情報通信学会論文誌(D),J83-D-T, No.5, pp.495-503, 2000
2) 伊藤和幸,数藤康雄,"視線入力によるキーボード代用装置",ヒューマンインタフェース学会論文誌, Vol.3, No.2, pp.51-54, 2001
3) 伊藤和幸,数藤康雄,"注視点の仮想拡大表示による視線入力補助方法",日本バーチャルリアリティ学会論文誌, Vol.6, No.3, pp.185-191,2001
4) 伊藤和幸,"注視中の拡大表示付き視線マウスインタフェース",ヒューマンインタフェース学会論文誌, Vol.5, No.3, pp.55-60, 2003
5) 伊藤和幸,"ビデオキャプチャによる眼球運動計測および環境制御への応用",ヒューマンインタフェース学会論文誌, Vol.5, No.4, pp.429-436, 2003
6) 伊藤和幸,伊福部達,"ビデオキャプチャ画像処理による視線検出および意思伝達装置への応用",電子情報通信学会論文誌(D), Vol.J88-D-T(2), pp.527-535, 2005