|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
        |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
 近年では合成音声ソフトの普及に伴い，視覚障害者の新たな職域として「プログラマ」が注目されている．しかし，視覚障害者にはフローチャートなどの図情報が伝えづらく，視覚障害者用の図である触図を用いても，文字が点字で記載されているために正確に内容を伝えることが難しいという問題がある． そこで，上記の問題を解決するために筆者らは，図面には記号の輪郭線や接続線だけを記載し，各記号の処理内容は音声出力で案内する「音声情報付きフローチャート触図システム」の開発を行い，評価によりその有用性が確認された． 本研究では上記システムに対するサポートツールを試作し，従来はシステムで扱う図面や音声案内用データは晴眼者用図面を参考にしながら一から作っていく必要があったが，画像認識とOCRソフトを用いることでこれらを自動生成することを可能とした． また，視覚障害者用フローチャートは触って内容を把握するという性質上，図面内の記号と隣接要素との間隔が狭すぎると各要素が区別しづらくなる．そこで，各要素の間で最低限保つべき間隔を調査するために評価実験を実施し，その結果を試作したツールに反映した．   視覚障害者にフローチャートを伝えるためのツールとして，記号の輪郭や接続線を凸な線で，文字情報を点字で表すことで，触って内容が読み取れるようにした「フローチャート触図」（以下，単に触図と言う）がある．  上記の触図は実際に情報処理技術者の資格試験で用いられているものであり，触図は視覚障害者に図情報を伝えるための数少ない手段の１つとされている．しかし，従来型のフローチャート触図にはいくつかの問題点がある． １．点字が読めないと扱えない 近年は糖尿病網膜症や交通事故などが原因の中途失明者が増加している．そうした原因で失明した人は，それまで触読をしたことがないという人が大半であり，全くものが見えない視覚障害者の中で点字を触読できる人はわずか17.3%しかいない．よって，文字が点字で記載される触図も正確に読める人は少ない． ２．晴眼者と視覚障害者が同じ図面レイアウトを共有できない 点字は晴眼者が扱う墨字に対して記載スペースを多く必要とするため，記号のサイズが大きくなり晴眼者用フローチャートと同様のレイアウトで図面が構成できないという問題がある．  また，記号を大きくしても処理内容が記載しきれない場合，代わりに通し番号を記載して必要に応じて略記解説表を参照するという方法があるが，その際には2つの図表を同時に扱わなければならないため，非常に煩雑な作業が要求される．  以上の問題により従来のフローチャート触図は扱いづらいものとなっているが，これらの問題は全て文字情報が点字で記載されることに起因している．したがって，上記の問題を解決するには処理内容の案内方法に点字に代わる別の手段を用いることが必要であるものと考えられる．  従来の触図の問題点を解決するため，2008年に立命館大学大学院理工学研究科を修了した萬ヶ谷博規氏は，触図には記号の輪郭線と接続線のみを凸な線で表し，処理内容は音声合成ソフトで出力する「音声情報付きフローチャート触図システム」（以下， 音声触図システムと言う）を考案した．音声触図システムではタッチパネル上に触図を乗せ，あらかじめデータとして格納した「音声案内用データ」をPCの画面に表示している音声出力専用ブラウザから参照することで，指で押した触図上の記号に対応する処理内容を音声で案内することができる．  従来型の触図と違い，音声触図システムで扱う触図では点字が不要になるため，点字が読めなくても触図が扱える．加えて，晴眼者用フローチャートと同じサイズで記号が表現でき，晴眼者と視覚障害者の間で図のレイアウトが共有可能になる． また，触図では記号間の距離が狭すぎると各要素の区別が困難になる．そのため，音声触図システムで扱う触図では記号間や接続線と矢先の間は指の腹が入る程度の間隔を保つことで，視覚障害者向けのレイアウトを構成している．  上記システムならびに触図用図面は，評価実験によりその有用性が確認されている．しかし，図面や音声案内用データは晴眼者用フローチャートを参考にしながら一から手作業で作成する必要があるため，現場への導入を意識すると，音声触図システムで用いるデータの作成に時間がかかるという課題を解決する必要があった．  先に述べた問題点を解決するため，晴眼者用フローチャートをスキャンして得た画像データを，音声触図システムで用いる触図用の図面ならびに音声出力用データに自動的に変換する「音声情報付きフローチャート触図への自動変換ツール」を試作した． 自動変換処理は大きく分けて４つのプロセスで構成されている．  プロセス１．文字認識 市販のOCRソフトである「読取革命ver13」を用いてフローチャート画像中の文字を認識する．認識した文字列ならびにソースであるフローチャート画像を一まとめにして「解析用データ」として出力し，以降はそのデータを試作ツールに読み込んで利用する．  プロセス２．記号認識 解析用データ内のフローチャート画像中の記号を認識するために，下記の４つの処理を行う． (1)輪郭抽出 フローチャートの画像に二値化，細線化を施し，さらにヒゲ状の線分や他の線と交わらない孤立した線分を"ノイズ"として画像中から消去する．次に，画像に対しラスタ走査（※1）を行い，初めて見つけた黒画素を探索開始点とする． この点から一つ右側にある画素を次の注目画素とし，以降は現在の注目画素の8近傍の中で，直前に辿った画素から反時計周りに画素を見て黒画素を辿って行くことで，一つの閉ループ（記号の輪郭線）を抽出することができる． （※1：画像の左上隅から右方向に画素を辿り，右端に辿り着いたらさらに1段下に下がって左端から右端まで辿る順で各画素を調べる方法）  (2)規格外の形状の判定 先の図の例のように正しい記号が抽出できれば問題ないが，接続線が複雑に交差している図面の場合，誤って記号の一部と接続線からなる閉ループを抽出してしまう場合があり，これは記号の輪郭線としては規格外であるとみなす必要がある．そこで，抽出した閉ループに対してハフ変換（※2）を行い，閉ループ内に存在する直線の数を検出する． すると，通常の記号であれば縦線ならびに横線は２本以内しか検出されないが，規格外の形状の場合にはこれらが3本以上検出される．よって，これを判定条件として，規格外の形状である場合には不要な接続線を消去してから再度輪郭抽出を行う． （※1：図形内に存在する直線を検出するアルゴリズム）  (3)記号種別判定 抽出した記号の輪郭線がどの種別の記号のものであるかを判定するために，抽出した閉ループの四隅の特徴ならびにハフ変換で得られた線の数に着目する．すると各記号において表1に示す結果を得ることができ，これらを条件として記号種別を判定することができる．なお，表1の四隅の特徴では赤塗の丸が黒画素がある部分，白抜きの丸が黒画素がない部分を表している．また，ハフ変換は抽出した閉ループの形状によって多少得られる結果が変わってくるため，表1には確実に得られる線のみを記載している．
(4)複合パターンの処理 上記の処理を繰り返すことで画像中の全ての記号を認識することができる．しかし一部例外があり，下図のような記号内部に線を持っているようなものの場合は内部にある線の数だけ記号が分離して認識されてしまう．そこで，例えば3つ処理記号が連続して認識された場合はこれらを１つの定義済み記号に読み替える，というように分離した記号を複合パターンとして処理し，正しい記号に置換する．  プロセス３．文字情報の割り当て・接続線の認識・分岐条件の割り当て 記号を全て認識した後，下記の３つの処理を行い図面を完成させる． (1)文字情報の割り当て OCRソフトで取得した文字情報を各記号に割り当てる．解析用データ内の文字認識結果にはその文字が記載されていた位置の情報が含まれているため，その情報と認識した記号の位置関係を調べることで記号に割り当てるべき文字列を調べることができる． (2)接続線の認識 記号認識と同様に，解析用データ内のフローチャート画像に対し二値化，細線化，ノイズ除去を施す．この画像中から，記号認識で認識した記号の領域およびその内部の画素を消去する．すると接続線の画素のみが残った画像が生成できる．この画像に対し記号認識のように，注目画素の8近傍を見て黒画素を辿っていき接続線を認識する． (3)分岐条件の割り当て OCRソフトで取得した文字情報の中で，判定記号の分岐条件にあたるものを"音声出力用文字情報"として図面上に配置する．配置の際には最寄りの判定記号の頂点部分に割り当て，そうすることで指でその部位を押したときに分岐条件と辿るべき線の方向を知ることができる．  プロセス４．レイアウト自動補正 ここまでの処理で復元した図面はまだ記号間の距離などが考慮されていないため，レイアウト自動補正処理を行い視覚障害者向けのレイアウトを構成する．  レイアウト自動補正では大きく分けて「ローカル補正」と「グローバル補正」の２つの処理を行う． (1)ローカル補正 ローカル補正では記号を局所的に見て補正を行う．例えば記号同士を繋ぐ接続線の長さが短すぎる場合，この接続線に繋がっている記号を縮小することで線の長さを伸ばす．また，記号と隣接する接続線との間隔が狭い場合は記号の横幅を狭める．さらに，記号の上側の接続線は短いが下側の接続線は十分長いという場合，記号を下へ移動させることで接続線の長さを伸ばす．  (2)グローバル補正 記号は小さくしすぎるとその形状が把握しづらくなってしまう．そのためローカル補正では各記号はある大きさよりは小さくならないようにする必要があり，それにより接続線の長さが十分保てないケースが発生する場合がある． そこで，そうした場合は伸ばしたい接続線よりも下にある要素を全て下にずらし，グローバルに各要素を移動させることで必要な間隔を保つようにする．  なお，補正の際に必要となる「記号を触読で判別するために必要な大きさ」や，「記号間で保つべき距離」などについては，情報処理技術者として従事している視覚障害者１名を対象に評価実験を実施し，その結果を反映させた．例として，下記のような結果が実験により得ることができた． ①各記号の読みやすい大きさ 記号の読みやすい大きさは種別ごとに異なり，形状が単純であったり使用頻度の高い記号に関しては比較的小さめなものでも形状で把握できるということが分かった．また，あまり使われなかったり複雑な形状である記号は大きめのサイズが必要で，こうしたものに関しては補助打点を付けることが有効であることが分かった．補助打点については「音声情報付きフローチャート触図システム」の「しるし」を参照．  ②記号間の接続線の長さ 記号を繋いでいる接続線は，上下に繋がっている記号の種別によって長さの感じ方が変わることが分かった．例えば，接続線の一方に判定記号のように欠けが大きい記号がある場合には体感的には少し長めに感じ，波線を含む記号の場合は少し短めに感じるといった結果が得られた．これにより，記号間で保つべき間隔は種別によって多少変える必要があることが示された．   基本情報処理技術者の参考書などに掲載されている28種類のフローチャートをテストデータとして，試作したツールの音声情報付きフローチャート触図自動変換機能の評価を行った．結果を下表に示す．
表3 入力データの内訳と認識結果（記号以外）
表2より，入力した記号の約98%は正しく認識され，特に入力個数の多い処理記号や端子記号，判定記号も大半が認識に成功していることが示された． 一方，それ以外の記号は出現頻度が低いため入力データ数自体は多くないが，少なくとも入力したデータに関しては全ての記号において認識に成功していることが示された． また，別記号へ置換された記号も認識結果は正しくないものの，１つの記号として認識されてはいることから，輪郭線の抽出には全ての記号において成功していることが分かる． 表3では，接続線は入力データの約98％が正しく認識されていることが示された．また，文字の認識率は95％を超え，OCRソフトは記号内の文字情報の抽出に関しても有効であることが分かった． 以上述べたとおり，自動変換の精度は用意したテストデータにおいて極めて高いことが示された．なお，記号種別は全部で20種類あるのに対し，今回のテストデータの中には出現していない種別がいくつか存在する． それらに関しては日本工業標準調査会出版の「情報処理用流れ図・プログラム網図・システム資源図記号」に掲載されている見本記号を認識させたところ，種別の判定も含めて正しく認識可能であることを確認した． また，図面の複雑さが認識結果に与える影響も検討したが，顕著な影響は見られなかった．  従来の視覚障害者用フローチャートにある問題点を解決するために萬ヶ谷博規氏は，図面には記号の輪郭線や接続線だけを記載し，各記号の処理内容は音声出力で案内する「音声情報付きフローチャート触図システム」を考案した．また，上田佳奈氏の実施した評価実験により上記システムは有用性が高いことが確認されている．一方，システムで用いる図面や音声案内用のデータは晴眼者用の図面を参考にしながら一から作っていく必要があったため，データの準備に時間がかかってしまうという点を解決する必要があった． そこで，本研究では晴眼者用フローチャートをスキャンして得た画像データを，システムで用いる各種データに自動的に変換するツールを試作することで，図面作成の手間を大幅に削減した．試作したツールでは日本工業標準調査会で定められている記号の大半が識別でき，OCRソフトと試作ツールを合わせて用いることで記号内の処理内容も含めた画像中の全要素を認識することが可能となった． また，視覚障害者向けフローチャートのレイアウトに関する評価実験を実施し，その結果をツールに反映することで， 自動変換した図面を視覚障害者向けのレイアウトへ自動的に補正することが可能となった． 以上をもって「音声情報付きフローチャート触図システム」のユーザビリティの向上に努めた．今後の展望として，本ツールのインタフェースとして扱いやすさについて検討することでシステム全体のユーザビリティがさらに向上するものと考えられる．  ●立命館大学 ●情報バリアフリー研究室 ●2008年度 修士論文 『音声情報付きフローチャートの作成ツール』萬ヶ谷 博規氏 ●2009年度 卒業論文 『音声情報付きフローチャートシステムの評価』上田 佳奈氏 ●日本工業標準調査会 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
