JP2015069234A - 表示処理装置、並びにその制御方法および制御プログラム - Google Patents

Abstract

【課題】翻訳された文字の可読性を向上させる。【解決手段】撮影画像に含まれる文字が翻訳された文字を表示させる表示処理方法である。撮影画像に含まれる文字の文字色および背景色を特定し（Ｓ１５）、特定された文字色および背景色の違いに基づき、文字色および／または背景色を調整して（Ｓ１６）、翻訳された文字および背景が、調整された文字色および背景色である翻訳画像を作成し表示させる（Ｓ１７・Ｓ１８）。【選択図】図１

Description

本発明は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置、並びにその制御方法および制御プログラムに関する。

近時では、携帯電話機、携帯ゲーム機、スマートフォンなどの携帯型電子機器は、カメラを備え、撮影機能を有していることが一般的である。このため、該撮影機能を利用したアプリケーションソフトウェア（以下、「アプリ」と略称する。）の開発が進められている。

例えば、特許文献１には、文書、看板等に含まれる外国語や絵文字を、リアルタイムに翻訳し、かつ適切な表示位置に表示可能な情報表示装置が開示されている。該情報表示装置は、カメラで撮像された文書、看板等の被写体に含まれる文字列を判別して抽出し、抽出した文字列を、辞書を用いて翻訳し、翻訳後の文字列で翻訳前の文字列を置換し、或いは翻訳前の文字列に重畳して表示している。また、スマートフォン向けのアプリである「Word Lens Translator」でも、同様の機能を実現している。

特開２０１１−１３４１４４号公報（２０１１年０７月０７日公開）

特許文献１では、上記翻訳前の文字列の周辺の色で上記翻訳前の文字列を覆い、その上で上記翻訳後の文字列を、上記翻訳前の文字列が表示されていた位置、サイズ、角度、および色で表示している。すなわち、上記翻訳前の文字列およびその周辺の色と、上記翻訳後の文字列およびその周辺の色とは、それぞれ同じにしている。この場合、上記文書、看板等の被写体におけるデザイン上の意図を崩さずに上記翻訳後の文字列を表示することができる。しかしながら、特許文献１では、翻訳後の文字列の可読性（読み易さ）については考慮されていないため、翻訳後の文字列が読み難い場合があり得る。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、翻訳された文字の可読性を向上させることができる表示処理装置などを提供することにある。

本発明の一態様に係る表示処理装置は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置であって、上記課題を解決するため、前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定手段と、該色特定手段が特定した文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整手段と、前記翻訳された文字およびその背景を、前記色調整手段が調整した文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示手段とを備えることを特徴としている。

本発明の一態様によれば、翻訳された文字の可読性を向上させることができる。

本発明の一実施形態に係る携帯端末における処理の流れを示すフローチャートである。 上記携帯端末の概略構成を示すブロック図である。 撮影画像の表示例を示す図である。 本発明の他の実施形態に係る携帯端末における処理の流れを示すフローチャートである。

以下、本発明の実施の形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。

〔実施形態１〕
まず、本発明の一実施形態について図１〜図３を参照して説明する。図２は、本実施形態に係る携帯端末の概略構成を示している。上記携帯端末の例としては、携帯電話機、スマートフォン、タブレット型端末、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣ（Personal Computer）、ＰＨＳ（Personal Handyphone System）端末などが挙げられる。なお、本発明は、携帯端末に限定されるものではなく、携帯型ゲーム機、デジタルカメラなど、撮影部および表示部を有する任意の電子機器に適用可能である。

（携帯端末１の構成）
図２に示すように、本実施形態の携帯端末１は、制御部（表示処理装置）１０、記憶部１１、撮影部１２、操作部１３、および表示部１４を備える構成である。

制御部１０は、携帯端末１内の各種構成を統括的に制御するものであり、ＣＰＵ（Central Processing Unit）などのプロセッサを備える構成である。記憶部１１は、各種のデータおよびプログラムを記憶するものであり、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどの記憶素子を備える構成である。なお、制御部１０および記憶部１１の詳細については後述する。

撮影部１２は、被写体の撮影を行って、静止画および動画といった撮影画像を生成するものであり、例えば、レンズなどの光学系と、外部から上記光学系を介しての光を電気信号に変換する撮像素子とを備えている。該撮像素子の例としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１２は、生成した撮影画像のデータを制御部１０に送信する。

操作部１３は、携帯端末１の表面に設けられたボタンスイッチなどの入力デバイスをユーザが操作することにより、操作データを作成して制御部１０に送信するものである。入力デバイスの例としては、ボタンスイッチの他にタッチパネルなどが挙げられる。

表示部１４は、制御部１０から表示データを受信し、受信した表示データに基づいて表示画面に表示を行うものである。具体的には、表示部１４は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイなどの表示素子と、受信した表示データに基づいて表示素子を駆動するドライバ回路とを備える構成である。

本実施形態の携帯端末１では、制御部１０は、撮影部１２が撮影した撮影画像に対し、該撮影画像に含まれる文字を翻訳し、翻訳前の文字を翻訳後の文字で上書きした上で表示するように表示部１４に指示している。さらに、制御部１０は、上記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定し、特定した文字色および背景色の違いに基づき、上記文字色および上記背景色の少なくとも一方を調整し、調整した文字色および背景色で、上記翻訳後の文字およびその背景をそれぞれ表示するように表示部１４に指示している。一般に、文字の可読性は、文字色と背景色との違いに依存するので、本実施形態により上記翻訳後の文字の可読性を向上させることができる。

このことについて、具体例で説明する。図３の（ａ）は、撮影部が撮影した撮影画像をそのまま表示部に表示した表示例を示している。また、同図の（ｂ）・（ｃ）は、上記撮影画像に対し、該撮影画像に含まれる複数の文字の一部（図示の例では２行）を翻訳し、翻訳前の文字を翻訳後の文字で上書きした上で上記表示部に表示した表示例を示している。このうち、同図の（ｂ）は、本実施形態の携帯端末１による表示例を実施例として示す一方、同図の（ｃ）は、従来の携帯端末による表示例を参考例として示している。

従来例では、図３の（ｃ）に示すように、翻訳対象の文字を含む文字領域に対し、該文字領域の背景色で塗りつぶした上で、上記文字領域の文字色で翻訳後の文字を重畳している。これに対し、本実施例では、図３の（ｂ）に示すように、上記文字領域における上記文字色および上記背景色の明度差に基づき、上記背景色の明度を低く調整し、調整後の背景色で上記文字領域を塗りつぶした上で、上記文字領域の文字色で翻訳後の文字を重畳している。図３の（ｂ）・（ｃ）を比較すると、本実施例の方が従来例よりも、上記文字領域における文字色および背景色の明度差が大きく、翻訳後の文字の可読性が向上していることが理解できる。

（制御部１０および記憶部１１の詳細）
次に、制御部１０および記憶部１１の詳細について説明する。図２に示すように、制御部１０は、撮影画像取得部２０、文字抽出部２１、文字認識部２２、翻訳部２３、色特定部（色特定手段）２４、色調整部（色調整手段）２５、翻訳画像作成部（表示指示手段）２６、および重畳部（表示指示手段）２７を備える構成である。また、記憶部１１は、文字の色（文字色）と、該文字の背景の色（背景色）の組合せであって、文字の可読性が良好となる組合せを含む色調整用テーブル３０を記憶している。

撮影画像取得部２０は、撮影部１２が撮影した撮影画像のデータを取得するものである。撮影画像取得部２０は、取得した撮影画像のデータを文字抽出部２１および重畳部２７に送出する。

文字抽出部２１は、撮影画像取得部２０からの撮影画像のデータを用いて、該撮影画像において１または複数の文字が含まれる領域である文字領域を特定し、特定した文字領域から上記文字を抽出するものである。文字抽出部２１は、上記撮影画像における上記文字領域のデータを色特定部２４および翻訳画像作成部２６に送出すると共に、抽出した文字の特徴を示す文字特徴データを文字認識部２２および色特定部２４に送出する。

文字認識部２２は、文字抽出部２１からの文字特徴データに基づき、上記抽出した文字を認識するものである。文字認識部２２は、認識した文字を示す認識文字データを翻訳部２３に送出する。なお、文字抽出部２１および文字認識部２２の各機能は、テンプレートマッチング法など、公知の技術を利用することにより実現できるので、その説明を省略する。

翻訳部２３は、文字認識部２２からの認識文字データに基づき、上記認識した文字を機械翻訳するものである。翻訳部２３は、翻訳した文字を示す翻訳文字データを翻訳画像作成部２６に送出する。なお、機械翻訳については、ルールベース機械翻訳、統計的機械翻訳など、公知の技術を利用することができるので、その説明を省略する。

色特定部２４は、文字抽出部２１からの文字領域のデータおよび文字特徴データに基づき、上記抽出した文字の文字色および背景色を特定するものである。色特定部２４は、特定した文字色および背景色のデータを色調整部２５に送出する。

色調整部２５は、色特定部２４からの文字色および背景色のデータを取得すると、文字の可読性が良好となるように、上記文字色および上記背景色の違いに基づき、上記文字色および／または上記背景色を調整するものである。色調整部２５は、調整後の文字色および背景色のデータを翻訳画像作成部２６に送出する。

具体的には、色調整部２５は、記憶部１１における色調整用テーブル３０を参照して、色特定部２４が特定した背景色と同じまたは近い（類似する）背景色を含む上記組合せを検索する。なお、色調整部２５は、色特定部２４が特定した文字色と同じまたは近い文字色を含む上記組合せを検索してもよい。そして、色調整部２５は、検索した上記組合せ、すなわち可読性の良好な上記組合せにおける文字色および背景色のデータを、上記調整後の文字色および背景色のデータとして翻訳画像作成部２６に送出する。

翻訳画像作成部２６は、文字抽出部２１からの文字領域のデータと、翻訳部２３からの翻訳文字データと、色調整部２５からの調整後の文字色および背景色のデータとを用いて、上記文字領域に上記翻訳した文字を上記調整後の文字色および背景色で含む画像である翻訳画像を作成するものである。具体的には、翻訳画像作成部２６は、上記文字領域を上記調整後の背景色で塗り潰した後、上記翻訳した文字を上記調整後の文字色で上書きすることにより、上記翻訳画像を作成する。翻訳画像作成部２６は、作成した翻訳画像のデータを重畳部２７に送出する。

重畳部２７は、撮影画像取得部２０からの撮影画像のデータと、翻訳画像作成部２６からの翻訳画像のデータとを用いて、上記撮影画像の上記文字領域に上記翻訳画像を重畳するものである。重畳部２７は、重畳した画像のデータを表示部１４に送信することにより、上記重畳した画像が表示部１４にて表示される。

（制御部１０の処理の流れ）
図１は、上記構成の携帯端末１における制御部１０の処理の流れを示している。図示のように、まず、撮影部１２を起動させ（Ｓ１０）、撮影部１２が作成した撮影画像を撮影画像取得部２０が取得する（Ｓ１１）。次に、文字抽出部２１は、撮影画像取得部２０が取得した撮影画像における上記文字領域を特定し、特定した文字領域から文字を抽出する（Ｓ１２）。

次に、文字認識部２２は、文字抽出部２１が抽出した文字を認識し（Ｓ１３）、翻訳部２３は、文字認識部２２が認識した文字を機械翻訳する（Ｓ１４）。また、色特定部２４は、文字抽出部２１が抽出した文字の文字色および背景色を特定し（Ｓ１５、色特定ステップ）、色調整部２５は、文字の可読性が良好となるように、色特定部２４が特定した文字色および背景色の違いに基づき、文字色および／または背景色を調整する（Ｓ１６、色調整ステップ）。なお、ステップＳ１３・Ｓ１４とステップＳ１５・Ｓ１６とは、順序を入れ替えて実行してもよいし、並行して実行してもよい。

次に、翻訳画像作成部２６は、文字抽出部２１が特定した文字領域に、翻訳部２３が翻訳した文字を、色調整部２５による調整後の文字色および背景色で含む翻訳画像を作成する（Ｓ１７、表示指示ステップ）。そして、重畳部２７は、撮影画像取得部２０からの撮影画像の上記文字領域に、翻訳画像作成部２６が作成した翻訳画像を重畳し、重畳した画像を表示部１４を介して表示する（Ｓ１８、表示指示ステップ）。その後、ステップＳ１１に戻り、上記処理を繰り返す。

（変形例）
なお、本実施形態では、文字抽出部２１および文字認識部２２は、別々の機能ブロックとしているが、文字の抽出および認識は、一連のＯＣＲ（Optical Character Recognition）処理により行うことができるので、１つの機能ブロックにまとめてもよい。また、本実施形態では、翻訳前の文字を翻訳後の文字で上書きしているが、上記翻訳後の文字を別の表示領域に表示してもよい。さらに、本実施形態では、文字認識部２２および翻訳部２３は、制御部１０に含まれているが、制御部１０とは別のデバイスであってもよい。

〔実施形態２〕
次に、本発明の他の実施形態について、図４を参照して説明する。本実施形態の携帯端末１は、図１〜図３に示す携帯端末１に比べて、色調整用テーブル３０が省略されると共に、色調整部２５の詳細な機能が異なっているが、その他の構成は同様である。本実施形態では、色調整部２５は、図２に示す色調整部２５に比べて、文字色および背景色の違いを、可読性が良好となる所定の条件に近づけるように、文字色および／または背景色を調整している点が異なり、その他の機能は同様である。

図４は、本実施形態の色調整部２５における処理の流れを示しており、図１のステップＳ１６のサブルーチンである。一般に、文字色および背景色は、明度差が大きい方が読み易く、彩度差が大きい方が読み易い。また、一般に、文字色および背景色は、補色の関係または反対色の関係にある場合には目がチカチカして読み難く、同系色である場合には読み易い。

そこで、本実施形態では、色調整部２５は、図４に示すように、まず、上記文字色および上記背景色の明度差が所定値よりも小さい場合、該明度差が所定値だけ大きくなるように、上記文字色および／または上記背景色の明度を調整する（Ｓ２０・Ｓ２１）。次に、上記文字色および上記背景色の彩度差が所定値よりも小さい場合、該彩度差が所定値だけ大きくなるように、上記文字色および／または上記背景色の彩度を調整する（Ｓ２２・Ｓ２３）。そして、上記文字色および上記背景色の色相差が所定値よりも大きい場合、該色相差が所定値だけ小さくなるように、上記文字色および／または上記背景色の色相を調整する（Ｓ２４・Ｓ２５）。その後、図１に示す元のルーチンに戻って、ステップＳ１７に進む。

（変形例）
なお、本実施形態では、明度、彩度、および色相といった色の三属性を用いた色空間を利用しているが、その他の色空間を利用してもよい。また、本実施形態では、上記色空間の３成分全ての条件に基づいて上記調整を行っているが、上記色空間の１成分または２成分の条件に基づいて上記調整を行ってもよい。また、本実施形態では、色調整部２５は、上記文字色および上記背景色の違いを上記所定の条件に近づけるように上記調整を行っているが、当該違いが上記所定の条件を満たすように上記調整を行ってもよい。

例えば、ＹＵＶの各成分が０〜２５５の値をとるＹＵＶ色空間の処理系の場合を考える。この処理系では、ＹＵＶのうちのＹ（輝度）値に注目して上記調整を行う。具体的には、上記文字色および上記背景色のＹ値の差が１２８未満の場合は、１２８になるよう補正する。すなわち、１２８＞（背景色のＹ値）−（文字色のＹ値）≧０の場合、（文字色のＹ値）＝（背景色のＹ値）−１２８、を満たすように、上記文字色および／または上記背景値のＹ値を調整する。一方、１２８＞（文字色のＹ値）−（背景色のＹ値）＞０の場合、（文字色のＹ値）＝（背景色のＹ値）＋１２８、を満たすように、上記文字色および／または上記背景値のＹ値を調整する。

また、撮影部１２の撮像素子の特性に応じて調整してもよい。例えば、青色の感度が低い撮像素子を利用している場合であって、上記文字色または上記背景色が青色に近いとき、該当する上記文字色または上記背景色について、青色の彩度を上げるよう調整してもよい。

〔実施形態３〕
上記携帯端末１の制御ブロック（特に制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、携帯端末１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る表示処理装置（制御部１０）は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置であって、前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定手段（色特定部２４）と、該色特定手段が特定した文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整手段（色調整部２５）と、前記翻訳された文字およびその背景を、前記色調整手段が調整した文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示手段（翻訳画像作成部２６・重畳部２７）とを備える構成である。

上記の構成によれば、撮影画像に含まれる文字の色（文字色）および背景の色（背景色）が特定され、特定された文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方が調整され、調整された文字色および背景色で、翻訳された文字およびその背景がそれぞれ表示される。一般に、文字の可読性は、文字色と背景色との違いに依存するので、本発明により上記翻訳された文字の可読性を向上させることができる。

なお、可読性を向上させるには、前記色調整手段は、前記文字色および前記背景色について、明度の差を所定値以上とする或いは近づける調整、彩度の差を所定値以上とする或いは近づける調整、および、色相の差を所定値以内とする或いは近づける調整の少なくとも１つを行えばよい。

或いは、前記色調整手段は、可読性の良好な、前記文字色および前記背景色の複数の組合せを記憶する記憶部から、前記色特定手段が特定した背景色と同じ又は類似する背景色を有する前記組合せを読み出し、前記表示指示手段は、前記色調整手段が読み出した前記文字色および前記背景色の組合せで、前記翻訳された文字およびその背景をそれぞれ表示するように表示部に指示してもよい。

本発明の態様２に係る表示処理装置の制御方法は、撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置の制御方法であって、前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定ステップ（Ｓ１５）と、該色特定ステップにて特定された文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整ステップ（Ｓ１６）と、前記翻訳された文字およびその背景を、前記色調整ステップにて調整された文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示ステップ（Ｓ１７・Ｓ１８）とを含む制御方法である。この場合、上記態様１と同様の効果を奏する。

本発明の各態様に係る表示処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示処理装置が備える各手段として動作させることにより上記表示処理装置をコンピュータにて実現させる表示処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、撮影画像に含まれる文字色および背景色の違いに基づき、上記文字色および／または上記背景色を調整することにより、文字の可読性を向上することができるので、文字の可読性が求められる任意の電子機器に適用可能である。

１ 携帯端末
１０ 制御部（表示処理装置）
１１ 記憶部
１２ 撮影部
１３ 操作部
１４ 表示部
２０ 撮影画像取得部
２１ 文字抽出部
２２ 文字認識部
２３ 翻訳部
２４ 色特定部（色特定手段）
２５ 色調整部（色調整手段）
２６ 翻訳画像作成部（表示指示手段）
２７ 重畳部（表示指示手段）
３０ 色調整用テーブル

Claims (5)

1. 撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置であって、
   前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定手段と、
   該色特定手段が特定した文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整手段と、
   前記翻訳された文字およびその背景を、前記色調整手段が調整した文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示手段とを備えることを特徴とする表示処理装置。
2. 前記色調整手段は、前記文字色および前記背景色について、明度の差を所定値以上とする或いは近づける調整、彩度の差を所定値以上とする或いは近づける調整、および、色相の差を所定値以内とする或いは近づける調整の少なくとも１つを行うことを特徴とする請求項１に記載の表示処理装置。
3. 前記色調整手段は、可読性の良好な、前記文字色および前記背景色の複数の組合せを記憶する記憶部から、前記色特定手段が特定した背景色と同じ又は類似する背景色を有する前記組合せを読み出し、
   前記表示指示手段は、前記色調整手段が読み出した前記文字色および前記背景色の組合せで、前記翻訳された文字およびその背景をそれぞれ表示するように表示部に指示することを特徴とする請求項１に記載の表示処理装置。
4. 請求項１から３のいずれか１項に記載の表示処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
5. 撮影部にて撮影された撮影画像に含まれる文字が翻訳部にて翻訳された文字について、該翻訳された文字を表示部に表示させる表示処理装置の制御方法であって、
   前記撮影画像に含まれる文字の色である文字色と該文字の背景の色である背景色とを特定する色特定ステップと、
   該色特定ステップにて特定された文字色および背景色の違いに基づき、前記文字色および前記背景色の少なくとも一方を調整する色調整ステップと、
   前記翻訳された文字およびその背景を、前記色調整ステップにて調整された文字色および背景色でそれぞれ表示するように前記表示部に指示する表示指示ステップとを含むことを特徴とする表示処理装置の制御方法。

Images