[go: up one dir, main page]

JP2010258940A - Display device with automatic display character adjustment function - Google Patents

Display device with automatic display character adjustment function Download PDF

Info

Publication number
JP2010258940A
JP2010258940A JP2009108919A JP2009108919A JP2010258940A JP 2010258940 A JP2010258940 A JP 2010258940A JP 2009108919 A JP2009108919 A JP 2009108919A JP 2009108919 A JP2009108919 A JP 2009108919A JP 2010258940 A JP2010258940 A JP 2010258940A
Authority
JP
Japan
Prior art keywords
display
character
viewer
video
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009108919A
Other languages
Japanese (ja)
Inventor
Teru Yonekawa
輝 米川
Teppei Yamaguchi
鉄平 山口
Masao Ishiguro
正雄 石黒
Yoshinori Musha
義則 武者
Taku Tashiro
卓 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009108919A priority Critical patent/JP2010258940A/en
Publication of JP2010258940A publication Critical patent/JP2010258940A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】視聴者の自然な振る舞いにより、表示装置に表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。
【解決手段】表示装置10に文字を表示する前と表示した後の視聴者11の目をカメラ12で撮影する。視聴者の目が、文字を表示する前の様子13と文字を表示した後の様子14のように、目の形状が変化した場合、視聴者にとって表示された文字が読みづらいと判定し、表示装置10に表示する文字の背景や文字の色、文字の大きさなどの表示方法を、視聴者11の指示がなくても変更し、自動的に読みやすい表示に変更する。
【選択図】図1
[PROBLEMS] To determine the readability of a character displayed on a display device based on the natural behavior of a viewer, and to automatically display the character size, character color, and character so that the display is automatically readable without the viewer's instruction. Adjust the display method such as background color and text decoration.
A camera 12 captures the eyes of a viewer 11 before and after displaying characters on a display device 10. When the viewer's eyes change the shape of the eyes as in the state 13 before displaying characters and the state 14 after displaying characters, it is determined that the characters displayed for the viewer are difficult to read and displayed. The display method such as the character background, character color, and character size displayed on the device 10 is changed without any instruction from the viewer 11 and automatically changed to an easy-to-read display.
[Selection] Figure 1

Description

本発明は、表示文字自動調整機能付き表示装置に係り、特に、表示装置に描画された文字を読む視聴者が、その文字を読みづらいと感じた場合に、文字やその背景の表示方法を変更し、快適に読むことができるユーザ補助技術に関するものである。   The present invention relates to a display device with a display character automatic adjustment function, and in particular, when a viewer who reads a character drawn on the display device feels it is difficult to read the character, the display method of the character and its background is changed. In addition, the present invention relates to an assistive technology that can be read comfortably.

従来の表示装置では、メニューやEPGなどのOSDや字幕などで表示される文字の大きさは一定であった。このため、テレビ受像機や携帯端末などの表示装置では、表示する文字の大きさはあらかじめ視聴者手動で設定するか、表示装置と視聴者の距離により変更を行っていた。   In a conventional display device, the size of characters displayed in an OSD such as a menu or EPG or subtitles is constant. For this reason, in a display device such as a television receiver or a portable terminal, the size of characters to be displayed is set manually in advance by the viewer, or changed depending on the distance between the display device and the viewer.

特許文献1には、超音波を用いて視聴者と表示装置の間の距離が、推奨距離より近いか離れているかを算出し、視聴者に画面などで遠近を知らせる例が開示されている。   Patent Document 1 discloses an example in which the distance between the viewer and the display device is calculated using ultrasonic waves to calculate whether the distance is shorter or longer than the recommended distance, and the viewer is notified of the perspective on a screen or the like.

特許文献2には、表示画面と入力装置のとの距離を検出し、オンスクリーン表示を測定距離に応じた画像サイズに切替え可能とした表示装置が開示されている。   Patent Document 2 discloses a display device that can detect a distance between a display screen and an input device and switch an on-screen display to an image size corresponding to the measurement distance.

特許文献3には、遠赤外線カメラにより視聴者の数、及びテレビから各人までの距離から、最適な距離を決定し、映像品質の自動調整を行うテレビ受像機が開示されている。   Patent Document 3 discloses a television receiver that determines an optimum distance from the number of viewers using a far-infrared camera and the distance from the television to each person and automatically adjusts the video quality.

特開平5−203742号公報JP-A-5-203742 特開平7−274087号公報Japanese Patent Laid-Open No. 7-274087 特開2008−72561号公報JP 2008-72561 A

特許文献1では、超音波を反射した物体が人体であるかの判定は行っていない。
特許文献2では、視聴者と表示装置の間の距離を検出する際に用いる遠隔制御装置は視聴者側にあり、遠隔制御装置を持つ視聴者のみ対象となる。また、手や腕が不自由な場合は遠隔制御装置を所持あるいは操作することはできない。
In Patent Document 1, it is not determined whether an object that reflects ultrasonic waves is a human body.
In Patent Document 2, the remote control device used when detecting the distance between the viewer and the display device is on the viewer side, and only the viewer having the remote control device is targeted. Also, if the hand or arm is inconvenient, the remote control device cannot be carried or operated.

特許文献3では、特許文献1と同様に超音波を用いて距離を判定すると共に、物体からの赤外線放射エネルギーにより人体であるかを判定している。しかし、視聴者と表示装置の間の距離だけでは、視聴者にとって文字が読みやすいかどうかを判定することは難しい。たとえば、文字の大きさをある程度変えても、視力が弱い視聴者にとっては、大きさの変更が不十分であることも考えられる。また、たとえば背景に静止画や動画を表示した表示状態で、文字の大きさを常に大きくして表示すると、視聴者が文字を読んでいないときでも文字が大きくなり、静止画や動画を観賞するときの妨げとなる。   In Patent Document 3, the distance is determined using ultrasonic waves as in Patent Document 1, and it is determined whether the human body is based on infrared radiation energy from the object. However, it is difficult to determine whether or not the viewer can easily read characters only by the distance between the viewer and the display device. For example, even if the character size is changed to some extent, it may be considered that the change in size is insufficient for a viewer with weak eyesight. Also, for example, when a still image or video is displayed on the background and the font size is always increased, the text is enlarged even when the viewer is not reading the text, and the still image or video can be viewed. It will be a hindrance.

本発明はこのような点に鑑みなされたもので、表示装置に表示された文字を視聴者が読んできるときと読んでいないときの自然な振る舞いによる目の形状変化により、視聴者にとって読みやすい文字サイズ、文字色、文字の背景色、文字飾りなどの自動調整を適切に行う、表示文字自動調整機能付き表示装置を提供することを目的とする。   The present invention has been made in view of the above points, and the characters displayed on the display device are easy to read for the viewer by changing the shape of the eyes due to natural behavior when the viewer can read and not read the characters. It is an object of the present invention to provide a display device with a display character automatic adjustment function that appropriately performs automatic adjustment of size, character color, character background color, character decoration, and the like.

上述の課題を解決すべく、本発明は、制御装置と表示画面とを備え、受信したコンテンツの信号処理を行い、前記コンテンツの内容に応じて、所定の時刻に、映像あるいは該映像と文字を前記表示画面に表示する表示装置において、
カメラと文字表示自動調整ユニットとを備え、該文字表示自動調整ユニットは、前記表示画面に前記文字を表示する前後の視聴者の目を、各々、前記カメラで撮影し、前記視聴者の目が、前記文字の表示の前よりも表示の後で細くなった場合、前記視聴者にとって表示された前記文字が読みづらいと判定し、前記文字を読みやすい表示に自動的に変更することを特徴とする。
In order to solve the above-described problems, the present invention includes a control device and a display screen, performs signal processing on received content, and displays video or the video and characters at a predetermined time according to the content. In the display device for displaying on the display screen,
The character display automatic adjustment unit includes a camera and a character display automatic adjustment unit. The character display automatic adjustment unit captures the eyes of the viewer before and after displaying the characters on the display screen, respectively, and the viewer's eyes When the character becomes thinner after display than before the character, it is determined that the character displayed by the viewer is difficult to read, and the character is automatically changed to a display that is easy to read. To do.

本発明によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。これにより視聴者は表示文字の変更をジェスチャーのようにコマンドとして覚えたり、指示したりする必要がなくなる。   According to the present invention, the viewer's natural behavior determines the readability of the displayed character, and the character size, character color, and character Adjust the display method such as background color and text decoration. This eliminates the need for the viewer to remember or instruct the display character change as a command like a gesture.

本発明の概念図を示す表示装置の構成、及び、測定対象とする視聴者の目の状態を示す図である。It is a figure which shows the structure of the display apparatus which shows the conceptual diagram of this invention, and the state of the eyes of the viewer made into a measuring object. 本発明の制御対象とする表示文字とコンテンツの関係を示す図である。It is a figure which shows the relationship between the display character used as the control object of this invention, and a content. 本発明の表示文字自動調整機能付き表示装置による、表示画面の例を示す図である。It is a figure which shows the example of the display screen by the display apparatus with a display character automatic adjustment function of this invention. 本発明の第1の実施例になる表示装置のシステム構成図である。1 is a system configuration diagram of a display device according to a first embodiment of the present invention. 本発明の第1の実施例における、表示文字自動調整機能の動作を説明するタイムチャートである。It is a time chart explaining operation | movement of the display character automatic adjustment function in 1st Example of this invention. 本発明の第1の実施例における、表示文字自動調整機能の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the display character automatic adjustment function in 1st Example of this invention. 通常の視聴状態の、視聴者の目の状態を示す図である。It is a figure which shows the state of the viewer's eyes of a normal viewing state. 表示が読みづらい場合の、視聴者の状態を示す図である。It is a figure which shows a viewer's state when a display is hard to read. 本発明の第2の実施例になる表示装置のシステム構成図である。It is a system block diagram of the display apparatus which becomes the 2nd Example of this invention. 本発明の第2の実施例における、表示文字自動調整機能の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the display character automatic adjustment function in 2nd Example of this invention. 本発明の第3の実施例になる表示装置のシステム構成図である。It is a system block diagram of the display apparatus which becomes the 3rd Example of this invention. 本発明の第4の実施例になる表示装置のシステム構成図である。It is a system configuration | structure figure of the display apparatus which becomes the 4th Example of this invention. 本発明の第4の実施例における、表示文字自動調整機能の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the display character automatic adjustment function in the 4th Example of this invention. 本発明の第5の実施例になる表示装置のシステム構成図である。It is a system configuration | structure figure of the display apparatus which becomes the 5th Example of this invention. 本発明の第6の実施例になる表示装置のシステム構成図である。It is a system configuration | structure figure of the display apparatus which becomes the 6th Example of this invention.

以下、本発明にかかる実施例について、図面を参照して説明する。
まず、本発明の、基本概念を説明する。図1は、本発明の概念図を示す表示文字自動調整機能付き表示装置の構成、及び、測定対象とする視聴者の目の状態を示す図である。表示装置100の制御装置15は、表示文字自動調整機能を備えており、受信したコンテンツ20の信号処理を行い、コンテンツ20の内容に応じて、所定の時刻に、映像のみあるいは映像と文字を表示装置の表示画面10に表示し、かつ、音声を出力する。そして、表示画面10に文字を表示する前と表示した後の視聴者11の目を、各々、カメラ12で撮影する。13は文字を表示する前の視聴者の目、14は文字を表示した後の視聴者の目を、各々示している。視聴者の目が、図1に示したように、文字を表示する前の状態13と文字を表示した後の状態14のように、その形状が変化した場合、制御装置15は、視聴者にとって表示された文字が読みづらいと判定する。なお、測定の対象となる視聴者は、表示画面のサイズや対象とする視聴者の視力などに応じて予め設定された表示画面10から所定の距離、たとえば、表示画面10からの距離が2m〜10m程度の範囲内、の視聴者である。
Embodiments of the present invention will be described below with reference to the drawings.
First, the basic concept of the present invention will be described. FIG. 1 is a diagram showing a configuration of a display device with a display character automatic adjustment function showing a conceptual diagram of the present invention and a state of a viewer's eye as a measurement target. The control device 15 of the display device 100 has a display character automatic adjustment function, performs signal processing of the received content 20, and displays only video or video and characters at a predetermined time according to the content of the content 20. It is displayed on the display screen 10 of the apparatus and the sound is output. The eyes of the viewer 11 before and after displaying the characters on the display screen 10 are photographed by the camera 12 respectively. Reference numeral 13 denotes the viewer's eyes before displaying characters, and reference numeral 14 denotes the viewer's eyes after displaying characters. As shown in FIG. 1, when the viewer's eyes change their shapes, such as the state 13 before displaying the characters and the state 14 after displaying the characters, the control device 15 causes the viewer to It is determined that the displayed characters are difficult to read. Note that the viewer to be measured has a predetermined distance from the display screen 10 set in advance according to the size of the display screen, the visual acuity of the target viewer, etc., for example, a distance from the display screen 10 of 2 m to A viewer within a range of about 10 m.

本発明において、「目の形状が変化した」場合とは、視聴者の瞬きによる瞬間的な状態変化ではなく、視聴者が目を細めたり大きくしたりすることに伴う継続的な状態変化、換言すると、表示画面を見るための実質的な形状変化を意味する。   In the present invention, the case of “the eye shape has changed” is not an instantaneous state change caused by the viewer's blinking, but a continuous state change accompanying the viewer's narrowing or enlargement of the eye, in other words, Then, it means a substantial shape change for viewing the display screen.

目の形状が細くなる変化を検知した場合、制御装置15は、表示画面10に表示する文字サイズ、文字色、文字の背景色、文字飾りなどの各種の表示方式の少なくとも1つあるいはこれらの組み合わせによる表示方法を、視聴者11の指示がなくても自動的に変更し、視聴者が読みやすい表示に変更する。そして、視聴者とって、表示した文字が読みやすい表示になったと判定できる場合、例えば、視聴者の目の形状が文字の非表示の状態に戻った場合、表示方法の変化を停止する。一方、視聴者が文字を読んでいない場合は、文字の表示を変更前の状態に戻し、静止画や動画などのコンテンツの観賞を妨げないようにする。   When a change in the shape of the eyes is detected, the control device 15 causes the display device 10 to display at least one of various display methods such as character size, character color, character background color, and character decoration, or a combination thereof. The display method according to is automatically changed even if there is no instruction from the viewer 11 and is changed to a display that is easy for the viewer to read. Then, when it can be determined that the displayed characters are easy to read for the viewer, for example, when the viewer's eye shape returns to the non-display state of the characters, the change in the display method is stopped. On the other hand, when the viewer does not read the characters, the display of the characters is returned to the state before the change so as not to disturb the viewing of contents such as still images and moving images.

なお、本発明において、表示方法を変更する対象となる“文字”とは、送出側で映像中に絵として含めた文字ではなく、表示装置側の処理で映像に合成して出力する文字である。具体的な例を示すと、デジタルTVやDVDでは、字幕、字幕スーパー、OSD(メニューやEPG)などが、本発明において、表示方法(表示方式)の変更対象となる“文字”である。   In the present invention, the “character” whose display method is to be changed is not a character included as a picture in the video on the sending side, but a character that is combined with the video by the processing on the display device and output. . As a specific example, in digital TV and DVD, subtitles, subtitle supervision, OSD (menu or EPG), etc. are “characters” that are to be changed in display method (display method) in the present invention.

図2に、本発明の制御対象とする表示文字とコンテンツの関係を示す。表示装置に送られるコンテンツ20には、一般に、時間データ30、映像データ40、音声データ50、及び文字データ60が含まれている。時間データ30は、そのコンテンツに関する基準時間の情報31を含んでいる。なお、コンテンツの種類により、基準時間がない場合がある。この場合は、表示装置側で生成される時間を用いる。映像データ40には、表示時間に関する情報41と、映像に関する情報42が含まれている。音声データ50には、出力時間に関する情報51と、音声に関する情報52が含まれている。文字データ60には、表示時間に関する情報61と、文字に関する情報62が含まれている。   FIG. 2 shows the relationship between display characters and contents to be controlled by the present invention. The content 20 sent to the display device generally includes time data 30, video data 40, audio data 50, and character data 60. The time data 30 includes reference time information 31 related to the content. There may be no reference time depending on the type of content. In this case, the time generated on the display device side is used. The video data 40 includes information 41 related to display time and information 42 related to video. The audio data 50 includes information 51 relating to output time and information 52 relating to audio. The character data 60 includes information 61 related to display time and information 62 related to characters.

つぎに、図3に、本発明の表示文字自動調整機能付き表示装置による、表示画面の例を示す。図3の(A)は映像のみの表示状態を示している。表示画面10中の文字は映像データ40に含まれている文字(42)である。一方、図3の(A)は映像のみの表示状態を示している。表示画面10中には、映像データ40に含まれている文字に加えて、「地震速報」、「ニュース速報」のような文字データ60が含まれている文字も表示されている。   Next, FIG. 3 shows an example of a display screen by the display device with a display character automatic adjustment function of the present invention. FIG. 3A shows a display state of video only. The characters in the display screen 10 are the characters (42) included in the video data 40. On the other hand, FIG. 3A shows a display state of only video. In the display screen 10, in addition to the characters included in the video data 40, characters including character data 60 such as “earthquake breaking news” and “news breaking news” are also displayed.

本発明によれば、視聴者の目の状態変化、換言すると視聴者が表示画面10を見ているときの自然な振る舞いにより、文字データ60として表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。これにより視聴者は表示文字の変更をジェスチャーのようにコマンドとして覚えたり、指示したりする必要がなくなる。   According to the present invention, the readability of the characters displayed as the character data 60 is determined based on a change in the state of the viewer's eyes, in other words, a natural behavior when the viewer is viewing the display screen 10, and the viewer Adjust the display method such as the character size, character color, character background color, and character decoration so that the display is automatically readable even if there is no instruction. This eliminates the need for the viewer to remember or instruct the display character change as a command like a gesture.

本発明の表示文字自動調整機能付き表示装置の第1の実施例を、図4〜図7Bで説明する。
まず、図4に、本発明の第1の実施例に関する表示装置に必要な機能ブロック図を表す。本発明の第1の実施例に関わる表示装置100は、制御装置15として、コンテンツ入力手段101と、映像・文字情報分離手段102と、映像デコード手段103と、表示文字判定手段104と、表示文字デコード手段105と、映像合成手段106と、映像出力手段107を備えている。表示装置100の制御装置15は、さらに、表示文字自動調整ユニット120として、視聴者映像入力手段108、タイミング設定手段109、目の形状検出手段110、形状変化判定手段111、及び表示変更制御手段112を備えている。表示文字自動調整ユニット120を含む制御装置15は、CPUやメモリ及びプログラムを保持するデータプロセッサにより構成され、図5、図6に述べるような処理を実現する機能を備えている。この表示文字自動調整ユニットの機能は、各種プログラムに基づく演算処理をCPUで実行することにより得られる。
A first embodiment of the display device with automatic display character adjustment function of the present invention will be described with reference to FIGS.
First, FIG. 4 shows a functional block diagram necessary for the display device according to the first embodiment of the present invention. A display device 100 according to the first embodiment of the present invention includes a content input unit 101, a video / character information separation unit 102, a video decoding unit 103, a display character determination unit 104, and a display character as a control device 15. A decoding unit 105, a video synthesis unit 106, and a video output unit 107 are provided. The control device 15 of the display device 100 further includes a viewer image input unit 108, a timing setting unit 109, an eye shape detection unit 110, a shape change determination unit 111, and a display change control unit 112 as a display character automatic adjustment unit 120. It has. The control device 15 including the display character automatic adjustment unit 120 includes a CPU, a memory, and a data processor that holds a program, and has a function of realizing processing as described in FIGS. 5 and 6. The function of the display character automatic adjustment unit can be obtained by executing arithmetic processing based on various programs by the CPU.

図5のタイムチャート及び図6のフローチャートにより、本発明の第1の実施例における、制御装置による表示文字の自動調整に関係する動作を説明する。図5は、(1)コンテンツに含まれる文字情報の取得、(2)表示装置への文字表示の有無、(3)視聴者の目の形状検出のタイミング、及び、(4)表示文字の制御のタイミング、の相互の関係を示している。   With reference to the time chart of FIG. 5 and the flowchart of FIG. 6, the operation related to the automatic adjustment of display characters by the control device in the first embodiment of the present invention will be described. 5 shows (1) acquisition of character information included in content, (2) presence / absence of character display on a display device, (3) timing of viewer's eye shape detection, and (4) control of display characters. Shows the relationship between the timings.

以下、図4、図5を参照しつつ、図6のフローチャートに沿って、本実施例の実行処理の概要を説明する。   The outline of the execution process of the present embodiment will be described below with reference to FIGS. 4 and 5 and the flowchart of FIG.

まず、コンテンツ入力手段101から入力されたコンテンツ情報(図6のステップ140)は、映像・文字情報分離手段102により、文字情報の有無が判定され(ステップ141)、文字情報と映像情報に分離され、バッファなどの記憶手段に記録される。   First, the content information input from the content input means 101 (step 140 in FIG. 6) is determined by the video / character information separation means 102 for the presence or absence of character information (step 141), and is separated into character information and video information. And recorded in a storage means such as a buffer.

次に、映像情報は、映像デコード手段103により映像に復号される、表示画面10に表示される(ステップ142)。   Next, the video information is displayed on the display screen 10 which is decoded into video by the video decoding means 103 (step 142).

目の形状検出手段110は、視聴者映像入力手段108により取得した映像(ステップ151)の中から、視聴者の目を検出し(ステップ152)、検出した目の形状を、エッジ検出手段により、図7A、図7Bのように、視聴者の目の幅と高さの距離やそれらの比率を求め(ステップ153)、その結果を記憶手段に保存する(ステップ154)。視聴者の映像を取得・画像処理する時刻は、タイミング設定手段109により指定され、図5のタイムチャート中に、矢印で示したようなタイミングで実行される。   The eye shape detection means 110 detects the viewer's eyes from the video (step 151) acquired by the viewer video input means 108 (step 152), and the detected eye shape is detected by the edge detection means. As shown in FIGS. 7A and 7B, the distance between the width and height of the viewer and the ratio thereof are obtained (step 153), and the result is stored in the storage means (step 154). The time at which the viewer's video is acquired and image-processed is specified by the timing setting means 109, and is executed at the timing indicated by the arrow in the time chart of FIG.

一方、文字情報に関しては、表示文字判定手段104により、該当する文字の表示時間が取得され、タイミング設定手段109に表示時間が設定される。なお、表示する文字の大きさや、文字の色、背景などの表示に関しては、予め、初期状態が設定されていることはいうまでも無い。文字情報は、指定時刻に表示画面10に表示される(ステップ143、144)。   On the other hand, regarding the character information, the display character determination unit 104 acquires the display time of the corresponding character, and the display time is set in the timing setting unit 109. Needless to say, the initial state is set in advance for the display of the size of the character to be displayed, the color of the character, the background, and the like. The character information is displayed on the display screen 10 at the designated time (steps 143 and 144).

目の形状検出手段110は、視聴者映像入力手段108により取得した映像(ステップ155)の中から、視聴者の目を検出し(ステップ156)、検出した目の形状を、エッジ検出手段(110)により、図7A、図7Bのように、目のエッジの強度(180,182,0190,192)を測定し、その結果に基き、視聴者の目の幅(181、191)と高さ(183、193)の各距離やそれら比率として求め(ステップ157)、その結果を記憶手段に保存する。視聴者の映像を取得・画像処理は、図5のタイムチャート中に、矢印で示したようなタイミングで実行される。   The eye shape detection means 110 detects the viewer's eyes from the video (step 155) acquired by the viewer video input means 108 (step 156), and the detected eye shape is detected by the edge detection means (110). ), The eye edge strength (180, 182, 0190, 192) is measured as shown in FIGS. 7A and 7B, and the viewer's eye width (181, 191) and height ( 183, 193) and their ratios (step 157), and the results are stored in the storage means. The viewer's video acquisition / image processing is executed at a timing as indicated by an arrow in the time chart of FIG.

次に、形状変化判定手段111は、文字を表示しているときと表示していないときの目の形状を比較し(ステップ158)、目の形状変化により前記視聴者にとって表示された文字が読みやすいか否かを判定する。すなわち、視聴者の目の形状を比較し、目の幅と高さの比率が変化している、換言すると、目の高さに対して幅の比率が大きくなっている場合は、視聴者が文字を読みづらいために目を細めていると判定する。より具体的には、上記比率が所定の閾値以上、たとえば、5%以上変化している場合、目を細めていると判定する。   Next, the shape change determination means 111 compares the shape of the eye when the character is displayed and when it is not displayed (step 158), and the character displayed to the viewer is read due to the change in the shape of the eye. Determine whether it is easy. That is, comparing the shape of the viewer's eyes, the ratio of the width and height of the eyes changes, in other words, if the ratio of the width to the height of the eyes is large, It is determined that the eyes are narrowed because it is difficult to read the characters. More specifically, when the ratio changes by a predetermined threshold value or more, for example, 5% or more, it is determined that the eyes are narrowed.

なお、目の幅と高さの比率に代えて、目の円形度の変化として検出してもよい。あるいはまた、目の中の瞳(テレビ視聴の場合は通常殆ど変化しない)と目の中の他の領域の面積(視聴者が目を細ると狭くなる)との面積比で、検出してもよい。   Note that instead of the ratio between the width and height of the eyes, a change in the circularity of the eyes may be detected. Alternatively, it may be detected by an area ratio between the pupil in the eye (which usually hardly changes when watching TV) and the area of another region in the eye (which narrows when the viewer narrows his eyes). Good.

形状変化判定手段111において、文字を表示している間に視聴者が目を細めていると判断した場合(ステップ158でYES)、表示変更制御手段112は、表示文字デコード手段105を介して表示する文字の大きさや、文字の色、背景などの表示方法を変更する(ステップ160)。視聴者の目の状態に変化が無いと判断した場合(ステップ158でNO)、表示する文字の状態は、通常の表示をするか、前の状態をそのまま維持する(ステップ159)。   When the shape change determination unit 111 determines that the viewer is narrowing the eyes while displaying characters (YES in step 158), the display change control unit 112 displays the characters via the display character decoding unit 105. The display method such as the character size, character color and background is changed (step 160). When it is determined that there is no change in the viewer's eye state (NO in step 158), the character state to be displayed is displayed normally or maintained in the previous state (step 159).

以上の処理を、表示時間の終了まで繰り返し(ステップ145でNO)、表示時間が終了したら(ステップ145でYES)、次回の文字情報の表示処理に移行する。
図4に戻って、映像合成手段106は文字と映像を合成する。そして、映像出力手段107は、映像合成手段106で合成した映像を出力する。
The above processing is repeated until the end of the display time (NO in step 145). When the display time ends (YES in step 145), the process proceeds to the next character information display processing.
Returning to FIG. 4, the video composition means 106 synthesizes characters and video. The video output unit 107 outputs the video synthesized by the video synthesis unit 106.

以上の動作により、表示文字自動調整ユニット120は、視聴者が表示装置に表示された文字を読みにくい場合、文字の表示方法を変更することができる。   With the above operation, the display character automatic adjustment unit 120 can change the character display method when it is difficult for the viewer to read the characters displayed on the display device.

本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。これにより視聴者は表示文字の変更をジェスチャーのようにコマンドとして覚えたり、指示したりする必要がなくなる。   According to the present embodiment, the readability of the displayed character is determined by the viewer's natural behavior, and the character size, character color, and character are automatically displayed so that the display is automatically readable without the viewer's instruction. Adjust the display method such as background color and text decoration. This eliminates the need for the viewer to remember or instruct the display character change as a command like a gesture.

図8に、本発明の第2の実施例に関する表示装置に必要な機能ブロック図を表す。本発明の第2の実施例に関わる表示装置200は、コンテンツ入力手段201と、映像・文字情報分離手段202と、映像デコード手段203と、表示文字判定手段204と、表示文字デコード手段205と、映像合成手段206と、映像出力手段207を備えている。さらに、表示文字自動調整ユニット220として、視聴者映像入力手段208とタイミング設定手段209と、視線検出手段210と、表示文字読み取り判定手段211と、目の形状検出手段212と、形状変化判定手段213と、表示変更制御手段214とを備える。   FIG. 8 is a functional block diagram necessary for a display device according to the second embodiment of the present invention. A display device 200 according to the second embodiment of the present invention includes a content input unit 201, a video / character information separation unit 202, a video decoding unit 203, a display character determination unit 204, a display character decoding unit 205, A video composition unit 206 and a video output unit 207 are provided. Further, the display character automatic adjustment unit 220 includes a viewer video input unit 208, a timing setting unit 209, a line-of-sight detection unit 210, a display character reading determination unit 211, an eye shape detection unit 212, and a shape change determination unit 213. And display change control means 214.

本実施例の実行処理の概要は以下の通りであり、判定処理の流れは図9に示すような方法で行う。なお、以下の実施例の説明では、図6に示した第1の実施例との相違点を主体に説明し、重複する部分に関しては、説明を省略する。   The outline of the execution process of the present embodiment is as follows, and the flow of the determination process is performed by a method as shown in FIG. In the following description of the embodiment, differences from the first embodiment shown in FIG. 6 will be mainly described, and description of overlapping parts will be omitted.

まず、コンテンツ入力手段201から入力されたコンテンツ情報は、映像・文字情報分離手段202により、文字情報と映像情報に分離される。
映像情報は、映像デコード手段203により映像に復号される。
文字情報に関しては、表示文字判定手段204により、該当する文字の表示時間を取得し、タイミング設定手段209に表示時間を設定する。
First, the content information input from the content input unit 201 is separated into character information and video information by the video / character information separation unit 202.
The video information is decoded into video by the video decoding means 203.
Regarding the character information, the display character determination unit 204 acquires the display time of the corresponding character, and sets the display time in the timing setting unit 209.

視線検出手段210は、視聴者映像入力手段208により取得した映像の中から視聴者の視線を検出する(図9のステップ251、252)。映像を取得・画像処理する時刻は、タイミング設定手段209により指定される。視線検出手段210による視聴者映像の処理は、タイミング設定手段209により指定される。   The line-of-sight detection unit 210 detects the viewer's line of sight from the video acquired by the viewer video input unit 208 (steps 251 and 252 in FIG. 9). The time for acquiring and processing the video is specified by the timing setting unit 209. The processing of the viewer video by the line-of-sight detection unit 210 is designated by the timing setting unit 209.

表示文字読み取り判定手段211は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が文字の表示領域の内部にあるとき、文字を読んでいると判定する(ステップ255〜259)。   The display character reading determination unit 211 compares the area where the viewer's line of sight is hit with the display character area, and determines that the character is being read when the viewer's line of sight is inside the character display area. (Steps 255-259).

目の形状検出手段212は、視聴者映像入力手段208により取得した映像の中から、視聴者の目の形状を図7Aと図7Bのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める(ステップ253〜254、260)。   The eye shape detection unit 212 converts the viewer's eye shape from the video acquired by the viewer video input unit 208 by using the edge detection unit as shown in FIGS. 7A and 7B. The distance and ratio are calculated (steps 253 to 254, 260).

形状変化判定手段212は、文字を表示しているときと表示していないときの目の形状を比較する(ステップ262)。   The shape change determination means 212 compares the shape of the eye when the character is displayed and when it is not displayed (step 262).

形状変化判定手段213において、文字を表示している間に視聴者が目を細めていると判断した場合(ステップ262でYES)、表示変更制御手段214は表示文字デコード手段205を介して、表示する文字の大きさや、文字の色、背景などの表示方法を変更する(ステップ263)。視聴者の目の状態に変化が無い場合(ステップ262でNO)は、通常の表示をするか、前の表示を維持する(ステップ261)。   If the shape change determining means 213 determines that the viewer is narrowing the eyes while displaying characters (YES in step 262), the display change control means 214 displays the display via the display character decoding means 205. The display method such as the character size, character color and background is changed (step 263). If there is no change in the viewer's eye state (NO in step 262), normal display is performed or the previous display is maintained (step 261).

映像合成手段206は文字と映像を合成する。
そして、映像出力手段207は、映像合成手段206で合成した映像を出力する。
The image synthesizing unit 206 synthesizes characters and images.
The video output unit 207 outputs the video synthesized by the video synthesis unit 206.

以上の動作により、視聴者が表示された文字が読みにくい場合、文字の表示方法を自動的に変更することができる。   With the above operation, when the characters displayed by the viewer are difficult to read, the character display method can be automatically changed.

本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。   According to the present embodiment, the readability of the displayed character is determined by the viewer's natural behavior, and the character size, character color, and character are automatically displayed so that the display is automatically readable without the viewer's instruction. Adjust the display method such as background color and text decoration.

図10に、本発明の第3の実施例に関する表示装置に必要なブロック図を表す。本発明の第3の実施例に関わる表示装置は、コンテンツ入力手段301と、映像・文字情報分離手段302と、映像デコード手段303と、表示文字判定手段304と、表示文字デコード手段305と、映像合成手段306と、映像出力手段307を備えている。さらに、表示文字自動調整ユニット320として、視聴者映像入力手段308とタイミング設定手段309と、視線検出手段310と、表示文字読み取り判定手段311と、目の形状検出手段312と、形状変化判定手段313と、動体検出手段314と、表示変更制御手段315とを備える。   FIG. 10 is a block diagram necessary for a display device according to the third embodiment of the present invention. A display apparatus according to the third embodiment of the present invention includes a content input unit 301, a video / character information separation unit 302, a video decoding unit 303, a display character determination unit 304, a display character decoding unit 305, and a video. A synthesizing unit 306 and a video output unit 307 are provided. Further, as the display character automatic adjustment unit 320, the viewer video input means 308, the timing setting means 309, the line-of-sight detection means 310, the display character reading determination means 311, the eye shape detection means 312, and the shape change determination means 313. And a moving body detection unit 314 and a display change control unit 315.

本実施例の実行処理の概要は以下の通りである。
コンテンツ入力手段301から入力されたコンテンツ情報は、映像・文字情報分離手段302により、文字情報と映像情報に分離される。
映像情報は、映像デコード手段305により映像に復号される。
文字情報は、表示文字判定手段304により、該当する文字の表示時間を取得し、タイミング設定手段309に表示時間を設定する。
視線検出手段310は、視聴者映像入力手段308により取得した映像の中から視聴者の視線を検出する。視線検出手段312による視聴者映像の処理は、タイミング設定手段309により指定される。
表示文字読み取り判定手段311は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が表示領域の内部にあるとき、文字を読んでいると判定する。
目の形状検出手段312は、視聴者映像入力手段308により取得した映像の中から、視聴者の目の形状を図7A、図7Bのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める。
The outline of the execution process of the present embodiment is as follows.
The content information input from the content input unit 301 is separated into character information and video information by the video / character information separation unit 302.
The video information is decoded into video by the video decoding means 305.
For the character information, the display character determination unit 304 acquires the display time of the corresponding character, and sets the display time in the timing setting unit 309.
The line-of-sight detection unit 310 detects the viewer's line of sight from the video acquired by the viewer video input unit 308. The processing of the viewer video by the line-of-sight detection unit 312 is designated by the timing setting unit 309.
The display character reading determination means 311 compares the area where the viewer's line of sight is hit with the display character area, and determines that the character is being read when the viewer's line of sight is inside the display area.
The eye shape detection unit 312 detects the shape of the viewer's eyes from the video acquired by the viewer video input unit 308 by using the edge detection unit as shown in FIGS. 7A and 7B. Find the distance and ratio.

動体検出手段314は、視聴者映像入力手段308より入力された映像を用いて、映像中の動体を検出する。
形状変化判定手段313は、文字を表示しているときと表示していないときの目の形状を比較する。
The moving object detection unit 314 detects a moving object in the video using the video input from the viewer video input unit 308.
The shape change determination means 313 compares the shape of the eye when the character is displayed and when it is not displayed.

動体検出手段314において、視聴中の視聴者が移動し、別の視聴者に代わったものと判定された場合、文字を表示していないときの目の形状を再度取得する。   In the moving object detection unit 314, when it is determined that the viewer who is watching moves and is replaced with another viewer, the shape of the eye when no character is displayed is acquired again.

形状変化判定手段313において、文字を表示している間に視聴者が目を細めていると判断した場合、表示変更制御手段315は、表示文字デコード手段305を介して、表示する文字の大きさや、文字の色、背景などの表示方法を変更する。   When the shape change determination unit 313 determines that the viewer is narrowing the eyes while displaying the character, the display change control unit 315 passes the display character decoding unit 305 to display the size of the character to be displayed. , Change the display method of text color, background, etc.

映像合成手段306は文字と映像を合成する。
映像出力手段307は、映像合成手段306で合成した映像を出力する。
The video composition unit 306 synthesizes characters and video.
The video output unit 307 outputs the video synthesized by the video synthesis unit 306.

以上の動作により、視聴者が表示された文字が読みにくい場合、文字の表示方法を、自動的に変更することができる。   With the above operation, when the character displayed by the viewer is difficult to read, the character display method can be automatically changed.

本発明の第4の実施例を、図11、図12を参照しながら説明する。図11に、本発明の第4の実施例に関する表示装置に必要な機能ブロック図を表す。本実施例に関わる表示装置は、コンテンツ入力手段401と、映像・文字情報分離手段402と、映像デコード手段403と、表示文字判定手段404と、表示文字デコード手段405と、映像合成手段406と、映像出力手段407を備えている。さらに、表示文字自動調整ユニット420として、視聴者映像入力手段408とタイミング設定手段409と目の形状検出手段410と、形状変化判定手段411と、表示文字読み上げ手段412と、音声出力手段413とを備える。   A fourth embodiment of the present invention will be described with reference to FIGS. FIG. 11 is a functional block diagram necessary for a display device according to the fourth embodiment of the present invention. The display apparatus according to this embodiment includes a content input unit 401, a video / character information separation unit 402, a video decoding unit 403, a display character determination unit 404, a display character decoding unit 405, a video composition unit 406, Video output means 407 is provided. Further, as the display character automatic adjustment unit 420, a viewer video input unit 408, a timing setting unit 409, an eye shape detection unit 410, a shape change determination unit 411, a display character reading unit 412, and a voice output unit 413 are provided. Prepare.

本実施例の実行処理の概要は以下の通りであり、判定処理の流れは図12のフローチャートに示すとおりである。   The outline of the execution process of the present embodiment is as follows, and the flow of the determination process is as shown in the flowchart of FIG.

コンテンツ入力手段401から入力されたコンテンツ情報は、映像・文字情報分離手段402により、文字情報と映像情報に分離される。   The content information input from the content input unit 401 is separated into character information and video information by the video / character information separation unit 402.

映像情報は、映像デコード手段403により映像に復号される。
文字情報に関して、表示文字判定手段404により、該当する文字の表示時間を取得し、タイミング設定手段409に表示時間を設定する。
The video information is decoded into video by the video decoding means 403.
Regarding the character information, the display character determination unit 404 acquires the display time of the corresponding character, and sets the display time in the timing setting unit 409.

目の形状検出手段410は、視聴者映像入力手段408により取得した映像の中から、視聴者の目の形状を図7A、図7Bのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める(ステップ451〜457)。視聴者の映像を取得・画像処理する時刻は、タイミング設定手段409により指定される。   The eye shape detection unit 410 converts the viewer's eye shape from the video acquired by the viewer video input unit 408 by using the edge detection unit as shown in FIGS. 7A and 7B. The distance and ratio are calculated (steps 451 to 457). The time at which the viewer's video is acquired and processed is designated by the timing setting means 409.

形状変化判定手段411は、文字を表示しているときと表示していないときの目の形状を比較する。形状変化判定手段411において、文字を表示している間に視聴者が目を細めていると判断した場合(ステッ458でYES)、表示文字読み上げ手段412により、表示している文字を音声情報に変換し、音声出力手段413より出力する(ステップ460)。視聴者の目の状態に変化が無い場合(ステップ458でNO)は、通常の表示をするか、前の表示を維持する(ステップ459)。   The shape change determination unit 411 compares the shape of the eye when the character is displayed and when the character is not displayed. When the shape change determination unit 411 determines that the viewer is narrowing the eyes while displaying the characters (YES in step 458), the display character reading unit 412 converts the displayed characters into voice information. The data is converted and output from the audio output means 413 (step 460). When there is no change in the viewer's eye state (NO in step 458), normal display is performed or the previous display is maintained (step 459).

映像合成手段406は、文字と映像を合成する。   The video synthesizing unit 406 synthesizes characters and video.

映像出力手段407は、映像合成手段406で合成した映像を出力する。   The video output unit 407 outputs the video synthesized by the video synthesis unit 406.

本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。また、視聴者が表示された文字が読みにくい場合、表示した文字の情報を音声で視聴者に提供する。   According to the present embodiment, the readability of the displayed character is determined by the viewer's natural behavior, and the character size, character color, and character are automatically displayed so that the display is automatically readable without the viewer's instruction. Adjust the display method such as background color and text decoration. In addition, when the displayed characters are difficult to read, the information of the displayed characters is provided to the viewer by voice.

図13に、本発明の第5の実施例に関する表示装置に必要なブロック図を表す。本発明の第2の実施例に関わる表示装置ではコンテンツ入力手段501と、映像・文字情報分離手段502と、映像デコード手段503と、表示文字判定手段504と、表示文字デコード手段505と、映像合成手段506と、映像出力手段507とを備えている。さらに、表示文字自動調整ユニット220として、視聴者映像入力手段508とタイミング設定手段509と、視線検出手段510と、表示文字読み取り判定手段511と、目の形状検出手段512と、形状変化判定手段513と、表示文字読み上げ手段514と、音声出力手段515を備える。   FIG. 13 is a block diagram necessary for a display device according to the fifth embodiment of the present invention. In the display apparatus according to the second embodiment of the present invention, content input means 501, video / character information separation means 502, video decoding means 503, display character determination means 504, display character decoding means 505, and video composition Means 506 and video output means 507 are provided. Further, the display character automatic adjustment unit 220 includes a viewer video input unit 508, a timing setting unit 509, a line-of-sight detection unit 510, a display character reading determination unit 511, an eye shape detection unit 512, and a shape change determination unit 513. Display character reading means 514 and voice output means 515.

本実施例の実行処理の概要は以下の通りである。
コンテンツ入力手段501から入力されたコンテンツ情報は、映像・文字情報分離手段502により、文字情報と映像情報に分離される。
映像情報は、映像デコード手段503により映像に復号される。
The outline of the execution process of the present embodiment is as follows.
The content information input from the content input unit 501 is separated into character information and video information by the video / character information separation unit 502.
The video information is decoded into video by the video decoding means 503.

文字情報に関して、表示文字判定手段504により、該当する文字の表示時間を取得し、タイミング設定手段509に表示時間を設定する。   Regarding the character information, the display character determination unit 504 acquires the display time of the corresponding character, and sets the display time in the timing setting unit 509.

視線検出手段510は、視聴者映像入力手段508により取得した映像の中から視聴者の視線を検出する。映像を取得・画像処理する時刻は、タイミング設定手段509により指定される。   The line-of-sight detection unit 510 detects the line of sight of the viewer from the video acquired by the viewer video input unit 508. The timing for acquiring and processing the video is designated by the timing setting means 509.

表示文字読み取り判定手段511は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が文字の表示領域の内部にあるとき、文字を読んでいると判定する。   The display character reading determination means 511 compares the area where the viewer's line of sight is hit with the display character area, and determines that the character is being read when the viewer's line of sight is inside the character display area. .

目の形状検出手段512は、視聴者映像入力手段508により取得した映像の中から、視聴者の目の形状を図7A、図7Bのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める。   The eye shape detection unit 512 converts the viewer's eye shape from the video acquired by the viewer video input unit 508 by using the edge detection unit as shown in FIGS. 7A and 7B. Find the distance and ratio.

形状変化判定手段513は、文字を表示しているときと表示していないときの目の形状を比較する。   The shape change determination means 513 compares the shape of the eye when the character is displayed and when it is not displayed.

形状変化判定手段513において、文字を表示している間に視聴者が目を細めていると判断した場合、表示文字読み上げ手段514により、表示している文字を音声情報に変換し、音声出力515より出力する。   When the shape change determination unit 513 determines that the viewer is narrowing the eyes while displaying the character, the display character reading unit 514 converts the displayed character into voice information, and the voice output 515. Output more.

映像合成手段506は、文字と映像を合成する。
映像出力手段507は、映像合成手段506で合成した映像を出力する。
The video synthesizing unit 506 synthesizes characters and video.
The video output unit 507 outputs the video synthesized by the video synthesis unit 506.

本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。また、視聴者が表示された文字が読みにくい場合、表示した文字の情報を音声で視聴者に提供する。   According to the present embodiment, the readability of the displayed character is determined by the viewer's natural behavior, and the character size, character color, and character are automatically displayed so that the display is automatically readable without the viewer's instruction. Adjust the display method such as background color and text decoration. In addition, when the displayed characters are difficult to read, the information of the displayed characters is provided to the viewer by voice.

図14に、本発明の第6の実施例に関する表示装置に必要なブロック図を表す。本発明の第3の実施例に関わる表示装置ではコンテンツ入力手段601と、映像・文字情報分離手段602と、映像デコード手段603と、表示文字判定手段604と、表示文字デコード手段605と、映像合成手段606と、映像出力手段607とを備えている。さらに、表示文字自動調整ユニット620として、視聴者映像入力手段608とタイミング設定手段609と、視線検出手段610と、表示文字読み取り判定手段611と、目の形状検出手段612と、形状変化判定手段613と、動体検出手段614と、表示文字読み上げ手段615と、音声出力手段616を備える。   FIG. 14 is a block diagram necessary for a display device according to the sixth embodiment of the present invention. In the display apparatus according to the third embodiment of the present invention, content input means 601, video / character information separation means 602, video decoding means 603, display character determination means 604, display character decoding means 605, and video composition. Means 606 and video output means 607 are provided. Further, the display character automatic adjustment unit 620 includes a viewer video input unit 608, a timing setting unit 609, a line-of-sight detection unit 610, a display character reading determination unit 611, an eye shape detection unit 612, and a shape change determination unit 613. A moving object detection unit 614, a display character reading unit 615, and an audio output unit 616.

本実施例の実行処理の概要は以下の通りである。
コンテンツ入力手段601から入力されたコンテンツ情報は、映像・文字情報分離手段602により、文字情報と映像情報に分離される。
映像情報は、映像デコード手段603により映像に復号される。
文字情報に関して、表示文字判定手段604により、該当する文字の表示時間を取得し、タイミング設定手段609に表示時間を設定する。
視線検出手段610は、視聴者映像入力手段608により取得した映像の中から視聴者の視線を検出する。視線検出手段610による視聴者映像の処理は、タイミング設定手段609により指定される。
The outline of the execution process of the present embodiment is as follows.
The content information input from the content input unit 601 is separated into character information and video information by the video / character information separation unit 602.
The video information is decoded into video by the video decoding means 603.
Regarding the character information, the display character determination unit 604 acquires the display time of the corresponding character, and sets the display time in the timing setting unit 609.
The line-of-sight detection unit 610 detects the line of sight of the viewer from the video acquired by the viewer video input unit 608. The processing of the viewer video by the line-of-sight detection unit 610 is designated by the timing setting unit 609.

表示文字読み取り判定手段611は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が表示領域の内部にあるとき、文字を読んでいると判定する。
目の形状検出手段612は、視聴者映像入力手段608により取得した映像の中から、視聴者の目の形状を図7A、図7Bのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める。
動体検出手段614は、視聴者映像入力手段608より入力された映像を用いて、映像中の動体を検出する。
形状変化判定手段613は、文字を表示しているときと表示していないときの目の形状を比較する。
The display character reading determination unit 611 compares the area where the viewer's line of sight is hit with the display character area, and determines that the character is being read when the viewer's line of sight is inside the display area.
The eye shape detection unit 612 converts the viewer's eye shape from the video acquired by the viewer video input unit 608 by using the edge detection unit as shown in FIGS. 7A and 7B. Find the distance and ratio.
The moving object detection unit 614 detects a moving object in the video using the video input from the viewer video input unit 608.
The shape change determination means 613 compares the shape of the eye when the character is displayed and when it is not displayed.

動体検出手段614において、視聴中の視聴者が移動し、別の視聴者に代わったと判定された場合、文字を表示していないときの目の形状を再度取得する。   When it is determined by the moving object detection means 614 that the viewer who is viewing has moved and replaced with another viewer, the shape of the eyes when no character is displayed is acquired again.

形状変化判定手段613において、文字を表示している間に視聴者が目を細めていると判断した場合、表示文字読み上げ手段615により、表示している文字を音声情報に変換し、音声出力616より出力する。   When the shape change determination unit 613 determines that the viewer is narrowing the eyes while displaying characters, the display character reading unit 615 converts the displayed characters into audio information and outputs the audio output 616. Output more.

映像合成手段606は、文字と映像を合成する。
映像出力手段607は、映像合成手段606で合成した映像を出力する。
The image synthesizing unit 606 synthesizes characters and images.
The video output unit 607 outputs the video synthesized by the video synthesis unit 606.

本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。また、視聴者が表示された文字が読みにくい場合、表示した文字の情報を音声で視聴者に提供する。   According to the present embodiment, the readability of the displayed character is determined by the viewer's natural behavior, and the character size, character color, and character are automatically displayed so that the display is automatically readable without the viewer's instruction. Adjust the display method such as background color and text decoration. In addition, when the displayed characters are difficult to read, the information of the displayed characters is provided to the viewer by voice.

本発明の表示装置は、例えばデジタル放送やストリーミング放送などを視聴するTVや携帯端末、あるいはデジタルサイネージやパーソナルコンピュータ等に適用可能である。   The display device of the present invention can be applied to, for example, a TV or a portable terminal for viewing digital broadcasting or streaming broadcasting, a digital signage, a personal computer, or the like.

10…表示画面、11…視聴者、12…カメラ、13…文字を表示する前の視聴者の目、14…文字を表示した後の視聴者の目、15…制御装置、20…コンテンツ、100…表示装置、101…コンテンツ入力手段、102…映像・文字情報分離手段、103…映像デコード手段、104…表示文字判定手段、105…表示文字デコード手段、106…映像合成手段、107…映像出力手段、108…視聴者映像入力手段、109…タイミング設定手段、110…目の形状検出手段、111…形状変化判定手段、112…表示変更制御手段、120…表示文字自動調整ユニット。 DESCRIPTION OF SYMBOLS 10 ... Display screen, 11 ... Viewer, 12 ... Camera, 13 ... Viewer's eye before displaying a character, 14 ... Viewer's eye after displaying a character, 15 ... Control apparatus, 20 ... Content, 100 DESCRIPTION OF SYMBOLS ... Display apparatus, 101 ... Content input means, 102 ... Video / character information separation means, 103 ... Video decoding means, 104 ... Display character determination means, 105 ... Display character decoding means, 106 ... Video composition means, 107 ... Video output means 108 ... viewer video input means 109 ... timing setting means 110 ... eye shape detection means 111 ... shape change determination means 112 ... display change control means 120 ... display character automatic adjustment unit

Claims (20)

制御装置と表示画面とを備え、
受信したコンテンツの信号処理を行い、前記コンテンツの内容に応じて、所定の時刻に、映像あるいは該映像と文字を前記表示画面に表示する表示装置において、
カメラと文字表示自動調整ユニットとを備え、
該文字表示自動調整ユニットは、前記表示画面に前記文字を表示する前後の視聴者の目を、各々、前記カメラで撮影し、前記視聴者の目が、前記文字の表示の前よりも表示の後で細くなった場合、前記視聴者にとって表示された前記文字が読みづらいと判定し、前記文字を読みやすい表示に自動的に変更する
ことを特徴とする表示装置。
A control device and a display screen;
In a display device that performs signal processing of received content and displays video or the video and characters on the display screen at a predetermined time according to the content.
It has a camera and a text display automatic adjustment unit,
The character display automatic adjustment unit captures the viewer's eyes before and after displaying the characters on the display screen with the camera, and the viewer's eyes are displayed more than before the characters are displayed. A display device characterized in that when it becomes narrower later, it is determined that the character displayed for the viewer is difficult to read, and the character is automatically changed to a display that is easy to read.
請求項1において、
前記文字表示自動調整ユニットは、エッジ処理により、目の縦横の長さや円形度などの形状を取得する目の形状検出手段を備えている
ことを特徴とする表示装置。
In claim 1,
The character display automatic adjustment unit is provided with an eye shape detecting means for acquiring a shape such as a vertical and horizontal length and a circularity of the eye by edge processing.
請求項1において、
前記文字表示を変更した後の前記視聴者の目の形状が、前記文字の非表示の状態に戻った場合、前記表示の変化を停止する
ことを特徴とする表示装置。
In claim 1,
The display device is characterized in that when the shape of the viewer's eyes after changing the character display returns to the non-display state of the characters, the display change is stopped.
請求項1において、
前記カメラで撮影した前記視聴者の目の状態から、前記視聴者が文字を読んでいないと判定した場合、前記文字の表示を変更前の状態に戻す
ことを特徴とする表示装置。
In claim 1,
A display device that returns the display of the character to a state before the change when it is determined that the viewer is not reading a character from the state of the eye of the viewer photographed by the camera.
請求項1において、測定の対象となる前記視聴者は、予め設定された前記表示画面から所定の距離内の視聴者である
ことを特徴とする表示装置。
2. The display device according to claim 1, wherein the viewer to be measured is a viewer within a predetermined distance from the preset display screen.
請求項4において、
前記視聴者が複数であった場合、前記設定された距離の範囲内の前記視聴者の中で全ての目の形状が、前記文字の非表示のときの形状に戻るまで前記文字の表示方法を変化させる
ことを特徴とする表示装置。
In claim 4,
When there are a plurality of viewers, the character display method is changed until the shape of all eyes in the viewers within the set distance range returns to the shape when the characters are not displayed. A display device characterized by being changed.
請求項1において、
前記表示画面に表示する前記文字は、表示装置において映像に合成して出力される、字幕、字幕スーパー、OSD(メニューやEPG)等の文字であり、
該表示画面に表示する文字の読みやすい表示への変更は、文字のサイズ、文字色、文字の背景色、文字飾りの少なくとも1つの表示方式の変更である
ことを特徴とする表示装置。
In claim 1,
The characters to be displayed on the display screen are characters such as subtitles, subtitle super, OSD (menu or EPG), which are synthesized and output on the display device.
A display device characterized in that the change of the character displayed on the display screen to an easy-to-read display is a change of at least one display method of character size, character color, character background color, and character decoration.
請求項1において、
コンテンツ入力手段と、映像・文字情報分離手段と、映像デコード手段と、表示文字判定手段と、表示文字デコード手段と、映像合成手段と、映像出力手段と、視聴者映像入力手段とタイミング設定手段と目の形状検出手段と、形状変化判定手段と、表示変更制御手段とを備え、
前記目の形状検出手段は、前記視聴者映像入力手段より取得した前記視聴者の映像より、文字の表示・非表示の場合の視聴者の目の形状変化を検出し、前記形状変化判定手段は、該目の形状変化により前記視聴者にとって表示された文字が読みやすいか否かを判定し、
前記表示変更制御手段は、読みづらいと判定された場合、前記表示文字デコード手段は文字の大きさや文字の背景・色・文字飾りなどの表示方法を変更する
ことを特徴とする表示装置。
In claim 1,
Content input means, video / character information separating means, video decoding means, display character determining means, display character decoding means, video composition means, video output means, viewer video input means, timing setting means, Eye shape detection means, shape change determination means, and display change control means,
The eye shape detecting means detects a change in the shape of the viewer's eyes in the case of display / non-display of characters from the video of the viewer acquired from the viewer video input means, and the shape change determining means is , Determining whether or not the characters displayed for the viewer are easy to read due to the shape change of the eyes,
If the display change control means determines that it is difficult to read, the display character decoding means changes the display method of the character size, character background, color, character decoration, and the like.
請求項8において、
表示文字読み上げ手段と、音声出力手段を備え、
前記目の形状検出手段は、前記視聴者映像入力手段より取得した前記視聴者の映像より、文字の表示・非表示の場合の視聴者の目の形状変化を検出し、該目の形状変化により前記形状変化判定手段で前記視聴者にとって表示された文字が読みやすいか否かを判定し、読みづらいと判定した場合、前記表示文字読み上げ手段は表示文字を読み上げ、前記音声出力手段より出力する
ことを特徴とする表示装置。
In claim 8,
Provided with display character reading means and voice output means,
The eye shape detecting means detects a change in the shape of the viewer's eyes in the case of display / non-display of characters from the video of the viewer acquired from the viewer video input means. When the shape change determining means determines whether or not the character displayed for the viewer is easy to read, and if it is determined that it is difficult to read, the display character reading means reads the display character and outputs it from the voice output means A display device.
請求項9において、
前記視聴者が複数であった場合、前記設定された距離の範囲内で撮影可能な範囲の前記視聴者の中で全ての視聴者の目の形状が、前記文字の非表示のときの形状に戻る、または文末に至るまで前記表示した文字を読み上げる
ことを特徴とする表示装置。
In claim 9,
When there are a plurality of viewers, the shape of the eyes of all viewers among the viewers within the range that can be photographed within the set distance range is the shape when the characters are not displayed. A display device that reads out the displayed characters until returning to the end of a sentence.
コンテンツ入力手段と、映像・文字情報分離手段と、映像デコード手段と、表示文字判定手段と、表示文字デコード手段と、映像合成手段と、映像出力手段と、視聴者映像入力手段と、タイミング設定手段と、視線検出手段と、表示文字読み取り判定手段と、目の形状検出手段と、形状変化判定手段とを備え、前記コンテンツ入力手段に入力されたコンテンツの内容に応じて、映像あるいは該映像と文字を表示画面に表示するものにおいて、
前記視線検出手段は、前記視聴者映像入力手段により入力された視聴者の映像から該視聴者の視線が前記表示画面のどの部分を見ているかを検出し、
前記表示画面に前記文字が表示された場合に、前記視聴者の視線が該表示された文字の範囲に含まれているとき前記視聴者が前記文字を読み取ろうとしていると判定し、前記目の形状検出手段で前記文字の表示・非表示の各場合における前記視聴者の目の形状変化を検出し、前記視聴者にとって表示された文字が読みやすいか否かを該目の形状変化により判定し、読みづらいと判定した場合、前記表示文字デコード手段により前記文字の大きさや文字の背景・色・文字飾りなどの表示方法を変更する
ことを特徴とする表示装置。
Content input means, video / character information separating means, video decoding means, display character determining means, display character decoding means, video composition means, video output means, viewer video input means, timing setting means And a line-of-sight detection means, a display character reading determination means, an eye shape detection means, and a shape change determination means, and according to the content of the content input to the content input means, the video or the video and text Is displayed on the display screen,
The line-of-sight detection means detects which part of the display screen the viewer's line of sight is looking from the viewer's video input by the viewer video input means;
When the character is displayed on the display screen, it is determined that the viewer is trying to read the character when the viewer's line of sight is included in the range of the displayed character; A shape detection means detects a change in the shape of the viewer's eyes in each case of displaying or not displaying the character, and determines whether or not the characters displayed for the viewer are easy to read based on the change in the shape of the eye. When it is determined that reading is difficult, the display character decoding means changes the display method of the character size, character background, color, character decoration, and the like.
請求項11において、
前記目の形状検出手段は、エッジ処理により、目の縦横の長さや円形度などの形状を取得する機能を有している
ことを特徴とする表示装置。
In claim 11,
The display device according to claim 1, wherein the eye shape detecting means has a function of acquiring a shape such as a length and a roundness of the eye by edge processing.
請求項11において、
前記文字の表示を変更中に、前記視聴者の視線が表示文字の範囲外になった場合、前記文字の表示方法の変更を終了する
ことを特徴とする表示装置。
In claim 11,
If the viewer's line of sight falls outside the range of display characters while changing the display of the characters, the display device ends the change of the display method of the characters.
請求項11において、
前記視聴者が複数であった場合、予め設定された距離の範囲内の前記視聴者の中で全ての視線が前記表示文字の範囲外になるまで、前記文字の表示方法の変更を行う
ことを特徴とする表示装置。
In claim 11,
When there are a plurality of viewers, the display method of the characters is changed until all lines of sight within the viewer within a predetermined distance range are outside the range of the display characters. Characteristic display device.
請求項11において、
前記視聴者が複数であった場合、前記目の形状が文字の非表示のときの形状に戻るまで文字の表示方法を変化させる
ことを特徴とする表示装置。
In claim 11,
A display device, wherein when there are a plurality of viewers, a character display method is changed until the shape of the eyes returns to the shape when characters are not displayed.
請求項11において、
動体検出手段を備え、
該動体検出手段により前記視聴者が表示装置の前から去り、別の視聴者になった可能性がある場合に、前記表示文字が非表示の場合の目の形状を再取得する
ことを特徴とする表示装置。
In claim 11,
A moving object detection means,
When the viewer has left the front of the display device and may have become another viewer by the moving object detection means, the eye shape when the display character is not displayed is reacquired. Display device.
コンテンツ入力手段と、映像・文字情報分離手段と、映像デコード手段と、表示文字判定手段と、表示文字デコード手段と、映像合成手段と、映像出力手段と、視聴者映像入力手段とタイミング設定手段と目の形状検出手段と、形状変化判定手段と、表示文字読み上げ手段と、音声出力手段を備え、前記コンテンツ入力手段に入力されたコンテンツの内容に応じて、映像あるいは該映像と文字を表示画面に表示するものにおいて、
前記目の形状検出手段は、前記視聴者映像入力手段より取得した前記視聴者の映像より、前記表示画面への前記文字の表示・非表示の場合の前記視聴者の目の形状変化を検出し、該目の形状変化により前記形状変化判定手段が該視聴者にとって表示された前記文字が読みやすいか否かを判定し、読みづらいと判定した場合、前記表示文字読み上げ手段により前記表示文字を読み上げ、音声出力手段より出力する
ことを特徴とする表示装置。
Content input means, video / character information separating means, video decoding means, display character determining means, display character decoding means, video composition means, video output means, viewer video input means, timing setting means, An eye shape detection unit, a shape change determination unit, a display character reading unit, and an audio output unit are provided. Depending on the content input to the content input unit, the video or the video and the character are displayed on the display screen. In what to display
The eye shape detecting means detects a change in the eye shape of the viewer when the characters are displayed / hidden on the display screen from the viewer's video acquired from the viewer video input means. When the shape change determining means determines whether or not the character displayed for the viewer is easy to read due to the shape change of the eye, and determines that it is difficult to read, the display character reading means reads the display character A display device that outputs the sound from an audio output means.
請求項17において、
前記目の形状検出手段は、エッジ処理により、目の縦横の長さや円形度などの形状を取得する機能を有している
ことを特徴とする表示装置。
In claim 17,
The display device according to claim 1, wherein the eye shape detecting means has a function of acquiring a shape such as a length and a roundness of the eye by edge processing.
請求項17において、
前記視聴者が複数であった場合、設定された距離の範囲内で撮影可能な範囲の前記視聴者の中で全ての該視聴者の目の形状が、前記文字の非表示のときの形状に戻る、または文末に至るまで表示した前記文字を読み上げる
ことを特徴とする表示装置。
In claim 17,
When there are a plurality of viewers, the shape of all the viewer's eyes in the viewer within the range that can be photographed within the set distance range is the shape when the characters are not displayed. A display device that reads out the characters displayed until the end or the end of the sentence.
請求項17において、
動体検出手段を備え、
該動体検出手段により視聴者が前記表示装置の前から去り、別の視聴者になった可能性がある場合に、前記表示文字が非表示の場合の目の形状を再取得する
ことを特徴とする表示装置。
In claim 17,
A moving object detection means,
When the viewer has left the display device and may have become another viewer by the moving object detection means, the shape of the eyes when the display character is not displayed is re-acquired. Display device.
JP2009108919A 2009-04-28 2009-04-28 Display device with automatic display character adjustment function Pending JP2010258940A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009108919A JP2010258940A (en) 2009-04-28 2009-04-28 Display device with automatic display character adjustment function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009108919A JP2010258940A (en) 2009-04-28 2009-04-28 Display device with automatic display character adjustment function

Publications (1)

Publication Number Publication Date
JP2010258940A true JP2010258940A (en) 2010-11-11

Family

ID=43319316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009108919A Pending JP2010258940A (en) 2009-04-28 2009-04-28 Display device with automatic display character adjustment function

Country Status (1)

Country Link
JP (1) JP2010258940A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059647A1 (en) * 2011-10-21 2013-04-25 New York University Reducing visual crowding, increasing attention and improving visual span
WO2014084193A1 (en) * 2012-11-28 2014-06-05 京セラ株式会社 Electronic apparatus and control program, and display control method
WO2016174945A1 (en) * 2015-04-30 2016-11-03 シナノケンシ株式会社 Playback display device for digital content for learning
JP2017181683A (en) * 2016-03-29 2017-10-05 日本電気株式会社 Display processing device, display processing method, and program
JP2017224141A (en) * 2016-06-15 2017-12-21 株式会社Nttドコモ Information display device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059647A1 (en) * 2011-10-21 2013-04-25 New York University Reducing visual crowding, increasing attention and improving visual span
US9672788B2 (en) 2011-10-21 2017-06-06 New York University Reducing visual crowding, increasing attention and improving visual span
WO2014084193A1 (en) * 2012-11-28 2014-06-05 京セラ株式会社 Electronic apparatus and control program, and display control method
JP2014106381A (en) * 2012-11-28 2014-06-09 Kyocera Corp Electronic apparatus, control program and display control method
WO2016174945A1 (en) * 2015-04-30 2016-11-03 シナノケンシ株式会社 Playback display device for digital content for learning
JP2016212167A (en) * 2015-04-30 2016-12-15 シナノケンシ株式会社 Device for reproducing/displaying digital content for learning
JP2017181683A (en) * 2016-03-29 2017-10-05 日本電気株式会社 Display processing device, display processing method, and program
JP2017224141A (en) * 2016-06-15 2017-12-21 株式会社Nttドコモ Information display device

Similar Documents

Publication Publication Date Title
JP5423183B2 (en) Display control apparatus and display control method
JP6886117B2 (en) How to control the image quality of the image displayed on one display device
JP6030945B2 (en) Viewer video display control device, viewer video display control method, and viewer video display control program
WO2012111272A1 (en) Display control device and display control method
KR101621528B1 (en) Display apparatus and display method of 3 dimentional video signal thereof
JP4956216B2 (en) Digital broadcast program display device and digital broadcast program display program
US8330863B2 (en) Information presentation apparatus and information presentation method that display subtitles together with video
JP2013125191A (en) Video display device, video display method, and program
JP2007300270A5 (en)
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
JP2010258940A (en) Display device with automatic display character adjustment function
JP2012173683A (en) Display control device, information display apparatus, and display control method
US9971481B2 (en) Method for displaying an interaction interface and an electronic device for the same
CN103609135B (en) Image output device, image output method, and image output method using computer program
EP2519022A2 (en) Video processing apparatus and video processing method
CN113709566B (en) Multimedia content playback method, device, equipment and computer storage medium
JP2017126899A (en) Image processing device and image processing method
JP2007515864A (en) Video image processing method
US20150104115A1 (en) Image processing apparatus and control method thereof
US20140218395A1 (en) Image processor and image processing method
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
JP6930880B2 (en) Video display device and video production support method
WO2018008128A1 (en) Video display device and method
JP2014082737A (en) Display control device, television receiver, display control method, program, and recording medium
JP2013171275A (en) Picture display device and picture display control method