[go: up one dir, main page]

WO2010021102A1 - 関連シーン付与装置及び関連シーン付与方法 - Google Patents

関連シーン付与装置及び関連シーン付与方法 Download PDF

Info

Publication number
WO2010021102A1
WO2010021102A1 PCT/JP2009/003836 JP2009003836W WO2010021102A1 WO 2010021102 A1 WO2010021102 A1 WO 2010021102A1 JP 2009003836 W JP2009003836 W JP 2009003836W WO 2010021102 A1 WO2010021102 A1 WO 2010021102A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
time
scene
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/003836
Other languages
English (en)
French (fr)
Inventor
井上剛
小澤順
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to US12/865,879 priority Critical patent/US8174579B2/en
Priority to JP2009545752A priority patent/JP4487018B2/ja
Priority to CN200980119475XA priority patent/CN102084645B/zh
Publication of WO2010021102A1 publication Critical patent/WO2010021102A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • the present invention relates to a related scene assignment device and a related scene assignment support for supporting the addition of a scene of a moving image content related to a search result to the search result when the search result of information related to a certain scene is shared with others. Regarding the method.
  • PCs personal computers
  • an increasing number of users search for information related to a television program while using a video content, for example, a currently broadcast television program, using an Internet search engine.
  • information to be searched for example, when the program being viewed is a travel program, it is information on a currently displayed place or a store.
  • quiz program it is information relating to a quiz answer that is currently being presented.
  • animal program it is information regarding the name of the currently displayed animal and the place where the animal can be viewed.
  • a sports program such as soccer or baseball
  • information on actions or rules in addition to information on the currently displayed player, information on actions or rules.
  • the scene that triggered the search for the search result can be shared with others. It is considered effective to do so.
  • a digital video reproduction apparatus that extracts subtitles included in content and extracts scenes that have triggered search (for example, see Patent Document 1).
  • the digital video reproduction apparatus When receiving a content recording request from a user, the digital video reproduction apparatus creates a table in which subtitle character data is associated with presentation time information.
  • the digital video playback device searches for a subtitle character related to the character input from the user using the table, and displays the presentation time of the searched subtitle character. Play the video.
  • Patent Document 1 uses caption information. For this reason, there is a problem in that it is impossible to extract a scene of a broadcast program that has triggered information retrieval for content that does not include subtitles. For example, under the present circumstances, subtitles are hardly given to live broadcast programs such as sports programs such as soccer or baseball. For this reason, the applicable range of the above-described digital video reproduction apparatus is limited.
  • the above-described digital video reproduction apparatus performs a search based on characters input from the user. For this reason, it is necessary for the user to grasp the keyword displayed in the scene that triggered the information search and input it. Furthermore, when the input keyword is used in a plurality of subtitles, a plurality of scenes are detected. For this reason, as the number increases, search results also increase. Therefore, there is a problem in that it takes time and effort to find a scene that has triggered the information retrieval desired by the user.
  • a related scene assigning apparatus and a related scene assigning method capable of extracting a scene that triggers an information search performed by a user even when a text tag such as subtitles is not assigned to each scene of content
  • the purpose is to provide.
  • a related scene assigning apparatus of the present invention is a related scene assigning apparatus that associates a related result, which is image data related to a search, with a search result, and reproduces the image data and the image data.
  • An operation that associates an image storage unit that stores time, an information search execution unit that searches for information according to a search condition input by a user, the search condition, and a time when the search condition is accepted
  • An operation history storage unit that stores the history of the operation, and a history of the operation related to the search result of the scene assignment target that is the search information specified by the user among the information searched by the information search execution unit
  • a search start time estimation unit that estimates a search start time that is a time when input of a search condition for obtaining the scene assignment target search result is started based on a search start point;
  • the image data reproduced in time including the search start time estimated by the search start time estimation unit, and a related scene extracting unit associated with the scene grantees search results.
  • the present invention can be realized not only as a related scene providing device including such a characteristic processing unit, but also as a related scene adding method using the characteristic processing unit included in the related scene providing device as a step. Can be realized. It can also be realized as a program that causes a computer to execute the characteristic steps included in the related scene assigning method. Such a program can be distributed via a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • the related scene assigning apparatus of the present invention it is possible to extract a scene that has triggered information search even for video content in which no information about the scene such as text information is assigned to each scene. Become. Furthermore, in the scene assignment apparatus according to the present invention, it is not necessary to input a keyword only for scene extraction. For this reason, it is possible to reduce the burden of the user giving the related scene to the information search result.
  • FIG. 1 is an external view showing a configuration of a search system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the search system according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing a user operation procedure according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart of processing executed by the related scene assigning apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing an example of operation history information in Embodiment 1 of the present invention.
  • FIG. 6A is a diagram showing an example of an output screen of the related scene assigning apparatus according to Embodiment 1 of the present invention.
  • FIG. 6B is a diagram showing an example of an output screen of the related scene assigning apparatus according to Embodiment 1 of the present invention.
  • FIG. 6C is a diagram showing an example of an output screen of the related scene assigning apparatus according to Embodiment 1 of the present invention.
  • FIG. 6D is a diagram showing an example of an output screen of the related scene assigning apparatus according to Embodiment 1 of the present invention.
  • FIG. 7 is a functional block showing a detailed configuration of the search start time estimation unit in the first embodiment of the present invention.
  • FIG. 8 is a detailed flowchart of the search start point estimation process according to Embodiment 1 of the present invention.
  • FIG. 9 is a diagram showing an example of similarity information stored in the similarity storage unit according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram showing an example of an output screen of the related scene assigning apparatus according to Embodiment 1 of the present invention.
  • FIG. 11A is a diagram showing an example of an output screen of the shared television in Embodiment 1 of the present invention.
  • FIG. 11B is a diagram showing an example of an output screen of the shared television in Embodiment 1 of the present invention.
  • FIG. 12 is a diagram illustrating an example of similarity information stored in the similarity storage unit according to Embodiment 1 of the present invention.
  • FIG. 13 is a block diagram showing the configuration of the search system according to Embodiment 2 of the present invention.
  • FIG. 14 is a detailed flowchart of related scene extraction processing according to Embodiment 2 of the present invention.
  • FIG. 15 is a diagram showing an example of an output screen of the related scene assigning apparatus according to Embodiment 2 of the present invention.
  • a user accesses a search server that exists on the Internet, such as a PC or a mobile phone. It is assumed that an information search is performed by using a device capable of information search (hereinafter referred to as an “information search device”) triggered by a scene while the user is watching a TV program.
  • an information search device a device capable of information search
  • a method of estimating a scene of a TV program that has triggered information search when an information search result by an information search apparatus is displayed on a shared TV and shared with others will be described.
  • a method for supporting the task of adding the estimated scene to the information search result will be described. For example, consider a case where the user immediately searches for offside when there is an offside while watching a soccer broadcast program with his family. In such a situation, a search system for associating a search result related to offside with an offside scene will be described.
  • FIG. 1 is an external view showing a configuration of a search system according to Embodiment 1 of the present invention.
  • the search system includes a related scene assigning device 100, a shared television 114, and a portable terminal 1601 that are connected to each other via a computer network 1602 such as a LAN (Local Area Network).
  • a computer network 1602 such as a LAN (Local Area Network).
  • FIG. 2 is a block diagram showing the configuration of the search system according to Embodiment 1 of the present invention.
  • the search system is a system for performing information search and displaying the information search result by giving it to the scene of the TV program that triggered the information search.
  • the related scene assigning apparatus 100 is an apparatus that performs an information search and assigns an information search result to a TV program scene that has triggered the information search.
  • the related scene assignment device 100 includes an input unit 101, an information search execution unit 102, a search result storage unit 103, an operation history collection unit 104, an operation history storage unit 105, and a timer 106.
  • the search start time estimation unit 107 and the related scene assigning device 100 further include a related scene extraction unit 108, an image acquisition unit 109, an image storage unit 110, a search result output unit 111, an output unit 112, and a search result.
  • a transmission unit 113 is an apparatus that performs an information search and assigns an information search result to a TV program scene that has triggered the information search.
  • the related scene assignment device 100 includes an input unit 101, an information search execution unit 102, a search result storage unit 103, an operation history collection unit 104, an operation history storage unit 105, and a timer 106.
  • the related scene assigning apparatus 100 is configured by a general computer including a CPU (Central Processing Unit), a memory, a communication interface, and the like. And each processing part is functionally implement
  • Each storage unit is realized by a memory or an HDD (Hard Disk Drive).
  • the input unit 101 is a processing unit that receives input from the user such as buttons, a touch panel, or a cross key.
  • the information search execution unit 102 is a processing unit that executes information search by accessing a search server existing on the Internet.
  • the search result storage unit 103 is a storage device that stores information search results obtained by the information search execution unit 102.
  • the search result stored in the search result storage unit 103 is a search result in which the user designates the scene addition.
  • the operation history collection unit 104 is a processing unit that collects an operation history of information search performed by the information search execution unit 102.
  • the operation history collection unit 104 collects a history of operations such as a keyword input by the user at the time of search, a word included in the selected item, a URL (Uniform Resource Locator) indicated by the selected item, and a user instruction.
  • the operation history storage unit 105 is a storage device that stores the operation history collected by the operation history collection unit 104.
  • the timer 106 is a processing unit that acquires the current time.
  • the search start time estimation unit 107 is a processing unit that estimates the time when the information search by the user is started. That is, the search start time estimation unit 107 uses the search result in the search result storage unit 103 and the operation history in the operation history storage unit 105 to provide information corresponding to the search result stored in the search result storage unit 103. Estimate the search start operation that started the search. Further, the search start time estimation unit 107 estimates the time when the information search corresponding to the search result is started using the time when the search start operation is executed. In this way, the search start time estimation unit 107 is the time when the user started to input the search condition for the purpose of obtaining the search result from the history of the search condition input to obtain the search result specified by the user. Is estimated.
  • the related scene extraction unit 108 stores the scene around the time when the information search estimated by the search start time estimation unit 107 is started as a scene related to the search result stored in the search result storage unit 103.
  • moving image content is assumed, but the same processing can be performed for still image content.
  • the image acquisition unit 109 is a processing unit that acquires a moving image that triggers a search.
  • the moving image acquired by the image acquisition unit 109 is broadcast TV program content or accumulated moving image content.
  • the image storage unit 110 is a storage device that stores the moving image data acquired by the image acquisition unit 109 and the reproduction time thereof.
  • the search result output unit 111 is a processing unit that combines the search result stored in the search result storage unit 103 with the related scene extracted by the related scene extraction unit 108 and outputs the combined result to the output unit 112. .
  • the output unit 112 is a display device such as a display that displays the result output from the search result output unit 111.
  • the search result transmission unit 113 is a processing unit that transmits data obtained as a result of combining the search result created by the search result output unit 111 and the related scene to an external device.
  • the shared television 114 is a television that can receive the data transmitted from the search result transmission unit 113 and display the received data.
  • the shared TV 114 is a large TV set installed in a living room.
  • the shared television 114 displays the search result data to which the related scene is added by the related scene adding device 100, so that information can be shared among a plurality of users.
  • the mobile terminal 1601 is a mobile terminal that can receive the data transmitted from the search result transmission unit 113 and display the received data.
  • the mobile terminal 1601 is a device that is used while being carried by the user and is a mobile phone or the like.
  • a scene that triggered the scene that the user has viewed on the shared television 114 is estimated from the operation history and the result of the search. Further, the estimated scene is added to the search result and transmitted to the shared television 114.
  • FIG. 3 is a flowchart showing a user operation procedure.
  • FIG. 4 is a flowchart of processing executed by the related scene assigning apparatus 100.
  • the moving image content of the program that the user is viewing on the shared television 114 is acquired by the image acquisition unit 109 and stored in the image storage unit 110.
  • the image acquisition unit 109 and the image storage unit 110 are provided in the related scene assigning apparatus 100, but the present invention is not limited to this.
  • moving image content may be stored in an external recording device, and the related scene extraction unit 108 may extract a scene from the moving image content stored in the recording device.
  • the user uses the input unit 101 to give an information search instruction to the related scene assignment device 100 triggered by a scene on the television (S301). For example, when viewing a travel program, the user issues a search instruction for information on a currently displayed place or store. In addition, when the user is viewing a quiz program, the user issues a search instruction for information related to the answer to the quiz currently presented. Further, when viewing the animal program, the user issues a search instruction for information regarding the name of the currently displayed animal or the place where the animal can be seen. In addition, when viewing a sports program such as soccer or baseball, the user issues a search instruction for information on the currently displayed player or information on the player's action or rules. In the present embodiment, it is assumed that there is “offside” while watching soccer, and the “offside” rule is searched for information by accessing a search server existing on the Internet.
  • the information search execution unit 102 of the related scene assignment device 100 executes a search process. Further, the operation history collection unit 104 stores an operation history of information retrieval by the user in the operation history storage unit 105 (S401). It should be noted that the user may not only search for information triggered by a television scene, but may also simply search for information of interest. Therefore, the operation history collection unit 104 stores all information search operations performed by the information search execution unit 102 in the operation history storage unit 105. Note that the stored operation history may be deleted, for example, at the end of the day or when there is no user operation history for a certain time or more so as not to exceed the capacity of the operation history storage unit 105. . Alternatively, the old operation history may be deleted in order.
  • FIG. 5 shows an example of operation history information stored in the operation history storage unit 105.
  • the operation history information includes an operation history including an operation number 501, an operation time 502, a display URL 503, a search word 504, a selection item 505, and other operations 506.
  • the operation number 501 is a number for specifying the operation history, and numbers are assigned in ascending order from the oldest operation time 502.
  • the operation time 502 is information indicating the time when the user performs an operation on the related scene assignment device 100 using the input unit 101.
  • the display URL 503 is information indicating the URL of the Web page displayed on the output unit 112 at the time of operation.
  • the search word 504 is information indicating the search word input by the user. The search word may be input by the user using the keyboard or button of the input unit 101, or may be a search keyword presented by the related scene assignment device 100.
  • the selection item 505 is information indicating a list of search results displayed on the output unit 112 or an item selected by the user from the Web page in order to transition to a Web page with another URL.
  • Other operations 506 are information indicating operations that the information search execution unit 102 can accept, such as a search execution operation for executing a search, an operation for returning to the previous Web page, and an operation for creating a new window. It
  • FIG. 6A to 6D show examples of screens when information about offside is searched.
  • the user inputs the keyword “offside” on the keyword input type search input receiving page as shown in FIG. 6A (operation number 7 in FIG. 5).
  • a search result as shown in FIG. 6B is displayed.
  • the user selects a selection item (link) “offside (soccer) -Wike” from the search results (operation number 8 in FIG. 5).
  • a page as shown in FIG. 6C is displayed.
  • the user examines whether or not the page is shared among a plurality of users by displaying the page on the shared television 114.
  • the user determines that this page is not suitable for sharing, and performs an operation for returning to the screen (FIG. 6B) on which the previous search result was displayed (operation number 9 in FIG. 5). Then, the user reselects “rule book (offside)” from the search results shown in FIG. 6B (operation number 10 in FIG. 5). As a result of the selection, a page as shown in FIG. 6D is displayed. As a result of examining this page, the user decides to share this page among a plurality of users, and makes a request for related scene assignment to the related scene assignment apparatus 100.
  • “offside” that is a search word or a selection item may be input using a keyboard or a numeric keypad. Therefore, in Japanese, there may be a case where a Roman character input such as “o, f, u, s, a, i, d, o” is input, but in this embodiment, the input unit is determined by a meaningful break as an operation. The history is determined as shown in FIG.
  • the user decides a search result that the user wants to share, that is, a related scene (hereinafter referred to as “scene assignment target search result”) (S302).
  • a request for related scene assignment from the user to the related scene assignment device 100 is made by performing a predetermined operation using the input unit 101 while the search result is displayed on the output unit 112.
  • the information search execution unit 102 stores the scene addition target search result in the search result storage unit 103 (S402).
  • the search start time estimation unit 107 uses the time when the search for the scene assignment target search result is started (hereinafter referred to as “search start time”) as the operation for starting the search for the scene assignment target search result (hereinafter “the search start time”). (Referred to as “search start point”) (S403).
  • search start time the time when the search for the scene assignment target search result is started
  • search start time the search start time
  • search start point the search start point
  • the related scene extraction unit 108 extracts a related scene from the image storage unit 110 based on the search start time (S404).
  • search start point estimation process it is determined from the user's operation history whether the user is searching for the same item as the search for the scene assignment target search result, and the determination result is used to estimate the search start point.
  • the search start time estimation unit 107 uses the feature that the user searches for the same content when the scene addition target search result and the information input or viewed by the user at the time of the search are close. Estimate the search origin. Further, even when information input or browsed by the user at the time of search is close, the search starting point is estimated using the feature that the user is searching for the same content. This process will be described in detail below.
  • FIG. 7 is a functional block showing a detailed configuration of the search start time estimation unit 107.
  • FIG. 8 is a detailed flowchart of the search start point estimation process (S403 in FIG. 4) executed by the search start time estimation unit 107.
  • the search origin time estimation unit 107 includes a text corpus collection unit 701, a word information storage unit 702, a word similarity calculation unit 703, a page information collection unit 704, and a page similarity calculation unit 705. And a search state determination unit 706.
  • the text corpus collection unit 701 is a processing unit that collects a text corpus to be used for quantifying the semantic similarity between words and creates information for calculating the similarity between words or between words and documents. is there.
  • the word information storage unit 702 is a storage device that stores information for calculating the similarity created by the text corpus collection unit 701.
  • the word similarity calculation unit 703 is a processing unit that calculates the similarity between words or between words and documents using information stored in the word information storage unit 702.
  • the page information collection unit 704 is a processing unit that collects information on a page viewed by a user or information on a page related to a search result of a scene addition target.
  • the page similarity calculation unit 705 is a processing unit that calculates the similarity between designated pages based on the page information collected by the page information collection unit 704.
  • the search state determination unit 706 is a processing unit that determines whether the same item is being searched between operations based on the operation history and the scene assignment target search result.
  • the similarity storage unit 707 is a storage device that stores information used to determine whether or not the same item is being searched.
  • the search start point estimation unit 708 is a processing unit that estimates the search start point and the search start time using the determination result in the search state determination unit 706.
  • the text corpus collection unit 701 collects a large amount of documents, and extracts words (hereinafter referred to as “index words”) useful for use in searches such as nouns and verbs. Then, the text corpus collection unit 701 creates a matrix subjected to dimension compression by performing singular value decomposition on the index word / document matrix in which the extracted index word and each document are represented by a matrix. Next, the text corpus collection unit 701 calculates the index word vector and the document vector by expressing the index word and the document as a compressed dimension vector using the dimension-compressed matrix, respectively. Store in the word information storage unit 702.
  • dimensional compression is performed in order to make it possible to express a more meaningful similarity and to improve the calculation speed during search.
  • the similarity between words or between words and documents can be quantified without performing dimension compression.
  • a vector may be created without performing dimension compression, and the similarity may be calculated based on the vector.
  • other methods for obtaining the semantic similarity between words include a method in which a user creates a semantic similarity in advance, and a method in which a semantic similarity is calculated using a dictionary such as a thesaurus. May be.
  • the distance between words can be defined by the number of links between words.
  • the document collected by the text corpus collection unit 701 may be a general document set prepared in advance by the system developer, but is not limited to this.
  • the text corpus collection unit 701 collects a document set obtained from a page having a high degree of similarity with a scene assignment target search result obtained by searching related documents based on the scene assignment target search result. Also good. Further, a document set obtained from pages viewed by the user within a certain period may be collected. By creating a matrix necessary for calculating the semantic similarity between words from these special document sets, it is possible to accurately represent the distance between words at the time of the user's actual search. For this reason, the search start point estimation unit 708 can estimate the search start point with higher accuracy.
  • the matrix necessary for calculating the semantic similarity between the words need only be created once.
  • a text corpus is acquired based on the search result of the scene assignment target, it is necessary to create the matrix each time.
  • the distance between words can be automatically defined by using, for example, a text corpus acquired from the Web or the like as the text corpus.
  • a text corpus acquired from the Web or the like As the text corpus.
  • the search origin is specified by using a search history during broadcasting of a genre related to a news program or current affairs, it is more appropriate to create the matrix using a text corpus such as the Web There is also.
  • the matrix can be created using a dictionary such as a thesaurus built in advance.
  • the above-mentioned matrix can be created using the information on the date when the recorded program was recorded and the text corpus used at that date and time. Conceivable.
  • the search state determination unit 706 acquires information related to an operation history that is a target for determining the search state (S802). That is, the search state determination unit 706 selects an operation history in which a search word is input or a selection item is selected from the operation history information illustrated in FIG. 5 stored in the operation history storage unit 105. To do.
  • the search state determination unit 706 acquires, from the selected operation histories, the input or selected word set from the past operation histories that are closest in time to the operation that determined the scene assignment target search result.
  • the aforementioned operation history is shown as the operation history with the closest operation history number shown in the operation number 501 of FIG. Further, the above-described word set is indicated by “rule book (offside)” of operation number 10 in the specific example shown in FIG.
  • the search state determination unit 706 compares information related to the operation for which the scene assignment target search result has been determined with information related to the operation history for determining the search state acquired in the operation history information acquisition process (S802) (S803). That is, the search state determination unit 706 acquires the scene assignment target search result stored in the search result storage unit 103 and extracts text information included in the search result. The search state determination unit 706 causes the word similarity calculation unit 703 to vectorize the extracted text information using the dimension-compressed matrix. A vector generated as a result of this vectorization is referred to as a “search result vector”. Similarly, the search state determination unit 706 causes the word similarity calculation unit 703 to vectorize the word set acquired in the operation history information acquisition process (S802) using the dimension-compressed matrix.
  • a vector generated as a result of this vectorization is called an “input word vector”.
  • the search state determination unit 706 causes the word similarity calculation unit 703 to obtain the similarity between the input word vector and the search result vector, and stores the obtained similarity in the similarity storage unit 707. Note that the similarity between vectors is obtained by using, for example, a cosine scale (an angle formed by two vectors) or an inner product often used in document retrieval.
  • FIG. 9 shows an example of similarity information calculated by the search state determination unit 706 and stored in the similarity storage unit 707.
  • the similarity information includes a similarity history including an operation number 901, an operation time 902, a search word 903, a selection item 904, a first similarity 905, and a second similarity 906.
  • the operation number 901, operation time 902, search word 903, and selection item 904 correspond to the operation number 501, operation time 502, search word 504, and selection item 505 of the operation history shown in FIG.
  • the first similarity 905 indicates the similarity between the search result vector and the input word vector created by the word set indicated by the search word 903 or the selection item 904 for each operation history.
  • the second similarity 906 is an input word vector included in the previous operation history (temporarily subsequent operation history) and an input created by the word set indicated by the search word 903 or the selection item 904. Indicates the similarity to a word vector.
  • the comparison process (S803), the first similarity is calculated, but the second similarity is calculated together with the calculation of the first similarity or instead of the calculation of the first similarity. May be.
  • the search state determination unit 706 determines whether or not the similarity (first similarity) between the search result vector and the input word vector is equal to or less than a threshold (S803). If the first similarity is greater than the threshold (NO in S803), it is determined that the search for the same item as the search for the scene assignment target search result continues. Then, the search state determination unit 706 acquires information related to the operation history that is the next target for determining the search state (S802). That is, the search state determination unit 706 targets an operation history in which a search word is input or a selection item is selected from the operation history information stored in the operation history storage unit 105.
  • the search state determination unit 706 selects a past operation history that is closest in time to the operation history that is the target of word set acquisition in the previous operation history information acquisition process (S802) among the target operation history. select.
  • the search state determination unit 706 acquires an input or selected word set from the selected operation history. In the specific example shown in FIG. 5, “offside (soccer)” of operation number 8 is acquired.
  • the search start point estimation unit 708 determines the search start point time by determining the search start point by the method described below (S804).
  • the threshold value is 0.5
  • the first similarity 905 from the operation number 10 to the operation number 7 is larger than the threshold value (NO in S803). Therefore, in the operation from the operation number 10 to the operation number 7, it is determined that the search for the same item as the search for the scene assignment target search result is continued.
  • the selection item “change” is selected in the operation indicated by the operation number 5
  • the first similarity 905 is below the threshold value for the first time (YES in S803). For this reason, it is determined that the search for the same item as the search for the scene assignment target search result is completed.
  • the search start point estimation unit 708 estimates the operation history of the operation number 7 having the smallest operation history number as the search start point.
  • the search start point estimation unit 708 determines the time when the search start point operation is performed as the search start time.
  • the search start time is an operation time 902 included in the operation history corresponding to the search start point.
  • “20:21:20” which is the operation time 902 included in the operation history, is set as the search start time.
  • the related scene extraction unit 108 extracts the scene at the search start time from the image storage unit 110 (S404).
  • the related scene extraction unit 108 extracts moving image information that is a length ⁇ t before the search start time as a related scene. That is, the related scene extraction unit 108 extracts moving image information included in the range of (search start time ⁇ t) to search start time as a related scene.
  • ⁇ t a constant value previously determined by the system developer is used. Note that ⁇ t may be variable and may be set by the user.
  • the search result output unit 111 combines the related scene with the length ⁇ t extracted by the related scene extraction unit 108 and the scene addition target search result, and outputs the combined result to the output unit 112 (S405).
  • FIG. 10 is a diagram illustrating an example of a screen output by the output unit 112.
  • a scene assignment target search result 1001 and a related scene 1002 are combined and displayed on the screen.
  • an icon group 1003 and a menu button 1006 are displayed on the screen, which are used when a search result to which the related scene 1002 is assigned is sent to another terminal.
  • the above-described menu button 1006 is a button for designating what kind of display is performed on the destination terminal when sending to another terminal.
  • the user When the user determines to send the search result to another terminal, the user presses one of the icons (icon 1004 or 1005) included in the icon group 1003 and the menu button 1006. By this operation, the user makes a request for transmitting the search result to which the related scene is added to the search result transmission unit 113 (S303).
  • the search result transmission unit 113 transmits the search result to which the related scene is assigned to the designated transmission destination based on the user request (S303) (S406).
  • the user performs a search result transmission operation to which a related scene is assigned using, for example, an icon group 1003 displayed on the screen shown in FIG.
  • the user selects the icon 1004 when he wants to transmit the search result to the shared television 114, and selects the icon 1005 when he wants to transmit the search result to another portable terminal 1601 such as a PC or a mobile phone.
  • a search result with a related scene is transmitted to a terminal on which moving image content is being broadcast / reproduced, it may be a problem if the moving image content displayed on the terminal becomes invisible.
  • the output unit 112 displays the menu button 1006 on the screen, and allows selection of the display method after transmission.
  • the search result transmission unit 113 uses all the screens of the transmission destination terminal, and displays the search results to which the related scenes are assigned as the screen of the transmission destination terminal. Send the data to be displayed.
  • the search result transmission unit 113 is given a related scene while partially displaying the moving image content that is being played back or broadcast on the screen of the transmission destination terminal. The data for displaying the retrieved result on the screen of the destination terminal is transmitted. Examples of this screen are shown in FIGS. 11A and 11B. FIG.
  • FIG. 11A is a diagram illustrating a display screen example of the transmission destination terminal when the user selects the menu button “full screen” among the menu buttons 1006 displayed on the screen illustrated in FIG. 10.
  • FIG. 11B is a diagram showing a display screen example when the user selects the menu button “multi-screen” among the menu buttons 1006 displayed on the screen shown in FIG. A plurality of screens are displayed on the screen of the transmission destination terminal.
  • the screen of the transmission destination terminal includes a display screen 1101 of the moving image content reproduced or broadcast on the transmission destination terminal, and a screen including a search result to which the related scenes transmitted to the transmission destination terminal have been given so far. 1102 is displayed.
  • the search results to which the related scenes included in the screen 1102 are assigned are displayed together with the search start time 1103 for each search result.
  • information related to the sender of the search result may be displayed together.
  • FIG. 1 is a diagram showing a display example of a search result to which a related scene is assigned. As shown in the figure, the result searched by the related scene assigning apparatus 100 and the related scene are transmitted to the shared television 114 and the portable terminal 1601 via the computer network 1602 and displayed.
  • the related scene assigning apparatus 100 extracts the related scene of the moving image content that has triggered the search using the user's information search operation history and the information search result for each scene. is doing. For this reason, related scenes can be extracted even for moving image content in which text information is not assigned to each scene. Further, it is not necessary to input a keyword only for extracting related scenes. For this reason, it is possible to reduce the burden of the user giving the related scene to the information search result.
  • the search result vector generated from the input word vector generated from the word set input or selected by the user and the scene assignment target search result is used.
  • the 1st similarity which is a similarity with is used.
  • the determination as to whether or not the user is searching for the same item as the scene assignment target search result is not limited to this method.
  • a search keyword vector obtained by vectorizing a search keyword input to obtain a scene assignment target search result by the same method as generating an input word vector, an input word vector, Similarities may be used.
  • the search state determination unit 706 uses the second similarity described above to determine whether or not the user is searching for the same item. Different from Form 1. That is, in the first modification, while searching for the same item, the feature that the similarity between words that are input or selected is high is used. Using this feature, the search state determination unit 706 calculates the above-described second similarity by comparing input word vectors in adjacent operation histories. If the second similarity is greater than the threshold, it is determined that the same item is being searched between adjacent operation histories. For example, consider a case where the search state is determined for operation number 8 in the specific example of similarity information shown in FIG.
  • the search state determination unit 706 inputs an input word vector of “rulebook (offside)” that is an input at operation number 10 one time later, and an input word of “offside (soccer)” that is an input at operation number 8 A second similarity that is a similarity to the vector is calculated. Then, the second similarity is stored in the second similarity 906.
  • the search state determination unit 706 determines whether or not the same item is being searched by comparing the calculated second similarity with a threshold value. For example, in the search state at operation numbers 8 and 7, the second similarity is greater than the threshold, but in the search state at operation number 5, the second similarity is less than or equal to the threshold. In this case, the same item is searched for operation numbers 8 and 7, but when the operation number is 5, another item is searched. For this reason, the oldest operation number 7 becomes the search starting point.
  • the method for comparing adjacent input word vectors is described, but the present invention is not limited to this.
  • the search result for the scene assignment target is displayed, but the same item is searched by comparing the similarity between the input word vector and another input word vector in the operation history immediately before the displayed time with a threshold value. It may be determined whether or not.
  • Modification 2 In the second modification, the method for determining whether or not the user is searching for the same item is different from the first embodiment. More specifically, in the comparison process (S803 in FIG. 8), while the search state determination unit 706 searches for the same item, the similarity of words included in the text of the page being viewed is high. The above-mentioned judgment is performed using the feature. That is, the search state determination unit 706 calculates the similarity between the adjacent browsing pages by comparing the adjacent browsing pages. If the similarity is larger than the threshold value, the same item is set between the browsing pages. Is determined to be searched. Specifically, the page information collection unit 704 acquires the display URL of the page that the user was browsing from the operation history stored in the operation history storage unit 105.
  • the information search execution unit 102 acquires page information of the display URL.
  • the search state determination unit 706 of the search start time estimation unit 107 extracts words from the text information included in the acquired page information.
  • the search state determination unit 706 requests the page similarity calculation unit 705 to calculate the similarity between the pages, and the user searches for the same matter using the similarity calculated by the page similarity calculation unit 705. Judgment is made.
  • the similarity between the pages used for the determination may be obtained in the same manner as in the case of using the input or selected word set. That is, the similarity between the vector indicating the text information included in the scene assignment target search result page and the vector indicating the text information included in each page viewed by the user may be used as the similarity between pages. Further, the similarity between vectors indicating text information included in adjacent browsing pages may be used as the similarity between pages. Furthermore, instead of calculating the degree of similarity using a matrix as described above, the number of words included in two pages is simply counted, and if the number of words is equal to or less than a threshold, it is determined that the same item is not searched You may do it.
  • the similarity information includes a similarity history including an operation number 1201, an operation time 1202, a display URL 1203, a third similarity 1204, and a fourth similarity 1205.
  • the operation number 1201, the operation time 1202, and the display URL 1203 correspond to the operation number 501 of the operation history, the operation time 502, and the display URL 503 shown in FIG.
  • the third similarity 1204 indicates the similarity between the page of the scene assignment target search result and the page browsed with each operation number.
  • the fourth similarity 1205 is similar to the page viewed with each operation number and the page viewed with the page and the previous operation history (the operation history one time later). Degrees.
  • the similarity was determined using text information included in the page. Furthermore, when determining the similarity using a Web page, a URL is associated with each page. Therefore, it may be determined from the URL information whether the contents are the same.
  • Modification 3 a method for determining whether or not the user is searching for the same item is different from that in the first embodiment. More specifically, in the comparison process (S803 in FIG. 8), the search state determination unit 706 is characterized in that some of the keywords input by the user are common between operations while searching for the same item. Use the above-mentioned judgment.
  • the search state determination unit 706 compares the input word in the previous operation with the input word in the current operation, and when some words are changed or when words are added, between the operations. It can be determined that the same item is being searched.
  • the input word newly added by the current operation is changed from the input word input by the previous operation to a predetermined operator (for example, AND This is a case where a keyword search is performed by combining them with an operator and an OR operator.
  • the main difference between the present embodiment and the first embodiment is that, in the related scene extraction process (S404 in FIG. 4), the related scene extraction unit further determines ⁇ t.
  • Other components and the processes executed by them are the same as those in the first embodiment. Therefore, in the present embodiment, the description will focus on the differences from the first embodiment.
  • FIG. 13 is a block diagram showing the configuration of the search system according to Embodiment 2 of the present invention.
  • This search system uses the related scene assigning device 200 in place of the related scene assigning device 100 in the configuration of the search system shown in FIG.
  • the related scene assigning apparatus 200 includes a related scene extracting unit 1308 instead of the related scene extracting unit 108 in the configuration of the related scene assigning apparatus 100 according to the first embodiment shown in FIG. Yes.
  • an electronic dictionary storage unit 1315 and a program information acquisition unit 1316 are added to the related scene assigning apparatus 100 according to Embodiment 1.
  • the related scene assignment device 200 is configured by a general computer including a CPU, a memory, a communication interface, and the like. Each processing unit is functionally realized by executing a program for realizing each processing unit included in the related scene assigning apparatus 200 on the CPU. Each storage unit is realized by a memory or an HDD (Hard Disk Drive).
  • HDD Hard Disk Drive
  • the electronic dictionary storage unit 1315 is a storage device that stores explanations about proper nouns and words that describe actions, and stores, for example, explanations about names of people, animals, places, etc., explanations about sports rules and actions, and the like. ing.
  • the electronic dictionary storage unit 1315 stores information related to words and parts of speech of the words.
  • the program information acquisition unit 1316 is a processing unit that acquires information related to a program stored in the image storage unit 110 by broadcasting, and acquires program information such as EPG (Electric Program Guide) data, for example.
  • program information includes information such as a program name, broadcast date and time, genre, performers, and program contents.
  • FIG. 14 is a detailed flowchart of the related scene extraction process (S404 in FIG. 4).
  • the related scene extraction unit 108 After determining the length ⁇ t of the related scene (S1401 to S1412), the related scene extraction unit 108 extracts the related scene having the length ⁇ t from the image storage unit 110 (S1413).
  • the related scene extraction unit 1308 uses a word that is considered to be important among the information of a program from which a scene is to be extracted or a word that is input or selected by the user when searching for a scene assignment target search result (hereinafter referred to as “search”).
  • An important word ") and a word representing the page of the scene assignment target search result (hereinafter referred to as" page representative word ") are determined (S1401).
  • the related scene extraction unit 1308 weights words that frequently appear in the word set input or selected by the user or words that are input at the search starting point so as to increase the weight, and obtains a score for each word. calculate.
  • the related scene extraction unit 1308 determines a predetermined number of words having the highest calculated score as search important words.
  • the related scene extraction unit 1308 determines a word having a high appearance frequency or a word used as a title of the page in the text information included in the scene assignment target search result page as a page representative word.
  • the related scene extracting unit 1308 sets the related scene length ⁇ t to an initial value of 10 seconds (S1402). Next, the related scene extraction unit 1308 uses the electronic dictionary storage unit 1315 to determine the part-of-speech of the search important word and the page representative word determined in the above process (S1403).
  • the related scene extraction unit 1308 refers to the result of the part-of-speech determination process (S1403), and whether or not a proper noun such as a place name, a person name, or an animal name is included in the search important word and the page representative word. Is determined (S1404). If it is determined that a proper noun is included (YES in S1404), the related scene extraction unit 1308 sets ⁇ t to be shorter (for example, ⁇ t is set to 0 and is not a moving image but a moving image) (S1405).
  • the related scene extraction unit 1308 refers to the result in the part of speech determination process (S1403), and includes the search important word and the page representative word. It is determined whether or not a word representing an action is included (S1406). If it is determined that a word representing an action is included (YES in S1406), the related scene extraction unit 1308 sets a certain length (for example, 3 minutes) to ⁇ t (S1407).
  • the related scene extraction unit 1308 determines that “offside” is the search important word (S1401). Since “offside” is a word representing an action (NO in S1404, YES in S1406), the related scene extraction unit 1308 sets a time (for example, 3 minutes) when the word is an action as ⁇ t ( S1407).
  • the related scene extraction unit 1308 acquires program information at the search start time that triggers the search from the program information acquired by the program information acquisition unit 1316 (S1408).
  • the related scene extraction unit 1308 determines whether or not the genre of the program indicated by the acquired program information is a quiz program (S1409).
  • the genre is a quiz program (YES in S1409)
  • the user often performs a search for a quiz question.
  • the related scene extraction unit 1308 sets an average time (for example, 4 minutes) required for explanation of quiz questions and answers to ⁇ t (S1410).
  • the related scene extraction unit 1308 determines whether the genre of the program indicated by the acquired program information is a news program (S1411). If the genre is a news program (YES in S1411), the user often performs a search for a news topic. For this reason, the related scene extraction unit 1308 sets an average time (for example, 2 minutes) required for explaining one topic in the news to ⁇ t (S1412). With the above processing, the value of ⁇ t is determined.
  • the related scene extraction unit 1308 extracts the moving image information included in the range of (search start time ⁇ t) to (search start time) from the image storage unit 110 as a related scene (S1413).
  • ⁇ t 0, the related scene extraction unit 1308 extracts a still image at the search start time.
  • a margin ⁇ ⁇ is a positive value
  • moving image information included in the range of (search start time ⁇ t ⁇ ) to (search start time + ⁇ ) may be extracted.
  • the value of ⁇ t may be determined only from the genre of the program without using the word part of speech. That is, the value of ⁇ t is defined corresponding to the genre of the program, and the value of ⁇ t is determined according to the genre of the target program. This eliminates the need to determine important search words and page representative words and specify the type of words such as part of speech. For this reason, ⁇ t can be determined by a simpler process. Further, when the similarity between the search important word and the page representative word is small and it is not clear which word should be used to determine ⁇ t, a method using only this genre may be used.
  • FIG. 15 is a diagram illustrating an example of a screen output to the output unit 112 by the search result output process (S405 in FIG. 4).
  • an operation bar 1507 for moving image playback is further displayed in the screen example shown in FIG.
  • the length of the related scene is expressed by the length of the bar.
  • the time position of the related scene 1002 currently displayed is represented by a symbol 1508.
  • ⁇ t is 3 minutes and ⁇ is 1 minute.
  • the search start time (time at operation number 7 in FIG. 5) is set to 20:21.
  • a moving image in a section from 20:17 (search start time ⁇ t ⁇ ) to 20:22 (search start time + ⁇ ) is extracted as a related scene.
  • the related scene 1002 is displayed on the screen as a moving image of a section from 20:18 (search start time- ⁇ t) to 20:21 (search start time).
  • the time interval ⁇ t of the related scene can be automatically changed according to the search content. For this reason, it is possible to add a related scene having an appropriate length to the search result.
  • the search start time is set as the time at which the search for the scene assignment target search result is started. Take time. For this reason, it is good also considering the search start time as the time which went back for the predetermined time from the time which started the search with respect to a scene provision object search result.
  • the present invention is generally applicable to search processing based on moving images, it can be applied not only to the television broadcasting described in the embodiment, but also to moving image content on the Internet and video shot privately.
  • the sharing method can be used in various situations such as not only displaying on the shared display described in the embodiment but also attaching it to an e-mail, and the applicability is very large.
  • the present invention can be applied to a corresponding scene assignment device, an information search device, and the like that associate an information search result with a scene of a video content when performing an information search while viewing the video content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　シーンごとにテキスト情報などのシーンに関する情報が付与されていない動画コンテンツに対して、情報検索を行った場合でも関連シーンの抽出が可能な関連シーン付与装置は、動画を視聴中のユーザが行った情報検索の操作履歴を記憶する操作履歴記憶部（１０５）と、他の端末に送信する情報検索結果を記憶する検索結果記憶部（１０３）と、前記操作履歴記憶部（１０５）に記憶されている操作履歴を利用して前記情報検索結果に対する検索を開始した時刻を推定する検索起点時刻推定部（１０７）と、前記推定された検索を開始した時刻における前記動画のシーンを抽出する関連シーン抽出部（１０８）と、前記情報検索結果に前記関連シーンを付与して出力する検索結果出力部（１１１）と、前記出力された結果を他の端末に送信する検索結果出力部（１１１）とを備える。

Description

関連シーン付与装置及び関連シーン付与方法
　本発明は、あるシーンに関連する情報の検索結果を他人と共有する際などに、検索結果に関連する動画コンテンツのシーンを、検索結果に付与することを支援する関連シーン付与装置及び関連シーン付与方法に関する。
　近年、パーソナルコンピュータ（以下、「ＰＣ」という。）が多くの家庭に普及し、テレビを見ながらＰＣを操作するユーザが増加している。それに伴い、動画コンテンツ、例えば、現在放送中のテレビ番組を視聴しながら、そのテレビ番組に関連する情報をインターネットの検索エンジンを用いて検索するユーザが増加している。検索される情報としては、例えば、視聴している番組が旅行番組の場合には、現在表示されている場所やお店に関する情報である。また、クイズ番組の場合には、現在出題されているクイズの回答に関する情報である。さらに、動物番組の場合には、現在表示されている動物の名前やその動物を見ることができる場所に関する情報である。また、サッカー又は野球などのスポーツ番組の場合には、現在表示されている選手に関する情報に加え、動作又はルールに関する情報などである。
　このように、視聴している番組のあるシーンをきっかけとして、ユーザがそのシーンに関連する情報の検索を開始した場合、検索結果に対して検索のきっかけとなったシーンを、他人と共有したりすること等が有効であると考えられる。
　このような状況の中、従来、コンテンツに含まれる字幕情報を利用して、検索のきっかけとなったシーンを抽出するディジタル映像再生装置が提案されている（例えば、特許文献１参照）。このディジタル映像再生装置は、ユーザからコンテンツの録画要求を受けたとき、字幕文字データとその提示時刻情報とを対応付けたテーブルを作成する。また、ユーザから文字による映像検索指令を受けたときに、ディジタル映像再生装置は、前記テーブルを用いてユーザから入力された文字に関連する字幕文字を検索し、検索された字幕文字の提示時刻の映像を再生する。
特開２００４－８０４７６号公報
　しかしながら、特許文献１に開示されているディジタル映像再生装置では、字幕情報を利用している。このため、字幕が含まれないコンテンツに対しては情報検索のきっかけとなった放送番組のシーンの抽出ができないという問題がある。例えば、上記サッカー又は野球などのスポーツ番組をはじめとする生放送の番組に対して字幕が付与されていることは、現状ではほとんど無い。このため、上述のディジタル映像再生装置の適用可能範囲は限定されてしまう。
　また、上述のディジタル映像再生装置は、ユーザから入力された文字を基に検索を行う。このため、ユーザが情報検索のきっかけとなったシーンで表示されていたキーワードを把握し、それを入力する作業が必要となる。さらに入力したキーワードが複数の字幕で用いられていた場合、複数のシーンが検出されてしまう。このため、その数が多くなると検索結果も多くなる。よって、ユーザが欲しい情報検索のきっかけとなったシーンを探し出すためには手間を有してしまうという問題がある。
　本発明は上記課題を解決するためになされたものである。コンテンツの各シーンに対して字幕等のテキストのタグが付与されていない場合等でも、ユーザが行った情報検索のきっかけとなったシーンを抽出することができる関連シーン付与装置、及び関連シーン付与方法を提供することを目的とする。
　上記目的を達成するために、本発明の関連シーン付与装置は、検索結果に、検索に関連する画像データである関連シーンを関連付ける関連シーン付与装置であって、画像データと、前記画像データの再生時刻とを記憶している画像記憶部と、ユーザが入力する検索条件に従って、情報を検索する情報検索実行部と、前記検索条件と、前記検索条件が受け付けられた時刻と、を対応付けた操作の履歴を記憶している操作履歴記憶部と、前記情報検索実行部により検索された情報の中で前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と、前記検索起点時刻推定部で推定された前記検索起点時刻を含む時間に再生された画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出部とを備える。
　この構成によると、シーン付与対象検索結果との関連性が高く、かつ時間的に最も早い操作の履歴を特定することができる。つまり、シーン付与対象検索結果と同一の内容について検索を開始した操作の履歴を特定することができる。また、動画像データを視聴しながらユーザが検索を行う場合には、ユーザが検索した情報に関連するシーンは、ユーザが検索を開始した時刻周辺に存在すると考えられる。このため、検索を開始した操作の履歴を行なった時刻周辺の画像データを関連シーンとして抽出する。これにより、情報検索のきっかけとなった関連シーンの抽出を行うことができる。
　なお、本発明は、このような特徴的な処理部を備える関連シーン付与装置として実現することができるだけでなく、関連シーン付与装置に含まれる特徴的な処理部をステップとする関連シーン付与方法として実現することができる。また、関連シーン付与方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体や、インターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
　以上のように本発明による関連シーン付与装置によれば、各シーンにテキスト情報などのシーンに関する情報が付与されていない動画コンテンツに対しても、情報検索のきっかけとなったシーンの抽出が可能となる。さらに本発明によるシーン付与装置においてはシーンの抽出のためだけにキーワードを入力する必要が無い。このため、ユーザが情報検索結果に関連シーンを付与する負担を軽減することができる。
図１は、本発明の実施の形態１における検索システムの構成を示す外観図である。 図２は、本発明の実施の形態１における検索システムの構成を示すブロック図である。 図３は、本発明の実施の形態１におけるユーザの操作手順を示すフローチャートである。 図４は、本発明の実施の形態１における関連シーン付与装置が実行する処理のフローチャートである。 図５は、本発明の実施の形態１における操作履歴情報の一例を示す図である。 図６Ａは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図６Ｂは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図６Ｃは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図６Ｄは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図７は、本発明の実施の形態１における検索起点時刻推定部の詳細な構成を示す機能ブロックである。 図８は、本発明の実施の形態１における検索起点推定処理の詳細なフローチャートである。 図９は、本発明の実施の形態１における類似度記憶部に記憶される類似度情報の一例を示す図である。 図１０は、本発明の実施の形態１における関連シーン付与装置の出力画面一例を示す図である。 図１１Ａは、本発明の実施の形態１における共有テレビの出力画面の一例を示す図である。 図１１Ｂは、本発明の実施の形態１における共有テレビの出力画面の一例を示す図である。 図１２は、本発明の実施の形態１における類似度記憶部に記憶される類似度情報の一例を示す図である。 図１３は、本発明の実施の形態２における検索システムの構成を示すブロック図である。 図１４は、本発明の実施の形態２における関連シーン抽出処理の詳細なフローチャートである。 図１５は、本発明の実施の形態２における関連シーン付与装置の出力画面の一例を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　本実施の形態では、ユーザがＰＣや携帯電話などインターネット上に存在する検索サーバにアクセスする。このことにより情報検索が可能な装置（以下、「情報検索装置」という。）を用いて、テレビ番組を視聴中にあるシーンをきっかけとした情報検索を行う場合を想定する。本実施の形態では、情報検索装置による情報検索結果を共有テレビに表示して他人と共有する際に、情報検索のきっかけとなったテレビ番組のシーンを推定する方法について説明する。また、推定したシーンを情報検索結果に付与する作業を支援する方法について説明する。例えば、家族でサッカー中継番組を視聴中に、オフサイドがあった場合に、ユーザが直ちにオフサイドについて検索を行う場合を考える。このような状況において、オフサイドに関する検索結果と、オフサイドのシーンとを関連付けるための検索システムについて説明する。
　図１は、本発明の実施の形態１における検索システムの構成を示す外観図である。同図に示すように、検索システムは、ＬＡＮ（Local Area Network）等のコンピュータネットワーク１６０２を介して相互に接続された、関連シーン付与装置１００と、共有テレビ１１４と、携帯端末１６０１とを含む。
　図２は、本発明の実施の形態１における検索システムの構成を示すブロック図である。
　検索システムは、情報検索を行い、情報検索結果を、情報検索のきっかけとなったテレビ番組のシーンに付与して表示するシステムであり、関連シーン付与装置１００と、共有テレビ１１４と、携帯端末１６０１とを含む。
　関連シーン付与装置１００は、情報検索を行い、情報検索結果を、情報検索のきっかけとなったテレビ番組のシーンに付与する装置である。関連シーン付与装置１００は、入力部１０１と、情報検索実行部１０２と、検索結果記憶部１０３と、操作履歴収集部１０４と、操作履歴記憶部１０５と、タイマー１０６とを含む。検索起点時刻推定部１０７と、関連シーン付与装置１００は、さらに、関連シーン抽出部１０８と、画像取得部１０９と、画像記憶部１１０と、検索結果出力部１１１と、出力部１１２と、検索結果送信部１１３とを含む。
　関連シーン付与装置１００は、ＣＰＵ（Central Processing Unit）、メモリ、通信インタフェース等を備える一般的なコンピュータにより構成される。そして、ＣＰＵ上で関連シーン付与装置１００が備える各処理部を実現するためのプログラムを実行することにより、各処理部が機能的に実現される。また、各記憶部は、メモリやＨＤＤ（Hard Disk Drive）により実現される。
　入力部１０１は、ボタン、タッチパネル又は十字キーなどユーザからの入力を受け付ける処理部である。情報検索実行部１０２は、インターネット上に存在する検索サーバにアクセスすることにより情報検索を実行する処理部である。検索結果記憶部１０３は、情報検索実行部１０２での情報検索結果を記憶する記憶装置である。ここで、検索結果記憶部１０３に記憶される検索結果は、ユーザがシーン付与を行うことを指定した検索結果である。操作履歴収集部１０４は、情報検索実行部１０２で行われた情報検索の操作履歴を収集する処理部である。つまり、操作履歴収集部１０４は、ユーザが検索時に入力したキーワード、選択した項目に含まれる単語、選択項目が示すＵＲＬ（Uniform Resource Locator）、及びユーザの指示などの操作に関する履歴を収集する。操作履歴記憶部１０５は、操作履歴収集部１０４により収集された操作履歴を記憶する記憶装置である。タイマー１０６は、現在の時刻を取得する処理部である。
　検索起点時刻推定部１０７は、ユーザによる情報検索が開始された時刻を推定する処理部である。つまり、検索起点時刻推定部１０７は、検索結果記憶部１０３中の検索結果と操作履歴記憶部１０５中の操作履歴とを用いて、検索結果記憶部１０３に記憶されている検索結果に対応する情報検索を開始した検索開始操作を推定する。また、検索起点時刻推定部１０７は、その検索開始操作が実行された時刻を用いて検索結果に対応する情報検索を開始した時刻を推定する。このように、検索起点時刻推定部１０７は、ユーザによって特定された検索結果を得るために入力した検索条件の履歴から、その検索結果を得ることを目的にユーザが検索条件の入力を開始した時刻を推定する。
　関連シーン抽出部１０８は、検索起点時刻推定部１０７で推定された情報検索が開始された時刻周辺のシーンを、検索結果記憶部１０３に記憶されている検索結果と関連があるシーンとして、画像記憶部１１０から抽出する処理部である。本実施の形態では、動画のコンテンツを想定しているが、静止画のコンテンツに対しても同様の処理が可能である。画像取得部１０９は、検索のきっかけとなる動画を取得する処理部である。画像取得部１０９が取得する動画は、放送されているテレビ番組コンテンツ又は蓄積された動画コンテンツである。画像記憶部１１０は、画像取得部１０９で取得した動画像データと、その再生時刻とを記憶する記憶装置である。
　検索結果出力部１１１は、検索結果記憶部１０３に記憶されている検索結果と関連シーン抽出部１０８で抽出された関連シーンとを合成し、合成した結果を出力部１１２に出力する処理部である。出力部１１２は、検索結果出力部１１１から出力された結果を表示するディスプレイなどの表示装置である。検索結果送信部１１３は、検索結果出力部１１１で作成された検索結果と関連シーンとを合成した結果のデータを外部の機器に送信する処理部である。
　共有テレビ１１４は、検索結果送信部１１３より送信されたデータを受信し、受信したデータを表示可能なテレビである。例えば、共有テレビ１１４は、リビングルームに設置された大型テレビ等である。共有テレビ１１４が関連シーン付与装置１００により関連シーンが付与された検索結果のデータを表示することにより、複数のユーザ間で情報を共有することが可能となる。
　携帯端末１６０１は、検索結果送信部１１３より送信されたデータを受信し、受信したデータを表示可能な携帯端末である。例えば、携帯端末１６０１は、ユーザが携帯して持ち運びしながら利用する機器であり、携帯電話機等である。
　このように構成された関連シーン付与装置１００の一例として、以下の処理を説明する。つまり、当該処理では、ユーザが、共有テレビ１１４で視聴しているシーンをきっかけに行った検索に対して、きっかけとなったシーンを、操作履歴及び前記検索の結果から推定する。また、推定されたシーンが検索の結果に付与して共有テレビ１１４に送信される。
　図３は、ユーザの操作手順を示すフローチャートである。図４は、関連シーン付与装置１００が実行する処理のフローチャートである。
　本実施の形態においては、ユーザが共有テレビ１１４で視聴している番組の動画コンテンツは、画像取得部１０９によって取得され、画像記憶部１１０に記憶されているものとする。なお、図２においては、画像取得部１０９及び画像記憶部１１０が、関連シーン付与装置１００内に設けられているが、これに限定されるものではない。例えば、動画コンテンツが外部の録画機器に記憶されており、関連シーン抽出部１０８は、その録画機器に記憶されている動画コンテンツからシーンを抽出するようにしてもよい。
　ユーザは、入力部１０１を用いて、テレビのあるシーンをきっかけにして情報検索の指示を関連シーン付与装置１００に対して行う（Ｓ３０１）。例えば、ユーザは、旅行番組を視聴している場合には、現在表示されている場所やお店に関する情報の検索指示を行う。また、ユーザは、クイズ番組を視聴している場合には、現在出題されているクイズの回答に関する情報の検索指示を行う。さらに、ユーザは、動物番組を視聴している場合には、現在表示されている動物の名前又は動物を見ることができる場所に関する情報の検索指示を行う。また、ユーザは、サッカー若しくは野球などのスポーツ番組を視聴している場合には、現在表示されている選手に関する情報、又は選手の動作若しくはルールに関する情報の検索指示を行う。本実施の形態では、サッカーを視聴中に「オフサイド」があり、「オフサイド」のルールについて、インターネット上に存在する検索サーバにアクセスすることにより情報を検索する場合を想定する。
　情報検索指示（Ｓ３０１）に対して、関連シーン付与装置１００の情報検索実行部１０２は、検索処理を実行する。また、操作履歴収集部１０４は、ユーザによる情報検索の操作履歴を操作履歴記憶部１０５に記憶する（Ｓ４０１）。なお、ユーザは、テレビのシーンをきっかけとして情報検索を行う場合だけでなく、単に興味のある情報について情報検索を行う場合もある。そこで、操作履歴収集部１０４は、情報検索実行部１０２で行われる情報検索の操作をすべて、操作履歴記憶部１０５に記憶する。なお、操作履歴記憶部１０５の容量を超えないように、記憶された操作履歴は、例えば１日の終わりの時刻や、一定時間以上ユーザの操作履歴が無かったタイミングで消去するようにしてもよい。また、古い操作履歴から順に消去するようにしてもよい。
　図５に操作履歴記憶部１０５に記憶される操作履歴情報の一例を示す。操作履歴情報は、操作番号５０１と、操作時刻５０２と、表示ＵＲＬ５０３と、検索単語５０４と、選択項目５０５と、その他の操作５０６とからなる操作履歴を含む。
　操作番号５０１は、操作履歴を特定するための番号であり、操作時刻５０２の古いものから昇順に番号が付されているものとする。操作時刻５０２は、ユーザが入力部１０１を利用して関連シーン付与装置１００に対して操作を行なった時刻を示す情報である。表示ＵＲＬ５０３は、操作の時点で出力部１１２に表示されているＷｅｂページのＵＲＬを示す情報である。検索単語５０４は、ユーザが入力した検索単語を示す情報である。検索単語は、ユーザが入力部１０１のキーボード又はボタンを用いて入力したものでも良いし、関連シーン付与装置１００が提示した検索用キーワードでも良い。選択項目５０５は、他のＵＲＬのＷｅｂページへ遷移するために、出力部１１２に表示された検索結果の一覧又はＷｅｂページの中からユーザが選択した項目を示す情報である。その他の操作５０６は、検索を実行するための検索実行操作、１つ前のＷｅｂページに戻るための戻る操作、新規にウィンドウを作る操作など、情報検索実行部１０２が受け付け可能な操作を示す情報である。
　例えば、図５に示す操作履歴情報で示される操作をユーザが行なった際に、共有テレビ１１４では、サッカーの試合の映像が放映されていたものとする。また、図５に示す操作履歴の具体例は以下の状況下で作成されたものとする。つまり、ユーザはまず、共有テレビ１１４で放送されている内容と関係のない自分の興味がある事項である、「木村拓真」が出演しているドラマについての検索を行っていた。また、ユーザは、その検索結果について閲覧を行っていた。その後、共有テレビ１１４で放送されていたサッカーの試合において「オフサイド」があり、「オフサイド」の説明を家族から要求されたため、「オフサイド」の説明を行うため「オフサイド」に関する検索を開始している。
　オフサイドに関する情報検索を行った際の画面例を図６Ａ～図６Ｄに示す。ユーザは、まず、図６Ａに示すようなキーワード入力型の検索入力受け付けページに「オフサイド」というキーワードを入力する（図５の操作番号７）。検索の結果、図６Ｂに示すような検索結果が表示される。検索結果の中からユーザは「オフサイド（サッカー）－Ｗｉｋｅ」という選択項目（リンク）を選択する（図５の操作番号８）。選択の結果、図６Ｃに示すようなページが表示される。ユーザは、このページを、共有テレビ１１４に表示させることにより複数のユーザ間で共有するか否かを吟味する。しかし、ユーザは、このページは共有には適さないと判断し、前の検索結果が表示されていた画面（図６Ｂ）に戻るための操作を行なう（図５の操作番号９）。そして、ユーザは、図６Ｂに示されている検索結果の中から「ルールブック（オフサイド）」を選択し直す（図５の操作番号１０）。選択の結果、図６Ｄに示されるようなページが表示される。ユーザは、このページを吟味した結果、このページを複数のユーザ間で共有することを決定し、関連シーン付与の要求を関連シーン付与装置１００に対して行う。
　なお、例えば、検索単語又は選択項目である「オフサイド」は、キーボードやテンキーを使った入力となる場合もある。そのため、日本語では「ｏ，ｆ，ｕ，ｓ，ａ，ｉ，ｄ，ｏ」のようなローマ字入力になる場合もあるが、本実施の形態では、操作として意味のある区切りにより入力単位を決定し、図５のような履歴を生成するものである。
　ユーザは共有したい、すなわち関連シーンを付与したい検索結果を決定する（以下、「シーン付与対象検索結果」という。）（Ｓ３０２）。ユーザから関連シーン付与装置１００への関連シーン付与の要求は、出力部１１２に検索結果が表示されている状態で、入力部１０１を用いて所定の操作を行なうことにより行われる。
　ユーザからの関連シーン付与要求（Ｓ３０２）に対して、情報検索実行部１０２は、シーン付与対象検索結果を検索結果記憶部１０３に記憶する（Ｓ４０２）。次に、検索起点時刻推定部１０７は、シーン付与対象検索結果に対する検索を開始した時刻（以下、「検索起点時刻」という。）を、シーン付与対象検索結果に対する検索を開始した操作（以下、「検索起点」という。）を基に推定する（Ｓ４０３）。そして、関連シーン抽出部１０８は、検索起点時刻に基づいて、画像記憶部１１０から関連シーンを抽出する（Ｓ４０４）。
　この検索起点推定処理（Ｓ４０３）では、ユーザの操作履歴から、ユーザが、シーン付与対象検索結果に対する検索と同一事項の検索を行っているか否かを判断し、判断結果を検索起点の推定に利用する。つまり、検索起点時刻推定部１０７は、シーン付与対象検索結果とユーザが検索の際に入力若しくは閲覧した情報とが近い場合、ユーザが互いに同一の内容の検索を行っているという特徴を利用して検索起点を推定する。また、ユーザが検索の際に入力若しくは閲覧した情報同士が近い場合にも、ユーザが互いに同一の内容の検索を行っているという特徴を利用して検索起点を推定する。この処理について、以下に詳細に説明する。
　図７は、検索起点時刻推定部１０７の詳細な構成を示す機能ブロックである。図８は、検索起点時刻推定部１０７が実行する検索起点推定処理（図４のＳ４０３）の詳細なフローチャートである。
　図７に示すように、検索起点時刻推定部１０７は、テキストコーパス収集部７０１と、単語情報記憶部７０２と、単語類似度計算部７０３と、ページ情報収集部７０４と、ページ類似度計算部７０５と、検索状態判定部７０６とを含む。
　テキストコーパス収集部７０１は、単語間の意味的類似度の定量化に利用するためのテキストコーパスを収集し、単語間又は単語－文書間の類似度を計算するための情報を作成する処理部である。単語情報記憶部７０２は、テキストコーパス収集部７０１で作成された類似度が計算するための情報を記憶する記憶装置である。単語類似度計算部７０３は、単語情報記憶部７０２に記憶されている情報を用いて、単語間又は単語－文書間の類似度を計算する処理部である。
　ページ情報収集部７０４は、ユーザが閲覧したページの情報又はシーン付与対象検索結果に関係のあるページの情報を収集する処理部である。ページ類似度計算部７０５は、ページ情報収集部７０４で収集されたページ情報を基に、指定されたページ間の類似度を計算する処理部である。検索状態判定部７０６は、操作履歴とシーン付与対象検索結果とに基づいて、操作間で同一事項の検索を行っているか否かの判定を行う処理部である。類似度記憶部７０７は、前記同一事項の検索を行っているか否かの判断に利用する情報を記憶する記憶装置である。検索起点推定部７０８は、検索状態判定部７０６での判定結果を用いて検索起点及び検索起点時刻を推定する処理部である。
　ここで、テキストコーパス収集部７０１による類似度を計算するための情報の作成処理について詳細に説明する。なお、テキストコーパス収集部７０１による処理は、関連シーン付与装置１００による関連シーンの付与処理とは別に実行される。
　テキストコーパス収集部７０１は、多量の文書を収集し、その中から名詞や動詞といった検索で利用するのに有用な単語（以下、「索引語」という。）を抽出する。そして、テキストコーパス収集部７０１は、抽出した索引語と各文書とを行列で表現した索引語・文書行列に対して特異値分解を行うことにより、次元圧縮を行った行列を作成する。次に、テキストコーパス収集部７０１は、次元圧縮された行列を利用して索引語と文書とを圧縮した次元のベクトルで表現することにより、索引語ベクトルと文書ベクトルとをそれぞれ算出し、これらを単語情報記憶部７０２に記憶する。
　前記圧縮した行列を基に作られる索引語ベクトル又は文書ベクトルを用いて、索引語間の意味的距離を求めることにより、意味的類似度に基づいた索引語からの文書の検索が可能となる。これらの技術は潜在的意味解析（Ｌａｔｅｎｔ　Ｓｅｍａｎｔｉｃ　Ａｎａｌｙｓｉｓ；ＬＳＡ）又は潜在的意味インデキシング（Ｌａｔｅｎｔ　Ｓｅｍａｎｔｉｃ　Ｉｎｄｅｘｉｎｇ；ＬＳＩ）と呼ばれる（参考非特許文献：日本知能情報ファジィ学会誌　Ｖｏｌ．１７，Ｎｏ．１　ｐ．７６（２００５），情報検索アルゴリズム（共立出版）　ｐ．６５（２００２））。この手法により、単語間又は単語－文書間の意味的類似度を定量化できると共に、検索時の計算速度の向上が図れる。
　なお、前記ＬＳＡ及びＬＳＩでは、より意味的な類似度を表現可能にするとともに、検索時の計算速度を向上させるために、次元圧縮を行っている。しかし、次元圧縮を行わなくとも単語間又は単語－文書間の類似度は定量化できる。このため、次元圧縮を行わない状態でベクトルを作成し、そのベクトルに基づいて類似度を計算しても良い。また、単語間の意味的類似度を求める方法としては、この他に、予めユーザが意味的類似度を作成する方法や、シソーラスなどの辞書を利用して意味的類似度を算出する方法であっても良い。例えば、単語間の意味関係が階層構造で表現されているシソーラスを用いた場合には、単語間のリンク数等により単語間の距離を定義することが可能である。
　なお、テキストコーパス収集部７０１が収集する文書は、予めシステム開発者が用意した一般的な文書集合でも良いが、これに限定されるものではない。例えば、テキストコーパス収集部７０１は、シーン付与対象検索結果を基に関連文書を検索することにより得られる、シーン付与対象検索結果との間の類似度の高いページから得られる文書集合を収集してもよい。また、ユーザが一定期間内に閲覧したページから得られる文書集合を収集してもよい。これらの特殊な文書集合から単語間の意味的類似度を計算するのに必要な行列を作成するほうが、ユーザの実際の検索時における単語間の距離を正確に表現できる。このため、検索起点推定部７０８は、より精度よく検索起点が推定可能となる。予めシステム開発者が用意した一般的な文書集合を利用する場合には、上記単語間の意味的類似度を計算するのに必要な行列の作成は一度行うだけでよい。これに対して、シーン付与対象検索結果に基づいてテキストコーパスを取得する場合には、当該行列をその都度作成する必要がある。
　また、テキストコーパスとして、例えばＷｅｂ等から取得されるテキストコーパスを用いることにより、自動的に単語間の距離を定義することが可能である。ニュース番組又は時事問題に関する検索時には、その時流行している固有名詞が利用されることが多い。そこで、ニュース番組又は時事問題に関するジャンルの番組放送中の検索履歴を利用して検索起点を特定する場合には、Ｗｅｂ等のテキストコーパスを利用して、上記行列を作成する方が適している場合もある。一方で、教育番組等のジャンルの動画に対する検索履歴を利用して検索起点を特定する場合には、新たな単語が出現する可能性が低い。このため、あらかじめ構築されているシソーラス等の辞書を利用して、上記行列を作成することもできる。さらには、録画番組の再生中である場合には、その録画番組が録画された日付の情報を利用して、その日時に利用されていたテキストコーパスを利用して、上記行列を作成することも考えられる。
　次に、図８を用いて、検索起点推定処理（図４のＳ４０３）の詳細について説明する。
　検索状態判定部７０６は、検索状態を判定する対象となる操作履歴に関する情報を取得する（Ｓ８０２）。つまり、検索状態判定部７０６は、操作履歴記憶部１０５に記憶されている図５に示すような操作履歴情報の中から、検索単語の入力又は選択項目の選択が行われている操作履歴を選択する。検索状態判定部７０６は、選択した操作履歴のうち、シーン付与対象検索結果を決定した操作に最も時間的に近い過去の操作履歴から、入力又は選択された単語集合を取得する。前述の操作履歴は、図５の操作番号５０１に示される操作履歴番号が最も近い操作履歴として示される。また、前述の単語集合は、図５に示す具体例においては操作番号１０の「ルールブック（オフサイド）」で示される。
　検索状態判定部７０６は、シーン付与対象検索結果を決定した操作に関する情報と、操作履歴情報取得処理（Ｓ８０２）で取得された検索状態を判定する操作履歴に関する情報とを比較する（Ｓ８０３）。つまり、検索状態判定部７０６は、検索結果記憶部１０３に記憶されているシーン付与対象検索結果を取得し、検索結果に含まれるテキスト情報を抽出する。検索状態判定部７０６は、単語類似度計算部７０３に、抽出したテキスト情報を前記次元圧縮した行列を用いてベクトル化させる。このベクトル化の結果、生成されるベクトルを、「検索結果ベクトル」という。同様に、検索状態判定部７０６は、単語類似度計算部７０３に、操作履歴情報取得処理（Ｓ８０２）で取得した単語集合を前記次元圧縮した行列を用いてベクトル化させる。このベクトル化の結果、生成されるベクトルを、「入力単語ベクトル」という。検索状態判定部７０６は、単語類似度計算部７０３に、入力単語ベクトルと検索結果ベクトルとの類似度を求めさせ、求められた類似度を類似度記憶部７０７に記憶する。なお、ベクトル間の類似度の求め方は、例えば文書検索においてよく用いられているコサイン尺度（２つのベクトルのなす角度）や内積を利用する。
　図９に、検索状態判定部７０６により計算され、類似度記憶部７０７に記憶される類似度情報の一例を示す。類似度情報は、操作番号９０１と、操作時刻９０２と、検索単語９０３と、選択項目９０４と、第１類似度９０５と、第２類似度９０６とからなる類似度履歴を含む。
　ここで、操作番号９０１、操作時刻９０２、検索単語９０３及び選択項目９０４は、図５に示した操作履歴の操作番号５０１、操作時刻５０２、検索単語５０４及び選択項目５０５にそれぞれ対応している。第１類似度９０５は、操作履歴毎に、検索結果ベクトルと検索単語９０３又は選択項目９０４に示される単語集合によって作成される入力単語ベクトルとの類似度を示す。第２類似度９０６は、一つ前の操作履歴（時間的には一つ後の操作履歴）に含まれる入力単語ベクトルと、検索単語９０３又は選択項目９０４に示される単語集合によって作成される入力単語ベクトルとの類似度を示す。上記比較処理（Ｓ８０３）では、第１類似度を算出するものとしたが、第１類似度の算出と合わせて、又は第１類似度の算出に代えて、第２類似度を算出するようにしてもよい。
　次に、検索状態判定部７０６は、検索結果ベクトルと入力単語ベクトルの類似度（第１類似度）が閾値以下か否かを判断する（Ｓ８０３）。第１類似度が閾値より大きい場合には（Ｓ８０３でＮＯ）、シーン付与対象検索結果に対する検索と同一事項の検索が続いていると判断する。そして、検索状態判定部７０６は、次に検索状態を判定する対象となる操作履歴に関する情報を取得する（Ｓ８０２）。つまり、検索状態判定部７０６は、操作履歴記憶部１０５に記憶されている操作履歴情報の中から、検索単語の入力又は選択項目の選択が行われている操作履歴を対象とする。検索状態判定部７０６は、対象とされた操作履歴のうち、１回前の操作履歴情報取得処理（Ｓ８０２）で単語集合の取得の対象とした操作履歴に最も時間的に近い過去の操作履歴を選択する。検索状態判定部７０６は、選択した操作履歴から、入力又は選択された単語集合を取得する。図５に示す具体例においては操作番号８の「オフサイド（サッカー）」が取得される。
　第１類似度が閾値以下の場合には（Ｓ８０３でＹＥＳ）、シーン付与対象検索結果に対する検索と同一事項の検索が終了したと判断される。このため、検索起点推定部７０８は、以下に述べる方法により、検索起点を決定することにより、検索起点時刻を決定する（Ｓ８０４）。
　例えば、図９の例では、閾値を０．５とすると、操作番号１０から操作番号７における第１類似度９０５は、閾値よりも大きい（Ｓ８０３でＮＯ）。そのため、操作番号１０から操作番号７における操作においては、シーン付与対象検索結果に対する検索と同一事項の検索が続いてと判断される。また、操作番号５で示される操作において「チェンジ」という選択項目を選んだ際に、第１類似度９０５が初めて閾値以下となっている（Ｓ８０３でＹＥＳ）。このため、シーン付与対象検索結果に対する検索と同一事項の検索が終了したと判断される。
　次に、検索起点時刻決定処理（Ｓ８０４）について詳細に説明する。検索起点推定部７０８は、比較処理（Ｓ８０３）においてシーン付与対象検索結果に対する検索と同一事項を検索していると判定された操作履歴の中で、操作番号が最も小さな操作履歴（時間的に最も古い操作履歴）を検索起点とする。より具体的には図９において、第１類似度が閾値よりも大きい場合の操作履歴は同一事項を検索していると判断される。閾値を０．５とした場合には同一事項を検索している操作履歴は操作番号１０から操作番号７で示される操作履歴である。検索起点推定部７０８は、このうち、最も操作履歴番号が小さな操作番号７の操作履歴を検索起点と推定する。検索起点推定部７０８は、検索起点の操作が実行された時刻を検索起点時刻として決定する。検索起点時刻は、検索起点に対応する操作履歴に含まれる操作時刻９０２のことである。上述の例では、操作番号７の操作履歴が操作起点であるので、その操作履歴に含まれる操作時刻９０２である「２０：２１：２０」が検索起点時刻とされる。
　上記のようにして検索起点時刻を決定した後（図４のＳ４０３、図８）、関連シーン抽出部１０８は、画像記憶部１１０より検索起点時刻におけるシーンを抽出する（Ｓ４０４）。ここで、関連シーン抽出部１０８は、検索起点時刻から長さΔｔだけ前の動画情報を関連シーンとして抽出する。つまり、関連シーン抽出部１０８は、（検索起点時刻－Δｔ）～検索起点時刻の範囲に含まれる動画情報を関連シーンとして抽出する。Δｔは、システム開発者が予め決定しておいた一定値を利用する。なお、Δｔは、可変とし、ユーザに設定させるようにしてもよい。
　検索結果出力部１１１は、関連シーン抽出部１０８で抽出された長さΔｔの関連シーンと、シーン付与対象検索結果とを合成し、合成した結果を出力部１１２に出力する（Ｓ４０５）。図１０は、出力部１１２が出力する画面の一例を示す図である。ここで、画面上には、シーン付与対象検索結果１００１と、関連シーン１００２とが合成されて表示されている。また、画面上には、さらに、関連シーン１００２が付与された検索結果を他の端末に送る際に利用するアイコン群１００３と、メニューボタン１００６とが表示されている。前述のメニューボタン１００６は、他の端末に送る際に送り先の端末でどのような表示の仕方をするかを指定するためのボタンである。
　ユーザが、検索結果を他の端末に送りたいと判断した場合には、ユーザは、アイコン群１００３に含まれるいずれかのアイコン（アイコン１００４又は１００５）と、メニューボタン１００６とを押下する。この操作により、ユーザは、関連シーンが付された検索結果を送信する要求を、検索結果送信部１１３に対して行う（Ｓ３０３）。
　検索結果送信部１１３は、ユーザの要求（Ｓ３０３）に基づき、関連シーンが付与された検索結果を、指定された送信先に送信する（Ｓ４０６）。例えば、ユーザは、関連シーンが付与された検索結果の送信操作について、例えば、図１０に示された画面上に表示されたアイコン群１００３を利用して行う。ユーザは、検索結果を、共有テレビ１１４に送信したい場合には、アイコン１００４を選択し、ＰＣや携帯電話などの他の携帯端末１６０１に送信したい場合には、アイコン１００５を選択する。また、動画コンテンツが放送・再生されている端末へ関連シーンが付与された検索結果を送信する場合、端末上で表示されている動画コンテンツが見えなくなってしまうと困る場合がある。そこで、ユーザが、アイコン１００４又は１００５を選択した際に、出力部１１２は、画面にメニューボタン１００６を表示し、送信後の表示方法について選択を可能とする。例えば、ユーザがメニューボタン「全画面」を選択した場合は、検索結果送信部１１３は、送信先の端末の画面を全て利用して、関連シーンが付与された検索結果を送信先の端末の画面に表示させるためのデータを送信する。一方、ユーザがメニューボタン「マルチ画面」を選択した場合は、検索結果送信部１１３は、送信先の端末の画面で再生又は放送されている動画コンテンツを一部表示したまま、関連シーンが付与された検索結果を送信先の端末の画面に表示させるためのデータを送信する。この画面例を図１１Ａ及び図１１Ｂに示す。図１１Ａは、図１０に示す画面上に表示されたメニューボタン１００６のうち、メニューボタン「全画面」をユーザが選択した際の送信先端末の表示画面例を示す図である。送信先端末の画面には、関連シーン付与装置１００が送信した関連シーンが付与された検索結果のみが表示される。一方、図１１Ｂは、図１０に示す画面上に表示されたメニューボタン１００６のうち、メニューボタン「マルチ画面」をユーザが選択した場合の表示画面例を示す図である。送信先端末の画面には、複数の画面が表示されている。つまり、送信先端末の画面には、送信先端末で再生又は放送されている動画コンテンツの表示画面１１０１と、これまでにこの送信先端末に送信された関連シーンが付与された検索結果を含む画面１１０２とが表示されている。なお、画面１１０２に含まれる関連シーンが付与された検索結果は、検索結果毎に検索起点時刻１１０３が合わせて表示されている。なお、検索起点時刻１１０３以外にも、検索結果の送信者に関する情報を合わせて表示するようにしてもよい。図１１Ｂのような表示方法を行うことにより、現在視聴中の動画コンテンツを邪魔することなく検索結果を複数のユーザで共有することができる。それに加えて、以前共有した結果についても、簡単に、再度共有することが可能となる。これにより例えば、はじめの共有の際にその場に居なかったユーザに対する説明が簡単に行える。また、図１１Ａの表示方法では上記で述べたように現在視聴中の動画コンテンツが見えなくなる。そこで、図１０に示す画面においてメニューボタン「全画面」をユーザが押すと、さらに、メニューボタン「今すぐ表示」「後に表示」が現れる制御を行っても良い。その後、ユーザがメニューボタン「後に表示」を選択すると、次のＣＭ（Commercial Message）の放送時に、検索結果が送信先端末に表示されるような制御を行っても良い。
　図１は、関連シーンが付与された検索結果の表示例を示す図である。同図に示すように、関連シーン付与装置１００で検索された結果とその関連シーンとが、コンピュータネットワーク１６０２を介して共有テレビ１１４及び携帯端末１６０１に送信され、表示されている。
　以上、説明したように本実施の形態に係る関連シーン付与装置１００は、検索のきっかけとなった動画コンテンツの関連シーンを、ユーザの情報検索の操作履歴及び各シーンに対する情報検索結果を用いて抽出している。このため、各シーンにテキスト情報が付与されていない動画コンテンツに対しても、関連シーンを抽出することができる。また、関連シーンの抽出のためだけにキーワードを入力する必要が無い。このため、ユーザが情報検索結果に関連シーンを付与する負担を軽減することができる。
　なお、比較処理（Ｓ８０３）における同一事項の検索が終了したか否かの判断では、ユーザが入力もしくは選択した単語集合から生成される入力単語ベクトルとシーン付与対象検索結果から作成される検索結果ベクトルとの類似度である第１類似度を用いた。しかし、ユーザがシーン付与対象検索結果と同一事項を検索しているか否かの判断はこの方法に限られるものではない。例えば、第１類似度の代わりに、シーン付与対象検索結果を得るために入力された検索キーワードを、入力単語ベクトルを生成するのと同様の方法によりベクトル化した検索キーワードベクトルと、入力単語ベクトルとの類似度を用いてもよい。
　また、以下に、本構成で実施可能な他の判定方法として３つの変形例を示す。
　（変形例１）
　変形例１では、比較処理（図８のＳ８０３）において、検索状態判定部７０６は、上述した第２類似度を用いて、ユーザが同一事項を検索しているか否かについて判断する点が実施の形態１と異なる。つまり、変形例１では、同一事項を検索している間は、入力又は選択している単語間の類似度が高いという特徴を利用する。この特徴を利用して、検索状態判定部７０６は、隣接する操作履歴における入力単語ベクトル同士の比較を行うことにより、上述した第２類似度を算出する。第２類似度が閾値よりも大きい場合には、隣接する操作履歴間で同一事項を検索していると判断する。例えば、図９に示す類似度情報の具体例で、操作番号８について検索状態を判定する場合を考える。検索状態判定部７０６は、時間的に１つ後の操作番号１０における入力である「ルールブック（オフサイド）」の入力単語ベクトルと、操作番号８における入力である「オフサイド（サッカー）」の入力単語ベクトルとの類似度である第２類似度を計算する。そして、第２類似度を第２類似度９０６に記憶する。検索状態判定部７０６は、計算された第２類似度と閾値とを比較することにより、同一事項を検索しているか否かについて判断する。例えば、操作番号８及び７における検索状態においては、第２類似度が閾値よりも大きくなっているが、操作番号５における検索状態において、第２類似度が閾値以下となっているとする。この場合、操作番号８及び７においては同一事項を検索しているが、操作番号５になると別事項を検索していたことが分かる。このため、最も時間的に古い操作番号７が検索起点となる。
　なお、変形例１では、隣接する入力単語ベクトル同士を比較する方法について述べたが、これに限定されるものはない。例えば、シーン付与対象検索結果が表示されたが、表示された時刻の直前の操作履歴における入力単語ベクトルと他の入力単語ベクトルとの類似度を閾値と比較することにより、同一事項を検索しているか否かの判断を行ってもよい。
　このように、入力単語ベクトルのみを利用して同一事項を検索しているか否かを判断することにより、シーン付与対象検索結果を解析し、ページ全体を表現する検索結果ベクトルを作成する処理を必要としない。そのため、計算処理の削減が可能となる。
　（変形例２）
　変形例２では、ユーザが同一事項を検索しているか否かについて判断する手法が実施の形態１と異なる。より具体的には、比較処理（図８のＳ８０３）において、検索状態判定部７０６が、同一事項を検索している間は、閲覧しているページのテキストに含まれる単語の類似度が高いという特徴を利用して前述の判断を行う。つまり、検索状態判定部７０６は、隣接する閲覧ページ同士の比較を行うことにより、隣接する閲覧ページ間の類似度を算出し、類似度が閾値よりも大きい場合には、閲覧ページ間で同一事項を検索していると判断する。具体的には、ページ情報収集部７０４が、操作履歴記憶部１０５に記憶されている操作履歴の中から、ユーザが閲覧していたページの表示ＵＲＬを取得する。情報検索実行部１０２は、当該表示ＵＲＬのページ情報を取得する。検索起点時刻推定部１０７の検索状態判定部７０６は、取得されたページ情報に含まれるテキスト情報の中から単語を抽出する。検索状態判定部７０６は、ページ類似度計算部７０５に各ページ間の類似度の計算を要求し、ページ類似度計算部７０５において計算された類似度を利用して、ユーザが同一事項を検索しているかの判断を行う。
　ここで、前記判断に利用する各ページ間の類似度は、上記の入力又は選択された単語集合を利用した場合と同様に求めても良い。つまり、シーン付与対象検索結果のページに含まれるテキスト情報を示すベクトルとユーザが閲覧していた各ページに含まれるテキスト情報を示すベクトルとの類似度を、ページ間の類似度としてもよい。また、隣接する閲覧ページに含まれるテキスト情報を示すベクトル間の類似度を、ページ間の類似度としてもよい。さらに、上述のように行列を用いた類似度計算ではなく、単純に２つのページに共通に含まれている単語数をカウントし、単語数が閾値以下なら同一事項の検索を行っていないと判定しても良い。ここで、図１２に、ページを利用した場合の類似度記憶部７０７に記憶される類似度情報の一例を示す。類似度情報は、操作番号１２０１と、操作時刻１２０２と、表示ＵＲＬ１２０３と、第３類似度１２０４と、第４類似度１２０５とからなる類似度履歴を含む。操作番号１２０１、操作時刻１２０２及び表示ＵＲＬ１２０３は、図５に示した操作履歴の操作番号５０１、操作時刻５０２及び表示ＵＲＬ５０３にそれぞれ対応している。第３類似度１２０４は、シーン付与対象検索結果のページと各操作番号で閲覧していたページとの類似度を示す。また、第４類似度１２０５は、各操作番号で閲覧していたページと、当該ページと一つ前の操作履歴（時間的には一つ後の操作履歴）で閲覧していたページとの類似度を示す。
　単語間の類似度のみを利用して同一事項を検索しているか否かを判断する場合には、単語間の類似度をより精度良く構築する必要がある。そのためには、類似度を定量化するために利用するテキストコーパスを、バラエティのある大量の文書から作成する必要がある。しかし、このようにページ間の類似度を利用して同一事項を検索しているか否かを判断する場合には、多くの単語を利用してその判断を行う。このため、単語の類似度のみを利用して判断を行う場合に比べて、事前に作成する単語間の類似度の精度は要求されない。また、上記のように単純に共通単語の出現頻度を利用して類似度を計算すると、あらかじめ単語間の類似度を求めておく必要がなくなる。このため、事前のコーパス収集、単語間の類似度を定量化するための処理及びベクトル同士の比較処理が必要なくなる。よって、より単純なシステム構成での比較処理（図８のＳ８０３）の実現が可能となる。
　また、変形例２では、テキスト情報同士の比較を行っている。よって、実施の形態１のように単語同士の比較を行う場合に比べ、比較対象の情報量が多い。このため、精度よく類似度を算出することができる。
　なお、上記ではページに含まれるテキスト情報を利用して類似度を判定した。さらに、Ｗｅｂページを利用して類似度を判定する場合には、各ページに対してＵＲＬが対応付けられている。そこで、ＵＲＬの情報から同一の内容であるか否かを判定してもよい。
　（変形例３）
　変形例３では、ユーザが同一事項を検索しているか否かについて判断する手法が実施の形態１と異なる。より具体的には、比較処理（図８のＳ８０３）において、検索状態判定部７０６は、同一事項を検索している間は、ユーザが入力するキーワードの一部が操作間で共通するという特徴を利用して、前述の判断を行う。
　キーワード入力による検索を行う際、検索結果が多すぎたり、関係のある検索結果が少なすぎたりする場合、検索精度を向上させるために、ユーザは再度キーワードを入力し直す。通常、検索結果の絞込みを行う場合又は検索精度を上げる場合は、ユーザは検索のために入力するキーワードの修正を行う。例えば、図５の操作番号２から操作番号４のように、ユーザは、入力キーワードを追加したり、一部のキーワードを残し、残りのキーワードを変更したりする。そのため、検索状態判定部７０６は、前回の操作における入力単語と今回の操作における入力単語とを比較し、一部の単語が変更されている場合、又は単語が追加されている場合、操作間で同一事項を検索していると判断することができる。なお、単語が追加される場合とは、別の言い方をすると、今回の操作で新たに追加された入力単語が、前回の操作で入力されている入力単語と、所定の演算子（例えば、ＡＮＤ演算子、ＯＲ演算子）により組み合わされることによりキーワード検索が行われている場合のことである。
　このように、ユーザが入力したキーワード間の関係を利用して同一事項を検索しているか否かを判断する場合、ユーザからのキーワード入力が必要となる。しかし、単語間の類似度をあらかじめ求めておく必要がなくなる。このため、事前のコーパス収集、単語間の類似度を定量化するための処理及びベクトル同士の比較処理が必要なくなる。よって、より単純なシステム構成での実現が可能となる。
　（実施の形態２）
　上記実施の形態１では、抽出される関連シーンの長さΔｔはシステム開発者が予め決定しておいた一定値を利用した。本実施の形態２では、Δｔの長さはユーザが検索した内容によって異なるべきという考え方のもとに、Δｔの長さをユーザが入力又は選択した単語と検索結果とを利用して決定する。これにより検索結果に応じて適切な長さのΔｔを自動的に決定することが可能となる。
　本実施の形態と実施の形態１との主な相違点は、関連シーン抽出処理（図４のＳ４０４）において、関連シーン抽出部が、さらに、Δｔを決定する点である。他の構成要素及びそれらが実行する処理については、実施の形態１と同一である。従って本実施の形態においては、実施の形態１との相違点を中心に説明する。
　図１３は、本発明の実施の形態２における検索システムの構成を示すブロック図である。この検索システムは、図１に示した検索システムの構成において、関連シーン付与装置１００の代わりに関連シーン付与装置２００を用いたものである。
　本実施の形態に係る関連シーン付与装置２００は、図２に示した実施の形態１に係る関連シーン付与装置１００の構成において、関連シーン抽出部１０８の代わりに関連シーン抽出部１３０８が設けられている。また、実施の形態１に係る関連シーン付与装置１００に、電子辞書記憶部１３１５及び番組情報取得部１３１６が付け加えられた構成となっている。
　関連シーン付与装置２００は、ＣＰＵ、メモリ、通信インタフェース等を備える一般的なコンピュータにより構成される。ＣＰＵ上で関連シーン付与装置２００が備える各処理部を実現するためのプログラムを実行することにより、各処理部が機能的に実現される。また、各記憶部は、メモリやＨＤＤ（Hard Disk Drive）により実現される。
　電子辞書記憶部１３１５は、固有名詞及び動作を説明する語についての説明を記憶する記憶装置であり、例えば、人名、動物名及び地名などに関する説明、並びにスポーツのルール及び動作に関する説明などが記憶されている。また、電子辞書記憶部１３１５には、単語とその単語の品詞に関する情報が蓄積されている。
　番組情報取得部１３１６は、画像記憶部１１０に記憶される番組に関する情報を放送により取得する処理部であり、例えば、ＥＰＧ（Electric Program Guide）データなどの番組情報を取得する。一般的には、番組情報には、番組名、放送日時、ジャンル、出演者及び番組内容などが情報として含まれる。
　以下、関連シーン抽出処理（図４のＳ４０４）の詳細について説明する。図１４は、関連シーン抽出処理（図４のＳ４０４）の詳細なフローチャートである。
　関連シーン抽出部１０８は、関連シーンの長さΔｔを決定した後（Ｓ１４０１～Ｓ１４１２）、画像記憶部１１０より、長さΔｔの関連シーンを抽出する（Ｓ１４１３）。
　つまり、関連シーン抽出部１３０８は、シーンを抽出する対象となった番組の情報、又はシーン付与対象検索結果の検索時にユーザが入力もしくは選択した単語の中で重要と考えられる単語（以下、「検索重要単語」という。）と、シーン付与対象検索結果のページを代表する単語（以下、「ページ代表単語」という。）とを決定する（Ｓ１４０１）。関連シーン抽出部１３０８は、ユーザが入力若しくは選択した単語集合の中で出現頻度が多い単語又は検索起点において入力された単語に対して、重みが大きくなるような重み付けを行い、単語毎にスコアを計算する。関連シーン抽出部１３０８は、計算されたスコアが高いものから所定個数の単語を、検索重要単語と決定する。また、関連シーン抽出部１３０８は、シーン付与対象検索結果のページに含まれるテキスト情報の中で出現頻度が高い単語、又は当該ページのタイトルとして利用されている単語を、ページ代表単語と決定する。
　関連シーン抽出部１３０８は、関連シーンの長さΔｔを、初期値１０秒に設定する（Ｓ１４０２）。次に、関連シーン抽出部１３０８は、上記処理で決定された検索重要単語及びページ代表単語の品詞を電子辞書記憶部１３１５を用いて判断する（Ｓ１４０３）。
　関連シーン抽出部１３０８は、品詞判断処理（Ｓ１４０３）での結果を参照し、検索重要単語及びページ代表単語の中に、例えば、地名、人物名又は動物名などの固有名詞が含まれているか否かを判断する（Ｓ１４０４）。固有名詞が含まれていると判断された場合には（Ｓ１４０４でＹＥＳ）、関連シーン抽出部１３０８は、Δｔを短め（例えばΔｔを０として動画ではなく静止画）に設定する（Ｓ１４０５）。
　固有名詞が含まれていないと判断された場合には（Ｓ１４０４でＮＯ）、関連シーン抽出部１３０８は、品詞判断処理（Ｓ１４０３）での結果を参照し、検索重要単語及びページ代表単語の中に動作を表す単語が含まれているか否かを判断する（Ｓ１４０６）。動作を表す単語が含まれていると判断された場合には（Ｓ１４０６でＹＥＳ）、関連シーン抽出部１３０８は、Δｔに一定の長さ（例えば、３分）を設定する（Ｓ１４０７）。
　例えば、図５に示す操作履歴情報の例では、サッカーの試合を放送している番組を視聴中に、操作番号７の操作履歴において「オフサイド」に関する情報の検索を行っている。ここで、「オフサイド」という単語は、検索起点でユーザが入力した単語であり、選択項目５０５にも含まれる単語である。そこで、関連シーン抽出部１３０８は、「オフサイド」が検索重要単語であると判断する（Ｓ１４０１）。また、「オフサイド」は動作を表す言葉であるので（Ｓ１４０４でＮＯ、Ｓ１４０６でＹＥＳ）、関連シーン抽出部１３０８は、Δｔとして単語が動作であった場合の時間（例えば３分）を設定する（Ｓ１４０７）。
　次に、関連シーン抽出部１３０８は、番組情報取得部１３１６で取得された番組情報の中から、検索のきっかけとなる検索起点時刻での番組情報を取得する（Ｓ１４０８）。関連シーン抽出部１３０８は、取得した番組情報で示される番組のジャンルが、クイズ番組か否かを判断する（Ｓ１４０９）。ジャンルがクイズ番組の場合には（Ｓ１４０９でＹＥＳ）、ユーザはクイズの質問に関する検索を行うことが多い。このため、関連シーン抽出部１３０８は、Δｔに、クイズの質問及び回答の説明に要する平均的な時間（例えば４分）を設定する（Ｓ１４１０）。
　ジャンルがクイズ番組ではない場合には（Ｓ１４０９でＮＯ）、関連シーン抽出部１３０８は、取得した番組情報で示される番組のジャンルが、ニュース番組か否かを判断する（Ｓ１４１１）。ジャンルがニュース番組の場合には（Ｓ１４１１でＹＥＳ）、ユーザはニュースのトピックに関する検索を行うことが多い。このため、関連シーン抽出部１３０８は、Δｔに、ニュースにおける１トピックの説明に要する平均的な時間（例えば２分）を設定する（Ｓ１４１２）。以上の処理により、Δｔの値が決定される。
　関連シーン抽出部１３０８は、画像記憶部１１０より（検索起点時刻－Δｔ）～（検索起点時刻）の範囲に含まれる動画情報を関連シーンとして抽出する（Ｓ１４１３）。なお、Δｔ＝０の場合には、関連シーン抽出部１３０８は、検索起点時刻における静止画を抽出する。関連シーンの抽出時には、（検索起点時刻－Δｔ）～（検索起点時刻）の範囲に含まれる動画情報を抽出するのではなく、さらにマージンα（αは正の値）を設けても良い。つまり、（検索起点時刻－Δｔ－α）～（検索起点時刻＋α）の範囲に含まれる動画情報を抽出するようにしてもよい。
　なお、単語の品詞を用いずに、番組のジャンルのみからΔｔの値を決定するようにしてもよい。つまり、番組のジャンルに対応させてΔｔの値を定義しておき、対象番組のジャンルによってΔｔの値を決定する。これにより、検索重要単語及びページ代表単語の決定並びに品詞等の単語の種類の特定を行う必要が無い。このため、より単純な処理によりΔｔが決定できる。また、検索重要単語とページ代表単語との類似度が小さく、どちらの単語を基にΔｔを決定すればよいか分からないときに、このジャンルのみを利用した方法を利用しても良い。
　図１５は、検索結果出力処理（図４のＳ４０５）により出力部１１２に出力される画面の一例を示す図である。図１５に示す画面例では、図１０に示す画面例において、さらに、動画再生用の操作バー１５０７が表示されたものである。操作バー１５０７では、関連シーンの長さをバーの長さで表現している。また、現在表示している関連シーン１００２の時間位置をシンボル１５０８で表している。本例では、Δｔを３分とし、αを１分とする。また、検索起点時刻（図５の操作番号７における時刻）を２０時２１分とする。このとき、関連シーンとして２０時１７分（検索起点時刻－Δｔ－α）から２０時２２分（検索起点時刻＋α）までの区間の動画が、関連シーンとして抽出される。なお、関連シーン１００２として画面に表示されるのは、２０時１８分（検索起点時刻－Δｔ）から２０時２１分（検索起点時刻）までの区間の動画である。しかし、アイコン１５０９又は１５１０を移動させることにより、関連シーン１００２として画面に表示される動画の時間幅を変更することが可能である。
　以上説明したように、本実施の形態によると、関連シーンの時間区間Δｔを検索内容に応じて自動的に変更することができる。このため、適切な長さの関連シーンを検索結果に付与することが可能となる。
　以上、本発明の実施の形態に係る検索システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
　例えば、上述の実施の形態では、検索起点時刻として、シーン付与対象検索結果に対する検索を開始した時刻としたが、実際には、ユーザがシーンの映像を見てから検索を開始するまでには所定の時間がかかる。このため、検索起点時刻を、シーン付与対象検索結果に対する検索を開始した時刻から所定時間遡った時刻としてもよい。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　本発明は、動画を基にした検索処理に一般適用できるため、実施の形態で述べたテレビ放送だけではなく、インターネット上の動画コンテンツやプライベートで撮影した映像に対しても適用可能である。また共有方法としても実施の形態で述べた共有ディスプレイに表示するだけではなく、メールに添付するなど、様々な状況での利用が可能であり、その利用可能性は非常に大きい。
　本発明は、動画コンテンツを視聴しながら情報検索を行なう際に、情報検索結果と動画コンテンツのシーンとを関連付ける対応シーン付与装置、情報検索装置等に適用できる。
　１００　関連シーン付与装置
　１０１　入力部
　１０２　情報検索実行部
　１０３　検索結果記憶部
　１０４　操作履歴収集部
　１０５　操作履歴記憶部
　１０６　タイマー
　１０７　検索起点時刻推定部
　１０８　関連シーン抽出部
　１０９　画像取得部
　１１０　画像記憶部
　１１１　検索結果出力部
　１１２　出力部
　１１３　検索結果送信部
　１１４　共有テレビ
　１６０１　携帯端末

Claims (14)

  1. 　検索結果に、検索に関連する画像データである関連シーンを関連付ける関連シーン付与装置であって、
    　画像データと、前記画像データの再生時刻とを記憶している画像記憶部と、
    　ユーザが入力する検索条件に従って、情報を検索する情報検索実行部と、
    　前記検索条件と、前記検索条件が受け付けられた時刻と、を対応付けた操作の履歴を記憶している操作履歴記憶部と、
    　前記情報検索実行部により検索された情報の中で前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と、
    　前記検索起点時刻推定部で推定された前記検索起点時刻を含む時間に再生された画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出部と
    　を備える関連シーン付与装置。
  2. 　前記検索起点時刻推定部は、前記情報検索実行部により検索された情報の中で、前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴のうち、最も古い時刻における操作の履歴である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する
    　請求項１記載の関連シーン付与装置。
  3. 　前記検索起点時刻推定部は、
    　前記操作の履歴毎に、前記シーン付与対象検索結果と、前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された検索条件との類似度を計算する単語類似度計算部と、
    　所定の値よりも大きい前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻から最も遠い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も遠い時刻における操作の履歴を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
    　請求項２記載の関連シーン付与装置。
  4. 　前記検索起点時刻推定部は、
    　前記操作の履歴毎に、前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件と、当該第１の検索条件が入力されるよりも時間的に前に受け付けられた検索条件との類似度を計算する単語類似度計算部と、
    　所定の値よりも大きい前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が受け付けられた時刻から最も遠い時刻に受け付けられた検索条件を用いて計算された類似度を特定し、前記最も遠い時刻における操作の履歴を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
    　請求項２記載の関連シーン付与装置。
  5. 　前記検索起点時刻推定部は、
    　前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された時間的に隣接する操作の履歴の組毎に、当該操作の履歴の組に含まれる検索条件同士の類似度を計算する単語類似度計算部と、
    　所定の値以下となる前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻に最も近い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も近い時刻における操作の履歴を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
    　請求項２記載の関連シーン付与装置。
  6. 　前記検索起点時刻推定部は、
    　前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された時間的に隣接する操作の履歴の組毎に、当該操作の履歴の組に含まれる検索条件間に共通する単語が存在するか否かを判断する単語類似度計算部と、
    　共通する単語が存在しないと判断された操作の履歴の組のうち、前記第１の検索条件が入力された時刻に最も近い時刻に入力された検索条件を含む操作の履歴を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
    　請求項２記載の関連シーン付与装置。
  7. 　前記検索起点時刻推定部は、
    　前記操作の履歴毎に、前記シーン付与対象検索結果と、前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された検索条件に基づく検索結果との類似度を計算する単語類似度計算部と、
    　所定の値よりも大きい前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻から最も遠い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も遠い時刻における操作の履歴を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
    　請求項２記載の関連シーン付与装置。
  8. 　前記検索起点時刻推定部は、
    　前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された時間的に隣接する操作の履歴の組毎に、当該操作の履歴の組に含まれる検索条件に基づく検索結果同士の類似度を計算する単語類似度計算部と、
    　所定の値以下となる前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻に最も近い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も近い時刻における操作の履歴を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
    　請求項２記載の関連シーン付与装置。
  9. 　さらに、単語と前記単語の品詞に関する情報を記憶している電子辞書記憶部を備え、
    　前記関連シーン抽出部は、前記電子辞書記憶部に記憶されている情報を参照することにより、前記シーン付与対象検索結果に関連する単語の品詞を決定し、決定された前記単語の品詞に応じて時間幅を決定し、前記検索起点時刻推定部で推定された前記検索起点時刻を含む前記時間幅内に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける
    　請求項１～８のいずれか１項記載の関連シーン付与装置。
  10. 　さらに、前記画像記憶部に記憶されている前記動画像データの種類に関する情報を取得する番組情報取得部を備え、
    　前記関連シーン抽出部は、前記番組情報取得部で取得された情報を参照することにより、前記検索起点時刻において再生された前記動画像データの種類を決定し、決定された前記動画像データの種類に応じて時間幅を決定し、前記検索起点時刻推定部で推定された前記検索起点時刻を含む前記時間幅内に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける
    　請求項１～８のいずれか１項記載の関連シーン付与装置。
  11. 　さらに、前記関連シーン抽出部で前記動画像データ又は前記静止画像データが関連付けられた前記シーン付与対象検索結果を、外部の機器に出力する検索結果出力部を備える
    　請求項１～１０のいずれか１項記載の関連シーン付与装置。
  12. 　動画像データを表示する表示装置と、検索結果に、検索のきっかけとなった動画像データ又は静止画像データである関連シーンを関連付ける関連シーン付与装置とを備える検索システムであって、
    　前記関連シーン付与装置は、
    　前記表示装置で表示されるのと同じ動画像データと、当該動画像データの再生時刻とを記憶している画像記憶部と、
    　ユーザが入力する検索条件を受け付け、当該検索条件に従って、情報を検索する情報検索実行部と、
    　前記情報検索実行部において受け付けられた前記検索条件と、当該検索条件が受け付けられた時刻とを対応付けた操作の履歴を記憶している操作履歴記憶部と、
    　前記情報検索実行部による検索結果のうち前記ユーザにより指定された検索結果であるシーン付与対象検索結果と、前記操作履歴記憶部に記憶されている前記操作の履歴との関連性に基づいて、前記シーン付与対象検索結果に関連する前記操作履歴記憶部に記憶されている前記操作の履歴である検索起点を特定し、当該検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と、
    　前記検索起点時刻推定部で推定された前記検索起点時刻を含む時間に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出部と、
    　前記関連シーン抽出部で前記動画像データ又は前記静止画像データが関連付けられた前記シーン付与対象検索結果を、前記表示装置へ出力検索結果出力部を備え、
    　前記表示装置は、前記検索結果出力部より、前記関連シーン抽出部で前記動画像データ又は前記静止画像データが関連付けられた前記シーン付与対象検索結果を受信し、受信した前記シーン付与対象検索結果を表示する
    　検索システム。
  13. 　検索結果に、検索のきっかけとなった動画像データ又は静止画像データである関連シーンを関連付ける関連シーン付与装置のための関連シーン付与方法であって、
    　前記関連シーン付与装置は、
    　動画像データと、当該動画像データの再生時刻とを記憶している画像記憶部と、
    　ユーザが入力する検索条件と、当該検索条件が受け付けられた時刻とを対応付けた操作の履歴を記憶している操作履歴記憶部とを備え、
    　ユーザが入力する検索条件を受け付け、当該検索条件に従って、情報を検索する情報検索実行ステップと、
    　前記情報検索実行ステップによる検索結果のうち前記ユーザにより指定された検索結果であるシーン付与対象検索結果と、前記操作履歴記憶部に記憶されている前記操作の履歴との関連性に基づいて、前記シーン付与対象検索結果に関連する前記操作履歴記憶部に記憶されている前記操作の履歴である検索起点を特定し、当該検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定ステップと、
    　前記検索起点時刻推定ステップで推定された前記検索起点時刻を含む時間に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出ステップと
    　を含む関連シーン付与方法。
  14. 　検索結果に、検索のきっかけとなった動画像データ又は静止画像データである関連シーンを関連付けるコンピュータ実行可能なプログラムであって、
    　メモリは、動画像データと、当該動画像データの再生時刻とを記憶し、前記メモリは、さらに、ユーザが入力する検索条件と、当該検索条件が受け付けられた時刻とを対応付けた操作の履歴を記憶しており、
    　前記プログラムは、
    　ユーザが入力する検索条件を受け付け、当該検索条件に従って、情報を検索する情報検索実行ステップと、
    　前記情報検索実行ステップによる検索結果のうち前記ユーザにより指定された検索結果であるシーン付与対象検索結果と、前記メモリに記憶されている前記操作の履歴との関連性に基づいて、前記シーン付与対象検索結果に関連する前記メモリに記憶されている前記操作の履歴である検索起点を特定し、当該検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定ステップと、
    　前記検索起点時刻推定ステップで推定された前記検索起点時刻を含む時間に再生された動画像データ又は静止画像データを、前記メモリに記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出ステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2009/003836 2008-08-22 2009-08-10 関連シーン付与装置及び関連シーン付与方法 Ceased WO2010021102A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/865,879 US8174579B2 (en) 2008-08-22 2009-08-10 Related scene addition apparatus and related scene addition method
JP2009545752A JP4487018B2 (ja) 2008-08-22 2009-08-10 関連シーン付与装置及び関連シーン付与方法
CN200980119475XA CN102084645B (zh) 2008-08-22 2009-08-10 关联场景赋予装置以及关联场景赋予方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-214654 2008-08-22
JP2008214654 2008-08-22

Publications (1)

Publication Number Publication Date
WO2010021102A1 true WO2010021102A1 (ja) 2010-02-25

Family

ID=41706995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003836 Ceased WO2010021102A1 (ja) 2008-08-22 2009-08-10 関連シーン付与装置及び関連シーン付与方法

Country Status (4)

Country Link
US (1) US8174579B2 (ja)
JP (1) JP4487018B2 (ja)
CN (1) CN102084645B (ja)
WO (1) WO2010021102A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102072989B1 (ko) * 2013-01-14 2020-03-02 삼성전자주식회사 멀티스크린 지원을 위한 마크-업 구성장치 및 방법
US10915543B2 (en) 2014-11-03 2021-02-09 SavantX, Inc. Systems and methods for enterprise data search and analysis
US9990441B2 (en) * 2014-12-05 2018-06-05 Facebook, Inc. Suggested keywords for searching content on online social networks
DE102015208060A1 (de) 2015-02-12 2016-08-18 Ifm Electronic Gmbh Verfahren zum Betrieb eines Impulsgenerators für kapazitive Sensoren und Impulsgenerator
CN104866308A (zh) * 2015-05-18 2015-08-26 百度在线网络技术（北京）有限公司 一种场景图像的生成方法及装置
US11328128B2 (en) 2017-02-28 2022-05-10 SavantX, Inc. System and method for analysis and navigation of data
WO2018160605A1 (en) 2017-02-28 2018-09-07 SavantX, Inc. System and method for analysis and navigation of data
WO2018174884A1 (en) * 2017-03-23 2018-09-27 Rovi Guides, Inc. Systems and methods for calculating a predicted time when a user will be exposed to a spoiler of a media asset
WO2020213757A1 (ko) * 2019-04-17 2020-10-22 엘지전자 주식회사 단어 유사도 판단 방법
WO2022198474A1 (en) * 2021-03-24 2022-09-29 Sas Institute Inc. Speech-to-analytics framework with support for large n-gram corpora

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150928A (ja) * 2001-11-15 2003-05-23 Nikon Gijutsu Kobo:Kk 画像管理装置および画像保管装置
JP2005033619A (ja) * 2003-07-08 2005-02-03 Matsushita Electric Ind Co Ltd コンテンツ管理装置およびコンテンツ管理方法
JP2005115504A (ja) * 2003-10-06 2005-04-28 Mega Chips Corp 画像検索システムおよび画像データベース
JP2007049739A (ja) * 2006-10-11 2007-02-22 Hitachi Ltd メディアシーンの属性情報を格納する情報格納装置、情報表示装置、および情報格納方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353325A (ja) 1998-06-10 1999-12-24 Hitachi Ltd 映像と関連情報の同期表示システム
CN1371502B (zh) * 1999-06-30 2010-05-05 夏普公司 活动图像检索信息记录装置及活动图像检索装置
US7336775B2 (en) 2001-10-30 2008-02-26 Nikon Corporation Image storage apparatus, image storage supporting apparatus, image storage system, image management apparatus and image saving apparatus
JP2003304523A (ja) * 2002-02-08 2003-10-24 Ntt Docomo Inc 情報配信システム、情報配信方法、情報配信サーバ、コンテンツ配信サーバ及び端末
JP2004080476A (ja) 2002-08-20 2004-03-11 Sanyo Electric Co Ltd ディジタル映像再生装置
JP2005333280A (ja) * 2004-05-19 2005-12-02 Dowango:Kk 番組連動システム
JP4252030B2 (ja) * 2004-12-03 2009-04-08 シャープ株式会社 記憶装置およびコンピュータ読取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150928A (ja) * 2001-11-15 2003-05-23 Nikon Gijutsu Kobo:Kk 画像管理装置および画像保管装置
JP2005033619A (ja) * 2003-07-08 2005-02-03 Matsushita Electric Ind Co Ltd コンテンツ管理装置およびコンテンツ管理方法
JP2005115504A (ja) * 2003-10-06 2005-04-28 Mega Chips Corp 画像検索システムおよび画像データベース
JP2007049739A (ja) * 2006-10-11 2007-02-22 Hitachi Ltd メディアシーンの属性情報を格納する情報格納装置、情報表示装置、および情報格納方法

Also Published As

Publication number Publication date
US20110008020A1 (en) 2011-01-13
JPWO2010021102A1 (ja) 2012-01-26
JP4487018B2 (ja) 2010-06-23
CN102084645B (zh) 2013-06-19
CN102084645A (zh) 2011-06-01
US8174579B2 (en) 2012-05-08

Similar Documents

Publication Publication Date Title
JP4487018B2 (ja) 関連シーン付与装置及び関連シーン付与方法
US9008489B2 (en) Keyword-tagging of scenes of interest within video content
US11197036B2 (en) Multimedia stream analysis and retrieval
KR100684484B1 (ko) 비디오 세그먼트를 다른 비디오 세그먼트 또는 정보원에링크시키는 방법 및 장치
US9582582B2 (en) Electronic apparatus, content recommendation method, and storage medium for updating recommendation display information containing a content list
CN1326075C (zh) 自动视频检索器精灵
JP3917648B2 (ja) 連想辞書作成装置
JP4370850B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
WO2010113619A1 (ja) コンテンツ推薦装置、方法、及びプログラム
US20120066235A1 (en) Content processing device
JP5250381B2 (ja) 索引ビデオ生成装置、動画像検索装置及び動画像検索システム
US11968428B2 (en) Navigating content by relevance
JP5335500B2 (ja) コンテンツ検索装置及びコンピュータプログラム
US20100281046A1 (en) Method and web server of processing a dynamic picture for searching purpose
JP5916790B2 (ja) 動画再生装置、候補抽出方法及びプログラム
JP4734048B2 (ja) 情報検索装置、情報検索方法および情報検索プログラム
JP5008250B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2009230306A (ja) 映像記録再生装置
JP4794610B2 (ja) 関連情報付与装置及びその方法
JP2005284392A (ja) ダイジェスト配信リスト生成サーバ及びダイジェスト配信リスト生成プログラム
KR101480411B1 (ko) 전자 장치 상에서 정보 검색을 용이하게 하는 방법 및 시스템
JP2009048334A (ja) 映像識別処理装置、画像識別処理装置、およびコンピュータプログラム
JP4961760B2 (ja) コンテンツ出力装置、及びコンテンツ出力方法
JP2025034996A (ja) 番組選択装置及び番組選択プログラム
JP2008099012A (ja) コンテンツ再生システム及びコンテンツ蓄積システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980119475.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009545752

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09808038

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12865879

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09808038

Country of ref document: EP

Kind code of ref document: A1