[go: up one dir, main page]

WO2019235138A1 - 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム - Google Patents

提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム Download PDF

Info

Publication number
WO2019235138A1
WO2019235138A1 PCT/JP2019/018888 JP2019018888W WO2019235138A1 WO 2019235138 A1 WO2019235138 A1 WO 2019235138A1 JP 2019018888 W JP2019018888 W JP 2019018888W WO 2019235138 A1 WO2019235138 A1 WO 2019235138A1
Authority
WO
WIPO (PCT)
Prior art keywords
credit display
provided credit
unit
program
display section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/018888
Other languages
English (en)
French (fr)
Inventor
康智 大石
川西　隆仁
薫 平松
柏野　邦夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US16/972,238 priority Critical patent/US11727446B2/en
Publication of WO2019235138A1 publication Critical patent/WO2019235138A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543—Billing, e.g. for subscription services
    • H04N21/25435—Billing, e.g. for subscription services involving characteristics of content or additional data, e.g. video resolution or the amount of advertising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a provision credit display detection device, a provision credit display detection method, and a program for detecting a provision credit display section in which a provision credit display indicating a sponsor of the program is displayed.
  • Non-Patent Document 1 describes a technique for detecting a predetermined specific word from uttered speech using a neural network.
  • a program broadcast by television broadcasting or the like may include a commercial (hereinafter referred to as “CM” (Commercial Message)) and a provided credit indication indicating the sponsor of the program.
  • CM Commercial
  • CM Commercial
  • the specified CM is a CM sponsored by the program (hereinafter referred to as “time CM”), or a CM broadcast in a broadcast frame determined by the broadcasting station (hereinafter referred to as “spot CM”). It is required to distinguish between these.
  • time CM is a CM associated with a program
  • spot CM is not a CM associated with a program. Therefore, in order to distinguish between the time CM and the spot CM included in the program, it is useful to detect the provided credit display section in which the provided credit display indicating the sponsor of the program is displayed.
  • An object of the present invention made in view of the above problems is to provide a provided credit display detection apparatus, a provided credit display detection method, and a program capable of increasing the accuracy of detection of a provided credit display section in a program. There is.
  • a provided credit display detection device is a provided credit display detection device that detects a provided credit display section in a program where a provided credit display indicating a sponsor of the program is displayed.
  • the related phrase related to the provided credit display which is included in the provided credit display announcement, is associated with an estimated period in which at least one predetermined period before and after the appearance time of the related phrase is estimated as the provided credit display section
  • a related word storage unit that stores the related word / phrase stored in the related word / phrase storage unit based on a result of voice recognition by the voice recognition unit.
  • a provision credit display section estimation unit that estimates a period corresponding to the estimation period stored in the related phrase storage unit in association with the related phrase, and the provision credit display section estimation unit.
  • a detection unit that detects, as the provided credit display section, a section that continues for a predetermined time or more among the estimated provided credit display sections.
  • the provided credit display detection method provides a provided credit display detection apparatus for detecting a provided credit display section in which a provided credit display indicating a sponsor of the program is displayed.
  • a method for detecting a credit display which is included in the announcement of the provided credit display and includes a related phrase related to the provided credit display and a predetermined period before and after the appearance time of the related phrase as the provided credit display section.
  • the program according to the present invention causes a computer to function as the provided credit display detection device.
  • the provided credit display detecting device According to the provided credit display detecting device, the provided credit display detecting method, and the program according to the present invention, it is possible to improve the accuracy of detecting the provided credit display section in the program.
  • FIG. 1 shows the structural example of the provision credit display detection apparatus which concerns on the 1st Embodiment of this invention. It is a figure which shows an example of the result of the speech recognition by the speech recognition part shown in FIG. It is a flowchart which shows an example of the provision credit display detection method in the provision credit display detection apparatus shown in FIG. It is a figure which shows the structural example of the provision credit display detection apparatus which concerns on the 2nd Embodiment of this invention. It is a figure which shows the structural example of the image recognition part shown in FIG. It is a figure which shows another structural example of the image recognition part shown in FIG. It is a figure which shows another example of a structure of the image recognition part shown in FIG.
  • FIG. 1 It is a flowchart which shows an example of the provision credit display detection method in the provision credit display detection apparatus shown in FIG. It is a figure which shows an example of the result of a detection of the provision credit display area in a program. It is a figure which shows the evaluation result of the reproduction rate (Recall) of the detection of a provision credit display by the provision credit display detection apparatus and image recognition part single body which are shown in FIG.
  • FIG. 1 is a diagram illustrating a configuration example of a provided credit display detection apparatus 100 according to the first embodiment of the present invention.
  • the provided credit display detection apparatus 100 according to the present embodiment detects a provided credit display section in which a provided credit display indicating a sponsor of the program is displayed in the program.
  • the provided credit display detection apparatus 100 shown in FIG. 1 includes a broadcast video / audio signal storage unit 110, a related phrase storage unit 120, a recognition voice data creation unit 130, a voice recognition unit 140, and a related phrase detection unit 150.
  • the provided credit display section estimation unit 160 and the detection unit 170 are provided.
  • the broadcast video / audio signal storage unit 110 stores a broadcast video / audio signal obtained by encoding a program to be detected for providing credit display (hereinafter referred to as “recognition target program”) with a fixed time length (for example, 65 minutes). To do.
  • the broadcast video / audio signal storage unit 110 converts the video signal of a program to H.264.
  • a signal encoded by the H.264 system and a signal obtained by encoding the audio signal of the program by the AAC (Advanced Audio Coding) system are stored in the MP4 file format.
  • the broadcast video / audio signal storage unit 110 is not limited to a video / audio signal of a broadcast program, and may store a video / audio signal of a program for Internet distribution.
  • the related phrase storage unit 120 is included in the announcement of the provided credit display (the announcement that flows when the provided credit is displayed), and stores related phrases related to the provided credit display.
  • related terms there are phrases such as “seen”, “sponsor”, “provided”, “send (sent / sent)”, etc., which are often included in the announcement of the provided credit display.
  • phrases which shows a company name etc. for example.
  • the related phrase accumulation unit 120 accumulates an estimation period in which at least one predetermined period before and after the appearance time of the related phrase is estimated as a provided credit display period in association with the related phrase.
  • the estimated period of the related phrase is set according to the position where the related phrase is likely to appear in the announcement of the provided credit display.
  • a standard sentence such as “This program will be sent / sent by the sponsor of the viewing” is often used as an announcement of the provided credit display.
  • related phrases such as “program” and “watch” are in the first half of the announcement
  • related phrases such as “sponsor” and “offer” are in the middle of the announcement
  • related phrases such as “send” are There is a tendency to appear frequently in the latter half of announcements.
  • the estimated period of the related phrase is set based on such a tendency.
  • “0 seconds to +5 seconds” is set as the estimated period for the related term “program” that is likely to appear in the first half of the announcement.
  • “ ⁇ 3 seconds to +2 seconds” is set as the estimated period.
  • “-4 seconds to +1 second” is set as the estimated period for the related phrase “send” that is likely to appear in the latter half of the announcement.
  • ⁇ X seconds to + Y seconds refers to a section from X seconds before the appearance time of the related phrase to Y seconds after the appearance time of the related phrase.
  • the recognition audio data creation unit 130 acquires the audio signal of the program to be recognized from the broadcast video / audio signal storage unit 110.
  • the recognition voice data creation unit 130 decodes the acquired voice signal, and converts the voice signal for voice recognition in a predetermined format (for example, WAV format, 16 kHz, 16 bits, monaural voice signal) into voice data for voice recognition. And output to the voice recognition unit 140.
  • a predetermined format for example, WAV format, 16 kHz, 16 bits, monaural voice signal
  • the voice recognition unit 140 performs voice recognition on the voice data for voice recognition (the voice signal of the program to be recognized) output from the voice data generation unit for recognition 130. Specifically, the speech recognition unit 140 stores parameters applied to the acoustic model / language model for speech recognition that are tuned for detection of the provided credit display. The speech recognition unit 140 performs speech recognition on the speech signal of the program to be recognized using the acoustic model / language model to which the accumulated parameters are applied, and outputs the speech recognition result to the related phrase detection unit 150.
  • the parameters applied to the acoustic model / language model may be stored in a storage unit (not shown).
  • FIG. 2 is a diagram illustrating an example of a result of voice recognition by the voice recognition unit 140.
  • FIG. 2 shows the result of speech recognition for the speech signal with the phrase “From now on, we will send it by the sponsors you see”.
  • the speech recognition unit 140 divides the target word into a plurality of words (“Word” Name ”) and transcribes it as text data by speech recognition for the speech signal.
  • the speech recognition unit 140 associates each word (“Word Name”) with an ID (“Word ID”) for identifying the word, the start time of the word (“Word Start Time”), and the word Output the end time (“Word End Time”) as a result of speech recognition.
  • the related phrase detection unit 150 detects a related phrase stored in the related phrase storage unit 120 from the result of speech recognition by the speech recognition unit 140.
  • the related phrase detection unit 150 outputs a signal “1” to the provided credit display section estimation unit 160 for the time when the related phrase is detected, and the signal “0” for other times.
  • the related phrase detection unit 150 performs the above-described processing at a predetermined time interval (for example, every one second). Therefore, for example, when the program to be recognized is 65 minutes and the above-described processing is performed at intervals of 1 second, the related phrase detection unit 150 continues 3900 signals “1” or “0” in time series.
  • the binary time series signal is output to the provided credit display interval estimation unit 160.
  • the provided credit display interval estimation unit 160 estimates the provided credit display interval based on the binary time series signal output from the related phrase detection unit 150. Specifically, the provided credit display interval estimation unit 160 starts from the detected appearance time of the related phrase (time corresponding to the signal “1”) as a starting point, and associates with the detected related phrase storage unit 120. A period corresponding to the estimated period accumulated in the is estimated as a provided credit display period. For example, it is assumed that “ ⁇ X seconds to + Y seconds” is set as the estimation period in association with a certain related phrase, and the related phrase is detected at time t. In this case, provided credit display section estimation unit 160 estimates from time t ⁇ X to time t + Y as a provided credit display section.
  • the provided credit display section estimation unit 160 outputs the result of speech recognition by the speech recognition unit 140 from the speech recognition unit 140 or the related phrase detection unit 150.
  • the provided credit display section estimation unit 160 acquires a result of speech recognition by the speech recognition unit 140, and identifies which related phrase the signal “1” included in the binary time-series signal corresponds to. be able to.
  • the provided credit display section estimation unit 160 outputs a signal “1” to the detection unit 170 for a time estimated to be a provided credit display section, and a signal “0” for other times.
  • the provided credit display section estimation unit 160 performs the above-described processing at a predetermined time interval (for example, every one second). Therefore, for example, when the program to be recognized is 65 minutes and the above-described processing is performed at intervals of 1 second, the provided credit display section estimation unit 160 receives 3900 signals “1” or “0” in time series. A continuous binary time series signal is output to the detection unit 170.
  • the detection unit 170 detects, as the provision credit display section, a section that continues for a predetermined time or more among the provision credit display sections estimated by the provision credit display section estimation unit 160. Specifically, the detection unit 170 detects, as the provided credit display period, a section in which the signal “1” is continuously arranged in a predetermined number or more in the binary time series signal output from the provided credit display period estimation unit 160.
  • the predetermined time is longer than the estimated period of the related phrase, and is approximately the same as the time generally set as the provided credit display section (for example, about ten or more seconds).
  • the provided credit display section estimation unit 160 When a related term appears outside the provided credit display section in the program, the provided credit display section estimation unit 160 outputs a signal “1”. However, in this case, if no further related phrase appears before or after the phrase, the period during which the signal “1” is output is only the period corresponding to the estimated period associated with the related phrase. On the other hand, in the provided credit display section, related phrases usually appear continuously, and have a length of, for example, about a dozen seconds. Therefore, the provided credit display section can be detected with high accuracy by detecting the section in which the signal “1” continues for a predetermined time or more as the provided credit display section.
  • the detection unit 170 outputs time information of the detected provided credit display section.
  • the detection unit 170 is 5:00 to 5 minutes.
  • the section of 10 seconds is detected as the provided credit display section, and time information is output.
  • the related phrase storage unit 120 is included in the announcement of the provided credit display, and stores the related phrase related to the provided credit display and the estimated period that is at least one predetermined period before and after the appearance time of the related phrase in association with each other. (Step S101).
  • the recognition voice data creation unit 130 creates voice data for voice recognition from the program to be recognized (step S102).
  • the voice recognition unit 140 performs voice recognition on the voice data for voice recognition (the voice signal of the program to be recognized) created by the recognition voice data creation unit 130 (step S103).
  • the related phrase detection unit 150 detects a related phrase stored in the related phrase storage unit 120 from the result of speech recognition by the speech recognition unit 140 (step S104).
  • the provided credit display section estimation unit 160 starts from the appearance time of the related phrase detected by the related phrase detection unit 150, and is stored in the related phrase storage unit 120 corresponding to the detected related phrase. A period corresponding to the period is estimated as a provided credit display section (step S105).
  • the detection unit 170 detects, as the provision credit display section, a section that continues for a predetermined time or more among the provision credit display sections estimated by the provision credit display section estimation unit 160 (step S106).
  • the estimation for estimating the provisional credit display section as a provision credit display section is included in the announcement of the provision credit display and related periods related to the provision credit display and at least one period before and after the appearance time of the related phrases.
  • the related phrase storage unit 120 that stores the period in association with each other, the speech recognition unit 140 that performs speech recognition on the speech signal of the program to be recognized, and the related phrase storage unit 120 based on the result of speech recognition by the speech recognition unit 140.
  • the related phrase detection unit 150 that detects the stored related phrases, and stores in the related phrase storage unit 120 in association with the detected related phrases starting from the appearance time of the related phrase detected by the related phrase detection unit 150
  • Provided credit display section estimation unit 160 that estimates a period corresponding to the estimated estimation period as a provided credit display section Comprises of providing a credit display interval estimated by providing credit display interval estimation unit 160, a section in which the continuous predetermined time or more, the detecting unit 170 for detecting as providing a credit display interval, the.
  • FIG. 4 is a diagram illustrating a configuration example of the provided credit display detection apparatus 100A according to the second embodiment of the present invention.
  • the provided credit display detection apparatus 100A combines the estimation of the provided credit display section using the speech recognition described in the first embodiment and the estimation of the provided credit display section using the image recognition. It is intended to further improve the accuracy of detection of the credit display section.
  • the provided credit display detection device 100A shown in FIG. 4 is different from the provided credit display detection device 100 shown in FIG. 1 in that the image recognition unit 200 is added and the detection unit 170 is changed to the detection unit 170A.
  • the provided credit display detection apparatus 100A includes a broadcast video / audio signal storage unit 110, a related phrase storage unit 120, a recognition voice data creation unit 130, a voice recognition unit 140, and a related phrase detection.
  • Unit 150 provided credit display section estimation unit 160, detection unit 170A, and image recognition unit 200.
  • the image recognition unit 200 acquires the video signal of the recognition target program, estimates the provided credit display section based on the acquired video signal of the recognition target program, and outputs the estimation result to the detection unit 170A. Details of the provided credit display section estimation by the image recognition unit 200 will be described later.
  • 170 A of detection parts are among the sections obtained by the logical sum operation or logical product operation of the provision credit display area estimated by the provision credit display area estimation part 160, and the provision credit display area estimated by the image recognition part 200. A section that continues for a predetermined time or more is detected as a provided credit display section. And 170 A of detection parts output the time information of the detected provision credit display area.
  • FIG. 5 is a diagram illustrating a configuration example of the image recognition unit 200.
  • the image recognition unit 200 shown in FIG. 5 includes a broadcast video / audio signal storage unit 210, a correct metadata storage unit 220, a parameter storage unit 230, a learning data creation unit 240, a learning unit 250, and detection image data.
  • a creation unit 260 and a provided credit display section estimation unit 270 are provided.
  • the broadcast video / audio signal storage unit 210 stores a broadcast video / audio signal obtained by encoding a broadcasted program with a fixed time length (for example, 65 minutes). For example, the broadcast video / audio signal storage unit 210 converts the video signal of a program to H.264. A signal encoded by the H.264 system and a signal obtained by encoding the audio signal of the program by the AAC system are stored in the MP4 file format.
  • the broadcast video / audio signal storage unit 210 is a program in which the time when the provided credit display is displayed by an operator or the like has been detected (hereinafter referred to as “program with the provided credit display detected”), and a program to be recognized. Broadcast video / audio signals are stored.
  • the broadcast video / audio signal of the program for which the provided credit display has been detected and the program to be recognized may be stored in the broadcast video / audio signal storage unit 110. In this case, the broadcast video / audio signal storage unit 210 need not be provided.
  • the correct metadata accumulation unit 220 accumulates time information indicating the time when the provided credit display is displayed in the program.
  • the time when the provided credit display is displayed is, for example, confirmed in advance by visual observation by an operator and stored in the correct metadata storage unit 220.
  • the parameter accumulation unit 230 accumulates parameters to be applied to a detection model that detects a provided credit display in a program, which will be described later.
  • the detection model is, for example, a model using a convolutional neural network.
  • the convolution neural network generally has a configuration in which a convolution layer and a pooling layer are repeatedly arranged in this order from the input side, and then all coupling layers are arranged.
  • the convolution layer a process of applying a convolution filter to the input image is performed.
  • the rectangular filter is applied to the output of the convolution layer while being sequentially shifted, and the maximum value in the rectangular filter is extracted to generate a new image.
  • processing is performed in which the image data from which the characteristic portion is extracted by the convolution layer and the pooling layer are combined into one node and a value converted by the activation function is output.
  • the parameter accumulation unit 230 accumulates filter weights of filters applied in each layer, a bias parameter to be added to the output of the convolution layer, and the like.
  • the learning data creation unit 240 acquires the broadcast video / audio signal of the program whose provided credit display has been detected from the broadcast video / audio signal storage unit 210. In addition, the learning data creation unit 240 acquires time information of the provided credit display in the program from the correct metadata storage unit 220.
  • the learning data creation unit 240 includes a still image in which the provided credit display is displayed (hereinafter referred to as a still image with the provided credit display) and a still image in which the provided credit display is not displayed from the program for which the provided credit display has been detected.
  • a picture hereinafter referred to as “still picture without provided credit display” is created as learning data.
  • the learning data creation unit 240 decodes the acquired video signal and creates still images that are continuous in time series at predetermined time intervals.
  • a still image may be created using only an I frame that has undergone intra-screen coding.
  • the learning data creation unit 240 creates a still image every second.
  • the learning data creation unit 240 creates, for example, 3900 still images that are continuous in time series at intervals of 1 second for a 65-minute program.
  • the learning data creation unit 240 extracts a still image with provided credit display from the generated still image based on the acquired time information. Further, the learning data creation unit 240 extracts a still image without a provided credit display from the generated still image. A still image without a provided credit display is randomly extracted from a still image at a time other than the time indicated in the acquired time information.
  • the learning data creation unit 240 extracts, for example, about 8000 still images with provided credit display and still images without provided credit display. In this case, for example, when the broadcast time of a program whose provided credit display has been detected is 65 minutes, the learning data creation unit 240 performs the above-described processing on a plurality of programs and extracts a necessary number of still images. .
  • the learning data creation unit 240 outputs the extracted still image with provided credit display and the still image without provided credit display to the learning unit 250 as learning data.
  • the learning unit 250 uses the learning data (the still image with the provided credit display and the still image without the provided credit display) created by the learning data creating unit 240 and applies it to the detection model for detecting the provided credit display in the program.
  • Learn parameters For example, when the detection model is a model using the above-described convolutional neural network, the learning unit 250 learns the filter weight and the bias parameter using the stochastic gradient method.
  • the learning unit 250 stores the learned parameters in the parameter storage unit 230.
  • the detection image data creation unit 260 acquires the video signal of the program to be recognized from the broadcast video / audio signal storage unit 210.
  • the detection image data creation unit 260 decodes the acquired video signal of the program to be recognized, and creates still images that are continuous in time series at predetermined time intervals. For example, the detection image data creation unit 260 creates a still image every second. In this case, the detection image data creation unit 260 creates, for example, 3900 still images that are continuous in time series at intervals of 1 second for a 65-minute program.
  • the detection image data creation unit 260 outputs the created still images that are continuous in time series to the provided credit display interval estimation unit 270.
  • the provided credit display section estimation unit 270 estimates the provided credit display section in the recognition target program using a detection model to which the parameter learned by the learning unit 250 is applied.
  • the provided credit display section estimation unit 270 sequentially detects the provided credit display in the program using the detection image data (still images of the recognition target program) output from the detection image data creation unit 260. Enter into the detection model. Then, provided credit display section estimation unit 270 generates a time-series signal indicating in time series whether or not provided credit is displayed in each still image based on the output value of the detection model for each still image.
  • the provided credit display section estimation unit 270 applies the parameters stored in the parameter storage unit 230 to the detection model. For example, when the detection model is a model using a convolutional neural network, the provided credit display interval estimation unit 270 constructs a network (detection model) with the parameters stored in the parameter storage unit 230 as fixed values.
  • the provided credit display section estimation unit 270 determines that the input still image is a still image with provided credit display, and outputs a signal “1”, for example. To do. In addition, when the output value of the detection model is smaller than a predetermined threshold, the provided credit display section estimation unit 270 determines that the input still image is a still image without provided credit display, and for example, outputs a signal “0”. Output.
  • the provided credit display section estimation unit 270 performs the above-described determination for each still image of the recognition target program in time series, and indicates whether or not the provided credit is displayed on each still image by a signal “0” or A binary time series signal indicated by a signal “1” is generated.
  • the provided credit display section estimation unit 270 generates a binary time series signal that is a signal “1” for the section estimated as the provided credit display section and a signal “0” for the other sections.
  • the provided credit display interval estimation unit 270 outputs the generated binary time series signal to the detection unit 170A.
  • the provided credit display white characters with a black frame, color characters, etc. are used as characters indicating the sponsor name.
  • characters of various fonts are used as characters indicating the sponsor name.
  • the provided credit display may include only the sponsor logo.
  • the provided credit display position may be the entire screen, lower right, lower left, upper right, upper left, or lower center.
  • learning data is created from a program for which the provided credit display has been detected, and parameters to be applied to a detection model for detecting the provided credit display in the program are learned using the learned data. Then, in the image recognition unit 200 shown in FIG. 5, the provided credit display section in the program to be recognized is estimated using a detection model to which the learned parameter is applied. Therefore, according to the image recognition unit 200 shown in FIG. 5, the provided credit display section is detected even for the provided credit display with various variations as described above by using the provided credit display with various variations as the learning data. can do. Further, according to the image recognition unit 200 shown in FIG. 5, since the video signal of the program to be recognized is used, the provided credit display section can be detected even when there is no announcement.
  • FIG. 6 is a diagram illustrating a configuration example of an image recognition unit 200A that estimates a provided credit display section based on a video signal of a program.
  • FIG. 6 the same components as those in FIG.
  • the image recognition unit 200A illustrated in FIG. 6 is different from the image recognition unit 200 illustrated in FIG. 5 in that the learning data creation unit 240 is changed to the learning data creation unit 240A and the learning unit 250 is changed to the learning unit 250A.
  • the difference is that the provision credit display section estimation unit 270 is changed to the provision credit display section estimation unit 270A.
  • the learning data creation unit 240A acquires, from the broadcast video / audio signal storage unit 210, a broadcast signal of a program whose provided credit display has been detected for each day of the week. Further, the learning data creation unit 240 ⁇ / b> A obtains the time information of the provided credit display in the program from the correct metadata storage unit 220. The learning data creation unit 240A creates learning data for each day of the week from the program for each day of the week on which the acquired credit display has been detected, and outputs the learning data to the learning unit 250A.
  • the learning data creation unit 240A includes an initial learning learning data creation unit 241A and a weekly relearning learning data creation unit 242A.
  • the learning data creation unit 241A for initial learning acquires the video signal of the program whose provision credit display has been detected from the broadcast video / audio signal storage unit 210. For example, the learning data creation unit 241A for initial learning acquires a video signal of a program for one day one month before. Further, the learning data creation unit 241A for initial learning obtains the time information of the provided credit display in the program from which the video signal has been obtained from the correct metadata storage unit 220. Then, the learning data creation unit 241A for initial learning creates learning data for initial learning of the detection model from the acquired program for which the provided credit display has been detected based on the time information of the provided credit display in the program.
  • the learning data creation unit 241A for initial learning decodes the acquired video / audio signal, and creates still images that are continuous in time series at predetermined time intervals. For example, the learning data creation unit 241A for initial learning creates a still image every second. In this case, the learning data creation unit 241A for initial learning creates, for example, 3900 still images that are continuous in time series at intervals of 1 second for a program of 65 minutes.
  • the learning data creation unit 241A for initial learning extracts a still image with provided credit display from the generated still image based on the acquired time information. Further, the learning data creation unit for initial learning 241A extracts a still image without a provided credit display from the generated still image. A still image without a provided credit display is randomly extracted from a still image at a time other than the time indicated in the acquired time information.
  • the learning data creation unit 241A for initial learning extracts, for example, about 8000 still images with provided credit display and still images without provided credit display.
  • the learning data creation unit 241A for initial learning outputs the extracted still image with provided credit display and the still image without provided credit display to the learning unit 250A as learning data for initial learning of the detection model.
  • the day-by-day relearning learning data creation unit 242A acquires, from the broadcast video / audio signal storage unit 210, a video signal of a program whose provided credit display has been detected for each day of the week.
  • the weekly relearning learning data creation unit 242A acquires a video signal of a program for each day of the week in the previous week.
  • the learning data creation unit 242A for each day of the week acquires from the correct metadata storage unit 220 the time information of the provided credit display in the program from which the video signal has been acquired.
  • the learning data creation unit 242A for each week re-learning generates learning data for re-learning the detection model based on the time information of the provided credit display in the program from the program for which the provided credit display has been detected. create.
  • the learning data creation unit 242A for each day of the week re-learning decodes the acquired video signal and creates still images that are continuous in time series at predetermined time intervals. For example, the weekly relearning learning data creation unit 242A creates a still image every second. In this case, the weekly relearning learning data creation unit 242A creates, for example, 3900 still images that are continuous in time series at intervals of 1 second for a 65-minute program.
  • the learning data creation unit 242A for each day of the week re-learning extracts a still image with provided credit display from the generated still image based on the acquired time information. Also, the learning data creation unit 242A for relearning by day of the week extracts a still image without a provided credit display from the generated still image. A still image without a provided credit display is randomly extracted from a still image at a time other than the time indicated in the acquired time information.
  • the weekly relearning learning data creation unit 242A extracts, for example, about 1000 still images with provided credit display and still images without provided credit display.
  • the weekly relearning learning data creation unit 242A performs the above-described processing for each day of the week. Then, the learning data creation unit 242A for each day of the week outputs the still image with provided credit display and the still image without the provided credit display extracted for each day of the week to the learning unit 250A as re-learning data for each day of the week. .
  • Learning unit 250A learns (relearns) the parameters to be applied to the detection model for each day of the week using the learning data for each day of the week created by learning data creation unit 240A.
  • the learning unit 250A includes an initial learning unit 251A and a day-by-day relearning unit 252A.
  • the initial learning unit 251A uses the learning data for initial learning created by the initial learning data creation unit 241A to learn parameters to be applied to the detection model for detecting the provided credit display in the program. For example, when the detection model is a model using the above-described convolutional neural network, the initial learning unit 251A learns the filter weight and the bias parameter using the stochastic gradient method. The initial learning unit 251A stores the learned parameters in the parameter storage unit 230.
  • the day-by-day relearning unit 252A uses the relearning data for each day of the week created by the day-by-day relearning learning data creation unit 242A to set the parameter applied to the detection model for detecting the provided credit display in the program for each day of the week. To learn.
  • the day-by-day relearning unit 252A stores the learned parameters in the parameter storage unit 230. That is, the day-by-day relearning unit 252 ⁇ / b> A learns the parameters to be applied to the detection model for each day of the week, and accumulates them in the parameter accumulation unit 230.
  • learning (relearning) parameters to be applied to the detection model using the relearning data for each day of the week it is possible to set parameters suitable for detection of the provided credit display in the program for each day of the week.
  • the provided credit display section estimation unit 270A applies the learned parameter for the day of the week on which the recognition target program is broadcast, which is stored in the parameter storage unit 230, to the detection model, and determines the provided credit display section in the recognition target program. presume.
  • the provided credit display section estimation unit 270A detects the provided credit display in the program sequentially from the time-series continuous still images of the recognition target program output from the detection image data creation unit 260. Enter into the detection model. Then, provided credit display section estimation unit 270A generates a time-series signal indicating in time series whether or not provided credit is displayed in each still image based on the output value of the detection model for each still image.
  • the provided credit display section estimation unit 270A applies the parameter learned for the day of the week on which the program to be recognized, which is stored in the parameter storage unit 230, is broadcast to the detection model.
  • the provided credit display interval estimation unit 270A stores the parameters learned for the day of the week on which the recognition target program is broadcast, which is accumulated in the parameter accumulation unit 230. Build a network (detection model) with a fixed value.
  • Provided credit display section estimation unit 270A determines that the input still image is a still image with provided credit display when the output value of the detection model is equal to or greater than a predetermined threshold, and outputs signal “1”, for example. To do. In addition, when the output value of the detection model is smaller than the predetermined threshold, the provided credit display section estimation unit 270A determines that the input still image is a still image without the provided credit display, and outputs, for example, a signal “0”. Output.
  • the provided credit display section estimation unit 270A performs the above-described determination on each still image of the recognition target program in time series, and indicates whether or not the provided credit is displayed on each still image by a signal “0” or A binary time series signal indicated by a signal “1” is generated.
  • provided credit display interval estimation section 270A generates a binary time series signal that is signal “1” for the interval estimated as the provided credit display interval and signal “0” for the other intervals.
  • the provided credit display interval estimation unit 270A outputs the generated binary time series signal to the detection unit 170A.
  • the same program is often broadcast every week on the same day of the week. Such programs tend to display the same form of offer credit display. Therefore, according to the image recognition unit 200A shown in FIG. 6, learning data is created for each day of the week, and the learning data is used to learn parameters to be applied to the detection model for each day of the week. The detection accuracy can be improved.
  • FIG. 7 is a diagram illustrating a configuration example of the image recognition unit 200B that estimates a provided credit display section based on a video signal of a program. 7, the same components as those in FIGS. 5 and 6 are denoted by the same reference numerals, and description thereof is omitted.
  • the image recognition unit 200B illustrated in FIG. 7 is different from the image recognition unit 200A illustrated in FIG. 6 in that the learning data creation unit 240A is changed to the learning data creation unit 240B, and the learning unit 250A is changed to the learning unit 250B. The point is different.
  • the learning data creation unit 240B acquires, from the broadcast video / audio signal storage unit 210, a video signal of a program whose provided credit display has been detected for each day of the week. In addition, the learning data creation unit 240B obtains the time information of the provided credit display in the program from the correct metadata storage unit 220. The learning data creation unit 240B creates learning data for each day of the week from the program for which the provided credit display acquired for each day of the week has been detected, and outputs the learning data to the learning unit 250B. Specifically, for each day of the week, the learning data creation unit 240B determines, from the program for which the provided credit display has been detected and the time information of the provided credit display, the still image with the provided credit display and the time when the still image was broadcast.
  • the learning data creation unit 240B differs from the learning data creation unit 240A in that the learning data creation unit 241A for initial learning is changed to the learning data creation unit 241B for initial learning, and the learning data creation unit 242A for weekly re-learning. Is changed to the learning data creation unit 242B for relearning by day of week.
  • the learning data creation unit 241B for initial learning acquires the video signal of the program whose provision credit display has been detected from the broadcast video / audio signal storage unit 210. For example, the learning data creation unit 241B for initial learning acquires a video signal of a program for one day one month before. Further, the learning data creation unit 241B for initial learning acquires from the correct metadata storage unit 220 time information of the provided credit display in the program from which the video signal has been acquired. Then, the learning data for initial learning creation unit 241B creates learning data for initial learning of the detection model from the program for which the provided credit display has been detected based on the time information of the provided credit display in the program.
  • the learning data creation unit 241B for initial learning decodes the acquired video signal and creates still images that are continuous in time series at predetermined time intervals. For example, the learning data creation unit 241B for initial learning creates a still image every second. In this case, the learning data creation unit 241B for initial learning creates, for example, 3900 still images that are continuous in time series at intervals of 1 second for a program of 65 minutes.
  • the learning data creation unit 241B for initial learning extracts, from the generated still image, a still image with a provided credit display as a pair with the time when the still image was broadcast.
  • the learning data creation unit 241B for initial learning extracts, from the generated still image, a still image without a provided credit display as a pair with the time when the still image was broadcasted based on the acquired time information.
  • a still image without a provided credit display is randomly extracted from a still image at a time other than the time indicated in the acquired time information.
  • the learning data creation unit 241B for initial learning includes a pair of a still image with provided credit display and a time when the still image is broadcast, and a still image without provided credit display and a time when the still image is broadcast. For example, about 8000 pairs are extracted.
  • the learning data creation unit 241B for initial learning uses a pair of the extracted still image with provided credit display and the time when the still image was broadcast, and the time when the still image without provided credit display and the still image were broadcast. Are paired as learning data for initial learning of the detection model to the learning unit 250B.
  • the day-by-day relearning learning data creation unit 242B acquires, from the broadcast video / audio signal storage unit 210, a video signal of a program whose provided credit display has been detected for each day of the week.
  • the weekly relearning learning data creation unit 242B acquires a video signal of a program for each day of the week in the previous week.
  • the learning data creation unit 242 ⁇ / b> B for each day of the week acquires the time information of the provided credit display in the program from which the video signal has been acquired from the correct metadata storage unit 220.
  • the learning data creation unit 242B for each week re-learning generates learning data for re-learning of the detection model from the program for which the provided credit display has been detected based on the time information of the provided credit display in the program. create.
  • the learning data creation unit 242B for each day of the week re-learns decodes the acquired video signal and creates still images that are continuous in time series at predetermined time intervals.
  • the weekly relearning learning data creation unit 242B creates a still image every second.
  • the weekly relearning learning data creation unit 242B creates, for example, 3900 still images that are continuous in time series at intervals of 1 second for a 65-minute program.
  • the learning data creation unit 242B for each day of relearning extracts, based on the acquired time information, a still image with a provided credit display from the generated still image as a pair with the time when the still image was broadcast. To do.
  • the learning data creation unit 242B for each day of the week extracts the still image without the provided credit display from the generated still image as a pair with the time when the still image was broadcast.
  • a still image without a provided credit display is randomly extracted from a still image at a time other than the time indicated in the acquired time information.
  • the learning data creation unit 242B for each day of relearning includes a pair of a still image with provided credit display and a time when the still image is broadcast, and a time when a still image without provided credit display and the still image are broadcast. For example, about 1000 pairs are extracted.
  • the weekly relearning learning data creation unit 242B performs the above-described processing for each day of the week. Then, the learning data creation unit 242B for each day of re-learning extracts a pair of a still image with provided credit display and a time when the still image was broadcast, and a still image without provided credit display, extracted for each day of the week.
  • the pair with the time when the still image was broadcast is output to the learning unit 250B as relearning data for each day of the week.
  • the learning unit 250B learns (relearns) the parameters applied to the detection model for each day of the week using the learning data for each day of the week created by the learning data creation unit 240B.
  • the learning unit 250B includes an initial learning unit 251B and a day-by-day relearning unit 252B.
  • the initial learning unit 251B includes learning data for initial learning created by the learning data creation unit for initial learning 241B (a pair of a still image with a provided credit display and a time when the still image was broadcast, and a provided credit display.
  • a parameter applied to a detection model for detecting a display of credit provided in a program is learned using a pair of a still image with no image and a time when the still image was broadcast.
  • the detection model is a model using the above-described convolutional neural network
  • the initial learning unit 251B learns the filter weight and the bias parameter using the stochastic gradient method.
  • the initial learning unit 251B stores the learned parameters in the parameter storage unit 230.
  • Re-learning unit 252B for each day of the week is re-learning data for each day of the week created by learning data creation unit 242B for each day of the week (the time when the still image with provided credit display and the still image are broadcast for each day of the week) And a pair of a still image without provided credit display and a time when the still image was broadcasted), a parameter applied to a detection model for detecting provided credit display in a program is learned for each day of the week. .
  • the day-by-day relearning unit 252B stores the learned parameters in the parameter storage unit 230.
  • the learning data creation unit 240B displays, for each day of the week, learning data (a pair of a still image with a provided credit display and a time when the still image was broadcast, and a still image without a provided credit display.
  • the learning unit 250B learns parameters to be applied to the detection model for each day of the week using the learning data created by the learning data creation unit 240B.
  • the learning data creation unit 240B broadcasts a pair of a still image with provided credit display and a time when the still image is broadcast, and a still image without provided credit display and the still image without distinguishing the day of the week. A pair with a given time may be created as learning data.
  • the learning data creation unit 240B broadcasts the still image with the provided credit display and the time when the still image is broadcast, and the still image without the provided credit display and the still image from the program for which the provided credit display has been detected.
  • the generated time may be created as learning data.
  • the learning unit 250B may learn parameters to be applied to the detection model using the learning data created by the learning data creation unit 240B without distinguishing the day of the week.
  • the same program is often broadcast every week at the same time on the same day of the week. Such programs tend to display the same form of offer credit display. Therefore, according to the image recognition unit 200B shown in FIG. 7, the still image with the provided credit display and the time when the still image is broadcast, and the still image without the provided credit display and the time when the still image is broadcast are displayed. It is possible to improve the detection accuracy of the provided credit display by creating as learning data and learning parameters to be applied to the detection model using the learning data.
  • learning data may be created and parameters to be applied to the detection model may be divided into weekdays, Saturdays, and Sundays. Further, for example, learning data may be created and parameters applied to the detection model may be learned for each program.
  • the detection model for detecting the display of the credit provided in the program has been described using the convolutional neural network.
  • a detection model for detecting the presence / absence of the provided credit display may be constructed using, for example, SVM (Support Vector Vector Machine).
  • step S101 accumulation of related terms and estimation periods (step S101), voice data for voice recognition, Are generated (step S102), voice recognition of the audio signal of the program to be recognized (step S103), detection of related words (step S104), and provision credit display section estimation (step S105).
  • the image recognition unit 200 estimates the provided credit display section based on the video signal of the program to be recognized (step S201). Note that one of the processing from step S101 to step S105 and the processing of step S201 may be performed first or may be performed in parallel.
  • the detection unit 170A is a section obtained by a logical sum operation or a logical product operation of the provided credit display section estimated by the provided credit display section estimation unit 160 and the provided credit display section estimated by the image recognition unit 200.
  • a section that continues for a predetermined time or more is detected as a provided credit display section.
  • the detection unit 170A detects the provided credit display section by a logical sum operation.
  • the detection unit 170A detects the provided credit display section by a logical product operation.
  • FIG. 9 is a diagram illustrating an example of a result of detection of a provided credit display section in a program.
  • the horizontal axis indicates time (seconds).
  • there are provided credit display sections between 600 seconds and 700 seconds, between 3100 seconds and 3200 seconds, and between 3200 seconds and 3300 seconds, respectively.
  • the rising edge with the letter “S” at each time indicates the timing estimated by the voice recognition (provided credit display interval estimation unit 160) as the provided credit display interval.
  • the rising edge with the letter “I” at each time indicates the timing estimated by the image recognition (by the image recognition unit 200) as the provided credit display section.
  • the provided credit display section that exists between 600 seconds and 700 seconds and the provided credit display section that exists between 3100 seconds and 3200 seconds are detected in image recognition, but in voice recognition, Not detected. Further, the provided credit display section existing between 3200 seconds and 3300 seconds is detected by the voice recognition but not by the image recognition.
  • the detection of the provided credit display section may be different between the detection of the provided credit display section by voice recognition and the detection of the provided credit display section by voice recognition. Therefore, as in the present embodiment, the provision credit display section is estimated by image recognition and the provision credit display section is estimated by voice recognition, and the provision credit display section is detected by combining these estimation results.
  • the provided credit display section can be detected with higher accuracy without omission.
  • FIG. 10 is a diagram illustrating an example of the detection result of the provided credit display by the provided credit display detection device 100A and the image recognition unit 200 according to the present embodiment.
  • the provided credit display detection device 100A and the image recognition unit 200 alone on a certain day (N days), a day three days after N (N + 3 days), and a day four days after N days (N + 4 days), respectively.
  • N days a day three days after N
  • N + 4 days a day four days after N days
  • the reproduction rate of the provided credit display detection by the provided credit display detection device 100A is the reproduction of the provided credit display detection by the image recognition unit 200 alone. It exceeds the rate. Therefore, it can be seen that the provided credit display detection device 100A can detect the provided credit display section more accurately and more accurately than the image recognition unit 200 alone.
  • the provided credit display detection device 100A includes the related words and phrases related to the provided credit display and the predetermined period before and after the appearance time of the related words included in the announcement of the provided credit display.
  • the related phrase storage unit 120 that associates and accumulates the estimated period for estimating the provided credit display section
  • the speech recognition unit 140 that performs speech recognition on the audio signal of the program
  • the speech recognition unit 140 A related phrase detection unit 150 that detects a related phrase stored in the storage unit 120, and a related phrase storage associated with the detected related phrase starting from the appearance time of the related phrase detected by the related phrase detection unit 150
  • Provision credit that estimates a period corresponding to the estimation period accumulated in the unit 120 as a provision credit display section Display section estimation section 160, image recognition section 200 that estimates a provision credit display section based on a video signal of a program, provision credit display section estimated by provision credit display section estimation section 160, and image recognition section 200.
  • a detection unit 170A that detects, as a
  • the provided credit display section By estimating the provided credit display section by voice recognition and estimating the provided credit display section by image recognition, combining the results of these estimations to detect the provided credit display section, the provided credit display section is not leaked, It can be detected with higher accuracy.
  • a computer can also be used to function as the provided credit display detection devices 100 and 100A.
  • Such a computer stores a program describing processing contents for realizing the functions of the provided credit display detection devices 100 and 100A in a storage unit of the computer, and reads and executes the program by the CPU of the computer. This can be realized.
  • the program may be recorded on a computer-readable recording medium. If such a recording medium is used, the program can be installed in the computer.
  • the recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM or a DVD-ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

番組における提供クレジット表示区間の検出の高精度化を図る。本発明に係る提供クレジット表示検出装置１００は、提供クレジット表示のアナウンスに含まれ、提供クレジット表示に関連する関連語句と、推定期間とを対応付けて蓄積する関連語句蓄積部１２０と、番組の音声信号に対する音声認識を行う音声認識部１４０と、音声認識の結果から、蓄積されている関連語句を検出する関連語句検出部１５０と、検出された関連語句の出現時刻を起点として、検出された関連語句に対応付けて蓄積されている推定期間に相当する期間を、提供クレジット表示区間と推定する提供クレジット表示区間推定部１６０と、推定された提供クレジット表示区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する検出部１７０と、を備える。

Description

提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
　本発明は、番組における、その番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出する提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムに関する。
　非特許文献１には、ニューラルネットワークを用いて、発話音声の中から予め定められた特定の単語を検出する技術が記載されている。
G. Chen, C. Parada, G. Heigold, "Small-footprint keyword spotting using deep neural networks", in Proc. ICASSP 2014.
　例えば、テレビ放送などにより放送される番組には、コマーシャル（以下、「ＣＭ」（Commercial Message）と称する）及びその番組のスポンサーを示す提供クレジット表示が含まれることがある。近年、ＣＭの効果の測定などのために、番組におけるＣＭを特定してカウントすることが求められている。また、特定したＣＭが、番組のスポンサーによるＣＭ（以下、「タイムＣＭ」と称する）であるか、放送局が定めた放送枠で放送されるＣＭ（以下、「スポットＣＭ」と称する）であるかを区別することが求められている。タイムＣＭは、番組に紐づけられたＣＭであるのに対し、スポットＣＭは、番組に紐づけられたＣＭではない。そのため、番組に含まれるタイムＣＭとスポットＣＭとを区別するためには、番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出することが有用である。
　従来は、作業者の目視による提供クレジット表示の確認が行われており、コストの増加を招いていた。非特許文献１に記載の技術を用いて、番組から、提供クレジット表示のアナウンスに出現する特定の単語を検出することも考えられる。しかしながら、非特許文献１に記載の技術では、特定の単語は検出できても、その検出結果から提供クレジット表示区間を如何にして検出するかについては考慮されていない。
　上記のような問題点に鑑みてなされた本発明の目的は、番組における提供クレジット表示区間の検出の高精度化を図ることができる提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムを提供することにある。
　上記課題を解決するため、本発明に係る提供クレジット表示検出装置は、番組における、該番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出する提供クレジット表示検出装置であって、前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句と、前記関連語句の出現時刻の前後少なくとも一方の所定の期間を前記提供クレジット表示区間と推定する推定期間とを対応付けて蓄積する関連語句蓄積部と、番組の音声信号に対する音声認識を行う音声認識部と、前記音声認識部による音声認識の結果から、前記関連語句蓄積部に蓄積されている関連語句を検出する関連語句検出部と、前記関連語句検出部により検出された関連語句の出現時刻を起点として、前記検出された関連語句に対応付けて前記関連語句蓄積部に蓄積されている推定期間に相当する期間を、前記提供クレジット表示区間と推定する提供クレジット表示区間推定部と、前記提供クレジット表示区間推定部により推定された提供クレジット表示区間のうち、所定時間以上連続する区間を、前記提供クレジット表示区間として検出する検出部と、を備える。
　また、上記課題を解決するため、本発明に係る提供クレジット表示検出方法は、番組における、該番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出する提供クレジット表示検出装置における提供クレジット表示検出方法であって、前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句と、前記関連語句の出現時刻の前後少なくとも一方の所定の期間を前記提供クレジット表示区間と推定する推定期間とを対応付けて蓄積する蓄積ステップと、番組の音声信号に対する音声認識を行う音声認識ステップと、前記音声認識の結果から、前記蓄積されている関連語句を検出する検出ステップと、前記検出された関連語句の出現時刻を起点として、前記検出された関連語句に対応付けて前記蓄積されている推定期間に相当する期間を、前記提供クレジット表示が表示された提供クレジット表示区間と推定する第１の推定ステップと、前記推定された提供クレジット表示区間が所定時間以上連続する区間を、前記提供クレジット表示区間として検出する検出ステップと、を含む。
　また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の提供クレジット表示検出装置として機能させる。
　本発明に係る提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムによれば、番組における提供クレジット表示区間の検出の高精度化を図ることができる。
本発明の第１の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。 図１に示す音声認識部による音声認識の結果の一例を示す図である。 図１に示す提供クレジット表示検出装置における提供クレジット表示検出方法の一例を示すフローチャートである。 本発明の第２の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。 図４に示す画像認識部の構成例を示す図である。 図４に示す画像認識部の別の構成例を示す図である。 図４に示す画像認識部のさらに別の構成例を示す図である。 図４に示す提供クレジット表示検出装置における提供クレジット表示検出方法の一例を示すフローチャートである。 番組における提供クレジット表示区間の検出の結果の一例を示す図である。 図４に示す提供クレジット表示検出装置及び画像認識部単体による提供クレジット表示の検出の再現率（Ｒｅｃａｌｌ）の評価結果を示す図である。
　以下、本発明を実施するための形態について、図面を参照しながら説明する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態に係る提供クレジット表示検出装置１００の構成例を示す図である。本実施形態に係る提供クレジット表示検出装置１００は、番組における、その番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出するものである。
　図１に示す提供クレジット表示検出装置１００は、放送映像／音声信号蓄積部１１０と、関連語句蓄積部１２０と、認識用音声データ作成部１３０と、音声認識部１４０と、関連語句検出部１５０と、提供クレジット表示区間推定部１６０と、検出部１７０とを備える。
　放送映像／音声信号蓄積部１１０は、提供クレジット表示の検出対象の番組（以下、「認識対象の番組」と称する）を固定時間長（例えば、６５分）でエンコードした放送映像／音声信号を蓄積する。放送映像／音声信号蓄積部１１０は、例えば、番組の映像信号をＨ．２６４方式でエンコードした信号と、番組の音声信号をＡＡＣ（Advanced Audio Coding）方式でエンコードした信号とをＭＰ４ファイル形式で格納する。なお、放送映像／音声信号蓄積部１１０は、放送用の番組の映像／音声信号に限られず、インターネット配信用の番組の映像／音声信号を蓄積してもよい。
　関連語句蓄積部１２０は、提供クレジット表示のアナウンス（提供クレジット表示の際に流れるアナウンス）に含まれ、提供クレジット表示に関連する関連語句を蓄積する。関連語句としては、例えば、提供クレジット表示のアナウンスに含まれることが多い、「ご覧の」、「スポンサー」、「提供」、「お送り（お送りします／お送りしました）」などの語句がある。また、関連語句としては、例えば、企業名を示す語句などがある。
　関連語句蓄積部１２０は、関連語句に対応付けて、その関連語句の出現時刻の前後少なくとも一方の所定の期間を提供クレジット表示区間と推定する推定期間を蓄積する。関連語句の推定期間は、提供クレジット表示のアナウンスにおいて、その関連語句が出現する可能性が高い位置に応じて設定される。
　例えば、提供クレジット表示のアナウンスとしては、「この番組は、ご覧のスポンサーの提供でお送りします／お送りしました」という定型文が用いられることが多い。このような定型文では、「番組」、「ご覧の」などの関連語句はアナウンスの前半に、「スポンサー」、「提供」などの関連語句はアナウンスの中頃に、「お送り」などの関連語句はアナウンスの後半に出現することが多いという傾向がある。関連語句の推定期間は、このような傾向に基づき設定される。
　例えば、アナウンスの前半に出現する可能性が高い関連語句「番組」に対しては、推定期間として、「０秒～＋５秒」が設定される。また、アナウンスの中頃に出現する可能性が高い関連語句「提供」に対しては、推定期間として、「－３秒～＋２秒」が設定される。また、アナウンスの後半に出現する可能性が高い関連語句「お送り」に対しては、推定期間として、「－４秒～＋１秒」が設定される。なお、「－Ｘ秒～＋Ｙ秒」とは、関連語句の出現時刻の前Ｘ秒から、関連語句の出現時刻の後Ｙ秒までの区間を指す。
　認識用音声データ作成部１３０は、放送映像／音声信号蓄積部１１０から、認識対象の番組の音声信号を取得する。認識用音声データ作成部１３０は、取得した音声信号をデコードして、所定の形式の音声認識用の音声信号（例えば、ＷＡＶ形式、１６ｋＨｚ、１６ビット、モノラル音声信号）を音声認識用の音声データとして作成し、音声認識部１４０に出力する。
　音声認識部１４０は、認識用音声データ作成部１３０から出力された、音声認識用の音声データ（認識対象の番組の音声信号）に対する音声認識を行う。具体的には、音声認識部１４０は、提供クレジット表示の検出用にチューニングされた、音声認識用の音響モデル／言語モデルに適用するパラメータを蓄積している。音声認識部１４０は、蓄積しているパラメータを適用した音響モデル／言語モデルを用いて、認識対象の番組の音声信号に対する音声認識を行い、音声認識の結果を関連語句検出部１５０に出力する。なお、音響モデル／言語モデルに適用するパラメータは、不図示の蓄積部に蓄積されていてもよい。
　図２は、音声認識部１４０による音声認識の結果の一例を示す図である。図２では、「ここからはご覧のスポンサーの提供でお送りします」という文言の音声信号に対する音声認識の結果を示している。
　図２に示すように、音声認識部１４０は、音声信号に対する音声認識により、対象の文言を複数の語句（"Word Name"）に分割して、テキストデータとして書き起こす。また、音声認識部１４０は、各語句（"Word Name"）に対応付けて、その語句を識別するＩＤ（"Word ID"）、その語句の開始時刻（"Word Start Time"）及びその語句の終了時刻（"Word End Time"）を音声認識の結果として出力する。
　図１を再び参照すると、関連語句検出部１５０は、音声認識部１４０による音声認識の結果から、関連語句蓄積部１２０に蓄積されている関連語句を検出する。関連語句検出部１５０は、関連語句が検出された時刻については、信号「１」を、それ以外の時刻については、信号「０」を提供クレジット表示区間推定部１６０に出力する。関連語句検出部１５０は、上述した処理を所定の時間間隔（例えば、１秒間隔）で行う。したがって、例えば、認識対象の番組が６５分であり、１秒間隔で上述した処理を行う場合、関連語句検出部１５０は、時系列的に信号「１」又は信号「０」が３９００個連続するバイナリ時系列信号を提供クレジット表示区間推定部１６０に出力する。
　提供クレジット表示区間推定部１６０は、関連語句検出部１５０から出力されたバイナリ時系列信号に基づき、提供クレジット表示区間を推定する。具体的には、提供クレジット表示区間推定部１６０は、検出された関連語句の出現時刻（信号「１」に対応する時刻）を起点として、検出された関連語句に対応付けて関連語句蓄積部１２０に蓄積されている推定期間に相当する期間を、提供クレジット表示区間と推定する。例えば、ある関連語句に対応付けて、推定期間として「－Ｘ秒～＋Ｙ秒」が設定されており、その関連語句が時刻ｔに検出されたとする。この場合、提供クレジット表示区間推定部１６０は、時刻ｔを起点として、時刻ｔ－Ｘから時刻ｔ＋Ｙまでを提供クレジット表示区間と推定する。なお、提供クレジット表示区間推定部１６０は、音声認識部１４０による音声認識の結果を、音声認識部１４０あるいは関連語句検出部１５０から出力する。提供クレジット表示区間推定部１６０は、音声認識部１４０による音声認識の結果を取得することで、バイナリ時系列信号に含まれる信号「１」が、どの関連語句に対応する信号であるかを特定することができる。
　提供クレジット表示区間推定部１６０は、提供クレジット表示区間と推定した時刻については、信号「１」を、それ以外の時刻については、信号「０」を検出部１７０に出力する。提供クレジット表示区間推定部１６０は、上述した処理を所定の時間間隔（例えば、１秒間隔）で行う。したがって、例えば、認識対象の番組が６５分であり、１秒間隔で上述した処理を行う場合、提供クレジット表示区間推定部１６０は、時系列的に信号「１」又は信号「０」が３９００個連続するバイナリ時系列信号を検出部１７０に出力する。
　検出部１７０は、提供クレジット表示区間推定部１６０により推定された提供クレジット表示区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する。具体的には、検出部１７０は、提供クレジット表示区間推定部１６０から出力されたバイナリ時系列信号において、信号「１」が所定数以上連続して並ぶ区間を、提供クレジット表示区間として検出する。ここで、所定時間は、関連語句の推定期間よりも長く、提供クレジット表示区間として一般的に設定される時間と同程度の時間（例えば、十数秒程度）である。
　番組内において、提供クレジット表示区間外に関連語句が出現した場合、提供クレジット表示区間推定部１６０からは信号「１」が出力される。しかしながら、この場合、その語句の前後に、さらに関連語句が出現しなければ、信号「１」が出力される期間は、その関連語句に対応付けられた推定期間に相当する期間だけである。一方、提供クレジット表示区間は通常、関連語句が連続して出現し、例えば、十数秒程度の長さを有している。したがって、信号「１」が所定時間以上連続する区間を、提供クレジット表示区間として検出することで、高精度に提供クレジット表示区間を検出することができる。
　検出部１７０は、検出した提供クレジット表示区間の時刻情報を出力する。検出部１７０は、提供クレジット表示区間推定部１６０から出力されたバイナリ時系列信号において、例えば、３００番目から３１０番目に信号「１」が連続して並んでいる場合、５分００秒から５分１０秒の区間を提供クレジット表示区間として検出し、時刻情報を出力する。
　次に、本実施形態に係る提供クレジット表示検出装置１００における提供クレジット表示検出方法について、図３に示すフローチャートを参照して説明する。
　関連語句蓄積部１２０は、提供クレジット表示のアナウンスに含まれ、提供クレジット表示に関連する関連語句と、関連語句の出現時刻の前後少なくとも一方の所定の期間である推定期間とを対応付けて蓄積する（ステップＳ１０１）。
　次に、認識用音声データ作成部１３０は、認識対象の番組から音声認識用の音声データを作成する（ステップＳ１０２）。
　次に、音声認識部１４０は、認識用音声データ作成部１３０により作成された音声認識用の音声データ（認識対象の番組の音声信号）に対する音声認識を行う（ステップＳ１０３）。
　次に、関連語句検出部１５０は、音声認識部１４０による音声認識の結果から、関連語句蓄積部１２０に蓄積されている関連語句を検出する（ステップＳ１０４）。
　次に、提供クレジット表示区間推定部１６０は、関連語句検出部１５０により検出された関連語句の出現時刻を起点として、検出された関連語句に対応して関連語句蓄積部１２０に蓄積されている推定期間に相当する期間を、提供クレジット表示区間と推定する（ステップＳ１０５）。
　次に、検出部１７０は、提供クレジット表示区間推定部１６０により推定された提供クレジット表示区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する（ステップＳ１０６）。
　このように本実施形態においては、提供クレジット表示のアナウンスに含まれ、提供クレジット表示に関連する関連語句と、関連語句の出現時刻の前後少なくとも一方の所定の期間を提供クレジット表示区間として推定する推定期間とを対応付けて蓄積する関連語句蓄積部１２０と、認識対象の番組の音声信号に対する音声認識を行う音声認識部１４０と、音声認識部１４０による音声認識の結果から、関連語句蓄積部１２０に蓄積されている関連語句を検出する関連語句検出部１５０と、関連語句検出部１５０により検出された関連語句の出現時刻を起点として、検出された関連語句に対応付けて関連語句蓄積部１２０に蓄積されている推定期間に相当する期間を提供クレジット表示区間と推定する提供クレジット表示区間推定部１６０と、提供クレジット表示区間推定部１６０により推定された提供クレジット表示区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する検出部１７０と、を備える。
　音声認識により検出された関連語句の前後の推定期間を提供クレジット表示区間と推定し、推定した提供クレジット表示区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出することで、関連語句が連続して出現する区間だけを提供クレジット表示区間として検出することができる。番組内において、提供クレジット表示区間外に関連語句が出現する場合がある。しかしながら、提供クレジット表示区間外において、関連語句が連続して出現することは少ない。したがって、本実施形態に係る提供クレジット表示検出装置１００においては、提供クレジット表示とは無関係に、関連語句が出現しても、提供クレジット表示区間とは検出されず、提供クレジット表示の際に関連語句が連続して出現した区間だけが提供クレジット表示区間として検出されるので、番組における提供クレジット表示区間の検出の高精度化を図ることができる。
　（第２の実施形態）
　図４は、本発明の第２の実施形態に係る提供クレジット表示検出装置１００Ａの構成例を示す図である。図４において、図１と同様の構成については同じ符号を付し、説明を省略する。
　提供クレジット表示においては、アナウンスが無く、例えば、「提供」という語句、及び、スポンサーの企業名あるいはロゴだけが表示される場合がある。この場合、第１の実施形態に係る提供クレジット表示検出装置１００では、提供クレジット表示区間を検出することが困難である。本実施形態に係る提供クレジット表示検出装置１００Ａは、第１の実施形態において説明した音声認識を利用した提供クレジット表示区間の推定と、画像認識を利用した提供クレジット表示区間の推定とを組み合わせ、提供クレジット表示区間の検出の更なる高精度化を図るものである。
　図４に示す提供クレジット表示検出装置１００Ａは、図１に示す提供クレジット表示検出装置１００と比較して、画像認識部２００を追加した点と、検出部１７０を検出部１７０Ａに変更した点とが異なる。すなわち、本実施形態に係る提供クレジット表示検出装置１００Ａは、放送映像／音声信号蓄積部１１０と、関連語句蓄積部１２０と、認識用音声データ作成部１３０と、音声認識部１４０と、関連語句検出部１５０と、提供クレジット表示区間推定部１６０と、検出部１７０Ａと、画像認識部２００とを備える。
　画像認識部２００は、認識対象の番組の映像信号を取得し、取得した認識対象の番組の映像信号に基づき、提供クレジット表示区間を推定し、推定結果を検出部１７０Ａに出力する。なお、画像認識部２００による提供クレジット表示区間の推定の詳細については後述する。
　検出部１７０Ａは、提供クレジット表示区間推定部１６０により推定された提供クレジット表示区間と、画像認識部２００により推定された提供クレジット表示区間との論理和演算又は論理積演算により得られる区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する。そして、検出部１７０Ａは、検出した提供クレジット表示区間の時刻情報を出力する。
　次に、画像認識部２００による提供クレジット表示区間の推定について説明する。
　図５は、画像認識部２００の構成例を示す図である。
　図５に示す画像認識部２００は、放送映像／音声信号蓄積部２１０と、正解メタデータ蓄積部２２０と、パラメータ蓄積部２３０と、学習データ作成部２４０と、学習部２５０と、検出用画像データ作成部２６０と、提供クレジット表示区間推定部２７０とを備える。
　放送映像／音声信号蓄積部２１０は、放送された番組を固定時間長（例えば、６５分）でエンコードした放送映像／音声信号を蓄積する。放送映像／音声信号蓄積部２１０は、例えば、番組の映像信号をＨ．２６４方式でエンコードした信号と、番組の音声信号をＡＡＣ方式でエンコードした信号とをＭＰ４ファイル形式で格納する。放送映像／音声信号蓄積部２１０は、作業者などにより提供クレジット表示が表示される時刻が検出済みの番組（以下、「提供クレジット表示が検出済みの番組」と称する）、及び、認識対象の番組の放送映像／音声信号を蓄積する。なお、提供クレジット表示が検出済みの番組、及び、認識対象の番組の放送映像／音声信号は、放送映像／音声信号蓄積部１１０に蓄積してもよい。この場合、放送映像／音声信号蓄積部２１０は設ける必要が無い。
　正解メタデータ蓄積部２２０は、番組における、提供クレジット表示が表示された時刻を示す時刻情報を蓄積する。提供クレジット表示が表示された時刻は、例えば、予め作業者による目視により確認され、正解メタデータ蓄積部２２０に蓄積される。
　パラメータ蓄積部２３０は、後述する、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを蓄積する。検出モデルは、例えば、畳み込みニューラルネットワークを用いたモデルである。詳細な説明は省略するが、畳み込みニューラルネットワークは、一般に、入力側から、畳み込み層とプーリング層とがこの順に、複数回繰り返して配置され、その後、全結合層が配置された構成を有する。畳み込み層では、入力画像に対して畳み込みフィルタを適用する処理が行われる。プーリング層では、畳み込み層の出力に対して、矩形フィルタを順次ずらしていきながら適用し、矩形フィルタ内の最大の値を取り出して新しい画像を生成する処理が行われる。全結合層では、畳み込み層及びプーリング層により特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換された値を出力する処理が行われる。パラメータ蓄積部２３０は、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、各層で適用するフィルタのフィルタ重み、及び、畳み込み層の出力に加算するバイアスパラメータなどを蓄積する。
　学習データ作成部２４０は、放送映像／音声信号蓄積部２１０から、提供クレジット表示が検出済みの番組の放送映像／音声信号を取得する。また、学習データ作成部２４０は、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。学習データ作成部２４０は、提供クレジット表示が検出済みの番組から、提供クレジット表示が表示された静止画（以下、提供クレジット表示ありの静止画と称する）と、提供クレジット表示が表示されていない静止画（以下、「提供クレジット表示なしの静止画」と称する）とを学習データとして作成する。
　具体的には、学習データ作成部２４０は、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。なお、静止画は、画面内符号化が行われたＩフレームのみを用いて作成してもよい。例えば、学習データ作成部２４０は、１秒ごとに静止画を作成する。この場合、学習データ作成部２４０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
　次に、学習データ作成部２４０は、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、学習データ作成部２４０は、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。学習データ作成部２４０は、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。この場合、学習データ作成部２４０は、例えば、提供クレジット表示が検出済みの番組の放送時間が６５分である場合、複数の番組に対して上述した処理を行い、必要数の静止画を抽出する。学習データ作成部２４０は、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を学習データとして、学習部２５０に出力する。
　学習部２５０は、学習データ作成部２４０により作成された学習データ（提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、学習部２５０は、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。学習部２５０は、学習したパラメータをパラメータ蓄積部２３０に蓄積する。
　検出用画像データ作成部２６０は、放送映像／音声信号蓄積部２１０から、認識対象の番組の映像信号を取得する。検出用画像データ作成部２６０は、取得した認識対象の番組の映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、検出用画像データ作成部２６０は、１秒ごとに静止画を作成する。この場合、検出用画像データ作成部２６０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。検出用画像データ作成部２６０は、作成した時系列的に連続する静止画を提供クレジット表示区間推定部２７０に出力する。
　提供クレジット表示区間推定部２７０は、学習部２５０により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示区間を推定する。
　具体的には、提供クレジット表示区間推定部２７０は、検出用画像データ作成部２６０から出力された、検出用画像データ（認識対象の番組の静止画）を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、提供クレジット表示区間推定部２７０は、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジット表示の有無を時系列的に示す時系列信号を生成する。ここで、提供クレジット表示区間推定部２７０は、パラメータ蓄積部２３０に蓄積されたパラメータを検出モデルに適用する。例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、提供クレジット表示区間推定部２７０は、パラメータ蓄積部２３０に蓄積されたパラメータを固定値としたネットワーク（検出モデル）を構築する。
　提供クレジット表示区間推定部２７０は、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定し、例えば、信号「１」を出力する。また、提供クレジット表示区間推定部２７０は、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定し、例えば、信号「０」を出力する。提供クレジット表示区間推定部２７０は、認識対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、各静止画での提供クレジット表示の有無を、信号「０」又は信号「１」で示すバイナリ時系列信号を生成する。すなわち、提供クレジット表示区間推定部２７０は、提供クレジット表示区間と推定される区間については信号「１」、それ以外の区間については信号「０」であるバイナリ時系列信号を生成する。提供クレジット表示区間推定部２７０は、生成したバイナリ時系列信号を検出部１７０Ａに出力する。
　一般に、提供クレジット表示では、スポンサー名を示す文字として、黒枠で縁取られた白文字、カラー文字などが用いられる。また、提供クレジット表示では、スポンサー名を示す文字として、種々のフォントの文字が用いられる。また、提供クレジット表示であっても、「提供」という文字が含まれる場合と、「提供」という文字が含まれない場合とがある。また、提供クレジット表示が、スポンサーロゴのみを含む場合もある。さらに、提供クレジット表示の位置が、画面全体、右下、左下、右上、左上あるいは中央下である場合もある。このように、提供クレジット表示には、様々なバリエーションが存在する。このような様々なバリエーションの提供クレジット表示を、例えば、画像に登場する物体の特徴ベクトルなどを用いて検出することは困難である。
　図５に示す画像認識部２００においては、提供クレジット表示が検出済みの番組から学習データが作成され、その学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータが学習される。そして、図５に示す画像認識部２００においては、学習したパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示区間が推定される。そのため、図５に示す画像認識部２００によれば、様々なバリエーションの提供クレジット表示を学習データとすることで、上述したような様々なバリエーションの提供クレジット表示に対しても提供クレジット表示区間を検出することができる。また、図５に示す画像認識部２００によれば、認識対象の番組の映像信号を用いるので、アナウンスがない場合にも、提供クレジット表示区間を検出することができる。
　なお、番組の映像信号に基づき提供クレジット表示区間を推定する画像認識部は、図５に示す画像認識部２００に限られるものではない。図６は、番組の映像信号に基づき提供クレジット表示区間を推定する画像認識部２００Ａの構成例を示す図である。図６において、図５と同様の構成については同じ符号を付し、説明を省略する。
　図６に示す画像認識部２００Ａは、図５に示す画像認識部２００と比較して、学習データ作成部２４０を学習データ作成部２４０Ａに変更した点と、学習部２５０を学習部２５０Ａに変更した点と、提供クレジット表示区間推定部２７０を提供クレジット表示区間推定部２７０Ａに変更した点とが異なる。
　学習データ作成部２４０Ａは、放送映像／音声信号蓄積部２１０から、曜日ごとに、提供クレジット表示が検出済みの番組の放送信号を取得する。また、学習データ作成部２４０Ａは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。学習データ作成部２４０Ａは、取得した提供クレジット表示が検出済みの各曜日の番組から、曜日ごとの学習データを作成し、学習部２５０Ａに出力する。学習データ作成部２４０Ａは、初期学習用学習データ作成部２４１Ａと、曜日別再学習用学習データ作成部２４２Ａとを備える。
　初期学習用学習データ作成部２４１Ａは、放送映像／音声信号蓄積部２１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部２４１Ａは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部２４１Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。そして、初期学習用学習データ作成部２４１Ａは、取得した提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
　具体的には、初期学習用学習データ作成部２４１Ａは、取得した映像／音声信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、初期学習用学習データ作成部２４１Ａは、１秒ごとに静止画を作成する。この場合、初期学習用学習データ作成部２４１Ａは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
　次に、初期学習用学習データ作成部２４１Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、初期学習用学習データ作成部２４１Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部２４１Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。初期学習用学習データ作成部２４１Ａは、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、検出モデルの初期学習用の学習データとして学習部２５０Ａに出力する。
　曜日別再学習用学習データ作成部２４２Ａは、放送映像／音声信号蓄積部２１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部２４２Ａは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部２４２Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。そして、曜日別再学習用学習データ作成部２４２Ａは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
　具体的には、曜日別再学習用学習データ作成部２４２Ａは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、曜日別再学習用学習データ作成部２４２Ａは、１秒ごとに静止画を作成する。この場合、曜日別再学習用学習データ作成部２４２Ａは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
　次に、曜日別再学習用学習データ作成部２４２Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、曜日別再学習用学習データ作成部２４２Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部２４２Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、１０００枚程度、抽出する。曜日別再学習用学習データ作成部２４２Ａは、上述した処理を曜日ごとに行う。そして、曜日別再学習用学習データ作成部２４２Ａは、曜日ごとに抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、曜日ごとの再学習用データとして学習部２５０Ａに出力する。
　学習部２５０Ａは、学習データ作成部２４０Ａにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部２５０Ａは、初期学習部２５１Ａと、曜日別再学習部２５２Ａとを備える。
　初期学習部２５１Ａは、初期学習用学習データ作成部２４１Ａにより作成された初期学習用の学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部２５１Ａは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部２５１Ａは、学習したパラメータをパラメータ蓄積部２３０に蓄積する。
　曜日別再学習部２５２Ａは、曜日別再学習用学習データ作成部２４２Ａにより作成された曜日ごとの再学習用データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部２５２Ａは、学習したパラメータをパラメータ蓄積部２３０に蓄積する。すなわち、曜日別再学習部２５２Ａは、曜日ごとに、検出モデルに適用するパラメータを学習し、パラメータ蓄積部２３０に蓄積する。曜日ごとの再学習用データを用いて検出モデルに適用するパラメータを学習（再学習）することで、曜日ごとの番組における提供クレジット表示の検出に適したパラメータを設定することができる。
　提供クレジット表示区間推定部２７０Ａは、パラメータ蓄積部２３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用して、認識対象の番組における提供クレジット表示区間を推定する。
　具体的には、提供クレジット表示区間推定部２７０Ａは、検出用画像データ作成部２６０から出力された、認識対象の番組の時系列的に連続する静止画を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、提供クレジット表示区間推定部２７０Ａは、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジット表示の有無を時系列的に示す時系列信号を生成する。ここで、提供クレジット表示区間推定部２７０Ａは、パラメータ蓄積部２３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用する。
　例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、提供クレジット表示区間推定部２７０Ａは、パラメータ蓄積部２３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを固定値としたネットワーク（検出モデル）を構築する。
　提供クレジット表示区間推定部２７０Ａは、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定し、例えば、信号「１」を出力する。また、提供クレジット表示区間推定部２７０Ａは、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定し、例えば、信号「０」を出力する。提供クレジット表示区間推定部２７０Ａは、認識対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、各静止画での提供クレジット表示の有無を、信号「０」又は信号「１」で示すバイナリ時系列信号を生成する。すなわち、提供クレジット表示区間推定部２７０Ａは、提供クレジット表示区間と推定される区間については信号「１」、それ以外の区間については信号「０」であるバイナリ時系列信号を生成する。提供クレジット表示区間推定部２７０Ａは、生成したバイナリ時系列信号を検出部１７０Ａに出力する。
　一般に、同じ番組であれば、毎週、同じ曜日に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、図６に示す画像認識部２００Ａによれば、曜日ごとに学習データを作成し、その学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。
　図７は、番組の映像信号に基づき提供クレジット表示区間を推定する画像認識部２００Ｂの構成例を示す図である。図７において、図５，６と同様の構成については同じ符号を付し、説明を省略する。
　図７に示す画像認識部２００Ｂは、図６に示す画像認識部２００Ａと比較して、学習データ作成部２４０Ａを学習データ作成部２４０Ｂに変更した点と、学習部２５０Ａを学習部２５０Ｂに変更した点とが異なる。
　学習データ作成部２４０Ｂは、放送映像／音声信号蓄積部２１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部２４０Ｂは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。学習データ作成部２４０Ｂは、曜日ごとに取得した提供クレジット表示が検出済みの番組から、曜日ごとの学習データを作成し、学習部２５０Ｂに出力する。具体的には、学習データ作成部２４０Ｂは、曜日ごとに、提供クレジット表示が検出済みの番組及び提供クレジット表示の時刻情報から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成する。学習データ作成部２４０Ｂは、学習データ作成部２４０Ａと比較して、初期学習用学習データ作成部２４１Ａを初期学習用学習データ作成部２４１Ｂに変更した点と、曜日別再学習用学習データ作成部２４２Ａを曜日別再学習用学習データ作成部２４２Ｂに変更した点とが異なる。
　初期学習用学習データ作成部２４１Ｂは、放送映像／音声信号蓄積部２１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部２４１Ｂは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部２４１Ｂは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。そして、初期学習用学習データ作成部２４１Ｂは、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
　具体的には、初期学習用学習データ作成部２４１Ｂは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、初期学習用学習データ作成部２４１Ｂは、１秒ごとに静止画を作成する。この場合、初期学習用学習データ作成部２４１Ｂは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
　次に、初期学習用学習データ作成部２４１Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を、その静止画が放送された時刻とペアにして抽出する。また、初期学習用学習データ作成部２４１Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部２４１Ｂは、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアをそれぞれ、例えば、８０００ペア程度、抽出する。初期学習用学習データ作成部２４１Ｂは、抽出した提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、検出モデルの初期学習用の学習データとして学習部２５０Ｂに出力する。
　曜日別再学習用学習データ作成部２４２Ｂは、放送映像／音声信号蓄積部２１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部２４２Ｂは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部２４２Ｂは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２２０から取得する。そして、曜日別再学習用学習データ作成部２４２Ｂは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
　具体的には、曜日別再学習用学習データ作成部２４２Ｂは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、曜日別再学習用学習データ作成部２４２Ｂは、１秒ごとに静止画を作成する。この場合、曜日別再学習用学習データ作成部２４２Ｂは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
　次に、曜日別再学習用学習データ作成部２４２Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を、その静止画が放送された時刻とペアにして抽出する。また、曜日別再学習用学習データ作成部２４２Ｂは、生成した静止画から、提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部２４２Ｂは、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアをそれぞれ、例えば、１０００ペア程度、抽出する。曜日別再学習用学習データ作成部２４２Ｂは、上述した処理を、曜日ごとに行う。そして、曜日別再学習用学習データ作成部２４２Ｂは、曜日ごとに抽出した、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、曜日ごとの再学習用データとして学習部２５０Ｂに出力する。
　学習部２５０Ｂは、学習データ作成部２４０Ｂにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部２５０Ｂは、初期学習部２５１Ｂと、曜日別再学習部２５２Ｂとを備える。
　初期学習部２５１Ｂは、初期学習用学習データ作成部２４１Ｂにより作成された初期学習用の学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部２５１Ｂは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部２５１Ｂは、学習したパラメータをパラメータ蓄積部２３０に蓄積する。
　曜日別再学習部２５２Ｂは、曜日別再学習用学習データ作成部２４２Ｂにより作成された曜日ごとの再学習用データ（曜日ごとの、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部２５２Ｂは、学習したパラメータをパラメータ蓄積部２３０に蓄積する。
　なお、図７においては、学習データ作成部２４０Ｂは、曜日ごとに、学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を作成し、学習部２５０Ｂは、学習データ作成部２４０Ｂにより作成された学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習する例を用いて説明したが、これに限られるものではない。学習データ作成部２４０Ｂは、曜日は区別することなく、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを学習データとして作成してもよい。すなわち、学習データ作成部２４０Ｂは、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成してもよい。また、学習部２５０Ｂは、曜日は区別することなく、学習データ作成部２４０Ｂにより作成された学習データを用いて、検出モデルに適用するパラメータを学習してもよい。
　一般に、同じ番組であれば、毎週、同じ曜日の同じ時間帯に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、図７に示す画像認識部２００Ｂによれば、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成し、その学習データを用いて、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。なお、図６，７においては、曜日ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われる例を用いて説明したが、これに限られるものではない。例えば、平日と、土曜日と、日曜日とに分けて、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。また、例えば、番組ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。
　なお、本実施形態においては、番組における提供クレジット表示を検出する検出モデルは、畳み込みニューラルネットワークを用いて構築される例を説明したが、これに限られるものではない。提供クレジット表示の有無を検出する検出モデルは、例えば、ＳＶＭ（Support Vector Machine）などを用いて構築してもよい。
　次に、本実施形態に係る提供クレジット表示検出装置１００Ａにおける提供クレジット表示検出方法について、図８に示すフローチャートを参照して説明する。なお、図８において、図３と同様の処理については、同じ符号を付し、説明を省略する。
　本実施形態に係る提供クレジット表示検出装置１００Ａにおいては、第１の実施形態に係る提供クレジット表示検出装置１００と同様に、関連語句と推定期間との蓄積（ステップＳ１０１）、音声認識用の音声データの作成（ステップＳ１０２）、認識対象の番組の音声信号に対する音声認識（ステップＳ１０３）、関連語句の検出（ステップＳ１０４）、及び、提供クレジット表示区間の推定（ステップＳ１０５）の各処理が行われる。
　また、画像認識部２００は、認識対象の番組の映像信号に基づき、提供クレジット表示区間を推定する（ステップＳ２０１）。なお、ステップＳ１０１からステップＳ１０５の処理と、ステップＳ２０１の処理とは、いずれか一方が先に行われてもよいし、並行して行われてもよい。
　次に、検出部１７０Ａは、提供クレジット表示区間推定部１６０により推定された提供クレジット表示区間と、画像認識部２００により推定された提供クレジット表示区間との論理和演算又は論理積演算により得られる区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する。検出部１７０Ａは、例えば、できるだけ漏れなく提供クレジット表示区間を検出したい場合には、論理和演算により提供クレジット表示区間を検出する。また、検出部１７０Ａは、例えば、できるだけ提供クレジット表示区間の誤検出率を下げたい場合には、論理積演算により提供クレジット表示区間を検出する。
　図９は、番組における提供クレジット表示区間の検出の結果の一例を示す図である。
　図９において、横軸は時間（秒）を示す。図９に示す例では、６００秒から７００秒の間、３１００秒から３２００秒の間及び３２００秒から３３００秒の間にそれぞれ、提供クレジット表示区間が存在している。また、図９において、各時刻における「Ｓ」の文字が付された立ち上がりは、音声認識により（提供クレジット表示区間推定部１６０により）提供クレジット表示区間であると推定されたタイミングを示す。また、各時刻における「Ｉ」の文字が付された立ち上がりは、画像認識により（画像認識部２００により）提供クレジット表示区間であると推定されたタイミングを示す。
　図９に示すように、６００秒から７００秒の間に存在する提供クレジット表示区間及び３１００秒から３２００秒の間に存在する提供クレジット表示区間は、画像認識では検出されているが、音声認識では検出されていない。また、３２００秒から３３００秒の間に存在する提供クレジット表示区間は、音声認識では検出されているが、画像認識では検出されていない。このように、音声認識による提供クレジット表示区間の検出と、音声認識による提供クレジット表示区間の検出とでは、検出可能な提供クレジット表示区間が異なることがある。そこで、本実施形態のように、画像認識による提供クレジット表示区間の推定と、音声認識による提供クレジット表示区間の推定とを行い、これらの推定結果を組み合わせて提供クレジット表示区間を検出することで、提供クレジット表示区間を漏れなく、より高精度に検出することができる。
　図１０は、本実施形態に係る提供クレジット表示検出装置１００Ａ及び画像認識部２００単体による提供クレジット表示の検出結果の一例を示す図である。図１０においては、ある日（Ｎ日）、Ｎ日の三日後の日（Ｎ＋３日）及びＮ日の四日後の日（Ｎ＋４日）それぞれにおける、提供クレジット表示検出装置１００Ａ及び画像認識部２００単体による提供クレジット表示の検出の再現率（Ｒｅｃａｌｌ）を示す図である。なお、再現率（Ｒｅｃａｌｌ）とは、検出されるべき提供クレジット表示のうち、実際に検出された提供クレジット表示の割合である。
　図１０に示すように、Ｎ日、Ｎ＋３日及びＮ＋４日のいずれにおいても、提供クレジット表示検出装置１００Ａによる提供クレジット表示の検出の再現率が、画像認識部２００単体による提供クレジット表示の検出の再現率を上回っている。したがって、提供クレジット表示検出装置１００Ａは、画像認識部２００単体よりも、提供クレジット表示区間を漏れなく、より高精度に検出できていることが分かる。
　このように本実施形態においては、提供クレジット表示検出装置１００Ａは、提供クレジット表示のアナウンスに含まれ、提供クレジット表示に関連する関連語句と、関連語句の出現時刻の前後少なくとも一方の所定の期間を提供クレジット表示区間推定する推定期間とを対応付けて蓄積する関連語句蓄積部１２０と、番組の音声信号に対する音声認識を行う音声認識部１４０と、音声認識部１４０による音声認識の結果から、関連語句蓄積部１２０に蓄積されている関連語句を検出する関連語句検出部１５０と、関連語句検出部１５０により検出された関連語句の出現時刻を起点として、検出された関連語句に対応付けて関連語句蓄積部１２０に蓄積されている推定期間に相当する期間を、提供クレジット表示区間と推定する提供クレジット表示区間推定部１６０と、番組の映像信号に基づき、提供クレジット表示区間を推定する画像認識部２００と、提供クレジット表示区間推定部１６０により推定された提供クレジット表示区間と、画像認識部２００により推定された提供クレジット表示区間との論理和演算又は論理積演算により得られる区間のうち、所定時間以上連続する区間を、提供クレジット表示区間として検出する検出部１７０Ａと、を備える。
　音声認識による提供クレジット表示区間の推定と、画像認識による提供クレジット表示区間の推定とを行い、これらの推定の結果を組み合わせて提供クレジット表示区間を検出することで、提供クレジット表示区間を漏れなく、より高精度に検出することができる。
　以上、提供クレジット表示検出装置１００，１００Ａについて説明したが、提供クレジット表示検出装置１００，１００Ａとして機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、提供クレジット表示検出装置１００，１００Ａの各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
　また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１００，１００Ａ　　　　　　提供クレジット表示検出装置
　１１０　　　　　　　　　　　放送映像／音声信号蓄積部
　１２０　　　　　　　　　　　関連語句蓄積部
　１３０　　　　　　　　　　　認識用音声データ作成部
　１４０　　　　　　　　　　　音声認識部
　１５０　　　　　　　　　　　関連語句検出部
　１６０　　　　　　　　　　　提供クレジット表示区間推定部
　１７０，１７０Ａ　　　　　　検出部
　２００，２００Ａ，２００Ｂ　画像認識部
　２１０　　　　　　　　　　　放送映像／音声信号蓄積部
　２２０　　　　　　　　　　　正解メタデータ蓄積部
　２３０　　　　　　　　　　　パラメータ蓄積部
　２４０，２４０Ａ，２４０Ｂ　学習データ作成部
　２４１Ａ，２４１Ｂ　　　　　初期学習用データ作成部
　２４２Ａ，２４２Ｂ　　　　　曜日別再学習データ作成部
　２５０，２５０Ａ，２５０Ｂ　学習部
　２５１Ａ，２５１Ｂ　　　　　初期学習部
　２５２Ａ，２５２Ｂ　　　　　曜日別再学習部
　２６０　　　　　　　　　　　検出用画像データ作成部
　２７０，２７０Ａ　　　　　　提供クレジット表示区間推定部

Claims (7)

  1. 　番組における、該番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出する提供クレジット表示検出装置であって、
    　前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句と、前記関連語句の出現時刻の前後少なくとも一方の所定の期間を前記提供クレジット表示区間と推定する推定期間とを対応付けて蓄積する関連語句蓄積部と、
    　番組の音声信号に対する音声認識を行う音声認識部と、
    　前記音声認識部による音声認識の結果から、前記関連語句蓄積部に蓄積されている関連語句を検出する関連語句検出部と、
    　前記関連語句検出部により検出された関連語句の出現時刻を起点として、前記検出された関連語句に対応付けて前記関連語句蓄積部に蓄積されている推定期間に相当する期間を、前記提供クレジット表示区間と推定する提供クレジット表示区間推定部と、
    　前記提供クレジット表示区間推定部により推定された提供クレジット表示区間のうち、所定時間以上連続する区間を、前記提供クレジット表示区間として検出する検出部と、を備えることを特徴とする提供クレジット表示検出装置。
  2. 　請求項１に記載の提供クレジット表示検出装置において、
    　前記番組の映像信号に基づき、前記提供クレジット表示区間を推定する画像認識部をさらに備え、
    　前記検出部は、前記提供クレジット表示区間推定部により推定された提供クレジット表示区間と、前記画像認識部により推定された提供クレジット表示区間との論理和演算又は論理積演算により得られる区間のうち、所定時間以上連続する区間を、前記提供クレジット表示区間として検出することを特徴とする提供クレジット表示検出装置。
  3. 　請求項１又は２に記載の提供クレジット表示検出装置において、
    　前記関連語句の推定期間は、前記提供クレジット表示のアナウンスにおいて、該関連語句が出現する可能性が高い位置に応じて設定されることを特徴とする提供クレジット表示検出装置。
  4. 　請求項１又は２に記載の提供クレジット表示検出装置において、
    　前記検出部は、前記検出した提供クレジット表示区間の時刻情報を出力することを特徴とする提供クレジット表示検出装置。
  5. 　番組における、該番組のスポンサーを示す提供クレジット表示が表示された提供クレジット表示区間を検出する提供クレジット表示検出装置における提供クレジット表示検出方法であって、
    　前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句と、前記関連語句の出現時刻の前後少なくとも一方の所定の期間を前記提供クレジット表示区間と推定する推定期間とを対応付けて蓄積する蓄積ステップと、
    　番組の音声信号に対する音声認識を行う音声認識ステップと、
    　前記音声認識の結果から、前記蓄積されている関連語句を検出する検出ステップと、
    　前記検出された関連語句の出現時刻を起点として、前記検出された関連語句に対応付けて前記蓄積されている推定期間に相当する期間を、前記提供クレジット表示が表示された提供クレジット表示区間と推定する第１の推定ステップと、
    　前記推定された提供クレジット表示区間が所定時間以上連続する区間を、前記提供クレジット表示区間として検出する検出ステップと、を含むことを特徴とする提供クレジット表示検出方法。
  6. 　請求項５に記載の提供クレジット表示検出方法であって、
    　前記番組の映像信号に基づき、前記提供クレジット表示区間を推定する第２の推定ステップを含み、
    　前記検出ステップでは、前記第１の推定ステップで推定された提供クレジット表示区間と、前記第２の推定ステップで推定された提供クレジット表示区間との論理和演算又は論理積演算により得られる区間のうち、所定時間以上連続する区間を、前記提供クレジット表示区間として検出することを特徴とする提供クレジット表示検出方法。
  7. 　コンピュータを、請求項１から４のいずれか一項に記載の提供クレジット表示検出装置として機能させるプログラム。
     
     
PCT/JP2019/018888 2018-06-05 2019-05-13 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム Ceased WO2019235138A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/972,238 US11727446B2 (en) 2018-06-05 2019-05-13 Device and method for detecting display of provided credit, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-108010 2018-06-05
JP2018108010A JP6966706B2 (ja) 2018-06-05 2018-06-05 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019235138A1 true WO2019235138A1 (ja) 2019-12-12

Family

ID=68769479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018888 Ceased WO2019235138A1 (ja) 2018-06-05 2019-05-13 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム

Country Status (3)

Country Link
US (1) US11727446B2 (ja)
JP (1) JP6966706B2 (ja)
WO (1) WO2019235138A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011170B2 (ja) * 2018-06-05 2022-01-26 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050718A1 (fr) * 2006-10-26 2008-05-02 Nec Corporation Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme
WO2008081596A1 (ja) * 2006-12-27 2008-07-10 Dentsu Inc. リスティング広告送出装置及び方法
JP2010136067A (ja) * 2008-12-04 2010-06-17 Sony Corp データ処理装置、データ処理方法、及び、プログラム
JP2012181358A (ja) * 2011-03-01 2012-09-20 Nec Corp テキスト表示時間決定装置、テキスト表示システム、方法およびプログラム
JP2013074480A (ja) * 2011-09-28 2013-04-22 Toshiba Corp 映像信号処理装置及び映像信号処理方法
JP2014120032A (ja) * 2012-12-18 2014-06-30 Fujitsu Ltd 文字認識装置および文字認識方法並びに文字認識プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体
US6859611B2 (en) * 2003-07-11 2005-02-22 General Instrument Corporation Computer implemented method of selectively recording and playing broadcast program content
US10657539B2 (en) * 2007-06-29 2020-05-19 Microsoft Technology Licensing, Llc Digital voice communication advertising
US8615434B2 (en) * 2010-10-19 2013-12-24 Citizennet Inc. Systems and methods for automatically generating campaigns using advertising targeting information based upon affinity information obtained from an online social network
US9785706B2 (en) * 2013-08-28 2017-10-10 Texas Instruments Incorporated Acoustic sound signature detection based on sparse features
US9489360B2 (en) * 2013-09-05 2016-11-08 Audible, Inc. Identifying extra material in companion content
KR102505347B1 (ko) * 2015-07-16 2023-03-03 삼성전자주식회사 사용자 관심 음성 알림 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050718A1 (fr) * 2006-10-26 2008-05-02 Nec Corporation Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme
WO2008081596A1 (ja) * 2006-12-27 2008-07-10 Dentsu Inc. リスティング広告送出装置及び方法
JP2010136067A (ja) * 2008-12-04 2010-06-17 Sony Corp データ処理装置、データ処理方法、及び、プログラム
JP2012181358A (ja) * 2011-03-01 2012-09-20 Nec Corp テキスト表示時間決定装置、テキスト表示システム、方法およびプログラム
JP2013074480A (ja) * 2011-09-28 2013-04-22 Toshiba Corp 映像信号処理装置及び映像信号処理方法
JP2014120032A (ja) * 2012-12-18 2014-06-30 Fujitsu Ltd 文字認識装置および文字認識方法並びに文字認識プログラム

Also Published As

Publication number Publication date
US20210241323A1 (en) 2021-08-05
JP2019213066A (ja) 2019-12-12
JP6966706B2 (ja) 2021-11-17
US11727446B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
US20230216598A1 (en) Detection device
WO2019235405A1 (ja) Ｃｍ区間検出装置、ｃｍ区間検出方法、及びプログラム
US12477192B2 (en) Timely addition of human-perceptible audio to mask an audio watermark
JP2021519557A (ja) ローカルコマーシャル挿入機会の識別のための方法、コンピュータ可読記憶媒体及び装置
JP2019144916A (ja) 広告効果予測システム、方法およびプログラム
US8839086B2 (en) Verbal description
KR101010523B1 (ko) Ｔｖ 방송 중의 유해 컨텐츠 대체 방법 및 시스템
US11645845B2 (en) Device and method for detecting display of provided credit, and program
CN108881938B (zh) 现场直播视频智能切播方法及装置
WO2019235138A1 (ja) 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
KR20140103812A (ko) 직접 반응 광고 검출 및 분류 시스템 및 방법
US20150051911A1 (en) Method for dividing letter sequences into pronunciation units, method for representing tones of letter sequences using same, and storage medium storing video data representing the tones of letter sequences
JP6713229B2 (ja) Ｃｍ情報生成装置、ｃｍ情報生成方法、及びプログラム
US12028573B2 (en) Device and method for detecting display of provided credit, and program
JP7196656B2 (ja) クレジット区間特定装置、クレジット区間特定方法及びプログラム
JP7784871B2 (ja) 画面制御装置およびプログラム
JP6838739B2 (ja) 近時記憶支援装置
WO2024246583A1 (en) Systems and method for video processing
CN108694937A (zh) 一种数字视音频监控系统中音频可视化监控的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815326

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19815326

Country of ref document: EP

Kind code of ref document: A1