JP2021016032A - Image transmission apparatus, program, and image transmission method - Google Patents
Image transmission apparatus, program, and image transmission method Download PDFInfo
- Publication number
- JP2021016032A JP2021016032A JP2019128627A JP2019128627A JP2021016032A JP 2021016032 A JP2021016032 A JP 2021016032A JP 2019128627 A JP2019128627 A JP 2019128627A JP 2019128627 A JP2019128627 A JP 2019128627A JP 2021016032 A JP2021016032 A JP 2021016032A
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- video data
- video
- screen
- transmission device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims description 26
- 230000000873 masking effect Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像を送信する技術に関する。 The present invention relates to a technique for transmitting video.
複数のコンピュータ装置で画面を共有するシステムにおいて、画面上において情報を秘匿するための技術が提案されている。例えば特許文献１には、画面共有するコンピュータシステムにおいて、プライバシーを保護するため、画面上の領域の指定を受け付け、指定された領域（又は指定された領域の外）をモザイク処理する技術が開示されている。また、特許文献２には、リアルタイムで画面共有するシステムにおいて、隠蔽すべき文字列が表示されるまでの過程において文字の隠蔽が難しいという課題を解決するため、隠蔽すべき文字が表れる可能性が高い単語又は文字列を検出し、これらが検出された場合には入力フォームを隠蔽する技術が開示されている。 In a system in which a screen is shared by a plurality of computer devices, a technique for concealing information on the screen has been proposed. For example, Patent Document 1 discloses a technique of accepting a designation of an area on the screen and performing mosaic processing on the designated area (or outside the designated area) in order to protect privacy in a computer system sharing a screen. ing. Further, in Patent Document 2, in order to solve the problem that it is difficult to hide characters in the process until the character string to be hidden is displayed in the system for sharing the screen in real time, there is a possibility that the characters to be hidden appear. A technique for detecting high words or strings and hiding the input form when these are detected is disclosed.
特許文献１に記載の技術においてはモザイク処理する領域をユーザが手動で指定する必要があり、煩雑であった。特許文献２に記載の技術においては画面の静止画の画像データを別途取得する必要があり、煩雑であった。 In the technique described in Patent Document 1, it is necessary for the user to manually specify the area to be mosaicked, which is complicated. In the technique described in Patent Document 2, it is necessary to separately acquire image data of a still image of a screen, which is complicated.
これに対し本発明は、画面を他の装置と共有するシステムにおいて、情報をより簡単に秘匿する技術を提供する。 On the other hand, the present invention provides a technique for more easily concealing information in a system in which a screen is shared with another device.
本発明は、圧縮された映像データの入力を受け付ける受け付け手段と、前記映像データをデコードしてフレーム画像を取得する取得手段と、前記フレーム画像を解析し、秘匿すべき部分を特定する特定手段と、前記フレーム画像のうち前記特定された部分にマスク処理を施す処理手段と、前記マスク処理されたフレーム画像をエンコードし、映像データを生成する生成手段と、前記生成された映像データを送信する送信手段とを有する映像送信装置を提供する。 The present invention includes a receiving means for receiving input of compressed video data, an acquisition means for decoding the video data to acquire a frame image, and a specific means for analyzing the frame image and identifying a portion to be concealed. , A processing means for masking the specified portion of the frame image, a generation means for encoding the masked frame image to generate video data, and a transmission for transmitting the generated video data. Provided is a video transmission device having means.
前記映像送信装置は、前記マスク処理後の１以上のフレーム画像を記憶する記憶手段を有し、一のフレーム画像において特定のパターンが検知された場合、前記送信手段は、その時点で前記記憶手段に記憶されているフレーム画像をエンコードした映像データを出力することなしに、映像データの出力を停止してもよい。 The video transmission device has a storage means for storing one or more frame images after the mask processing, and when a specific pattern is detected in one frame image, the transmission means is the storage means at that time. The output of the video data may be stopped without outputting the video data encoded in the frame image stored in.
前記映像データは、前記映像送信装置において表示される画面の時間変化を示してもよい。 The video data may indicate a time change of a screen displayed on the video transmission device.
前記映像データは、第１ソフトウェアから出力され、前記受け付け手段、前記取得手段、前記特定手段、前記処理手段、前記生成手段、及び前記送信手段は、前記第１ソフトウェアと異なる第２ソフトウェアにより実装されてもよい。 The video data is output from the first software, and the receiving means, the acquiring means, the specifying means, the processing means, the generating means, and the transmitting means are implemented by a second software different from the first software. You may.
前記第１ソフトウェアは、前記映像送信装置のオペレーティングシステムであってもよい。 The first software may be the operating system of the video transmission device.
本発明は、コンピュータに、圧縮された映像データの入力を受け付けるステップと、前記映像データをデコードしてフレーム画像を取得するステップと、前記フレーム画像を解析し、秘匿すべき部分を特定するステップと、前記フレーム画像のうち前記特定された部分にマスク処理を施すステップと、前記マスク処理されたフレーム画像をエンコードし、映像データを生成するステップと、前記生成された映像データを出力するステップとを実行させるためのプログラムを提供する。 The present invention includes a step of accepting input of compressed video data into a computer, a step of decoding the video data to acquire a frame image, and a step of analyzing the frame image and identifying a portion to be concealed. A step of masking the specified portion of the frame image, a step of encoding the masked frame image to generate video data, and a step of outputting the generated video data. Provide a program to execute.
本発明は、圧縮された映像データの入力を受け付けるステップと、前記映像データをデコードしてフレーム画像を取得するステップと、前記フレーム画像を解析し、秘匿すべき部分を特定するステップと、前記フレーム画像のうち前記特定された部分にマスク処理を施すステップと、前記マスク処理されたフレーム画像をエンコードし、映像データを生成するステップと、前記生成された映像データを出力するステップとを有する映像送信方法を提供する。 The present invention includes a step of accepting input of compressed video data, a step of decoding the video data to acquire a frame image, a step of analyzing the frame image and identifying a portion to be concealed, and the frame. Video transmission having a step of masking the specified portion of the image, a step of encoding the masked frame image to generate video data, and a step of outputting the generated video data. Provide a method.
本発明によれば、画面を他の装置と共有するシステムにおいて、情報をより簡単に秘匿することができる。 According to the present invention, information can be more easily concealed in a system in which a screen is shared with another device.
１．構成
図１は、一実施形態に係る画面共有システム１の構成を例示する図である。画面共有システム１は、映像送信装置１０の画面を共有するサービスを提供するシステムである。画面共有システム１は、映像送信装置１０及び映像受信装置２０を有する。一例において、画面共有システム１は、ソフトウェアのサポートサービスに用いられる。映像送信装置１０は、画面共有サービスを受ける顧客により使用される端末である。映像受信装置２０は、画面共有サービスを提供するサポート事業者により使用される端末である。サポート事業者は、画面を共有するためのアプリケーション（以下「画面共有アプリ」という）で顧客の端末（映像送信装置１０）の画面を共有しながら、顧客による映像送信装置１０の操作等のサポートを行う。映像送信装置１０及び映像受信装置２０は、例えばスマートフォン、タブレット端末、又はラップトップ型コンピュータ等の汎用コンピュータである。映像送信装置１０は通信回線２により映像受信装置２０に接続されている。通信回線２は、例えば、インターネット、移動体通信網、電話回線、又はＬＡＮ（Local Area Network）を含む。
1. 1. Configuration FIG. 1 is a diagram illustrating the configuration of the screen sharing system 1 according to the embodiment. The screen sharing system 1 is a system that provides a service for sharing the screen of the video transmission device 10. The screen sharing system 1 includes a video transmitting device 10 and a video receiving device 20. In one example, the screen sharing system 1 is used for software support services. The video transmission device 10 is a terminal used by a customer who receives a screen sharing service. The video receiving device 20 is a terminal used by a support company that provides a screen sharing service. The support company provides support for the operation of the video transmission device 10 by the customer while sharing the screen of the customer's terminal (video transmission device 10) with an application for sharing the screen (hereinafter referred to as "screen sharing application"). Do. The video transmitting device 10 and the video receiving device 20 are general-purpose computers such as smartphones, tablet terminals, and laptop computers. The video transmitting device 10 is connected to the video receiving device 20 by a communication line 2. The communication line 2 includes, for example, the Internet, a mobile communication network, a telephone line, or a LAN (Local Area Network).
映像送信装置１０及び映像受信装置２０には、オペレーティングシステム（以下「ＯＳ」という）及びアプリケーションプログラム等のソフトウェアがインストールされており、インストールされたアプリケーションはユーザにより使用される。特に、映像送信装置１０及び映像受信装置２０には、画面を共有するための画面共有アプリが予めインストールされている。画面共有アプリにより映像送信装置１０に表示される画面が映像受信装置２０と共有される。 Software such as an operating system (hereinafter referred to as "OS") and an application program is installed in the video transmitting device 10 and the video receiving device 20, and the installed application is used by the user. In particular, a screen sharing application for sharing a screen is pre-installed in the video transmitting device 10 and the video receiving device 20. The screen displayed on the video transmitting device 10 by the screen sharing application is shared with the video receiving device 20.
図１では図面を簡単にするために単一の映像送信装置１０及び単一の映像受信装置２０を図示しているが、複数の映像送信装置１０及び複数の映像受信装置２０が画面共有システム１に含まれてもよい。 In FIG. 1, a single video transmitting device 10 and a single video receiving device 20 are illustrated for simplification of drawings, but a plurality of video transmitting devices 10 and a plurality of video receiving devices 20 are used as a screen sharing system 1. May be included in.
図２は、映像送信装置１０にインストールされた画面共有アプリに係る機能構成を例示する図である。図において、映像送信装置１０は、受け付け手段１１、取得手段１２、特定手段１３、処理手段１４、生成手段１５、送信手段１６、及び記憶手段１７を有する。受け付け手段１１は、圧縮された映像データの入力を受け付ける。取得手段１２は、映像データをデコードしてフレーム画像を取得する。特定手段１３は、フレーム画像を解析し、秘匿すべき部分を特定する。処理手段１４は、フレーム画像のうち特定された部分にマスク処理を施す。この実施形態においてマスク処理とは、特定の部分の画像が持つ情報を秘匿する処理、例えば、元の画像を別の画像に差し替えたり、元の画像を判別できない態様に加工したりする画像処理をいう。マスク処理は例えば、特定の部分の画像を黒色単色の画像若しくは白色単色の画像に差し替える処理、モザイク処理、又はぼかし処理である。生成手段１５は、マスク処理されたフレーム画像をエンコードし、映像データを生成する。送信手段１６は、生成された映像データを送信する。記憶手段１７は、マスク処理後の１以上のフレーム画像を記憶する。 FIG. 2 is a diagram illustrating a functional configuration related to a screen sharing application installed in the video transmission device 10. In the figure, the video transmitting device 10 includes a receiving means 11, an acquiring means 12, a specifying means 13, a processing means 14, a generating means 15, a transmitting means 16, and a storage means 17. The receiving means 11 accepts the input of the compressed video data. The acquisition means 12 decodes the video data to acquire the frame image. The identification means 13 analyzes the frame image and identifies a portion to be concealed. The processing means 14 applies mask processing to a specified portion of the frame image. In this embodiment, the mask processing is a process of concealing the information possessed by the image of a specific part, for example, an image process of replacing the original image with another image or processing the original image into a mode in which the original image cannot be discriminated. Say. The masking process is, for example, a process of replacing an image of a specific portion with a black monochromatic image or a white monochromatic image, a mosaic process, or a blurring process. The generation means 15 encodes the masked frame image and generates video data. The transmission means 16 transmits the generated video data. The storage means 17 stores one or more frame images after the mask processing.
図３は、映像送信装置１０のハードウェア構成を例示する図である。プロセッサ１０１は、映像送信装置１０の他の要素を制御するプロセッサである。メモリ１０２は、プロセッサ１０１がプログラムを実行するためのワークエリアとして機能する記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。記憶装置１０３は各種のプログラム及びデータを記憶する記憶装置であり、例えば、ＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）を含む。 FIG. 3 is a diagram illustrating a hardware configuration of the video transmission device 10. The processor 101 is a processor that controls other elements of the video transmission device 10. The memory 102 is a storage device that functions as a work area for the processor 101 to execute a program, and includes, for example, a RAM (Random Access Memory). The storage device 103 is a storage device that stores various programs and data, and includes, for example, an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
通信ＩＦ１０４は、予め定められた無線又は有線の通信規格（例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はイーサネット（登録商標））に従って他の装置と通信を行う。ＵＩ部１０５は例えばタッチスクリーンとキーとを備える。ＵＩ部１０５は映像送信装置１０に内蔵されていてもよく、また、外付けされて外部接続されるものであってもよい。 The communication IF 104 communicates with other devices according to a predetermined wireless or wired communication standard (eg, Wi-Fi®, Bluetooth®, or Ethernet®). The UI unit 105 includes, for example, a touch screen and keys. The UI unit 105 may be built in the video transmission device 10, or may be externally connected to the external device.
この例で、記憶装置１０３は、ＯＳのプログラム、画面共有アプリのプログラム、及びその他のアプリケーションプログラムを記憶する。プロセッサ１０１が画面共有アプリのプログラムを実行することにより、図２に示される機能が実装される。このプログラムを実行しているプロセッサ１０１は、受け付け手段１１、取得手段１２、特定手段１３、処理手段１４、及び生成手段１５の一例である。このプログラムを実行しているプロセッサ１０１及び／又は通信ＩＦ１０４は送信手段１６の一例である。メモリ１０２又は記憶装置１０３は記憶手段１７の一例である。 In this example, the storage device 103 stores an OS program, a screen sharing application program, and other application programs. When the processor 101 executes the program of the screen sharing application, the function shown in FIG. 2 is implemented. The processor 101 executing this program is an example of the receiving means 11, the acquiring means 12, the specifying means 13, the processing means 14, and the generating means 15. The processor 101 and / or the communication IF 104 executing this program is an example of the transmission means 16. The memory 102 or the storage device 103 is an example of the storage means 17.
図４は映像送信装置１０のソフトウェア構成を例示する図である。プロセッサ１０１が記憶装置１０３に記憶されたコンピュータプログラムを実行することにより、図４に示されるオペレーティングシステム１５１、アプリ１５２、及び画面共有アプリ１５３等のソフトウェアが映像送信装置１０に実装される。ＯＳ１５１（第１ソフトウェアの一例）は映像送信装置１０のオペレーションを司るソフトウェアである。 FIG. 4 is a diagram illustrating a software configuration of the video transmission device 10. When the processor 101 executes a computer program stored in the storage device 103, software such as the operating system 151, the application 152, and the screen sharing application 153 shown in FIG. 4 is mounted on the video transmission device 10. OS 151 (an example of the first software) is software that controls the operation of the video transmission device 10.
アプリ１５２は、ＯＳ１５１上においてフォアグラウンドで動作するアプリケーションソフトウェアである。アプリ１５２はユーザの操作に応じた画面をＵＩ部１０５に表示する機能を備える。アプリ１５２は例えば、非公開データを取り扱う企業においてその非公開データを解析するアプリケーションである。 The application 152 is application software that operates in the foreground on the OS 151. The application 152 has a function of displaying a screen according to a user's operation on the UI unit 105. The application 152 is, for example, an application that analyzes the private data in a company that handles the private data.
図５は、アプリ１５２により表示される画面を例示した図である。図５の例では、非公開データを取り扱う企業においてその非公開を解析するアプリケーションにより表示される画面ＳＣ１が例示されている。画面ＳＣ１には、複数の顧客の「顧客ＩＤ」、「顧客名」、「売上高」、及び「営業利益」等が表示される。映像送信装置１０のユーザは、ＵＩ部１０５を用いてボタンＢ１又はＢ２を選択する等、顧客データを解析するための操作を行う。 FIG. 5 is a diagram illustrating a screen displayed by the application 152. In the example of FIG. 5, the screen SC1 displayed by the application that analyzes the non-public data in a company that handles the non-public data is illustrated. On the screen SC1, "customer ID", "customer name", "sales", "operating profit", etc. of a plurality of customers are displayed. The user of the video transmission device 10 performs an operation for analyzing customer data, such as selecting a button B1 or B2 using the UI unit 105.
図４の説明に戻る。画面共有アプリ１５３（第２ソフトウェアの一例）は、映像送信装置１０のＵＩ部１０５に表示されている画像を他の装置（映像受信装置２０等）と共有するためのソフトウェアである。画面共有アプリ１５３はバックグラウンドで動作し、システムに常駐する。 Returning to the description of FIG. The screen sharing application 153 (an example of the second software) is software for sharing an image displayed on the UI unit 105 of the video transmitting device 10 with another device (video receiving device 20 or the like). The screen sharing app 153 runs in the background and resides in the system.
ＯＳ１５１は、ＵＩ部１０５に表示される画面の変化を映像データ（例えば、Ｈ．２６４規格の動画データ）で出力する機能を備える。画面共有アプリ１５３は、この機能により出力される映像データを用いて画面共有を行う。画面共有アプリ１５３は、取得部３１、デコーダー３２、フレームメモリ３７、解析部３３、マスク処理部３４、エンコーダー３５、送信部３６を備える。取得部３１（受け付け手段１１の一例）は、ＯＳから映像データを取得する。デコーダー３２（取得手段１２の一例）は、映像データをデコードしてフレーム画像を取得する。取得されたフレーム画像はフレームメモリ３７（記憶手段の一例）に記憶される。解析部３３（特定手段１３の一例）は、フレームメモリ３７に記憶されているフレーム画像を解析し、秘匿すべき部分を特定する。マスク処理部３４（処理手段１４の一例）は、フレーム画像のうち特定された部分にマスク処理を施す。エンコーダー３５（生成手段１５の一例）は、マスク処理されたフレーム画像をエンコードし、映像データを生成する。送信部３６（送信手段１６の一例）は、生成された映像データを送信する。送信部３６はバッファを備え、エンコーダー３５によりエンコードされた映像データはこのバッファに格納される。 The OS 151 has a function of outputting a change in the screen displayed on the UI unit 105 as video data (for example, moving image data of the H.264 standard). The screen sharing application 153 shares the screen using the video data output by this function. The screen sharing application 153 includes an acquisition unit 31, a decoder 32, a frame memory 37, an analysis unit 33, a mask processing unit 34, an encoder 35, and a transmission unit 36. The acquisition unit 31 (an example of the receiving means 11) acquires video data from the OS. The decoder 32 (an example of the acquisition means 12) decodes the video data and acquires the frame image. The acquired frame image is stored in the frame memory 37 (an example of storage means). The analysis unit 33 (an example of the identification means 13) analyzes the frame image stored in the frame memory 37 and identifies a portion to be concealed. The mask processing unit 34 (an example of the processing means 14) applies mask processing to a specified portion of the frame image. The encoder 35 (an example of the generation means 15) encodes the masked frame image and generates video data. The transmission unit 36 (an example of the transmission means 16) transmits the generated video data. The transmission unit 36 includes a buffer, and the video data encoded by the encoder 35 is stored in this buffer.
２．動作
映像送信装置１０のユーザは、ＵＩ部１０５を用いてアプリ１５２を起動する。映像送信装置１０はユーザの操作に応じた画面（例えば、図５に例示した画面）をＵＩ部１０５に表示する。アプリ１５２がフォアグラウンドで動作している状態において、画面共有アプリ１５３はバックグラウンドで動作し、ＵＩ部１０５に表示される画像を他の端末と共有するための処理を実行する。
2. 2. Operation The user of the video transmission device 10 activates the application 152 by using the UI unit 105. The video transmission device 10 displays a screen (for example, the screen illustrated in FIG. 5) according to the user's operation on the UI unit 105. While the application 152 is operating in the foreground, the screen sharing application 153 operates in the background and executes a process for sharing the image displayed on the UI unit 105 with another terminal.
図６は、画面共有アプリ１５３が行う映像送信処理の流れを例示するシーケンスチャートである。ステップＳ１０１において、取得部３１は、圧縮された映像データの入力を受け付ける。この映像データは、映像送信装置１０において表示される画面の時間変化を示すデータである。この実施形態では、取得部３１は、ＯＳ１５１から出力される、画面の変化を表す映像データ（Ｈ．２６４規格の映像データ）を取得する。取得された映像データはデコーダー３２に供給される。 FIG. 6 is a sequence chart illustrating the flow of the video transmission process performed by the screen sharing application 153. In step S101, the acquisition unit 31 accepts the input of the compressed video data. This video data is data indicating a time change of the screen displayed on the video transmission device 10. In this embodiment, the acquisition unit 31 acquires video data (H.264 standard video data) representing changes in the screen, which is output from OS 151. The acquired video data is supplied to the decoder 32.
ステップＳ１０２において、デコーダー３２は、ＯＳ１５１から取得された映像データをデコードし、ビットマップ形式のフレーム画像を取得する。デコードされて生成されたビットマップ形式のフレーム画像は、ステップＳ１０３においてフレームメモリ３７に時系列に格納される。 In step S102, the decoder 32 decodes the video data acquired from the OS 151 and acquires a frame image in a bitmap format. The bitmap-format frame image generated by decoding is stored in the frame memory 37 in time series in step S103.
ステップＳ１０４において、解析部３３は、フレームメモリ３７からフレーム画像を読み出す。ステップＳ１０５において、解析部３３は、読み出したフレーム画像を解析する。解析部３３は、フレームメモリ３７に格納された一のフレーム画像において特定のパターンが検知されたかを判定する。この判定は、例えば、解析部３３がフレーム画像に対しエッジ検出処理等の特徴検出処理を行い、フレーム画像から特定のパターンが検出されるかによって判定される。特定のパターンとは、例えば、複数の同形状の図形（矩形図形、等）がマトリクス状に並べて配置された画面から検知されるパターンである。マトリクス状に配置された図形は例えば、ウィンドウ、又はアイコンである。 In step S104, the analysis unit 33 reads the frame image from the frame memory 37. In step S105, the analysis unit 33 analyzes the read frame image. The analysis unit 33 determines whether or not a specific pattern is detected in one frame image stored in the frame memory 37. This determination is determined by, for example, whether the analysis unit 33 performs feature detection processing such as edge detection processing on the frame image and a specific pattern is detected from the frame image. The specific pattern is, for example, a pattern detected from a screen in which a plurality of figures having the same shape (rectangular figures, etc.) are arranged in a matrix. The figures arranged in a matrix are, for example, windows or icons.
図７は、特定のパターンの画面ＳＣ２を例示した図である。図７の例では、ウィンドウｗ２１、ｗ２２、ｗ２３、ｗ２４の４つのウィンドウが、ＵＩ部１０５に表示されている。これらのウィンドウのうち、ウィンドウｗ２２は、映像送信装置１０のユーザがサポートを受けたいアプリ１５２により表示されるウィンドウである。一方、ウィンドウｗ２１、ｗ２３及びｗ２４は、ユーザがサポートの対象としないアプリケーションにより表示されるウィンドウである。すなわち、映像送信装置１０のユーザは、ウィンドウｗ２２の映像をサポート事業者と共有することを求める一方、ウィンドウｗ２１、ｗ２３、及びｗ２４が共有されることを望まない。そのため、この実施形態では、ＵＩ部１０５に複数のウィンドウが表示されている場合（すなわちフレーム画像から特定のパターンが検出された場合）、映像送信装置１０は映像データの送信を停止する制御を行う。 FIG. 7 is a diagram illustrating a screen SC2 having a specific pattern. In the example of FIG. 7, four windows w21, w22, w23, and w24 are displayed on the UI unit 105. Among these windows, the window w22 is a window displayed by the application 152 that the user of the video transmission device 10 wants to receive support. On the other hand, windows w21, w23 and w24 are windows displayed by an application that the user does not support. That is, the user of the video transmission device 10 requests that the video of the window w22 be shared with the support provider, but does not want the windows w21, w23, and w24 to be shared. Therefore, in this embodiment, when a plurality of windows are displayed on the UI unit 105 (that is, when a specific pattern is detected from the frame image), the video transmission device 10 controls to stop the transmission of video data. ..
図６の説明に戻る。図６には、ステップＳ１０５の解析処理においてフレーム画像から特定のパターンが検出されなかった場合の動作が示されている。ステップＳ１０６において、解析部３３は、ビットマップ形式のフレーム画像を解析し、秘匿すべき部分を特定する。秘匿すべき部分とは、例えば、非公開データを取り扱う企業におけるその非公開データを示す文字列（顧客の名称、売上金額、等）が記されている領域である。これら特定の文字列は、画面共有アプリ１５３が有する（又はアクセス可能な）データベース（図示略）において定義される。この実施形態では、解析部３３は、フレーム画像に対し文字認識処理を行ってフレーム画像から文字列を抽出し、抽出された文字列から特定の文字又は文字列（以下、単に「特定文字列」という）が記されている領域（以下「特定領域」という）を特定する。抽出される特定文字列は、例えば、「円」、「￥」、「氏名」、又は「顧客名」である。解析部３３は、特定領域との位置関係が予め定められた条件を満たす領域を秘匿すべき部分として特定する。 Returning to the description of FIG. FIG. 6 shows an operation when a specific pattern is not detected from the frame image in the analysis process of step S105. In step S106, the analysis unit 33 analyzes the frame image in the bitmap format and identifies the portion to be concealed. The part to be kept secret is, for example, an area in which a character string (customer name, sales amount, etc.) indicating the private data in a company that handles private data is written. These specific character strings are defined in a database (not shown) included in (or accessible to) the screen sharing application 153. In this embodiment, the analysis unit 33 performs character recognition processing on the frame image to extract a character string from the frame image, and a specific character or character string from the extracted character string (hereinafter, simply "specific character string"). ) Is described (hereinafter referred to as "specific area"). The specific character string to be extracted is, for example, "yen", "\", "name", or "customer name". The analysis unit 33 specifies a region whose positional relationship with the specific region satisfies a predetermined condition as a portion to be concealed.
例えば、特定された特定文字列が「円」である場合、特定された特定文字列の左側に隣接して描画された文字列の領域が、秘匿すべき部分として特定される。また、例えば、特定文字列が「￥」である場合、特定文字列の右側に隣接して描画された文字列の領域が、秘匿すべき部分として特定される。また、例えば、特定文字列が「氏名」又は「顧客名」である場合であって、その特定文字列が複数の行と複数の列を有するテーブルに含まれている場合、その特定文字列に対応するフィールドの領域が、秘匿すべき部分として特定される。解析部３３による特定結果はステップＳ１０７においてマスク処理部３４に供給される。 For example, when the specified specific character string is a "circle", the area of the character string drawn adjacent to the left side of the specified specific character string is specified as a part to be concealed. Further, for example, when the specific character string is "\", the area of the character string drawn adjacent to the right side of the specific character string is specified as a part to be concealed. Further, for example, when the specific character string is "name" or "customer name" and the specific character string is included in a table having a plurality of rows and a plurality of columns, the specific character string is included in the specific character string. The area of the corresponding field is identified as the part to be kept secret. The specific result by the analysis unit 33 is supplied to the mask processing unit 34 in step S107.
ステップＳ１０８において、マスク処理部３４は、フレーム画像のうち解析部３３により特定された部分にマスク処理を施す。マスク処理が施されたフレーム画像はステップＳ１０９においてフレームメモリ３７に記憶される。なお、ステップＳ１０６において秘匿すべき部分が特定されなかった場合には、ステップＳ１０８のマスク処理は行われない。 In step S108, the mask processing unit 34 applies mask processing to the portion of the frame image specified by the analysis unit 33. The masked frame image is stored in the frame memory 37 in step S109. If the portion to be concealed is not specified in step S106, the mask processing in step S108 is not performed.
図８は、マスク処理が施されたフレーム画像を例示する図である。図８の例では、「円」、及び「顧客名」が特定文字列として特定され、「円」の左側の文字列の領域がマスク処理されるとともに、「顧客名」に対応するフィールドがマスク処理されている。 FIG. 8 is a diagram illustrating a frame image that has been masked. In the example of FIG. 8, the "circle" and the "customer name" are specified as specific character strings, the area of the character string on the left side of the "circle" is masked, and the field corresponding to the "customer name" is masked. It is being processed.
図６の説明に戻る。ステップＳ１１０において、エンコーダー３５は、マスク処理されたフレーム画像をフレームメモリ３７から読み出し、ステップＳ１１１において、入力された映像データと同じ規格（例えば、Ｈ．２６４）でフレーム画像をエンコードし、映像データを生成する。生成された映像データはステップＳ１１２において送信部３６のバッファに格納される。 Returning to the description of FIG. In step S110, the encoder 35 reads the masked frame image from the frame memory 37, encodes the frame image with the same standard as the input video data (for example, H.264) in step S111, and outputs the video data. Generate. The generated video data is stored in the buffer of the transmission unit 36 in step S112.
ステップＳ１１３において、送信部３６は、エンコーダー３５により生成された映像データを映像受信装置２０に送信する。ＯＳ１５１から映像データが取得される毎に、図６のステップＳ１０２乃至Ｓ１１３の処理が繰り返し実行され、マスク処理が施された映像データが逐次、映像受信装置２０に送信される。 In step S113, the transmission unit 36 transmits the video data generated by the encoder 35 to the video receiving device 20. Every time the video data is acquired from the OS 151, the processes of steps S102 to S113 of FIG. 6 are repeatedly executed, and the masked video data is sequentially transmitted to the video receiving device 20.
映像受信装置２０は、映像送信装置１０から映像データを受信し、受信された映像データの表す映像を自装置のＵＩ部に表示する。これにより、映像送信装置１０のＵＩ部１０５に表示されている画面が映像受信装置２０と映像送信装置１０とで共有される。このとき、映像受信装置２０のＵＩ部には、映像送信装置１０のＵＩ部１０５に表示された画面がそのまま表示されるのではなく、秘匿すべき部分がマスク処理された画面（例えば、図８の画面）が表示される。 The video receiving device 20 receives video data from the video transmitting device 10 and displays the video represented by the received video data on the UI unit of its own device. As a result, the screen displayed on the UI unit 105 of the video transmitting device 10 is shared between the video receiving device 20 and the video transmitting device 10. At this time, the UI unit of the video receiving device 20 does not display the screen displayed on the UI unit 105 of the video transmitting device 10 as it is, but a screen in which the part to be concealed is masked (for example, FIG. 8). Screen) is displayed.
図９は、画面共有アプリ１５３が行う映像送信処理の流れを例示するシーケンスチャートであり、図６のステップＳ１０５の解析処理においてフレーム画像から特定のパターンが検出された場合の動作を例示したものである。図６のステップＳ１０５の解析処理においてフレーム画像から特定のパターンが検出された場合、図６のステップＳ１０６乃至Ｓ１１３の処理に代えて、ステップＳ１２１の処理が実行される。ステップＳ１０５において一のフレーム画像において特定のパターンが検知された場合、送信部３６は、ステップＳ１２１において、映像データの出力を直ちに停止する。すなわち、送信部３６は、その時点でフレームメモリ３７に記憶されているフレーム画像をエンコードした映像データを送信することなしに、映像データの出力を停止する。 FIG. 9 is a sequence chart illustrating the flow of the video transmission process performed by the screen sharing application 153, and illustrates the operation when a specific pattern is detected from the frame image in the analysis process of step S105 of FIG. is there. When a specific pattern is detected from the frame image in the analysis process of step S105 of FIG. 6, the process of step S121 is executed instead of the process of steps S106 to S113 of FIG. When a specific pattern is detected in one frame image in step S105, the transmission unit 36 immediately stops the output of video data in step S121. That is, the transmission unit 36 stops the output of the video data without transmitting the video data encoded from the frame image stored in the frame memory 37 at that time.
すなわち、映像送信装置１０のＵＩ部１０５において特定のパターンの画面（例えば、複数のウィンドウがマトリクス状に配置された画面）が表示されている場合、映像送信装置１０から映像受信装置２０への映像データの送信は行われない。そのため、映像送信装置１０の画面の共有は行われない。 That is, when a screen having a specific pattern (for example, a screen in which a plurality of windows are arranged in a matrix) is displayed in the UI unit 105 of the video transmitting device 10, the video from the video transmitting device 10 to the video receiving device 20 is displayed. No data is sent. Therefore, the screen of the video transmission device 10 is not shared.
ここで、映像データの送信が停止される場合（図９のステップＳ１２１）における映像データの送信の停止タイミングについて、図面を参照しつつ説明する。 Here, the stop timing of the transmission of the video data in the case where the transmission of the video data is stopped (step S121 in FIG. 9) will be described with reference to the drawings.
図１０は、映像データの送信タイミングを例示するタイムチャートである。図において、横軸は時刻を示す。フレーム画像ｆ１、ｆ２、ｆ３、ｆ４及びｆ５は映像送信装置１０のバッファに格納されるフレーム画像であり、時刻ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５においてＵＩ部１０５に表示される画面に対応するフレーム画像である。図１０の例では、時刻ｔ２においてユーザにより画面遷移の操作がなされ、画面が図５に例示した画面から図７に例示した画面に遷移している。 FIG. 10 is a time chart illustrating the transmission timing of video data. In the figure, the horizontal axis indicates the time. The frame images f1, f2, f3, f4 and f5 are frame images stored in the buffer of the video transmission device 10, and correspond to the screens displayed on the UI unit 105 at the times t1, t2, t3, t4 and t5. It is a frame image. In the example of FIG. 10, the screen transition operation is performed by the user at time t2, and the screen transitions from the screen illustrated in FIG. 5 to the screen illustrated in FIG.
映像送信装置１０のフレームメモリ３７には、図６のステップＳ１０２でデコードされたフレーム画像が順次格納される。格納されたフレーム画像は解析されてパターン検知された後、マスク処理が施され、エンコードされて映像データとして映像受信装置２０に送信される。マスク処理やエンコード処理等は処理時間を要するため、一のフレーム画像が解析されてから送信開始されるまでには、タイムラグΔｔが発生する。 The frame memory 37 of the video transmission device 10 sequentially stores the frame images decoded in step S102 of FIG. After the stored frame image is analyzed and the pattern is detected, it is masked, encoded, and transmitted to the video receiving device 20 as video data. Since mask processing, encoding processing, and the like require processing time, a time lag Δt occurs from the analysis of one frame image to the start of transmission.
図１０の例では、フレーム画像ｆ１からは特定のパターンは検知されないため、フレーム画像ｆ１はマスク処理が施され、エンコードされて映像受信装置２０へ送信される。フレーム画像ｆ２、ｆ３も同様に順次マスク処理及びエンコード処理が施される。一方、フレーム画像ｆ４については、図６のステップＳ１０５の処理において特定のパターンが検知され、特定のパターンが検知されたタイミングで、送信部３６は映像データの送信を停止する。このとき、上述のようにマスク処理及びエンコード処理には時間が要されるため、フレーム画像ｆ４において特定のパターンが検知されたタイミングにおいては、フレーム画像ｆ２及びｆ３は未だエンコード処理が完了しておらず、フレーム画像ｆ２及びｆ３は未だ送信されていない。すなわち、フレーム画像ｆ４において特定のパターンが検知されたタイミングにおいて送信処理が停止されることにより、数フレーム前（フレーム画像ｆ２）に遡って送信が停止されることとなり、フレーム画像ｆ３の画面が共有されてしまうことが防止される。例えば、（ＯＳの仕様により、）単一のウィンドウが表示される画面（例：フレーム画像ｆ２）から複数のウィンドウが並べられた画面（例：フレーム画像ｆ４）に遷移する際に、アニメーションによる遷移画面（例：フレーム画像ｆ３）を経て遷移する場合、複数のウィンドウが並べられた画面は特定のパターンとして検知できるものの、遷移途中の画面は検知できないことがある。遷移途中の画面には他のアプリケーションのウィンドウが含まれる可能性、すなわち秘匿を要する可能性がある。この例によれば、特定のパターンが検知されるとその数フレーム前に遡って送信が停止されることになるので、秘匿を要する画面をより簡単に秘匿することができる。 In the example of FIG. 10, since a specific pattern is not detected from the frame image f1, the frame image f1 is masked, encoded, and transmitted to the video receiving device 20. Similarly, the frame images f2 and f3 are sequentially masked and encoded. On the other hand, for the frame image f4, a specific pattern is detected in the process of step S105 of FIG. 6, and the transmission unit 36 stops the transmission of video data at the timing when the specific pattern is detected. At this time, since the mask processing and the encoding processing require time as described above, the encoding processing of the frame images f2 and f3 is still completed at the timing when the specific pattern is detected in the frame image f4. However, the frame images f2 and f3 have not been transmitted yet. That is, by stopping the transmission process at the timing when a specific pattern is detected in the frame image f4, the transmission is stopped retroactively several frames before (frame image f2), and the screen of the frame image f3 is shared. It is prevented from being done. For example, when transitioning from a screen in which a single window is displayed (example: frame image f2) to a screen in which multiple windows are arranged (example: frame image f4) (depending on the OS specifications), a transition by animation is performed. When transitioning through a screen (example: frame image f3), a screen in which a plurality of windows are arranged can be detected as a specific pattern, but a screen in the middle of the transition may not be detected. The screen in the middle of the transition may contain windows of other applications, that is, it may require confidentiality. According to this example, when a specific pattern is detected, transmission is stopped retroactively several frames before that, so that a screen that requires concealment can be concealed more easily.
映像送信装置１０は、フレーム画像から特定のパターンが検知されている期間においては、フレーム画像のマスク処理やエンコード処理を行うことなく（図９参照）、フレームメモリ３７に記憶されたフレーム画像を破棄する。一方、フレーム画像から特定のパターンが検知されなくなったタイミングで、映像送信装置１０はフレーム画像のマスク処理がエンコード処理を再開し、映像データの送信を再開する。すなわち、特定のパターンが検知されなかったフレーム画像の映像データから、送信が再開される。そのため、特定のパターンが検知されたフレーム画像の画面は共有されることがない。 The video transmission device 10 discards the frame image stored in the frame memory 37 without performing mask processing or encoding processing of the frame image during the period when a specific pattern is detected from the frame image (see FIG. 9). To do. On the other hand, at the timing when a specific pattern is no longer detected from the frame image, the image transmission device 10 restarts the encoding process by the mask processing of the frame image and restarts the transmission of the video data. That is, the transmission is restarted from the video data of the frame image in which the specific pattern is not detected. Therefore, the screen of the frame image in which a specific pattern is detected is not shared.
以上説明したようにこの実施形態では、画面を他の装置と共有するシステムにおいて、マスク処理する領域をユーザが手動で指定したり画面の静止画の画像データを別途取得したりする必要がなく、情報がより簡単に秘匿される。 As described above, in this embodiment, in a system in which the screen is shared with other devices, it is not necessary for the user to manually specify the area to be masked or to separately acquire the image data of the still image of the screen. Information is more easily concealed.
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変型実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
3. 3. Modifications The present invention is not limited to the above-described embodiment, and various modifications can be carried out. Some modifications will be described below. Two or more of the following modifications may be used in combination.
３−１．変形例１
上述の実施形態では、図６のステップＳ１０５において検出する特定のパターンとして、図７を例示した。検出される特定のパターンは上述の実施形態で示したものに限られない。例えば、パスコード（暗証番号）の入力画面から検知されるパターンであってもよい。また、他の例として、例えば、図１１に例示されるような、複数のウィンドウが重畳して表示された画面から検知されるパターンであってもよい。
3-1. Modification 1
In the above-described embodiment, FIG. 7 is illustrated as a specific pattern detected in step S105 of FIG. The specific pattern detected is not limited to that shown in the above-described embodiment. For example, it may be a pattern detected from the passcode (password) input screen. Further, as another example, for example, a pattern detected from a screen on which a plurality of windows are superimposed and displayed, as illustrated in FIG. 11, may be used.
３−２．変形例２
上述の実施形態では、フォアグラウンドで動作するアプリケーション（アプリ１５２）が非公開データを取り扱う企業においてその非公開データを解析するアプリケーションである場合の動作を説明した。アプリ１５２は上述した実施形態で示したものに限られない。アプリ１５２は、種々のものが適用可能である。例えば、アプリ１５２は、汎用のカメラアプリケーションであってもよい。この場合、カメラで撮影された画像（例えば、書類の画像）に所定の文字列が含まれていると、その文字列の部分がマスク処理された画面が共有される。このように、フォアグラウンドで動作するアプリケーションが汎用のカメラアプリである場合であっても、上述の実施形態と同様に、画面を他の装置と共有するシステムにおいて、情報がより簡単に秘匿される。
3-2. Modification 2
In the above-described embodiment, the operation when the application (application 152) operating in the foreground is an application that analyzes the private data in a company that handles the private data has been described. The application 152 is not limited to the one shown in the above-described embodiment. Various applications can be applied to the application 152. For example, application 152 may be a general-purpose camera application. In this case, if the image taken by the camera (for example, the image of the document) contains a predetermined character string, the screen in which the character string portion is masked is shared. As described above, even when the application operating in the foreground is a general-purpose camera application, the information is more easily concealed in the system sharing the screen with other devices as in the above-described embodiment.
３−３．変形例３
データ処理の流れは実施形態において例示したものに限定されない。ＯＳ１５１は、圧縮された映像データを出力する代わりに、圧縮されていない（すなわちデコード不要の）映像データを出力してもよい。この場合、画面共有アプリ１５３はデコーダー３２を有さなくてもよい。取得部３１は、ＯＳ１５１から圧縮されていない映像データを取得する。取得部３１は、映像データをフレームメモリに書き込む。以下は、ＯＳ１５１が圧縮された映像データを出力する場合と同様である。
3-3. Modification 3
The flow of data processing is not limited to that illustrated in the embodiment. Instead of outputting the compressed video data, the OS 151 may output uncompressed (that is, decoding-free) video data. In this case, the screen sharing application 153 does not have to have the decoder 32. The acquisition unit 31 acquires uncompressed video data from the OS 151. The acquisition unit 31 writes the video data to the frame memory. The following is the same as when the OS 151 outputs the compressed video data.
また、映像送信装置１０から映像受信装置２０に送信される映像データは、圧縮されたデータに限定されない。圧縮されていない映像データが、映像送信装置１０から映像受信装置２０に送信されてもよい。この場合、画面共有アプリ１５３はエンコーダー３５を有さなくてもよい。送信部３６は、マスク処理部３４にマスク処理された映像をエンコードせずに送信する。 Further, the video data transmitted from the video transmitting device 10 to the video receiving device 20 is not limited to the compressed data. The uncompressed video data may be transmitted from the video transmitting device 10 to the video receiving device 20. In this case, the screen sharing application 153 does not have to have the encoder 35. The transmission unit 36 transmits the masked video to the mask processing unit 34 without encoding.
３−４．変形例４
映像送信装置１０の機能構成は図２で例示したものに限定されない。図２に示した機能の一部が省略されてもよく、また、図示されていない機能が追加されてもよい。また、画面共有システム１を構成する装置における機能の分担は、実施形態において例示したものに限定されない。例えば、映像データの解析処理やマスク処理を映像受信装置２０が行ってもよい。また、例えば、画面共有システム１がクラウドサーバを備える構成とし、映像送信装置１０がクラウドサーバに映像データを送信し、クラウドサーバが映像データの解析処理やマスク処理を実行してもよい。
3-4. Modification 4
The functional configuration of the video transmission device 10 is not limited to that illustrated in FIG. Some of the functions shown in FIG. 2 may be omitted, and functions (not shown) may be added. Further, the division of functions in the devices constituting the screen sharing system 1 is not limited to the one illustrated in the embodiment. For example, the video receiving device 20 may perform the video data analysis processing and the mask processing. Further, for example, the screen sharing system 1 may be configured to include a cloud server, the video transmission device 10 may transmit video data to the cloud server, and the cloud server may perform analysis processing and mask processing of the video data.
映像送信装置１０のハードウェア構成は、図３に例示されたものに限定されない。要求される機能を実現できるものであれば、映像送信装置１０は、どのようなハードウェア構成を有していてもよい。 The hardware configuration of the video transmission device 10 is not limited to that illustrated in FIG. The video transmission device 10 may have any hardware configuration as long as the required functions can be realized.
映像送信装置１０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。 The program executed by the video transmission device 10 may be provided by a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, or may be downloaded via a communication line such as the Internet.
１…画面共有システム、２…通信回線、１０…映像送信装置、１１…受け付け手段、１２…取得手段、１３…特定手段、１４…処理手段、１５…生成手段、１６…送信手段、１７…記憶手段、２０…映像受信装置、１０１…プロセッサ、１０２…メモリ、１０３…記憶装置、１０４…通信ＩＦ 1 ... screen sharing system, 2 ... communication line, 10 ... video transmission device, 11 ... reception means, 12 ... acquisition means, 13 ... specific means, 14 ... processing means, 15 ... generation means, 16 ... transmission means, 17 ... memory Means, 20 ... video receiver, 101 ... processor, 102 ... memory, 103 ... storage device, 104 ... communication IF
Claims (7)
前記映像データをデコードしてフレーム画像を取得する取得手段と、
前記フレーム画像を解析し、秘匿すべき部分を特定する特定手段と、
前記フレーム画像のうち前記特定された部分にマスク処理を施す処理手段と、
前記マスク処理されたフレーム画像をエンコードし、映像データを生成する生成手段と、
前記生成された映像データを送信する送信手段と
を有する映像送信装置。 A receiving means for accepting input of compressed video data,
An acquisition means for decoding the video data to acquire a frame image, and
A specific means for analyzing the frame image and identifying a part to be kept secret,
A processing means for masking the specified portion of the frame image, and
A generation means for encoding the masked frame image and generating video data,
A video transmission device having a transmission means for transmitting the generated video data.
一のフレーム画像において特定のパターンが検知された場合、前記送信手段は、その時点で前記記憶手段に記憶されているフレーム画像をエンコードした映像データを出力することなしに、映像データの出力を停止する
請求項１に記載の映像送信装置。 It has a storage means for storing one or more frame images after the mask processing.
When a specific pattern is detected in one frame image, the transmitting means stops the output of the video data without outputting the video data encoded from the frame image stored in the storage means at that time. The video transmission device according to claim 1.
請求項１又は２に記載の映像送信装置。 The video transmission device according to claim 1 or 2, wherein the video data indicates a time change of a screen displayed on the video transmission device.
前記受け付け手段、前記取得手段、前記特定手段、前記処理手段、前記生成手段、及び前記送信手段は、前記第１ソフトウェアと異なる第２ソフトウェアにより実装される
請求項１乃至３のいずれか一項に記載の映像送信装置。 The video data is output from the first software.
The receiving means, the acquiring means, the specifying means, the processing means, the generating means, and the transmitting means are according to any one of claims 1 to 3 implemented by a second software different from the first software. The video transmitter described.
請求項４に記載の映像送信装置。 The video transmission device according to claim 4, wherein the first software is an operating system of the video transmission device.
圧縮された映像データの入力を受け付けるステップと、
前記映像データをデコードしてフレーム画像を取得するステップと、
前記フレーム画像を解析し、秘匿すべき部分を特定するステップと、
前記フレーム画像のうち前記特定された部分にマスク処理を施すステップと、
前記マスク処理されたフレーム画像をエンコードし、映像データを生成するステップと、
前記生成された映像データを出力するステップと
を実行させるためのプログラム。 On the computer
Steps to accept input of compressed video data,
The step of decoding the video data and acquiring the frame image,
Steps to analyze the frame image and identify the part to be kept secret,
A step of masking the specified portion of the frame image and
The step of encoding the masked frame image and generating video data,
A program for executing the step of outputting the generated video data.
前記映像データをデコードしてフレーム画像を取得するステップと、
前記フレーム画像を解析し、秘匿すべき部分を特定するステップと、
前記フレーム画像のうち前記特定された部分にマスク処理を施すステップと、
前記マスク処理されたフレーム画像をエンコードし、映像データを生成するステップと、
前記生成された映像データを出力するステップと
を有する映像送信方法。 Steps to accept input of compressed video data,
The step of decoding the video data and acquiring the frame image,
Steps to analyze the frame image and identify the part to be kept secret,
A step of masking the specified portion of the frame image and
The step of encoding the masked frame image and generating video data,
A video transmission method including a step of outputting the generated video data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019128627A JP7403115B2 (en) | 2019-07-10 | 2019-07-10 | Video transmission device, application program and video transmission method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019128627A JP7403115B2 (en) | 2019-07-10 | 2019-07-10 | Video transmission device, application program and video transmission method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021016032A true JP2021016032A (en) | 2021-02-12 |
| JP7403115B2 JP7403115B2 (en) | 2023-12-22 |
Family
ID=74530627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019128627A Active JP7403115B2 (en) | 2019-07-10 | 2019-07-10 | Video transmission device, application program and video transmission method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7403115B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022150290A (en) * | 2021-03-26 | 2022-10-07 | 沖電気工業株式会社 | Information processing device, information processing method, program and information processing system |
| JP2024532633A (en) * | 2022-07-29 | 2024-09-10 | 広州視源電子科技股▲分▼有限公司 | Data transmission method, device, conference system, wireless screen transfer device and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008046567A (en) * | 2006-08-21 | 2008-02-28 | Fujitsu Ltd | Information processing apparatus, external display monitoring method in information processing apparatus, and program |
| JP2012079170A (en) * | 2010-10-04 | 2012-04-19 | Ntt Docomo Inc | Display device, disclosure control device, disclosure control method, and program |
| JP2013172301A (en) * | 2012-02-21 | 2013-09-02 | Nintendo Co Ltd | Information processing system, control device, information processing program, and image display method |
| JP2014212473A (en) * | 2013-04-19 | 2014-11-13 | 株式会社ニコン | Communication device and head-mounted display device |
| JP2015029297A (en) * | 2009-09-14 | 2015-02-12 | ティヴォ インク | Extraction of finger print in media contents |
| JP2017199314A (en) * | 2016-04-28 | 2017-11-02 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processor, client terminal, control method thereof, and program |
| JP2017212744A (en) * | 2012-07-09 | 2017-11-30 | ヴィド スケール インコーポレイテッド | Power recognition type video decoding and streaming |
| JP2018061214A (en) * | 2016-10-07 | 2018-04-12 | パナソニックＩｐマネジメント株式会社 | Surveillance video analysis system and surveillance video analysis method |
-
2019
- 2019-07-10 JP JP2019128627A patent/JP7403115B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008046567A (en) * | 2006-08-21 | 2008-02-28 | Fujitsu Ltd | Information processing apparatus, external display monitoring method in information processing apparatus, and program |
| JP2015029297A (en) * | 2009-09-14 | 2015-02-12 | ティヴォ インク | Extraction of finger print in media contents |
| JP2012079170A (en) * | 2010-10-04 | 2012-04-19 | Ntt Docomo Inc | Display device, disclosure control device, disclosure control method, and program |
| JP2013172301A (en) * | 2012-02-21 | 2013-09-02 | Nintendo Co Ltd | Information processing system, control device, information processing program, and image display method |
| JP2017212744A (en) * | 2012-07-09 | 2017-11-30 | ヴィド スケール インコーポレイテッド | Power recognition type video decoding and streaming |
| JP2014212473A (en) * | 2013-04-19 | 2014-11-13 | 株式会社ニコン | Communication device and head-mounted display device |
| JP2017199314A (en) * | 2016-04-28 | 2017-11-02 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processor, client terminal, control method thereof, and program |
| JP2018061214A (en) * | 2016-10-07 | 2018-04-12 | パナソニックＩｐマネジメント株式会社 | Surveillance video analysis system and surveillance video analysis method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022150290A (en) * | 2021-03-26 | 2022-10-07 | 沖電気工業株式会社 | Information processing device, information processing method, program and information processing system |
| JP7608925B2 (en) | 2021-03-26 | 2025-01-07 | 沖電気工業株式会社 | Information processing device, information processing method, program, and information processing system |
| JP2024532633A (en) * | 2022-07-29 | 2024-09-10 | 広州視源電子科技股▲分▼有限公司 | Data transmission method, device, conference system, wireless screen transfer device and storage medium |
| JP7651814B2 (en) | 2022-07-29 | 2025-03-27 | 広州視源電子科技股▲分▼有限公司 | Data transmission method, device, conference system, wireless screen transfer device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7403115B2 (en) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11294616B2 (en) | Systems and methods for the secure synchronization of user interface state amongst computing devices | |
| US9152812B2 (en) | Sensitive data protection during user interface automation testing systems and methods | |
| US9830474B2 (en) | Concealing sensitive content from unauthorized users | |
| US20220391642A1 (en) | Method and apparatus for evaluating joint training model | |
| CN104508689B (en) | A kind of Quick Response Code processing method and terminal | |
| US20110241823A1 (en) | Tag-based personalization | |
| KR102002024B1 (en) | Method for processing labeling of object and object management server | |
| JP7261732B2 (en) | Method and apparatus for determining character color | |
| US20210064919A1 (en) | Method and apparatus for processing image | |
| KR20150137911A (en) | user terminal apparatus, communication system and control method thereof | |
| CN111078070A (en) | PPT video barrage play control method, device, terminal and medium | |
| KR20220099907A (en) | Service server in live commerce system and operating method thereof | |
| KR101984825B1 (en) | Method and Apparatus for Encoding a Cloud Display Screen by Using API Information | |
| JP7403115B2 (en) | Video transmission device, application program and video transmission method | |
| CN108183939A (en) | Cloud identifying service system, method, equipment and Cloud Server | |
| EP3868056A1 (en) | Providing virtual desktop within computing environment | |
| CN111078078B (en) | Video playing control method, device, terminal and computer readable storage medium | |
| CN109145813B (en) | Image matching algorithm testing method and device | |
| US20140307116A1 (en) | Method and system for managing video recording and/or picture taking in a restricted environment | |
| CN111857901A (en) | Data processing method, method for generating session context, electronic device and medium | |
| CN113835820A (en) | Graphic code display method and device | |
| CN104881423A (en) | Information Providing Method And System Using Signage Device | |
| WO2017119191A1 (en) | Terminal device, information processing method, and recording medium | |
| TWI465912B (en) | Method of establishing connection between electronic devices | |
| CN114095203B (en) | Data encryption interaction method, device and readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7403115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |