[go: up one dir, main page]

JP7562344B2 - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP7562344B2
JP7562344B2 JP2020151217A JP2020151217A JP7562344B2 JP 7562344 B2 JP7562344 B2 JP 7562344B2 JP 2020151217 A JP2020151217 A JP 2020151217A JP 2020151217 A JP2020151217 A JP 2020151217A JP 7562344 B2 JP7562344 B2 JP 7562344B2
Authority
JP
Japan
Prior art keywords
screen
interface
vcd
processor
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020151217A
Other languages
Japanese (ja)
Other versions
JP2022045557A (en
Inventor
雄飛 南埜
昌孝 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2020151217A priority Critical patent/JP7562344B2/en
Publication of JP2022045557A publication Critical patent/JP2022045557A/en
Application granted granted Critical
Publication of JP7562344B2 publication Critical patent/JP7562344B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。 An embodiment of the present invention relates to an information processing device and a program.

VCD(Video Coding Device)から画像を取得し取得された画像に対してOCR(Optical Character Recognition)を行う情報処理装置が提供されている。そのような情報処理装置は、OCR処理に失敗した場合、VCDからの画像を表示してオペレータからキー入力を受け付ける。情報処理装置は、キー入力を示す操作信号をVCDに入力する。 An information processing device is provided that acquires an image from a VCD (Video Coding Device) and performs OCR (Optical Character Recognition) on the acquired image. If the OCR process fails, such an information processing device displays the image from the VCD and accepts key input from an operator. The information processing device inputs an operation signal indicating the key input to the VCD.

従来、情報処理装置は、操作信号の生成時間又は画像の取得時間などにより、オペレータがキー入力を行ってから画面に反映されるまでにラグが生じることがある。そのため、オペレータは、自身が入力した文字を即座に確認することができない。 Conventionally, information processing devices can experience a lag between when an operator inputs something on a key and when that input is reflected on the screen, due to the time it takes to generate an operation signal or capture an image. As a result, the operator cannot immediately check the characters he or she has input.

特開2008-90531号公報JP 2008-90531 A

上記の課題を解決するため、オペレータに、VCDへ入力される文字を効果的に確認させることができる情報処理装置及びプログラムを提供する。 To solve the above problem, we provide an information processing device and program that allows an operator to effectively check the characters being entered into a VCD.

実施形態によれば、情報処理装置は、画像インターフェースと、入力インターフェースと、表示インターフェースと、操作インターフェースと、プロセッサと、を備える。画像インターフェースは、外部装置から文字列を入力する画面を取得する。入力インターフェースは、前記外部装置に操作を示す信号を送信する。表示インターフェースは、表示端末と通信する。操作インターフェースは、操作端末と通信する。プロセッサは、前記表示インターフェースを通じて前記画面を前記表示端末に表示し、前記操作インターフェースを通じてキー入力を受け付け、前記表示インターフェースを通じて前記キー入力が示す文字列を含むダイアログを前記表示端末に表示し、前記入力インターフェースを通じて前記キー入力を示す信号を前記外部装置に送信し、前記画像インターフェースを通じて前記キー入力が示す文字列が入力された前記画面を前記外部装置から取得し、前記表示インターフェースを通じて前記ダイアログと前記画面とを前記表示端末に表示する。前記画面は、文字列が写る文字列画像を含み、前記プロセッサは、前記文字列画像に対して文字認識処理を行った文字認識処理装置から文字認識処理の結果を取得し、前記入力インターフェースを通じて、前記文字認識処理の結果に基づいて文字列を入力する信号を前記外部装置に送信し、前記文字認識処理に失敗した場合、前記操作インターフェースを通じてキー入力を受け付ける。
According to an embodiment, an information processing device includes an image interface, an input interface, a display interface, an operation interface, and a processor. The image interface acquires a screen for inputting a character string from an external device. The input interface transmits a signal indicating an operation to the external device. The display interface communicates with a display terminal. The operation interface communicates with the operation terminal. The processor displays the screen on the display terminal through the display interface, accepts a key input through the operation interface, displays a dialogue including the character string indicated by the key input on the display terminal through the display interface, transmits a signal indicating the key input to the external device through the input interface, acquires the screen on which the character string indicated by the key input is input from the external device through the image interface, and displays the dialogue and the screen on the display terminal through the display interface. The screen includes a character string image showing a character string, and the processor obtains a result of the character recognition processing from a character recognition processing device that has performed character recognition processing on the character string image, and transmits a signal to the external device via the input interface for inputting a character string based on the result of the character recognition processing, and if the character recognition processing fails, accepts key input via the operation interface.

図1は、実施形態に係る入力システムの構成例を示すブロック図である。FIG. 1 is a block diagram illustrating an example of the configuration of an input system according to an embodiment. 図2は、実施形態に係るVCDの構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of a VCD according to the embodiment. 図3は、実施形態に係るOCR装置の構成例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of the configuration of an OCR device according to an embodiment. 図4は、実施形態に係るVCD画面の例を示す図である。FIG. 4 is a diagram showing an example of a VCD screen according to the embodiment. 図5は、実施形態に係る入力システムの動作例を示すシーケンス図である。FIG. 5 is a sequence diagram illustrating an example of the operation of the input system according to the embodiment.

以下、実施形態について、図面を参照して説明する。
実施形態に係る入力システムは、VCDから、郵便番号などの文字列を含む画像を取得する。入力システムは、OCR装置において、取得された画像に対してOCR処理(文字認識処理)を行う。入力システムは、OCR処理の結果に基づいて文字列を入力するための操作信号をVCDに入力する。入力システムは、OCR処理に失敗した場合、取得された画像をOCR装置に表示する。入力システムは、OCR装置を通じて、オペレータからキー入力を受け付ける。入力システムは、キー入力を示す操作信号をOCR装置からVCDに入力する。
Hereinafter, embodiments will be described with reference to the drawings.
An input system according to an embodiment acquires an image including a character string such as a postal code from a VCD. The input system performs OCR processing (character recognition processing) on the acquired image in an OCR device. The input system inputs an operation signal to the VCD for inputting a character string based on the result of the OCR processing. If the OCR processing fails, the input system displays the acquired image on the OCR device. The input system accepts key input from an operator through the OCR device. The input system inputs an operation signal indicating the key input from the OCR device to the VCD.

図1は、実施形態に係る入力システム1の構成例を示す。図1が示すように、入力システム1は、管理PC2、ネットワーク3、エミュレータ4、キャプチャボード5、表示端末7、操作端末8、VCD10及びOCR装置20などを備える。 Figure 1 shows an example of the configuration of an input system 1 according to an embodiment. As shown in Figure 1, the input system 1 includes a management PC 2, a network 3, an emulator 4, a capture board 5, a display terminal 7, an operation terminal 8, a VCD 10, and an OCR device 20.

エミュレータ4は、第1のエミュレータ4a及び第2のエミュレータ4bから構成される。キャプチャボード5は、第1のキャプチャボード5a及び第2のキャプチャボード5bから構成される。表示端末7は、第1の表示端末7a及び第2の表示端末7bから構成される。操作端末8は、第1の操作端末8a及び第2の操作端末8bから構成される。VCD10は、第1のVCD10a及び第2のVCD10bから構成される。OCR装置20は、第1のOCR装置20a及び第2のOCR装置20bから構成される。 The emulator 4 is composed of a first emulator 4a and a second emulator 4b. The capture board 5 is composed of a first capture board 5a and a second capture board 5b. The display terminal 7 is composed of a first display terminal 7a and a second display terminal 7b. The operation terminal 8 is composed of a first operation terminal 8a and a second operation terminal 8b. The VCD 10 is composed of a first VCD 10a and a second VCD 10b. The OCR device 20 is composed of a first OCR device 20a and a second OCR device 20b.

管理PC2は、ネットワーク3に接続する。
第1のVCD10aは、第1のエミュレータ4a及び第1のキャプチャボード5aに接続する。第1のOCR装置20aは、ネットワーク3、第1のエミュレータ4a、第1のキャプチャボード5a、第1の表示端末7a及び第1の操作端末8aに接続する。
The management PC 2 is connected to the network 3 .
The first VCD 10a is connected to the first emulator 4a and the first capture board 5a. The first OCR device 20a is connected to the network 3, the first emulator 4a, the first capture board 5a, the first display terminal 7a, and the first operation terminal 8a.

第2のVCD10bは、第2のエミュレータ4b及び第2のキャプチャボード5bに接続する。第2のOCR装置20bは、ネットワーク3、第2のエミュレータ4b、第2のキャプチャボード5b、第2の表示端末7b及び第2の操作端末8bに接続する。 The second VCD 10b is connected to the second emulator 4b and the second capture board 5b. The second OCR device 20b is connected to the network 3, the second emulator 4b, the second capture board 5b, the second display terminal 7b, and the second operation terminal 8b.

なお、入力システム1は、図1が示すような構成の他に必要に応じた構成をさらに具備したり、入力システム1から特定の構成が除外されたりしてもよい。 In addition, the input system 1 may include additional components as necessary in addition to the components shown in FIG. 1, and certain components may be excluded from the input system 1.

管理PC2は、入力システム1全体を管理する。管理PC2は、OCR装置20とデータを送受信する。管理PC2は、種々の操作信号などをOCR装置20などに送信する。また、管理PC2は、OCR装置20からのデータ(OCR処理の結果など)を受信する。 The management PC 2 manages the entire input system 1. The management PC 2 transmits and receives data to the OCR device 20. The management PC 2 transmits various operation signals to the OCR device 20. The management PC 2 also receives data from the OCR device 20 (such as the results of OCR processing).

ネットワーク3は、管理PC2とOCR装置20との間の通信及びOCR装置20間の通信などを中継する。たとえば、ネットワーク3は、LAN(Local Area Network)などである。 The network 3 relays communications between the management PC 2 and the OCR device 20, and communications between the OCR devices 20. For example, the network 3 is a LAN (Local Area Network).

VCD10(第1のVCD10a及び第2のVCD10b、外部装置)は、所定の処理装置からの画像に表示される文字列を入力する。 VCD10 (first VCD10a and second VCD10b, external device) inputs a character string to be displayed on an image from a specified processing device.

たとえば、処理装置は、郵便物又は荷物などの物品をシュータなどに区分する区分機である。処理装置は、カメラを用いて、物品の宛先面(宛先が記載されている面)を撮影する。宛先面を撮影すると、処理装置は、所定のアルゴリズム(第1のアルゴリズム)に従って宛先面が写る画像(宛先画像、文字列画像)にOCR(プライマリOCR)処理を行う。 For example, the processing device is a sorting machine that sorts items such as mail or luggage into chutes. The processing device uses a camera to capture an image of the address side of the item (the side on which the address is written). After capturing an image of the address side, the processing device performs OCR (primary OCR) processing on an image showing the address side (address image, character string image) according to a predetermined algorithm (first algorithm).

OCR処理を行うと、処理装置は、OCR処理の結果に基づいて物品の宛先面に記載されている宛先を取得する。宛先を取得すると、処理装置は、取得された宛先に基づいて物品を区分する。 When OCR processing is performed, the processing device obtains the address written on the destination side of the item based on the results of the OCR processing. Once the address is obtained, the processing device sorts the item based on the obtained address.

OCR処理に失敗して宛先を取得できない場合、処理装置は、宛先画像をVCD10に送信する。 If the OCR process fails and the destination cannot be obtained, the processing device sends the destination image to VCD10.

後述するように、VCD10は、宛先画像に含まれる宛先面に記載された宛先を処理装置に送信する。
処理装置は、VCD10から宛先を取得する。宛先を取得すると、処理装置は、取得された宛先に基づいて物品を区分する。
As will be described later, the VCD 10 transmits the destination written on the destination face included in the destination image to the processing device.
The processing device obtains the destination from the VCD 10. Upon obtaining the destination, the processing device sorts the items based on the obtained destination.

VCD10は、宛先面を含む宛先画像を取得する。VCD10は、宛先画像を含む画面(VCD画面)をOCR装置20に送信する。VCD10は、文字列として、宛先画像に記載されている宛先をOCR装置20から取得する。VCD10は、取得された宛先を処理装置に送信する。
VCD10については、後に詳述する。
The VCD 10 acquires a destination image including a destination surface. The VCD 10 transmits a screen (VCD screen) including the destination image to the OCR device 20. The VCD 10 acquires the destination described in the destination image as a character string from the OCR device 20. The VCD 10 transmits the acquired destination to the processing device.
The VCD 10 will be described in more detail later.

エミュレータ4(第1のエミュレータ4a及び第2のエミュレータ4b)は、VCD10に接続するキーボード又はマウスなどの操作端末をエミュレーションする。エミュレータ4は、OCR装置20からの制御に従ってオペレータが操作端末を通じて入力する操作信号と同様の操作信号をVCD10に供給する。たとえば、エミュレータ4は、マウスの移動若しくはクリック、又は、キーボード入力などを示す操作信号をVCD10に供給する。 The emulators 4 (first emulator 4a and second emulator 4b) emulate an operation terminal such as a keyboard or a mouse connected to the VCD 10. The emulators 4 supply to the VCD 10 operation signals similar to operation signals input by an operator through the operation terminal under control of the OCR device 20. For example, the emulators 4 supply to the VCD 10 operation signals indicating mouse movement or clicking, keyboard input, etc.

ここでは、第1のエミュレータ4aは、第1のOCR装置20aの制御に従って第1のVCD10aに操作信号を供給する。また、第2のエミュレータ4bは、第2のOCR装置20bの制御に従って第2のVCD10bに操作信号を供給する。 Here, the first emulator 4a supplies an operation signal to the first VCD 10a according to the control of the first OCR device 20a. Also, the second emulator 4b supplies an operation signal to the second VCD 10b according to the control of the second OCR device 20b.

キャプチャボード5は、VCD10が供給するVCD画面を取得する。キャプチャボード5は、取得されたVCD画面をOCR装置20に供給する。 The capture board 5 acquires the VCD screen provided by the VCD 10. The capture board 5 supplies the acquired VCD screen to the OCR device 20.

ここでは、第1のキャプチャボード5aは、第1のVCD10aからのVCD画面を第1のOCR装置20aに供給する。第2のキャプチャボード5bは、第2のVCD10bからのVCD画面を第2のOCR装置20bに供給する
表示端末7は、OCR装置20からの制御に従って情報を表示する。即ち、表示端末7は、OCR装置20からの供給される情報を表示する。たとえば、表示端末7は、液晶モニタなどである。また、表示端末7は、LED(Light Emitting Diode)などのランプから構成されるものであってもよい。
Here, the first capture board 5a supplies the VCD screen from the first VCD 10a to the first OCR device 20a. The second capture board 5b supplies the VCD screen from the second VCD 10b to the second OCR device 20b. The display terminal 7 displays information according to the control from the OCR device 20. That is, the display terminal 7 displays the information supplied from the OCR device 20. For example, the display terminal 7 is a liquid crystal monitor. The display terminal 7 may also be configured with a lamp such as an LED (Light Emitting Diode).

ここでは、第1の表示端末7aは、第1のOCR装置20aからの制御に従って情報を表示する。また、第2の表示端末7bは、第2のOCR装置20bからの制御に従って情報を表示する。 Here, the first display terminal 7a displays information according to the control from the first OCR device 20a. The second display terminal 7b displays information according to the control from the second OCR device 20b.

操作端末8は、オペレータから種々の操作の入力を受け付ける。操作端末8は、入力された操作を示す信号をOCR装置20へ送信する。操作端末8は、キーボード又はマウスなどから構成される。 The operation terminal 8 accepts input of various operations from an operator. The operation terminal 8 transmits a signal indicating the input operation to the OCR device 20. The operation terminal 8 is composed of a keyboard, a mouse, etc.

ここでは、第1の操作端末8aは、入力された操作を示す信号を第1のOCR装置20aへ送信する。また、第2の操作端末8bは、入力された操作を示す信号を第2のOCR装置20bへ送信する。 Here, the first operation terminal 8a transmits a signal indicating the input operation to the first OCR device 20a. Also, the second operation terminal 8b transmits a signal indicating the input operation to the second OCR device 20b.

OCR装置20(情報処理装置、外部装置)は、キャプチャボード5からのVCD画面の宛先画像に対してOCR(セカンダリOCR)処理を行う。OCR装置20は、OCR処理の結果に基づいて宛先をVCD10に送信する。また、OCR装置20は、OCR処理に失敗した場合、操作端末8に入力されるキー入力をVCD10に送信する。OCR装置20については、後に詳述する。 The OCR device 20 (information processing device, external device) performs OCR (secondary OCR) processing on the destination image on the VCD screen from the capture board 5. The OCR device 20 transmits the destination to the VCD 10 based on the results of the OCR processing. Furthermore, if the OCR processing fails, the OCR device 20 transmits the key input entered into the operation terminal 8 to the VCD 10. The OCR device 20 will be described in detail later.

ここでは、第1のOCR装置20aは、第1のVCD10aに宛先又はキー入力を送信する。また、第2のOCR装置20bは、第2のVCD10bに宛先又はキー入力を送信する。 Here, the first OCR device 20a transmits the destination or key input to the first VCD 10a. Also, the second OCR device 20b transmits the destination or key input to the second VCD 10b.

次に、VCD10について説明する。第1のVCD10a及び第2のVCD10bは、同様の構成であるため、VCD10として説明する。 Next, we will explain VCD 10. Since the first VCD 10a and the second VCD 10b have the same configuration, they will be explained as VCD 10.

図2は、実施形態に係るVCD10の構成例を示す。図2は、VCD10の構成例を示すブロック図である。図2が示すように、VCD10は、プロセッサ11、ROM12、RAM13、NVM14、通信部15、表示インターフェース16及び操作インターフェース17などを備える。 Figure 2 shows an example of the configuration of the VCD 10 according to the embodiment. Figure 2 is a block diagram showing an example of the configuration of the VCD 10. As shown in Figure 2, the VCD 10 includes a processor 11, a ROM 12, a RAM 13, an NVM 14, a communication unit 15, a display interface 16, and an operation interface 17.

プロセッサ11と、ROM12、RAM13、NVM14、通信部15、表示インターフェース16及び操作インターフェース17と、は、データバスなどを介して互いに接続する。
なお、VCD10は、図2が示すような構成の他に必要に応じた構成を具備したり、VCD10から特定の構成が除外されたりしてもよい。
The processor 11, the ROM 12, the RAM 13, the NVM 14, the communication unit 15, the display interface 16, and the operation interface 17 are connected to one another via a data bus or the like.
The VCD 10 may include components other than those shown in FIG. 2 as necessary, and certain components may be excluded from the VCD 10.

プロセッサ11は、VCD10全体の動作を制御する機能を有する。プロセッサ11は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ11は、内部メモリ、ROM12又はNVM14が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 11 has the function of controlling the operation of the entire VCD 10. The processor 11 may include an internal cache and various interfaces. The processor 11 realizes various processes by executing programs stored in advance in the internal memory, the ROM 12, or the NVM 14.

なお、プロセッサ11がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ11は、ハードウエア回路により実行される機能を制御する。 Note that some of the various functions realized by the processor 11 executing the program may be realized by a hardware circuit. In this case, the processor 11 controls the functions executed by the hardware circuit.

ROM12は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM12に記憶される制御プログラム及び制御データは、VCD10の仕様に応じて予め組み込まれる。 ROM 12 is a non-volatile memory in which control programs, control data, etc. are pre-stored. The control programs and control data stored in ROM 12 are pre-installed according to the specifications of VCD 10.

RAM13は、揮発性のメモリである。RAM13は、プロセッサ11の処理中のデータなどを一時的に格納する。RAM13は、プロセッサ11からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM13は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 RAM 13 is a volatile memory. RAM 13 temporarily stores data being processed by processor 11. RAM 13 stores various application programs based on instructions from processor 11. RAM 13 may also store data required for the execution of application programs and the execution results of application programs.

NVM14は、データの書き込み及び書き換えが可能な不揮発性のメモリである。たとえば、NVM14は、たとえば、HDD、SSD又はフラッシュメモリなどから構成される。NVM14は、VCD10の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。 NVM14 is a non-volatile memory to which data can be written and rewritten. For example, NVM14 is composed of a HDD, SSD, or flash memory. NVM14 stores control programs, applications, various data, etc. according to the operational use of VCD10.

通信部15は、所定の処理装置とデータを送受信するためのインターフェースである。たとえば、通信部15は、有線又は無線のLAN接続をサポートするインターフェースである。 The communication unit 15 is an interface for transmitting and receiving data to and from a specific processing device. For example, the communication unit 15 is an interface that supports a wired or wireless LAN connection.

表示インターフェース16は、キャプチャボード5とデータを送受信するインターフェースである。表示インターフェース16は、プロセッサ11からの制御に従って、VCD画面をキャプチャボード5に送信する。 The display interface 16 is an interface that transmits and receives data to and from the capture board 5. The display interface 16 transmits the VCD screen to the capture board 5 under control of the processor 11.

操作インターフェース17は、操作の入力を受け付けるためのインターフェースである。たとえば、操作インターフェース17は、キーボード又はマウスなどの操作端末に入力される操作を示す操作信号を受信する。操作インターフェース17は、受信された操作信号をプロセッサ21に供給する。たとえば、操作インターフェース17は、USB(Universal Serial Bus)接続をサポートする。 The operation interface 17 is an interface for receiving operation input. For example, the operation interface 17 receives an operation signal indicating an operation input to an operation terminal such as a keyboard or a mouse. The operation interface 17 supplies the received operation signal to the processor 21. For example, the operation interface 17 supports a USB (Universal Serial Bus) connection.

ここでは、操作インターフェース17は、エミュレータ4に接続する。即ち、操作インターフェース17は、エミュレータ4からの操作信号を受信する。
たとえば、VCD10は、デスクトップPC又はノートPCなどである。
Here, the operation interface 17 is connected to the emulator 4. That is, the operation interface 17 receives an operation signal from the emulator 4.
For example, the VCD 10 is a desktop PC or a notebook PC.

VCD10のプロセッサ11は、通信部15を通じて宛先画像を処理装置から取得する。宛先画像を取得すると、プロセッサ11は、宛先画像に写る宛先の入力を受け付けるVCD画面を生成する。VCD画面は、取得された宛先画像を含む。 The processor 11 of the VCD 10 acquires the destination image from the processing device through the communication unit 15. Upon acquiring the destination image, the processor 11 generates a VCD screen that accepts input of the destination shown in the destination image. The VCD screen includes the acquired destination image.

VCD画面を生成すると、プロセッサ11は、表示インターフェース16を通じて、生成されたVCD画面をキャプチャボード5に出力する。 Once the VCD screen is generated, the processor 11 outputs the generated VCD screen to the capture board 5 via the display interface 16.

VCD画面を出力すると、プロセッサ11は、操作インターフェース17を通じて宛先の入力を受け付ける。プロセッサ11は、操作インターフェース17を通じて、操作部が接続されている場合と同様の信号(キー入力などを示す操作信号)をエミュレータ4から取得する。 When the VCD screen is output, the processor 11 accepts destination input via the operation interface 17. The processor 11 obtains from the emulator 4, via the operation interface 17, a signal similar to that received when an operation unit is connected (an operation signal indicating key input, etc.).

プロセッサ11は、操作インターフェース17を通じて入力が確定する操作信号(たとえば、エンターキーが押された操作信号など)を受信すると、通信部15を通じて入力された宛先を処理装置に送信する。 When the processor 11 receives an operation signal that confirms an input through the operation interface 17 (for example, an operation signal indicating that the enter key has been pressed), it transmits the input destination to the processing device through the communication unit 15.

ここでは、第1のVCD10aは、プロセッサ11a、ROM12a、RAM13a、NVM14a、通信部15a、表示インターフェース16a及び操作インターフェース17aなどを備える。 Here, the first VCD 10a includes a processor 11a, a ROM 12a, a RAM 13a, an NVM 14a, a communication unit 15a, a display interface 16a, and an operation interface 17a.

また、第2のVCD10bは、プロセッサ11b、ROM12b、RAM13b、NVM14b、通信部15b、表示インターフェース16b及び操作インターフェース17bなどを備える。 The second VCD 10b also includes a processor 11b, a ROM 12b, a RAM 13b, an NVM 14b, a communication unit 15b, a display interface 16b, and an operation interface 17b.

次に、OCR装置20について説明する。第1のOCR装置20a及び第2のOCR装置20bは、同様の構成であるため、OCR装置20として説明する。 Next, we will explain the OCR device 20. The first OCR device 20a and the second OCR device 20b have the same configuration, so they will be explained as OCR device 20.

図3は、実施形態に係るOCR装置20の構成例を示す。図3は、OCR装置20の構成例を示すブロック図である。図3が示すように、OCR装置20は、プロセッサ21、ROM22、RAM23、NVM24、通信部25、エミュレータインターフェース26、画像インターフェース27、表示インターフェース28及び操作インターフェース29などを備える。 Fig. 3 shows an example of the configuration of the OCR device 20 according to the embodiment. Fig. 3 is a block diagram showing an example of the configuration of the OCR device 20. As shown in Fig. 3, the OCR device 20 includes a processor 21, a ROM 22, a RAM 23, an NVM 24, a communication unit 25, an emulator interface 26, an image interface 27, a display interface 28, and an operation interface 29.

プロセッサ21と、ROM22、RAM23、NVM24、エミュレータインターフェース26、画像インターフェース27、表示インターフェース28及び操作インターフェース29と、は、データバスなどを介して互いに接続する。
なお、OCR装置20は、図3が示すような構成の他に必要に応じた構成を具備したり、OCR装置20から特定の構成が除外されたりしてもよい。
The processor 21, the ROM 22, the RAM 23, the NVM 24, the emulator interface 26, the image interface 27, the display interface 28 and the operation interface 29 are connected to one another via a data bus or the like.
The OCR device 20 may include components as necessary in addition to the components shown in FIG. 3, or certain components may be excluded from the OCR device 20.

プロセッサ21は、OCR装置20全体の動作を制御する機能を有する。プロセッサ21は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ21は、内部メモリ、ROM22又はNVM24が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 21 has the function of controlling the operation of the entire OCR device 20. The processor 21 may include an internal cache and various interfaces. The processor 21 realizes various processes by executing programs stored in advance in the internal memory, the ROM 22, or the NVM 24.

なお、プロセッサ21がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ21は、ハードウエア回路により実行される機能を制御する。 Note that some of the various functions realized by the processor 21 executing the program may be realized by a hardware circuit. In this case, the processor 21 controls the functions executed by the hardware circuit.

ROM22は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM22に記憶される制御プログラム及び制御データは、OCR装置20の仕様に応じて予め組み込まれる。 The ROM 22 is a non-volatile memory in which control programs, control data, etc. are pre-stored. The control programs and control data stored in the ROM 22 are pre-installed according to the specifications of the OCR device 20.

RAM23は、揮発性のメモリである。RAM23は、プロセッサ21の処理中のデータなどを一時的に格納する。RAM23は、プロセッサ21からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM23は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 RAM 23 is a volatile memory. RAM 23 temporarily stores data being processed by processor 21. RAM 23 stores various application programs based on instructions from processor 21. RAM 23 may also store data necessary for executing application programs and execution results of application programs.

NVM24は、データの書き込み及び書き換えが可能な不揮発性のメモリである。たとえば、NVM24は、たとえば、HDD、SSD又はフラッシュメモリなどから構成される。NVM24は、OCR装置20の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。 The NVM 24 is a non-volatile memory to which data can be written and rewritten. For example, the NVM 24 is composed of a HDD, SSD, or flash memory. The NVM 24 stores control programs, applications, various data, etc. according to the operational use of the OCR device 20.

通信部25(画像インターフェース、入力インターフェース)は、管理PC2又は他のOCR装置20とデータを送受信するためのインターフェースである。通信部25は、ネットワーク3に接続する。たとえば、通信部25は、有線又は無線のLAN接続をサポートするインターフェースである。 The communication unit 25 (image interface, input interface) is an interface for transmitting and receiving data with the management PC 2 or another OCR device 20. The communication unit 25 connects to the network 3. For example, the communication unit 25 is an interface that supports a wired or wireless LAN connection.

エミュレータインターフェース26(入力インターフェース)は、エミュレータ4とデータを送受信するインターフェースである。エミュレータインターフェース26は、プロセッサ21からの制御に従ってエミュレータ4に操作信号をVCD10へ出力させる。たとえば、エミュレータインターフェース26は、USB接続をサポートする。 The emulator interface 26 (input interface) is an interface for sending and receiving data to and from the emulator 4. The emulator interface 26 causes the emulator 4 to output an operation signal to the VCD 10 according to control from the processor 21. For example, the emulator interface 26 supports a USB connection.

画像インターフェース27は、キャプチャボード5とデータを送受信するインターフェースである。画像インターフェース27は、キャプチャボード5からVCD画面を取得する。画像インターフェース27は、取得されたVCD画面をプロセッサ21に供給する。 The image interface 27 is an interface that transmits and receives data to and from the capture board 5. The image interface 27 acquires the VCD screen from the capture board 5. The image interface 27 supplies the acquired VCD screen to the processor 21.

表示インターフェース28は、表示端末7とデータを送受信するインターフェースである。表示インターフェース28は、プロセッサ11からの制御に従って、表示端末7に情報を表示させる。 The display interface 28 is an interface that transmits and receives data to and from the display terminal 7. The display interface 28 displays information on the display terminal 7 according to control from the processor 11.

操作インターフェース29は、操作端末8とデータを送受信するインターフェースである。操作インターフェース29は、操作端末8に入力される操作を示す操作信号を受信する。操作インターフェース29は、受信された操作信号をプロセッサ21に供給する。たとえば、操作インターフェース29は、USB接続をサポートする。 The operation interface 29 is an interface that transmits and receives data to and from the operation terminal 8. The operation interface 29 receives an operation signal indicating an operation input to the operation terminal 8. The operation interface 29 supplies the received operation signal to the processor 21. For example, the operation interface 29 supports a USB connection.

たとえば、OCR装置20は、デスクトップPC又はノートPCなどである。
なお、エミュレータインターフェース26、画像インターフェース27、表示インターフェース28及び操作インターフェース29(又はこれらの一部)は、一体的に形成されるものであってもよい。
For example, the OCR device 20 is a desktop PC or a notebook PC.
It should be noted that the emulator interface 26, the image interface 27, the display interface 28 and the operation interface 29 (or a part of these) may be integrally formed.

ここでは、第1のOCR装置20aは、プロセッサ21a、ROM22a、RAM23a、NVM24a、通信部25a、エミュレータインターフェース26a、画像インターフェース27a、表示インターフェース28a及び操作インターフェース29aなどを備える。 Here, the first OCR device 20a includes a processor 21a, a ROM 22a, a RAM 23a, an NVM 24a, a communication unit 25a, an emulator interface 26a, an image interface 27a, a display interface 28a, and an operation interface 29a.

また、第2のOCR装置20bは、プロセッサ21b、ROM22b、RAM23b、NVM24b、通信部25b、エミュレータインターフェース26b、画像インターフェース27b、表示インターフェース28b及び操作インターフェース29bなどを備える。 The second OCR device 20b also includes a processor 21b, a ROM 22b, a RAM 23b, an NVM 24b, a communication unit 25b, an emulator interface 26b, an image interface 27b, a display interface 28b, and an operation interface 29b.

次に、OCR装置20が実現する機能について説明する。OCR装置20が実現する機能は、プロセッサ21がROM22又はNVM24などに格納されるプログラムを実行することで実現される。 Next, the functions realized by the OCR device 20 will be described. The functions realized by the OCR device 20 are realized by the processor 21 executing a program stored in the ROM 22 or NVM 24, etc.

まず、プロセッサ21は、キャプチャボード5を用いてVCD10が供給するVCD画面を取得する機能を有する。
即ち、プロセッサ21は、VCD10が表示インターフェース16に接続する表示端末(ディスプレイなど)に表示する画像を取得する。
First, the processor 21 has a function of acquiring the VCD screen supplied by the VCD 10 using the capture board 5 .
That is, the processor 21 obtains an image to be displayed on a display terminal (such as a display) connected by the VCD 10 to the display interface 16 .

プロセッサ21は、画像インターフェース27を通じてVCD画面をキャプチャボード5から取得する。即ち、キャプチャボード5は、プロセッサ21からの制御に従ってVCD画面を取得する。キャプチャボード5は、画像インターフェース27を通じて、取得されたVCD画面をプロセッサ21に供給する。 The processor 21 acquires the VCD screen from the capture board 5 through the image interface 27. That is, the capture board 5 acquires the VCD screen according to control from the processor 21. The capture board 5 supplies the acquired VCD screen to the processor 21 through the image interface 27.

たとえば、プロセッサ21は、所定の間隔(たとえば、1秒)でVCD画面を取得する。また、プロセッサ21は、VCD画面に変化が生じた場合に、VCD画面を取得してもよい。この場合、プロセッサ21は、画像処理アルゴリズムなどに従ってVCD画面に変化が生じたかを判定してもよい。 For example, the processor 21 acquires a VCD screen at a predetermined interval (for example, one second). The processor 21 may also acquire a VCD screen when a change occurs on the VCD screen. In this case, the processor 21 may determine whether a change has occurred on the VCD screen according to an image processing algorithm or the like.

プロセッサ21は、OCR(セカンダリOCR)処理によりVCD画面から宛先を取得する機能を有する。 The processor 21 has the function of obtaining the address from the VCD screen using OCR (secondary OCR) processing.

VCD画面を取得すると、プロセッサ21は、予め取得されたフォーマットなどに従ってVCD画面から宛先画像を抽出する。
宛先画像を抽出すると、プロセッサ21は、第1のアルゴリズムとは異なる所定のアルゴリズム(第2のアルゴリズム)に従って宛先画像にOCR処理を行う。第2のアルゴリズムは、第1のアルゴリズムが認識できない文字画像の少なくとも一部を認識することができる。
When the VCD screen is acquired, the processor 21 extracts a destination image from the VCD screen in accordance with a previously acquired format or the like.
After extracting the destination image, the processor 21 performs OCR processing on the destination image according to a predetermined algorithm (a second algorithm) different from the first algorithm, the second algorithm being capable of recognizing at least a portion of the character image that the first algorithm cannot recognize.

OCR処理を行うと、プロセッサ21は、OCR処理の結果に基づいて物品の宛先面に記載されている宛先を取得する。 When OCR processing is performed, the processor 21 obtains the address written on the address side of the item based on the results of the OCR processing.

なお、プロセッサ21は、OCR処理を行う前に、VCD画面又は宛先画像に所定の処理を行ってもよい。たとえば、プロセッサ21は、VCD画面又は宛先画像を拡大又は縮小してもよい。また、プロセッサ21は、VCD画面又は宛先画像に対してノイズを除去する処理などを行ってもよい。 The processor 21 may perform a predetermined process on the VCD screen or the destination image before performing the OCR process. For example, the processor 21 may enlarge or reduce the VCD screen or the destination image. The processor 21 may also perform a process to remove noise from the VCD screen or the destination image.

また、プロセッサ21は、エミュレータ4を用いて、OCR処理により取得された宛先をVCD10に送信する機能を有する。 The processor 21 also has the function of using the emulator 4 to send the address obtained by OCR processing to the VCD 10.

OCR処理により宛先を取得すると、プロセッサ21は、エミュレータ4を用いて、宛先をVCD10の操作インターフェース17に送信する。即ち、プロセッサ21は、宛先を入力するキー入力操作を示す操作信号を操作インターフェース17に送信する。 When the address is obtained by OCR processing, the processor 21 uses the emulator 4 to send the address to the operation interface 17 of the VCD 10. That is, the processor 21 sends an operation signal indicating a key input operation to input the address to the operation interface 17.

また、プロセッサ21は、宛先の入力を完了する操作を示す操作信号を操作インターフェース17に入力してもよい。 The processor 21 may also input an operation signal to the operation interface 17 indicating an operation to complete input of the destination.

また、プロセッサ21は、OCR処理に失敗した場合、操作端末8への操作(キー入力など)を示す操作信号をVCD10に入力する機能を有する。 In addition, if the OCR process fails, the processor 21 has the function of inputting an operation signal indicating an operation (such as a key input) to the operation terminal 8 to the VCD 10.

OCR処理に失敗した場合、プロセッサ21は、VCD10からのVCD画面を表示端末7に表示する。 If the OCR process fails, the processor 21 displays the VCD screen from the VCD 10 on the display terminal 7.

図4は、VCD画面30の例を示す。図4が示す例では、VCD画面30は、宛先として郵便番号の入力を受け付ける。図4が示すように、VCD画面30は、表示領域31及び入力フォーム32などを表示する。また、VCD画面30上には、ダイアログ33が表示される。ダイアログ33については、後述する。 Figure 4 shows an example of a VCD screen 30. In the example shown in Figure 4, the VCD screen 30 accepts input of a postal code as a destination. As shown in Figure 4, the VCD screen 30 displays a display area 31, an input form 32, and the like. In addition, a dialogue 33 is displayed on the VCD screen 30. The dialogue 33 will be described later.

表示領域31は、宛先画像を表示する。ここでは、表示領域31は、封筒の宛先面を表示する。 The display area 31 displays the destination image. Here, the display area 31 displays the destination side of an envelope.

入力フォーム32は、宛先として郵便番号の入力を受け付ける。入力フォーム32は、操作端末8に入力された宛先(ここでは、郵便番号)を表示する。
VCD画面を表示端末7に表示すると、プロセッサ21は、操作端末8を通じて入力フォーム32への入力を受け付ける。
The input form 32 accepts input of a postal code as a destination, and displays the destination (here, the postal code) input to the operation terminal 8.
When the VCD screen is displayed on the display terminal 7 , the processor 21 accepts input to the input form 32 via the operation terminal 8 .

ここで、オペレータは、表示端末7に表示されるVCD画面30の表示領域31を目視して宛先を操作端末8に入力する。宛先の入力が完了すると、オペレータは、操作端末8に、入力を完了する操作を入力する。 The operator then visually checks the display area 31 of the VCD screen 30 displayed on the display terminal 7 and inputs the destination into the operation terminal 8. When the destination input is complete, the operator inputs an operation to complete the input into the operation terminal 8.

オペレータが操作端末8にキー入力を行うと、プロセッサ21は、操作インターフェース29を通じて操作端末8からキー入力を示す操作信号を受信する。プロセッサ21は、エミュレータ4を用いて、キー入力を示す操作信号をVCD10に送信する。 When the operator performs key input on the operation terminal 8, the processor 21 receives an operation signal indicating the key input from the operation terminal 8 through the operation interface 29. The processor 21 uses the emulator 4 to transmit the operation signal indicating the key input to the VCD 10.

VCD10のプロセッサ11は、操作インターフェース17を通じて、エミュレータ4からの操作信号を受信する。操作信号を受信すると、プロセッサ11は、入力フォーム32に操作信号に基づく文字列を表示したVCD画面30を生成する。VCD画面30を生成すると、プロセッサ11は、表示インターフェース16を通じてVCD画面30をキャプチャボード5に供給する。 The processor 11 of the VCD 10 receives an operation signal from the emulator 4 through the operation interface 17. Upon receiving the operation signal, the processor 11 generates a VCD screen 30 that displays a character string based on the operation signal in an input form 32. Upon generating the VCD screen 30, the processor 11 supplies the VCD screen 30 to the capture board 5 through the display interface 16.

キャプチャボード5は、供給されたVCD画面30をOCR装置20に供給する。
OCR装置20のプロセッサ21は、画像インターフェース27を通じてVCD画面30をキャプチャボード5から取得する。VCD画面30を取得すると、プロセッサ21は、表示インターフェース28を通じてVCD画面30(入力フォーム32に入力された文字列を表示するVCD画面30)を表示端末7に表示する。
The capture board 5 supplies the VCD screen 30 to the OCR device 20 .
The processor 21 of the OCR device 20 acquires the VCD screen 30 from the capture board 5 through the image interface 27. Upon acquiring the VCD screen 30, the processor 21 displays the VCD screen 30 (the VCD screen 30 displaying the character string entered in the input form 32) on the display terminal 7 through the display interface 28.

また、プロセッサ21は、他のOCR装置20にVCD画面30を送信してもよい。たとえば、第2のOCR装置20bのプロセッサ11bは、VCD画面30を第1のOCR装置20aに送信する。 The processor 21 may also transmit the VCD screen 30 to another OCR device 20. For example, the processor 11b of the second OCR device 20b transmits the VCD screen 30 to the first OCR device 20a.

第1のOCR装置20aのプロセッサ21aは、通信部25aを通じてVCD画面30を第2のOCR装置20bから取得する。VCD画面30を取得すると、プロセッサ21aは、表示インターフェース28を通じてVCD画面30を第1の表示端末7aに表示する。 The processor 21a of the first OCR device 20a acquires the VCD screen 30 from the second OCR device 20b through the communication unit 25a. Upon acquiring the VCD screen 30, the processor 21a displays the VCD screen 30 on the first display terminal 7a through the display interface 28.

VCD画面30を表示すると、プロセッサ21aは、第1の操作端末8aを通じて宛先の入力を受け付ける。プロセッサ21aは、通信部25aを通じて、入力された操作を示す信号を第2のOCR装置20bに送信する。 When the VCD screen 30 is displayed, the processor 21a accepts input of the destination through the first operation terminal 8a. The processor 21a transmits a signal indicating the input operation to the second OCR device 20b through the communication unit 25a.

第2のOCR装置20bのプロセッサ21bは、第1のOCR装置20aからの当該信号を取得する。プロセッサ21bは、第2のエミュレータ4bを用いて、当該信号に基づいて、第1のOCR装置20aに入力された操作を示す操作信号を第2のVCD10bの操作インターフェース17bに入力する。 The processor 21b of the second OCR device 20b acquires the signal from the first OCR device 20a. The processor 21b uses the second emulator 4b to input an operation signal indicating the operation input to the first OCR device 20a based on the signal to the operation interface 17b of the second VCD 10b.

第2のVCD10bのプロセッサ11bは、操作インターフェース17bを通じて、第2のエミュレータ4bからの操作信号を受信する。操作信号を受信すると、プロセッサ11bは、入力フォーム32に操作信号に基づく文字列を表示したVCD画面30を生成する。VCD画面30を生成すると、プロセッサ11bは、表示インターフェース16bを通じてVCD画面30を第2のキャプチャボード5bに供給する。 The processor 11b of the second VCD 10b receives an operation signal from the second emulator 4b through the operation interface 17b. Upon receiving the operation signal, the processor 11b generates a VCD screen 30 that displays a character string based on the operation signal in the input form 32. Upon generating the VCD screen 30, the processor 11b supplies the VCD screen 30 to the second capture board 5b through the display interface 16b.

第2のキャプチャボード5bは、供給されたVCD画面30を第2のOCR装置20bに供給する。
第2のOCR装置20bのプロセッサ21bは、画像インターフェース27bを通じてVCD画面30を第2のキャプチャボード5bから取得する。VCD画面30を取得すると、プロセッサ21bは、通信部25bを通じてVCD画面30を第1のOCR装置20aに送信する。
The second capture board 5b supplies the supplied VCD screen 30 to the second OCR device 20b.
The processor 21b of the second OCR device 20b acquires the VCD screen 30 from the second capture board 5b through the image interface 27b. When the processor 21b acquires the VCD screen 30, it transmits the VCD screen 30 to the first OCR device 20a through the communication unit 25b.

第1のOCR装置20aのプロセッサ21aは、通信部25aを通じてVCD画面30を第2のOCR装置20bから受信する。VCD画面30を受信すると、プロセッサ21aは、表示インターフェース28aを通じてVCD画面30(入力フォーム32に入力された文字列を表示するVCD画面30)を第1の表示端末7aに表示する。 The processor 21a of the first OCR device 20a receives the VCD screen 30 from the second OCR device 20b through the communication unit 25a. Upon receiving the VCD screen 30, the processor 21a displays the VCD screen 30 (the VCD screen 30 displaying the character string entered in the input form 32) on the first display terminal 7a through the display interface 28a.

また、プロセッサ21は、操作端末8を通じて入力された文字列を表示端末7に表示する機能を有する。 The processor 21 also has the function of displaying a character string input through the operation terminal 8 on the display terminal 7.

プロセッサ21は、VCD画面30にダイアログを表示する。
ダイアログ33は、入力フォーム32の近傍に表示されている。ここでは、ダイアログ33は、入力フォーム32の上部に表示されている。
The processor 21 displays the dialogue on the VCD screen 30 .
The dialogue 33 is displayed near the input form 32. In this example, the dialogue 33 is displayed above the input form 32.

ダイアログ33は、入力フォーム32に入力される文字列を表示する。 Dialog 33 displays the string to be entered into input form 32.

前述の通り、プロセッサ21は、操作端末8を通じて、入力フォーム32への入力を受け付ける。入力フォーム32への入力を受け付けると、プロセッサ21は、ダイアログ33に入力された文字列を表示する。 As described above, the processor 21 accepts input to the input form 32 through the operation terminal 8. When the processor 21 accepts input to the input form 32, it displays the input character string in the dialog 33.

プロセッサ21は、操作端末8を通じてキー入力を受け付けるごとに、ダイアログ33に文字列を表示する。即ち、プロセッサ21は、オペレータのキー入力をリアルタイムにダイアログ33に表示する。また、プロセッサ21は、操作端末8を通じて入力を削除する操作の入力を受け付けると、当該操作に従ってダイアログ33から文字列(又は文字列の一部)を削除してもよい。 The processor 21 displays a character string in the dialog 33 each time it receives a key input through the operation terminal 8. That is, the processor 21 displays the operator's key input in real time in the dialog 33. In addition, when the processor 21 receives an input of an operation to delete an input through the operation terminal 8, it may delete the character string (or a part of the character string) from the dialog 33 in accordance with the operation.

なお、プロセッサ21は、VCD画面30を表示端末7に表示すると同時にダイアログ33をVCD画面30上に表示してもよい。また、プロセッサ21は、操作端末8を通じてキー入力を受け付けると、ダイアログ33をホップアップして表示してもよい。また、プロセッサ21は、入力が完了すると、ダイアログ33から文字列を削除する。また、プロセッサ21は、入力が完了すると、ダイアログ33を消去してもよい。 The processor 21 may display the VCD screen 30 on the display terminal 7 and at the same time display the dialog 33 on the VCD screen 30. The processor 21 may also pop up and display the dialog 33 when it receives key input through the operation terminal 8. The processor 21 may also delete the character string from the dialog 33 when the input is complete. The processor 21 may also erase the dialog 33 when the input is complete.

次に、入力システム1の動作例について説明する。
図5は、入力システム1の動作例について説明するためのシーケンス図である。
Next, an example of the operation of the input system 1 will be described.
FIG. 5 is a sequence diagram for explaining an example of the operation of the input system 1. As shown in FIG.

ここでは、第2のVCD10bがVCD画面30を出力するものとする。また、オペレータは、第1のOCR装置20aに宛先を入力するものとする。 Here, it is assumed that the second VCD 10b outputs the VCD screen 30. Also, it is assumed that the operator inputs the destination into the first OCR device 20a.

まず、第2のVCD10bのプロセッサ11bは、表示インターフェース16bを通じてVCD画面30を第2のOCR装置20bに送信する(S11)。 First, the processor 11b of the second VCD 10b transmits the VCD screen 30 to the second OCR device 20b via the display interface 16b (S11).

第2のOCR装置20bのプロセッサ21bは、第2のキャプチャボード5bを通じてVCD画面30を取得する。VCD画面30を取得すると、プロセッサ21bは、VCD画面30の表示領域31に対してOCR処理を行う(S12)。ここでは、プロセッサ21bは、OCR処理に失敗したものとする。即ち、プロセッサ21bは、OCR処理によって宛先を取得できなかったものとする。 The processor 21b of the second OCR device 20b acquires the VCD screen 30 through the second capture board 5b. Upon acquiring the VCD screen 30, the processor 21b performs OCR processing on the display area 31 of the VCD screen 30 (S12). Here, it is assumed that the processor 21b has failed in the OCR processing. In other words, it is assumed that the processor 21b has not been able to acquire the destination through the OCR processing.

OCR処理に失敗すると、プロセッサ21bは、通信部25bを通じてVCD画面30を第1のOCR装置20aに送信する(S13)。 If the OCR process fails, the processor 21b transmits the VCD screen 30 to the first OCR device 20a via the communication unit 25b (S13).

第1のOCR装置20aのプロセッサ21aは、通信部25aを通じてVCD画面30を第2のOCR装置20bから取得する。VCD画面30を取得すると、プロセッサ21aは、表示インターフェース28aを通じて、取得されたVCD画面30を第1の表示端末7aに表示する(S14)。 The processor 21a of the first OCR device 20a acquires the VCD screen 30 from the second OCR device 20b through the communication unit 25a. Upon acquiring the VCD screen 30, the processor 21a displays the acquired VCD screen 30 on the first display terminal 7a through the display interface 28a (S14).

ここで、オペレータは、VCD画面30の入力フォーム32に文字列を入力する(S15)。即ち、オペレータは、第1の操作端末8aにキー入力を行う。 The operator then inputs a character string into the input form 32 on the VCD screen 30 (S15). That is, the operator performs key input into the first operation terminal 8a.

第1のOCR装置20aのプロセッサ21aは、操作インターフェース29aを通じてキー入力を示す操作信号を第1の操作端末8aから取得する。操作信号を取得すると、プロセッサ21aは、キー入力が示す文字列をVCD画面30上のダイアログ33に表示する(S16)。 The processor 21a of the first OCR device 20a receives an operation signal indicating a key input from the first operation terminal 8a through the operation interface 29a. Upon receiving the operation signal, the processor 21a displays the character string indicated by the key input in the dialogue 33 on the VCD screen 30 (S16).

キー入力が示す文字列をダイアログ33に表示すると、プロセッサ21aは、通信部25aを通じて、キー入力を示す信号を第2のOCR装置20bに送信する(S17)。 When the character string indicated by the key input is displayed in the dialog 33, the processor 21a transmits a signal indicating the key input to the second OCR device 20b via the communication unit 25a (S17).

第2のOCR装置20bのプロセッサ21bは、通信部25bを通じて当該信号を第1のOCR装置20aから取得する。当該信号を取得すると、プロセッサ21bは、第2のエミュレータ4bを用いて、当該信号に基づいてキー入力を示す操作信号を第2のVCD10bに入力する(S18)。 The processor 21b of the second OCR device 20b receives the signal from the first OCR device 20a through the communication unit 25b. Upon receiving the signal, the processor 21b inputs an operation signal indicating a key input to the second VCD 10b based on the signal using the second emulator 4b (S18).

第2のVCD10bのプロセッサ11bは、操作インターフェース17bを通じて当該操作信号を第2のOCR装置20bから取得する。当該操作信号を取得すると、プロセッサ11bは、表示インターフェース16bを通じて、入力フォーム32にキー入力が示す文字列を表示したVCD画面30を第2のOCR装置20bに送信する(S19)。 The processor 11b of the second VCD 10b acquires the operation signal from the second OCR device 20b through the operation interface 17b. Upon acquiring the operation signal, the processor 11b transmits the VCD screen 30, which displays the character string indicated by the key input in the input form 32, to the second OCR device 20b through the display interface 16b (S19).

第2のOCR装置20bのプロセッサ21bは、第2のキャプチャボード5bを通じてVCD画面30を取得する。VCD画面30を取得すると、プロセッサ21bは、通信部25bを通じて、取得されたVCD画面30を第1のOCR装置20aに送信する(S20)。 The processor 21b of the second OCR device 20b acquires the VCD screen 30 through the second capture board 5b. Upon acquiring the VCD screen 30, the processor 21b transmits the acquired VCD screen 30 to the first OCR device 20a through the communication unit 25b (S20).

第1のOCR装置20aのプロセッサ21aは、通信部25aを通じてVCD画面30を取得する。VCD画面30を取得すると、プロセッサ21aは、表示インターフェース16aを通じて、取得されたVCD画面30を第1の表示端末7aに表示する(S21)。ここで、プロセッサ21aは、ダイアログ33の表示を維持する。 The processor 21a of the first OCR device 20a acquires the VCD screen 30 through the communication unit 25a. When the processor 21a acquires the VCD screen 30, the processor 21a displays the acquired VCD screen 30 on the first display terminal 7a through the display interface 16a (S21). Here, the processor 21a maintains the display of the dialog 33.

入力システム1は、オペレータが宛先の入力を完了するまでS15乃至S21を繰り返す。
宛先の入力が完了すると、第1のOCR装置20aのプロセッサ21aは、VCD画面30及びダイアログ33内の文字列を削除する(S22)。
The input system 1 repeats steps S15 to S21 until the operator completes input of the destination.
When the input of the destination is completed, the processor 21a of the first OCR device 20a deletes the character string on the VCD screen 30 and in the dialogue 33 (S22).

プロセッサ21aがVCD画面30及びダイアログ33内の文字列を削除すると、入力システム1は、動作を終了する。 When the processor 21a deletes the text on the VCD screen 30 and in the dialog 33, the input system 1 ends its operation.

なお、プロセッサ21aは、宛先の入力が完了すると、入力フォーム32の表示が完了する前に(即ち、S21が完了する前に)S22に進んでもよい。
また、プロセッサ21aは、S12でOCR処理に成功すると、第1のエミュレータ4aを用いてOCR処理の結果に基づいて宛先を入力する操作信号を第2のVCD10bに入力する。
When the input of the destination address is completed, the processor 21a may proceed to S22 before the display of the input form 32 is completed (i.e., before S21 is completed).
Furthermore, if the OCR process is successful in S12, the processor 21a inputs an operation signal to the second VCD 10b for inputting a destination based on the result of the OCR process using the first emulator 4a.

また、プロセッサ21は、入力フォーム32上にダイアログ33を表示してもよい。
また、プロセッサ21は、文字列として、ID、住所、氏名、メールアドレス又は電話番号などの入力を受け付けるものであってもよい。プロセッサ21が入力を受け付ける文字列は、特定の内容に限定されるものではない。
The processor 21 may also display a dialog 33 on the input form 32 .
Furthermore, the processor 21 may accept input of an ID, an address, a name, an email address, a telephone number, etc., as a character string. The character string that the processor 21 accepts as an input is not limited to a specific content.

また、プロセッサ21は、エミュレータ4の機能を実現するものであってもよい。たとえば、プロセッサ21は、NVM24などが格納するプログラムを実行することでエミュレータ4の機能を実現する。
また、OCR装置20は、エミュレータ4、キャプチャボード5、表示端末7及び操作端末8と一体的に形成されるものであってもよい。
The processor 21 may also realize the functions of the emulator 4. For example, the processor 21 realizes the functions of the emulator 4 by executing a program stored in the NVM 24 or the like.
In addition, the OCR device 20 may be formed integrally with the emulator 4 , the capture board 5 , the display terminal 7 and the operation terminal 8 .

以上のように構成されたOCR装置は、セカンダリOCRに失敗した場合、VCD画面を表示して、オペレータから文字列の入力を受け付ける。OCR装置は、入力された文字列をダイアログに表示する。その結果、OCR装置は、VCD画面に入力された文字列が反映される前に、入力された文字列を表示することができる。従って、OCR装置は、オペレータに、VCDへ入力される文字列を効果的に確認させることができる。 If the OCR device configured as described above fails to perform secondary OCR, it displays the VCD screen and accepts input of a character string from the operator. The OCR device displays the input character string in a dialog. As a result, the OCR device can display the input character string before it is reflected on the VCD screen. Therefore, the OCR device can effectively allow the operator to check the character string to be input to the VCD.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に本願の出願当初の特許請求の範囲の記載を付記する。
[C1]
外部装置から文字列を入力する画面を取得する画像インターフェースと、
前記外部装置に操作を示す信号を送信する入力インターフェースと、
表示端末と通信する表示インターフェースと、
操作端末と通信する操作インターフェースと、
前記表示インターフェースを通じて前記画面を前記表示端末に表示し、前記操作インターフェースを通じてキー入力を受け付け、
前記表示インターフェースを通じて前記キー入力が示す文字列を含むダイアログを前記表示端末に表示し、
前記入力インターフェースを通じて前記キー入力を示す信号を前記外部装置に送信し、
前記画像インターフェースを通じて前記キー入力が示す文字列が入力された前記画面を前記外部装置から取得し、
前記表示インターフェースを通じて前記ダイアログと前記画面とを前記表示端末に表示する、
プロセッサと、
を備える情報処理装置。
[C2]
前記プロセッサは、前記画面に前記ダイアログを表示する、
請求項1に記載の情報処理装置。
[C3]
前記画面は、文字列が写る文字列画像を含む、
請求項1又は2に記載の情報処理装置。
[C4]
前記文字列画像は、所定の処理装置が文字認識処理に失敗した画像である、
請求項3に記載の情報処理装置。
[C5]
前記所定の処理装置は、物品を区分する区分機である、
請求項4に記載の情報処理装置。
[C6]
前記プロセッサは、
前記文字列画像に対して文字認識処理を行い、
前記入力インターフェースを通じて、前記文字認識処理の結果に基づいて文字列を入力する信号を前記外部装置に送信し、
前記文字認識処理に失敗した場合、前記操作インターフェースを通じてキー入力を受け付ける、
請求項3乃至5の何れか1項に記載の情報処理装置。
[C7]
前記画面が入力を受け付ける文字列は、宛先である、
請求項1乃至6の何れか1項に記載の情報処理装置。
[C8]
前記宛先は、郵便番号を含む、
請求項7に記載の情報処理装置。
[C9]
前記入力インターフェースは、操作端末をエミュレーションするエミュレータに接続する、
請求項1乃至8の何れか1項に記載の情報処理装置。
[C10]
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
外部装置から文字列を入力する画面を取得する機能と、
前記画面を表示し、キー入力を受け付ける機能と、
前記キー入力が示す文字列を含むダイアログを表示する機能と、
前記キー入力を示す信号を前記外部装置に送信する機能と、
前記キー入力が示す文字列が入力された前記画面を前記外部装置から取得する、
前記ダイアログと前記画面とを表示する機能と、
を実現させるプログラム。
Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, and are included in the scope of the invention and its equivalents described in the claims.
In addition, the claims as originally filed of this application are set forth below.
[C1]
an image interface for acquiring a screen for inputting a character string from an external device;
an input interface for transmitting a signal indicating an operation to the external device;
a display interface in communication with the display terminal;
an operation interface that communicates with an operation terminal;
Displaying the screen on the display terminal through the display interface, and accepting key input through the operation interface;
displaying a dialogue including a character string represented by the key input on the display terminal through the display interface;
transmitting a signal indicating the key input to the external device through the input interface;
acquiring, from the external device, the screen on which the character string indicated by the key input is input via the image interface;
displaying the dialogue and the screen on the display terminal through the display interface;
A processor;
An information processing device comprising:
[C2]
The processor displays the dialog on the screen.
The information processing device according to claim 1 .
[C3]
The screen includes a character string image showing a character string.
3. The information processing device according to claim 1 or 2.
[C4]
The character string image is an image on which a predetermined processing device has failed to perform character recognition processing.
The information processing device according to claim 3 .
[C5]
The predetermined processing device is a sorter that sorts items.
The information processing device according to claim 4.
[C6]
The processor,
performing character recognition processing on the character string image;
A signal for inputting a character string based on a result of the character recognition process is transmitted to the external device through the input interface;
if the character recognition process fails, accepting a key input through the operation interface;
6. The information processing device according to claim 3.
[C7]
The character string that the screen accepts as input is a destination.
The information processing device according to claim 1 .
[C8]
The address includes a zip code.
The information processing device according to claim 7.
[C9]
The input interface is connected to an emulator that emulates an operation terminal.
The information processing device according to claim 1 .
[C10]
A program executed by a processor,
The processor,
A function to obtain a screen for inputting a character string from an external device;
A function of displaying the screen and accepting key input;
a function of displaying a dialog including a character string represented by the key input;
a function of transmitting a signal indicating the key input to the external device;
acquiring, from the external device, the screen on which the character string indicated by the key input is input;
a function for displaying said dialog and said screen;
A program to achieve this.

1…入力システム、2…管理PC、3…ネットワーク、4…エミュレータ、4a…第1のエミュレータ、4b…第2のエミュレータ、5…キャプチャボード、5a…第1のキャプチャボード、5b…第2のキャプチャボード、7…表示端末、7a…第1の表示端末、7b…第2の表示端末、8…操作端末、8a…第1の操作端末、8b…第2の操作端末、10…VCD、10a…第1のVCD、10b…第2のVCD、11(11a及び11b)…プロセッサ、12(12a及び12b)…ROM、13(13a及び13b)…RAM、14(14a及び14b)…NVM、15(15a及び15b)…通信部、16(16a及び16b)…表示インターフェース、17(17a及び17b)…操作インターフェース、20…OCR装置、20a…第1のOCR装置、20b…第2のOCR装置、21(21a及び21b)…プロセッサ、22(22a及び22b)…ROM、23(23a及び23b)…RAM、24(24a及び24b)…NVM、25(25a及び25b)…通信部、26(26a及び26b)…エミュレータインターフェース、27(27a及び27b)…画像インターフェース、28(28a及び28b)…表示インターフェース、29(29a及び29b)…操作インターフェース、30…VCD画面、31…表示領域、32…入力フォーム、33…ダイアログ。 1...input system, 2...management PC, 3...network, 4...emulator, 4a...first emulator, 4b...second emulator, 5...capture board, 5a...first capture board, 5b...second capture board, 7...display terminal, 7a...first display terminal, 7b...second display terminal, 8...operation terminal, 8a...first operation terminal, 8b...second operation terminal, 10...VCD, 10a...first VCD, 10b...second VCD, 11 (11a and 11b)...processor, 12 (12a and 12b)...ROM, 13 (13a and 13b)...RAM, 14 (14a and 14b)...NVM, 15 (15a and 15b)...communication unit, 16 (16a and 16b)...display I interface, 17 (17a and 17b)...operation interface, 20...OCR device, 20a...first OCR device, 20b...second OCR device, 21 (21a and 21b)...processor, 22 (22a and 22b)...ROM, 23 (23a and 23b)...RAM, 24 (24a and 24b)...NVM, 25 (25a and 25b)...communication unit, 26 (26a and 26b)...emulator interface, 27 (27a and 27b)...image interface, 28 (28a and 28b)...display interface, 29 (29a and 29b)...operation interface, 30...VCD screen, 31...display area, 32...input form, 33...dialog.

Claims (8)

外部装置から文字列を入力する画面を取得する画像インターフェースと、
前記外部装置に操作を示す信号を送信する入力インターフェースと、
表示端末と通信する表示インターフェースと、
操作端末と通信する操作インターフェースと、
前記表示インターフェースを通じて前記画面を前記表示端末に表示し、前記操作インターフェースを通じてキー入力を受け付け、
前記表示インターフェースを通じて前記キー入力が示す文字列を含むダイアログを前記表示端末に表示し、
前記入力インターフェースを通じて前記キー入力を示す信号を前記外部装置に送信し、
前記画像インターフェースを通じて前記キー入力が示す文字列が入力された前記画面を前記外部装置から取得し、
前記表示インターフェースを通じて前記ダイアログと前記画面とを前記表示端末に表示する、
プロセッサと、
を備え
前記画面は、文字列が写る文字列画像を含み、
前記プロセッサは、
前記文字列画像に対して文字認識処理を行った文字認識処理装置から文字認識処理の結果を取得し、
前記入力インターフェースを通じて、前記文字認識処理の結果に基づいて文字列を入力する信号を前記外部装置に送信し、
前記文字認識処理に失敗した場合、前記操作インターフェースを通じてキー入力を受け付ける、情報処理装置。
an image interface for acquiring a screen for inputting a character string from an external device;
an input interface for transmitting a signal indicating an operation to the external device;
a display interface in communication with the display terminal;
an operation interface that communicates with an operation terminal;
Displaying the screen on the display terminal through the display interface, and accepting key input through the operation interface;
displaying a dialogue including a character string represented by the key input on the display terminal through the display interface;
transmitting a signal indicating the key input to the external device through the input interface;
acquiring, from the external device, the screen on which the character string indicated by the key input is input via the image interface;
displaying the dialogue and the screen on the display terminal through the display interface;
A processor;
Equipped with
the screen includes a character string image on which a character string is displayed,
The processor,
obtaining a result of character recognition processing from a character recognition processing device that has performed character recognition processing on the character string image;
A signal for inputting a character string based on a result of the character recognition process is transmitted to the external device through the input interface;
If the character recognition process fails, the information processing device accepts a key input through the operation interface .
前記プロセッサは、前記画面に前記ダイアログを表示する、
請求項1に記載の情報処理装置。
The processor displays the dialog on the screen.
The information processing device according to claim 1 .
前記文字列画像は、所定の処理装置が前記文字認識処理に失敗した画像である、
請求項に記載の情報処理装置。
The character string image is an image on which a predetermined processing device has failed in the character recognition process.
The information processing device according to claim 2 .
前記所定の処理装置は、物品を区分する区分機である、
請求項に記載の情報処理装置。
The predetermined processing device is a sorter that sorts items.
The information processing device according to claim 3 .
前記画面が入力を受け付ける文字列は、宛先である、
請求項1乃至の何れか1項に記載の情報処理装置。
The character string that the screen accepts as input is a destination.
The information processing device according to claim 1 .
前記宛先は、郵便番号を含む、
請求項に記載の情報処理装置。
The address includes a zip code.
The information processing device according to claim 5 .
前記入力インターフェースは、操作端末をエミュレーションするエミュレータに接続する、
請求項1乃至の何れか1項に記載の情報処理装置。
The input interface is connected to an emulator that emulates an operation terminal.
The information processing device according to claim 1 .
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
外部装置から文字列を入力する画面を取得する機能と、
前記画面を表示し、キー入力を受け付ける機能と、
前記キー入力が示す文字列を含むダイアログを表示する機能と、
前記キー入力を示す信号を前記外部装置に送信する機能と、
前記キー入力が示す文字列が入力された前記画面を前記外部装置から取得する機能と
前記ダイアログと前記画面とを表示する機能と、
前記画面に含まれる文字列が写る文字列画像に対して文字認識処理を行った文字認識処理装置から文字認識処理の結果を取得する機能と、
前記文字認識処理の結果に基づいて文字列を入力する信号を前記外部装置に送信する機能と、
前記文字認識処理に失敗した場合、前記キー入力を受け付ける機能と、
を実現させるプログラム。
A program executed by a processor,
The processor,
A function to acquire a screen for inputting a character string from an external device;
A function of displaying the screen and accepting key input;
a function of displaying a dialog including a character string represented by the key input;
a function of transmitting a signal indicating the key input to the external device;
a function of acquiring, from the external device, the screen on which the character string indicated by the key input is input;
a function for displaying said dialog and said screen;
A function of acquiring a result of character recognition processing from a character recognition processing device that has performed character recognition processing on a character string image including a character string included in the screen;
a function of transmitting a signal to the external device to input a character string based on a result of the character recognition process;
a function of accepting the key input if the character recognition process fails;
A program to achieve this.
JP2020151217A 2020-09-09 2020-09-09 Information processing device and program Active JP7562344B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020151217A JP7562344B2 (en) 2020-09-09 2020-09-09 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020151217A JP7562344B2 (en) 2020-09-09 2020-09-09 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2022045557A JP2022045557A (en) 2022-03-22
JP7562344B2 true JP7562344B2 (en) 2024-10-07

Family

ID=80774505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020151217A Active JP7562344B2 (en) 2020-09-09 2020-09-09 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7562344B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4497436A4 (en) 2022-03-22 2025-08-06 Univ Kyoto THERAPEUTIC OR PROPHYLACTIC MEDICINE FOR FRAGILE X SYNDROME

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056353A (en) 2000-08-10 2002-02-20 Toshiba Corp Information processing device, information processing method, paper sheets processing device, and paper sheets processing method
JP2010009410A (en) 2008-06-27 2010-01-14 Toshiba Corp Video coding system, classifying system, coding method and classifying method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0899068A (en) * 1994-09-30 1996-04-16 Toshiba Corp Video coding device
JPH08243507A (en) * 1995-03-14 1996-09-24 Hitachi Ltd Mail processing device and image display method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056353A (en) 2000-08-10 2002-02-20 Toshiba Corp Information processing device, information processing method, paper sheets processing device, and paper sheets processing method
JP2010009410A (en) 2008-06-27 2010-01-14 Toshiba Corp Video coding system, classifying system, coding method and classifying method

Also Published As

Publication number Publication date
JP2022045557A (en) 2022-03-22

Similar Documents

Publication Publication Date Title
CN100440141C (en) User-friendly information processing device and method
US20140307969A1 (en) Automated application interaction using a virtual operator
US12223295B2 (en) Augmented reality powered auto code generator
US11468226B2 (en) Systems and methods for presentation of a terminal application screen
US11070697B2 (en) Information processing system, information processing apparatus, and information processing method
US9961225B2 (en) Information processing system, information processing apparatus, and information processing method
CN112528179A (en) Two-dimensional code processing method and system, electronic device and storage medium
JP7562344B2 (en) Information processing device and program
CN112597828B (en) Webpage recognition model training method and device and webpage recognition method
CN112346947A (en) Performance detection method and device, electronic equipment and computer readable medium
WO2021182186A1 (en) Recognition device and program
WO2022059675A1 (en) Information processing device and system
CN111931465B (en) Method and system for automatically generating user manual based on user operation
CN112783483B (en) Function creation method, device, equipment and medium based on floating button component
US20240233429A1 (en) System and information processing method
US20230419698A1 (en) Information processing apparatus and information input system
JP2023068489A (en) Information processing equipment
CN114697962A (en) Data processing method and electronic equipment
US20170061400A1 (en) Database retrieval system
US20240428603A1 (en) Recognition apparatus and recognition system
JP7527899B2 (en) Information processing device and program
CN117633807A (en) Vulnerability prompting method, device, equipment and storage medium
JP2022103680A (en) Information processing system, information processing method, and program
JP2015045903A (en) Communication terminal and program
CN119292880A (en) Log analysis method, system, computer device and readable storage medium

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240925

R150 Certificate of patent or registration of utility model

Ref document number: 7562344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350