JP2023030614A - 情報処理装置、フロー生成方法、及びプログラム - Google Patents

Abstract

【課題】アプリケーションを実行するコンピュータに処理させる条件分岐を含む操作のフローをより効率的に生成できる情報処理装置を提供すること。
【解決手段】アプリケーションを実行するコンピュータに処理させる操作のフローを生成する情報処理装置であって、ユーザから操作を受け付ける一つ以上の画面を表示する表示制御手段と、画面に対する操作に基づき、画面の表示情報から操作に応じた操作項目を特定する操作項目特定手段と、操作項目に応じた条件を対応付けた操作部品を生成する操作部品生成手段と、ユーザの操作順に従って操作部品から操作のフローを生成するフロー生成手段と、生成された複数のフローを比較し、フローを構成する操作部品の差分を抽出する差分抽出手段と、差分のあった操作部品の前に、条件分岐の操作部品を設定する条件分岐設定手段と、を有する情報処理装置により上記課題を解決する。
【選択図】図３

Description

本発明は、情報処理装置、フロー生成方法、及びプログラムに関する。

近年、業務の生産性向上のために、ＲＰＡ（Robotic Process Automation）と呼ばれる技術が利用されるようになった。ＲＰＡでは、人間がキーボードやマウスを用いて行う定型業務等をソフトウェアロボットに覚えさせ、人間の代わりにソフトウェアロボットがコンピュータ操作を実行することで業務の自動化を実現している。

例えば、特許文献１には、ソフトウェアロボットを導入済みのコンピュータに対する操作を記憶部に操作履歴として記録する操作履歴検出記録部と、ソフトウェアロボットによる操作であるか人間による操作であるかを判別する操作元特定部と、人間が行った操作であれば、該当箇所の操作履歴と、過去に記録した操作履歴とを比較することによって、繰り返されている類似操作を探索する操作内容比較部と、繰り返し何度も類似操作を行っていた場合に、該当箇所の操作履歴に基づいて、ソフトウェアロボット定義情報を生成処理するソフトウェアロボット定義情報生成部と、を備えるソフトウェアロボット定義情報生成システムが開示されている。

アプリケーションを実行するコンピュータに処理させる操作のフローは、条件分岐が含まれる場合がある。このような条件分岐を含む操作のフローを生成する情報処理装置では、管理者などのユーザが、より効率的にフローを生成できる仕組みが求められていた。なお、特許文献１は上記の問題について解決するものではない。

本発明の一実施形態は、アプリケーションを実行するコンピュータに処理させる条件分岐を含む操作のフローをより効率的に生成できる情報処理装置を提供することを目的とする。

上記の課題を達成するため、本発明の一実施形態は、アプリケーションを実行するコンピュータに処理させる操作のフローを生成する情報処理装置であって、ユーザから操作を受け付ける一つ以上の画面を表示する表示制御手段と、前記画面に対する操作に基づき、前記画面の表示情報から前記操作に応じた操作項目を特定する操作項目特定手段と、前記操作項目に応じた条件を対応付けた操作部品を生成する操作部品生成手段と、前記ユーザの操作順に従って前記操作部品から操作のフローを生成するフロー生成手段と、生成された複数の前記フローを比較し、前記フローを構成する前記操作部品の差分を抽出する差分抽出手段と、差分のあった前記操作部品の前に、条件分岐の操作部品を設定する条件分岐設定手段と、を有する情報処理装置である。

本発明の一実施形態によれば、アプリケーションを実行するコンピュータに処理させる条件分岐を含む操作のフローをより効率的に生成できる。

本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 本実施形態に係る情報処理装置の一例の機能構成図である。 ＢＯＴのフローを生成する手順の一例の説明図である。 本実施形態に係るＢＯＴのフローを生成する手順の一例の説明図である。 管理者などのユーザによる画面に対する操作とレコーディング機能によりレコーディングされる操作の一例の説明図である。 記録した一連の操作の流れからコンポーネントを生成する処理の一例の説明図である。 コンポーネントの生成時の解析処理の一例の説明図である。 管理者などのユーザによる画面に対する操作とレコーディング機能によりレコーディングされる操作の一例の説明図である。 条件分岐を生成する処理の一例の説明図である。 編集前のコンポーネントの情報と編集後のコンポーネントの情報とを表した一例の説明図である。 コンポーネントの情報を編集した後のフローの一例の説明図である。 コンポーネントの情報の編集及びフローの再生成後のフローの画面の一例の表示例である。 コンポーネントの情報の編集及びフローの再生成後のフローの画面の一例の表示例である。 コンポーネントの生成のバリエーションについて説明する一例の図である。 コンポーネントの生成のバリエーションについて説明する一例の図である。 コンポーネントの生成のバリエーションについて説明する一例の図である。 管理者などのユーザによる画面に対する操作とレコーディング機能によりレコーディングされる操作の他の例の説明図である。 レコーディング機能の使用時の操作の流れの一例の説明図である。 レコーディング機能により記録されたそれぞれの操作から自動的に生成されたコンポーネントの一例の説明図である。 管理者などのユーザから操作を受け付ける画面の一例のイメージ図である。 レコーディング機能の使用時の操作の流れの一例の説明図である。 レコーディング機能により記録されたそれぞれの操作から自動的に生成されたコンポーネントの一例の説明図である。 条件分岐を生成する処理の一例の説明図である。 編集前のコンポーネントの情報と編集後のコンポーネントの情報とを表した一例の説明図である。 コンポーネントの情報を編集した後のフローの一例の説明図である。 本実施形態により生成したフローの画面を表示してユーザからの操作を受け付ける装置の一例の説明図である。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。

［第１の実施形態］
＜システム構成＞
図１は本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システムは、図１（Ａ）に示すような情報処理装置１０、又は図１（Ｂ）に示すような情報処理システム１により構成される。図１（Ａ）の情報処理装置１０は管理者などのユーザが操作するＰＣ（Personal Computer）などのコンピュータであり、ユーザからの操作を、タッチパネル、コントローラ、マウス、又はキーボード等で受け付けて、操作に応じた情報処理を実行し、実行結果を表示する。

また、図１（Ｂ）の情報処理システム１は、情報処理装置１０とサーバ装置１２とがインターネットやＬＡＮ（Local Area Network）などのネットワーク１８を介して通信可能に接続された構成である。図１（Ｂ）の情報処理装置１０は、図１（Ａ）の情報処理装置１０と同様なコンピュータである。図１（Ｂ）のサーバ装置１２も図１（Ａ）と同様なコンピュータで実現できる。

サーバ装置１２は情報処理装置１０との間でデータを送受信することで、情報処理装置１０が受け付けたユーザの操作に応じた情報処理を実行し、実行結果を情報処理装置１０に提供する。情報処理装置１０はサーバ装置１２から提供された実行結果を表示する。

サーバ装置１２はクラウドコンピュータにより実現してもよい。なお、図１（Ｂ）に示したサーバ装置１２の個数は、１つに限定されるものではなく、２つ以上で分散処理してもよい。サーバ装置１２は情報処理装置１０へのプログラム（アプリケーション）やＷＥＢページなどのダウンロード処理、ユーザのログイン処理、又は各種データベースを管理する処理、などに利用してもよい。なお、図１のシステム構成は一例である。

情報処理装置１０はユーザが操作するＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、又はウェアラブルＰＣ等である。

＜ハードウェア構成＞
《コンピュータ》
図１の情報処理装置１０は例えば図２に示すハードウェア構成のコンピュータ５００により実現される。サーバ装置１２の構成は情報処理装置１０と同様であるため、説明を省略する。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。

コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、プログラムに従ってコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。

ディスプレイ５０６は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリ等である。ネットワークＩ／Ｆ５０９はネットワーク１８を利用してデータ通信をするためのインタフェースである。データバス５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

なお、図２に示したハードウェア構成は一例であり、図２に示した構成要素を全て含む必要はなく、または、図２に示した構成要素以外を含むものであってもよい。

＜機能構成＞
以下では、図１（Ａ）の情報処理装置１０の場合の機能構成例を説明する。なお、以下の図３に示す機能構成例は一例である。例えば図１（Ｂ）の情報処理装置１０の場合は図３に示す機能構成の少なくとも一部を図１（Ｂ）のサーバ装置１２に設け、情報処理装置１０とサーバ装置１２とが連携して処理を行うようにしてもよい。

図３は本実施形態に係る情報処理装置の一例の機能構成図である。なお、図３の機能構成図は本実施形態の説明に不要な構成について適宜省略している。例えば情報処理装置１０は、ＯＳ及びアプリケーション等のプログラムを実行することにより、図３の機能構成を実現する。

図３の情報処理装置１０は、アプリ処理部３０、表示制御部３２、操作受付部３４、操作項目特定部４０、操作部品生成部４２、フロー生成部４４、操作項目変更部４６、操作部品編集部４８、フロー記憶部５０、ソフトウェアロボット処理部５２、差分抽出部５４、及び条件分岐設定部５６を有する。

アプリ処理部３０は、ソフトウェアロボット処理部５２が操作する対象のプログラム又はサービスにより実現される機能の一例である。ソフトウェアロボット処理部５２が操作する対象のプログラム又はサービスは複数であってもよい。

表示制御部３２は、アプリ処理部３０から受信した画像データにしたがって一つ以上の画面を表示する。表示制御部３２はユーザから操作を受け付ける一つ以上の画面の表示制御を行う。また、操作受付部３４は表示制御部３２が表示した画面に対するユーザの操作を受け付ける。

操作項目特定部４０は、表示されている画面に関する情報（画面の表示情報）を表示制御部３２から受信する。また、操作項目特定部４０は表示されている画面に対するユーザの操作に関する情報（操作の位置情報）を操作受付部３４から受信する。

操作項目特定部４０は、受信した画面の表示情報と操作の位置情報に基づき、ユーザから操作を受け付けた操作項目を特定する。操作項目の詳細は後述する。操作項目変更部４６は、操作項目特定部４０が特定した操作項目を変更する操作をユーザから受け付け、特定した操作項目を変更する。

操作部品生成部４２は、特定した操作項目に応じた条件を対応付けた後述の操作部品を生成する。操作部品の詳細は後述する。操作部品編集部４８は、操作部品生成部４２が生成した操作部品を編集する操作をユーザから受け付け、操作部品を編集する。

フロー生成部４４は、ユーザの操作順に従って、操作部品から後述のようにフローを生成する。フロー記憶部５０は生成されたフローを記憶する。差分抽出部５４は、フロー記憶部５０に記憶された複数のフローを比較し、フローを構成する操作部品の差分を後述のように抽出する。条件分岐設定部５６は、差分抽出部５４が抽出した操作部品の差分に基づき、条件分岐の操作部品を後述のようにフローに設定（追加）してフロー記憶部５０に記憶させる。差分抽出部５４及び条件分岐設定部５６の処理の詳細は後述する。

ソフトウェアロボット処理部５２は、フロー記憶部５０からフローを読み出す。ソフトウェアロボット処理部５２は読み出したフローに従って後述のような画面を表示し、その画面に対するユーザの操作を受け付ける。ソフトウェアロボット処理部５２はユーザから受け付けた操作に従って操作受付部３４に対する操作を行い、アプリ処理部３０に処理を実行させる。

＜ＢＯＴのフロー生成＞
本実施形態において、ＢＯＴ（ボット）とは、フローに従った処理を行うためのユーザの操作を簡易化するソフトウェアの一例である。ＢＯＴはソフトウェアロボットと呼ばれることもある。ここではＢＯＴの操作のフロー（以下、単にフローと呼ぶ）を一例として説明する。通常のＢＯＴのフローの生成は例えば図４のように行われる。

図４は、ＢＯＴのフローを生成する手順の一例の説明図である。ＢＯＴのフローはデスクトップアプリケーションの操作を簡易化するフローであってもよいし、クラウドサービスの操作を簡易化するフローであってもよい。

図４では、業務プロセス簡易化のためのＲＰＡサービスを一例として説明する。このＲＰＡサービスは、利用頻度の高いフローのひな形がテンプレートとして提供されているものとする。

ＢＯＴのフローを生成する最初の手順では、管理者などのユーザがテンプレートを選択する。次の手順では、管理者などのユーザがコンポーネントの追加・設定を行う。図４において、コンポーネントの追加・設定は、コンポーネント追加、入力設定、及び出力設定の手順で行われる。図４では、コンポーネントごとに、入力設定及び出力設定を追加している。コンポーネントは、画面に表示される操作部品の一例であって、入力設定や出力設定などの各種定義が可能な部品である。

コンポーネントが追加されると、入力する文字列の型などを定義する入力設定、出力する文字列の型などを定義する出力設定を行う。図４では、追加したコンポーネントごとに必要な入力設定、出力設定が行われる。また、コンポーネントの追加・設定を行う手順は必要な対話分、繰り返される。次の手順では、管理者などのユーザがコンポーネントを並び替え、条件等を追加することでフローを生成する。

図４のＢＯＴのフローを生成する手順では、必要な対話分、コンポーネントの追加・設定を１つ１つ追加していく必要があった。また、図４のＢＯＴのフローを生成する手順では、管理者などのユーザがコンポーネントを並び替え、条件等を追加することでフローを生成する必要があった。

そこで、本実施形態では、図５に示すようにＢＯＴのフローを生成する。図５は、本実施形態に係るＢＯＴのフローを生成する手順の一例の説明図である。図５では例えばマウスやキーボード等を利用したＷＥＢページ等の画面に対するユーザのクリック又は入力等の一連の操作を記録するレコーディング機能を利用する。

ＢＯＴのフローを生成する最初の手順では、管理者などのユーザがレコーディング機能による記録を開始したあと、ＷＥＢページ等の画面に対する操作を行う。レコーディング機能は操作ログなどの操作情報、操作対象箇所などの操作対象情報を記録する。次の手順では、情報処理装置１０が、記録した操作情報、及び操作対象情報からコンポーネントを自動生成する。

コンポーネントが自動生成されると、情報処理装置１０は、入力設定、出力設定、及び処理設定を含むコンポーネント設定を行う。情報処理装置１０は、操作情報、及び操作対象情報に基づき、入力設定を生成する。入力設定では、バリデーションチェック、リストなどの情報を継承する。情報処理装置１０は、必要に応じて出力設定を行う。また、情報処理装置１０はコンポーネントの結合や、入力条件等に処理を追加する処理設定を行う。

次の手順では、情報処理装置１０は管理者などのユーザの操作順に従って、フローを自動的に生成する。情報処理装置１０は、フローの順番の変更、又は条件等の追加などの操作を管理者などのユーザから受け付けるようにしてもよい。

図５に示すようにＢＯＴのフローを生成することで、本実施形態では、ＷＥＢページ等の画面に対する操作を行うことにより、必要なコンポーネントを自動生成できる。例えば本実施形態ではＷＥＢページ等の入力条件を継承し、入力設定を省力化できる。また、本実施形態では、管理者などのユーザの操作順に従って、コンポーネントからフローを自動的に生成できる。

このように、本実施形態では、レコーディング機能を利用することで、ＷＥＢページ等の画面に対する管理者などのユーザの操作情報、操作対象情報を記録し、コンポーネントを生成し、管理者などのユーザの操作順に従ってコンポーネントを対応付けてフローを自動生成することができる。

＜操作とレコーディング機能＞
ここでは、管理者などのユーザによる画面に対する操作を例示して説明する。図６は管理者などのユーザによる画面に対する操作とレコーディング機能によりレコーディングされる操作の一例の説明図である。

図６（Ａ）は管理者などのユーザから操作を受け付け、遷移する画面１０００及び１０１０の一例のイメージ図である。また、図６（Ｂ）は管理者などのユーザが行った図６（Ａ）の画面１０００及び１０１０に対する一連の操作の流れを表した図である。図６（Ａ）及び図６（Ｂ）は、管理者などのユーザが図６（Ａ）の左側の画面１０００の「一日入力」ボタンをクリックすることで、図６（Ａ）の右側の画面１０１０に遷移し、画面１０１０に入力する操作を表している。

また、図６（Ａ）及び図６（Ｂ）は、管理者などのユーザが図６（Ａ）の画面１０１０から「始業」「終業」及び「残業理由／備考」の入力フィールドへの入力を行う操作を表している。さらに、図６（Ａ）及び図６（Ｂ）は、管理者などのユーザが図６（Ａ）の画面１０１０から「保存して終了」ボタンをクリックする操作を表している。

例えば図６（Ａ）及び図６（Ｂ）に示した管理者などのユーザの一連の操作の流れは図６（Ｃ）に示すようにレコーディング機能によるレコーディングを開始及び終了することにより、記録できる。

図７は記録した一連の操作の流れからコンポーネントを生成する処理の一例の説明図である。図７（Ａ）は図６（Ｃ）と同一であり、レコーディング機能により記録した管理者などのユーザの一連の操作の流れである。レコーディング機能により記録されたそれぞれの操作は、操作項目の一例である。図７（Ｂ）はレコーディング機能により記録されたそれぞれの操作から自動的に生成されたコンポーネントの例である。

管理者などのユーザが図６（Ａ）の画面１０００の「一日入力」ボタンをクリックした操作の記録から、情報処理装置１０は、例えば「タイトル：一日入力」と「アクション：なし」と「コメント：一日入力」とを情報として含むコンポーネントを生成する。

管理者などのユーザが図６（Ａ）の画面１０１０の「始業」の入力フィールドに時間を入力した操作の記録から、情報処理装置１０は「タイトル：始業」と「アクション：リストボックス選択」と「入力値：５－４１，５－５５」と「コメント：始業」とを情報として含むコンポーネントを生成する。

管理者などのユーザが図６（Ａ）の画面１０１０の「終業」の入力フィールドに時間を入力した操作の記録から、情報処理装置１０は「タイトル：終業」と「アクション：リストボックス選択」と「入力値：５－４１，５－５５」と「コメント：終業」とを情報として含むコンポーネントを生成する。

管理者などのユーザが図６（Ａ）の画面１０１０の「残業理由／備考」の入力フィールドに時間を入力した操作の記録から、情報処理装置１０は「タイトル：残業理由／備考」と「アクション：テキスト入力」と「フィールドルール：なし」と「コメント：残業理由／備考」とを情報として含むコンポーネントを生成する。

管理者などのユーザが図６（Ａ）の画面１０１０の「保存して終了」ボタンをクリックした操作の記録から、情報処理装置１０は、例えば「タイトル：保存して終了」と「アクション：なし」と「コメント：保存して終了」とを情報として含むコンポーネントを生成する。

なお、図７では「始業」及び「終業」の入力フィールドに時間を入力した操作の記録から「入力値」が「５－４１，５－５５」となった例を示したが、例えば「１－９９」などの入力値の入力範囲内の任意の数字であればよい。

ここでは、コンポーネントの生成時の解析処理の一例として、図６（Ａ）の画面１０１０の「始業」の入力フィールドに時間を入力した操作の記録から、コンポーネントを生成するケース（始業のケース）を説明する。また、コンポーネントの生成時の解析処理の一例として、図６（Ａ）の画面１０１０の「残業理由／備考」の入力フィールドに時間を入力した操作の記録から、コンポーネントを生成するケース（残業理由／備考のケース）を説明する。

図８はコンポーネントの生成時の解析処理の一例の説明図である。図８（Ａ）は、始業のケースの一例の説明図である。図８（Ｂ）は残業理由／備考のケースの一例の説明図である。

例えば始業のケースでは、管理者などのユーザの図６（Ａ）の画面１０１０に対する操作を検知して、管理者などのユーザにより操作された入力フィールドを例えば次のように解析することで、コンポーネントを作成する。

まず、情報処理装置１０は始業の入力フィールドの近隣の文字列を探索し、近いものをタイトル候補としてリストアップする。例えば図８の（Ａ）の例では、始業、管理職、自動計算などをタイトル候補としてリストアップする。情報処理装置１０はリストアップされたタイトル候補から例えば一番近い「始業」をタイトルとして仮設定できる。

なお、近隣の文字列の探索は、既存の方法を利用することができ、例えばＷｅｂスクレイピングの技術により抽出した情報から、始業の入力フィールドの近隣に配置された文字列を探索できる。例えばＷｅｂページにおいて入力フィールドの近隣の文字列を探索する方法は「http://datajournalismjp.github.io/handbook/getting_data_3.html」などに記載された方法を利用できる。

また、入力フィールドの近隣は、図８（Ａ）に矢印で示したように、入力フィールドに近い（所定の範囲内の）位置である。情報処理装置１０は「始業」の入力フィールドから所定の範囲内の領域にある文字列を、文字列の位置情報に基づきリストアップすることにより、始業の入力フィールドの近隣に配置された文字列を探索できる。リストアップした文字列は、入力フィールドの右上にある文字列を優先するなど、例えば入力フィールドから見た方向により優先順位を付けてもよい。

次に、情報処理装置１０は「始業」の入力フィールドを解析する。例えば図８（Ａ）は入力フィールドがリストボックスの例であり、入力値一覧（５～４１、０～５５）などを取得する。そして、情報処理装置１０は「始業」の入力フィールド、その入力フィールドの近隣の文字列、及び入力フィールドの解析結果に基づき、コンポーネントを生成する。

例えば残業理由／備考のケースでは、管理者などのユーザの図６（Ａ）の画面１０１０に対する操作を検知して、管理者などのユーザにより操作された入力フィールドを例えば次のように解析することで、コンポーネントを作成する。

情報処理装置１０は残業理由／備考の入力フィールドの近隣の文字列を探索し、近いものをタイトル候補としてリストアップする。例えば図８の（Ｂ）の例では、残業理由／備考、実勤務時間、７時間３０分などをタイトル候補としてリストアップする。情報処理装置１０はリストアップされたタイトル候補から例えば一番近い「残業理由／備考」をタイトルとして仮設定できる。

次に、情報処理装置１０は「残業理由／備考」の入力フィールドを解析する。例えば図８（Ｂ）は入力フィールドがテキストボックスの例を示しており、入力フィールドのバリデーションを取得する。入力フィールドのバリデーションは、入力文字列などが仕様や文法などのルールに照らして妥当かどうかを判断するための情報である。情報処理装置１０は「残業理由／備考」の入力フィールド、その入力フィールドの近隣の文字列、及び入力フィールドの解析結果に基づいて、コンポーネントを生成する。

次に、管理者などのユーザは図９に示すように図６と異なる操作を画面に対して行うことで、図６と異なる条件分岐を発生させる。図９は管理者などのユーザによる画面に対する操作とレコーディング機能によりレコーディングされる操作の一例の説明図である。

図９（Ａ）は管理者などのユーザから操作を受け付け、遷移する画面１０００及び１０１０の一例のイメージ図である。また、図９（Ｂ）は管理者などのユーザが行った図９（Ａ）の画面１０００及び１０１０に対する一連の操作の流れを表した図である。図９（Ａ）及び図９（Ｂ）は、管理者などのユーザが図９（Ａ）の左側の画面１０００の「一日入力」ボタンをクリックすることで、図９（Ａ）の右側の画面１０１０に遷移し、画面１０１０に入力する操作を表している。

また、図９（Ａ）及び図９（Ｂ）は、管理者などのユーザが図９（Ａ）の画面１０１０から「始業」及び「終業」の入力フィールドへの入力を行う操作を表している。さらに、図９（Ａ）及び図９（Ｂ）は、管理者などのユーザが図９（Ａ）の画面１０１０から「保存して終了」ボタンをクリックする操作を表している。

例えば図９（Ａ）及び図９（Ｂ）に示した管理者などのユーザの一連の操作の流れは図９（Ｃ）に示すようにレコーディング機能によるレコーディングを開始及び終了することにより、記録できる。

図１０は条件分岐を生成する処理の一例の説明図である。図１０（Ａ）は図７（Ｂ）のコンポーネントを、例えば画面１０００及び１０１０に対する管理者などのユーザの操作順に従って自動生成したフローである。図１０（Ｂ）は図９（Ｃ）のように記録した一連の操作の流れからコンポーネントを自動的に生成し、画面１０００及び１０１０に対する管理者などのユーザの操作順に従って自動生成したフローである。

差分抽出部５４は、フロー記憶部５０に記憶された図１０（Ａ）及び図１０（Ｂ）のフローを比較する。差分抽出部５４は図１０（Ａ）及び図１０（Ｂ）のフローを構成する操作部品の差分として図１０（Ｃ）に示す「タイトル：残業理由／備考」と「アクション：テキスト入力」と「フィールドルール：なし」と「コメント：残業理由／備考」とを情報として含むコンポーネントを抽出する。

条件分岐設定部５６は、差分抽出部５４が抽出した操作部品の差分に基づき、差分の操作部品の前に、条件分岐の操作部品を設定（追加）する。条件分岐の操作部品は「タイトル：条件」と「アクション：選択（Ｔｒｕｅ／Ｆａｌｓｅ）」と「条件：未入力」とを情報として含むコンポーネントである。また、条件分岐設定部５６は条件分岐の操作部品の分岐を、差分の操作部品の後ろであって、差分のない操作部品に収束（スキップ）するように設定する。

本実施形態に係る情報処理装置１０は、自動生成したフローに含まれるコンポーネントの情報を編集する操作をユーザから受け付け、例えば図１１に示すようにコンポーネントの情報を編集できる。

図１１は編集前のコンポーネントの情報と編集後のコンポーネントの情報とを表した一例の説明図である。図１１では、左側のコンポーネントの情報が編集前を表し、右側のコンポーネントの情報が編集後を表している。

例えば図１１では「タイトル：一日入力」と「アクション：なし」と「コメント：一日入力」とを情報として含むコンポーネントが「タイトル：一日入力」と「アクション：選択（はい／いいえ）」と「コメント：一日入力しますか？」とを情報として含むコンポーネントに編集されている。

また、図１１では「タイトル：始業」と「アクション：リストボックス選択」と「入力値：５－４１，５－５５」と「コメント：始業」とを情報として含むコンポーネントが「タイトル：始業」と「アクション：リストボックス選択」と「入力値：５－４１，５－５５」と「出力値：数値，数値」と「コメント：始業は？」とを情報として含むコンポーネントに編集されている。

また、図１１では「タイトル：終業」と「アクション：リストボックス選択」と「入力値：５－４１，５－５５」と「コメント：終業」とを情報として含むコンポーネントが「タイトル：終業」と「アクション：リストボックス選択」と「入力値：５－４１，５－５５」と「出力値：数値，数値」と「コメント：終業は？」とを情報として含むコンポーネントに編集されている。

また、図１１では「タイトル：条件」と「アクション：選択（Ｔｒｕｅ／Ｆａｌｓｅ）」と「条件：未入力」とを情報として含むコンポーネントが「タイトル：条件」と「アクション：選択（Ｔｒｕｅ／Ｆａｌｓｅ）」と「条件：終業－始業＞８．５」とを条件として含むコンポーネントに編集されている。

また、図１１では「タイトル：残業理由／備考」と「アクション：テキスト入力」と「フィールドルール：なし」と「コメント：残業理由／備考」とを情報として含むコンポーネントが「タイトル：残業理由」と「アクション：テキスト入力」と「フィールドルール：なし」と「出力値：テキスト」と「コメント：残業理由をいれてください。」とを情報として含むコンポーネントに編集されている。

また、図１１では「タイトル：保存して終了」と「アクション：なし」と「コメント：保存して終了」とを情報として含むコンポーネントが「タイトル：終了確認」と「アクション：確認（入力データ出力）」と「コメント：で登録します。」とを情報として含むコンポーネントに編集されている。

図１１に示したコンポーネントの情報の編集により、情報処理装置１０は図１２に示すように、編集前のフローを、始業のコンポーネントの入力値及び終業のコンポーネントの入力値から「８．５」時間を超えるか否かを判定して処理を分岐する編集後のフローに修正できる。

図１２はコンポーネントの情報を編集した後のフローの一例の説明図である。管理者などのユーザは、例えば図１２に示すように、１番目のコンポーネントで「いいえ」が選択された場合の遷移先が最後のコンポーネントとなるように編集できる。また、管理者などのユーザは、４番目のコンポーネントで「終業－始業＞８．５」の条件を満たした場合の遷移先が「残業理由」のコンポーネントとなるように編集できる。さらに、管理者などのユーザは、４番目のコンポーネントで「終業－始業＞８．５」の条件を満たさなかった場合の遷移先が「終了確認」のコンポーネントとなるように編集できる。

図１３及び図１４はコンポーネントの情報の編集及びフローの再生成後のフローの画面の一例の表示例である。図１３及び図１４の画面２０００は、図１１に示したような自動生成したフローに含まれるコンポーネントの情報を編集し、対話らしくブラッシュアップした画面２０００の表示例となる。

図１３の画面２０００は４番目のコンポーネントで「終業－始業＞８．５」の条件を満たした場合のフローの一例である。また、図１４の画面２０００は４番目のコンポーネントで「終業－始業＞８．５」の条件を満たさなかった場合のフローの一例である。例えばユーザは、情報処理装置１０に表示された図１３又は図１４の画面２０００を操作することにより、図１２のフローを実行できる。

図８に示したコンポーネントの作成時の解析処理は一例であって、例えば図１５に示すようなラジオボタンに対する操作を検知して、管理者などのユーザにより操作された入力フィールドを解析することで、コンポーネントを作成してもよい。図１５はコンポーネントの生成のバリエーションについて説明する一例の図である。

図１５（Ａ）及び図１５（Ｂ）は、ラジオボタンを含む画面１０４０及び１０５０の例である。情報処理装置１０はラジオボタンの入力フィールドの近隣の文字列を探索し、近いものをタイトル候補として仮設定できる。また、情報処理装置１０は入力フィールドのラジオボタンを解析することで、選択肢一覧などを取得できる。このように、情報処理装置１０はラジオボタンを含む画面１０４０及び１０５０からコンポーネントを作成できる。

図１６はコンポーネントの生成のバリエーションについて説明する一例の図である。図１６（Ａ）～図１６（Ｃ）は入力フィールドのバリデーションチェックロジックの継承を行う例である。なお、図１６（Ａ）は、メールアドレスを入力する入力フィールドを含む画面１０６０の例である。図１６（Ｂ）は、姓（ローマ字）、名（ローマ字）を入力する入力フィールドを含む画面１０７０の例である。図１６（Ｃ）は、年齢を入力する入力フィールドを含む画面１０８０の例である。

情報処理装置１０は、管理者などのユーザの入力操作が半角英数字のメールアドレスの場合に、姓（ローマ字）、名（ローマ字）、及び年齢の入力フィールドに半角英数字のバリデーションチェックのロジックを継承させることができる。

図１７はコンポーネントの生成のバリエーションについて説明する一例の図である。図１７（Ａ）及び図１７（Ｂ）は、リストボックスを含む画面１０９０及び１１００の例である。情報処理装置１０はリストボックスの入力フィールドの近隣の文字列を探索し、近いものをタイトル候補として仮設定できる。また、情報処理装置１０は入力フィールドのリストボックスを解析することで、選択肢一覧などを取得できる。このように、情報処理装置１０はリストボックスを含む画面１０９０及び１１００からコンポーネントを作成できる。

次に、管理者などのユーザによる画面に対する他の操作を例示して説明する。図１８は管理者などのユーザによる画面に対する操作とレコーディング機能によりレコーディングされる操作の他の例の説明図である。

図１８は管理者などのユーザから操作を受け付ける画面の一例のイメージ図である。画面１２００は家族カードなしで「カードサービス・お支払いについて」の登録を行う表示例を表している。例えば図１８の画面１２００に対する管理者などのユーザの一連の操作の流れは図１９に示すようにレコーディング機能によるレコーディングを開始及び終了することにより、記録できる。

図１９は、レコーディング機能の使用時の操作の流れの一例の説明図である。ステップＳ１００において、管理者などのユーザは画面１２００から「カードブランド」を選択する操作を行う。ステップＳ１０２において、管理者などのユーザは画面１２００に「暗証番号」を入力する。ステップＳ１０４において、管理者などのユーザは画面１２００に「暗証番号（確認）」を入力する。ステップＳ１０６において、管理者などのユーザは画面１２００から「取引を行う目的」を選択する。ステップＳ１０８において、管理者などのユーザは画面１２００から「お支払い日」を選択する。ステップＳ１１０において、管理者などのユーザは画面１２００から「家族カード」を「同意し申し込む」か「申し込まない」を選択する。図１９は家族カードを申し込まない例を示している。ステップＳ１１２において、管理者などのユーザは画面１２００の「次へ」ボタンを選択する。

レコーディング機能により記録された図１９のそれぞれの操作から情報処理装置１０は図２０に示すようなコンポーネントを自動的に生成する。図２０はレコーディング機能により記録されたそれぞれの操作から自動的に生成されたコンポーネントの一例の説明図である。

管理者などのユーザが図１８の画面１２００の「カードブランド」の入力フィールドからカードブランドを選択した操作の記録から、情報処理装置１０は「タイトル：カードブランド」と「コメント：カードブランド」と「アクション：リスト選択」と「入力値：○○○／△△△」とを情報として含むコンポーネントを生成する。

また、管理者などのユーザが図１８の画面１２００の「暗証番号」の入力フィールドに暗証番号を入力した操作の記録から、情報処理装置１０は「タイトル：暗証番号」と「コメント：暗証番号」と「アクション：テキスト」と「入力値：数字４桁」とを情報として含むコンポーネントを生成する。以下、同様にして図２０に示すようなコンポーネントを生成する。

図２１は管理者などのユーザから操作を受け付ける画面の一例のイメージ図である。図２１の画面１２００は家族カードありで「カードサービス・お支払いについて」の登録を行う表示例を表している。例えば図２１の画面１２００に対する管理者などのユーザの一連の操作の流れは図２２に示すようにレコーディング機能によるレコーディングを開始及び終了することにより、記録できる。

図２２は、レコーディング機能の使用時の操作の流れの一例の説明図である。ステップＳ２００～Ｓ２０８は図１９のステップＳ１００～Ｓ１０８と同様である。ステップＳ２１０において、管理者などのユーザは画面１２００から「家族カード」を「同意し申し込む」か「申し込まない」を選択する。図２２は家族カードを申し込む例を示している。ステップＳ２１２～Ｓ２３２において、管理者などのユーザは図２１の画面１２００から家族カードを申し込むための操作を行っている。ステップＳ２３４において、管理者などのユーザは画面１２００の「次へ」ボタンを選択する。

レコーディング機能により記録された図２２のそれぞれの操作から情報処理装置１０は図２３に示すようなコンポーネントを自動的に生成する。図２３はレコーディング機能により記録されたそれぞれの操作から自動的に生成されたコンポーネントの一例の説明図である。

管理者などのユーザが図２１の画面１２００の「カードブランド」の入力フィールドからカードブランドを選択した操作の記録から、情報処理装置１０は「タイトル：カードブランド」と「コメント：カードブランド」と「アクション：リスト選択」と「入力値：○○○／△△△」とを情報として含むコンポーネントを生成する。

また、管理者などのユーザが図２１の画面１２００の「暗証番号」の入力フィールドに暗証番号を入力した操作の記録から、情報処理装置１０は「タイトル：暗証番号」と「コメント：暗証番号」と「アクション：テキスト」と「入力値：数字４桁」とを情報として含むコンポーネントを生成する。以下、同様にして図２３に示すようなコンポーネントを生成する。

図２４は、条件分岐を生成する処理の一例の説明図である。図２４（Ａ）は図１８の画面１２００に対する管理者などのユーザの操作に従って自動生成したフローである。図２４（Ｂ）は図２１の画面１２００に対する管理者などのユーザの操作に従って自動生成したフローである。

差分抽出部５４は、フロー記憶部５０に記憶された図２４（Ａ）及び図２４（Ｂ）のフローを比較する。差分抽出部５４は図２４（Ａ）及び図２４（Ｂ）のフローを構成する操作部品の差分を抽出する。

条件分岐設定部５６は、差分抽出部５４が抽出した操作部品の差分に基づき、差分の操作部品の前に、条件分岐の操作部品を設定（追加）する。条件分岐の操作部品は「タイトル：条件」と「アクション：選択（Ｔｒｕｅ／Ｆａｌｓｅ）」と「条件：未入力」とを情報として含むコンポーネントである。また、条件分岐設定部５６は条件分岐の操作部品の分岐を、差分の操作部品の後ろであって、差分のない操作部品に収束（スキップ）するように設定する。

本実施形態に係る情報処理装置１０は、自動生成したフローに含まれるコンポーネントの情報を編集する操作をユーザから受け付け、例えば図２５に示すように条件分岐の操作部品のコンポーネントの情報を編集できる。

図２５は編集前のコンポーネントの情報と編集後のコンポーネントの情報とを表した一例の説明図である。図２５では、上側のコンポーネントの情報が編集前を表し、下側のコンポーネントの情報が編集後を表している。また、図２５は自動生成したフローに含まれるコンポーネントのうち、条件分岐の操作部品のコンポーネントを示し、他のコンポーネントの図示を省略している。

例えば図２５では「タイトル：条件」と「アクション：選択（Ｔｒｕｅ／Ｆａｌｓｅ）」と「条件：未入力」とを情報として含むコンポーネントが「タイトル：条件」と「アクション：選択（Ｔｒｕｅ／Ｆａｌｓｅ）」と「条件：家族カード＝同意し申し込む」とを条件として含むコンポーネントに編集されている。

図２５に示したコンポーネントの情報の編集の他、対話らしくブラッシュアップした画面を表示するための編集により、情報処理装置１０は図２６に示すように、図２０及び図２３の編集前のフローを、家族カードを同意して申し込むか、申し込まないか、を判定して処理を分岐する編集後のフローに修正できる。

図２６はコンポーネントの情報を編集した後のフローの一例の説明図である。管理者などのユーザは、例えば図２６に示すように、７番目のコンポーネントで「家族カード＝同意し申し込む」の条件を満たした場合の遷移先が８番目のコンポーネントとなるように編集できる。さらに、管理者などのユーザは、７番目のコンポーネントで「家族カード＝同意し申し込む」の条件を満たさなかった場合の遷移先が「次へ」のコンポーネントとなるように編集できる。

情報処理装置１０は画面１２００に対する管理者などのユーザの操作順に従って、例えば図２６に示すようなフローを自動生成する。このように、本実施形態ではレコーディング機能を利用して、管理者などのユーザによる画面１２００に対する操作を記録することにより、ＢＯＴに処理させるフローの画面を自動生成できる。

また、管理者などのユーザは、自動生成されたコンポーネントの情報の編集及び自動生成されたフローの編集を行うことで対話らしくブラッシュアップした画面を生成することができる。例えばユーザは、情報処理装置１０に表示された対話らしくブラッシュアップされた画面を操作して、図２６のフローを実行できる。

生成されたフローは、例えば図２７に示す各種装置の画面に表示して、ユーザから操作を受け付けることができる。図２７は本実施形態により生成したフローの画面を表示してユーザからの操作を受け付ける装置の一例の説明図である。

図２７は、本実施形態により生成したフローの画面を表示してユーザからの操作を受け付ける装置例として、デスクトップＰＣ３０００、電子黒板３００２、インクジェットプリンタ３００４、スマートフォン３００６、ノートＰＣ３００８、全天球撮影装置３０１０、ビデオ会議端末３０１２、プロジェクタ３０１４、及びＭＦＰなどの画像形成装置３０１６を表示している。

以上、本実施形態によれば、ソフトウェアロボットに処理させるフローをより効率的に生成できる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

実施例に記載された装置群は本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。本実施形態によって本発明が限定されるものではなく、本実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及び、いわゆる均等の範囲のものが含まれる。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

１ 情報処理システム
１０ 情報処理装置
１２ サーバ装置
１８ ネットワーク
３０ アプリ処理部
３２ 表示制御部
３４ 操作受付部
４０ 操作項目特定部
４２ 操作部品生成部
４４ フロー生成部
４６ 操作項目変更部
４８ 操作部品編集部
５０ フロー記憶部
５２ ソフトウェアロボット処理部
５４ 差分抽出部
５６ 条件分岐設定部
１０００、１０１０、１２００、２０００ 画面

特開２０１９－１６９０４４号公報

Claims (13)

1. アプリケーションを実行するコンピュータに処理させる操作のフローを生成する情報処理装置であって、
   ユーザから操作を受け付ける一つ以上の画面を表示する表示制御手段と、
   前記画面に対する操作に基づき、前記画面の表示情報から前記操作に応じた操作項目を特定する操作項目特定手段と、
   前記操作項目に応じた条件を対応付けた操作部品を生成する操作部品生成手段と、
   前記ユーザの操作順に従って前記操作部品から操作のフローを生成するフロー生成手段と、
   生成された複数の前記フローを比較し、前記フローを構成する前記操作部品の差分を抽出する差分抽出手段と、
   差分のあった前記操作部品の前に、条件分岐の操作部品を設定する条件分岐設定手段と、
   を有する情報処理装置。
2. 前記条件分岐設定手段は、所定の条件を満たすか否かにより分岐する前記条件分岐の操作部品を設定する
   請求項１記載の情報処理装置。
3. 前記条件分岐設定手段は、所定の条件を満たすか又は満たさない場合の分岐を、差分のあった前記操作部品の後であって、差分のなかった操作部品にスキップするように設定する
   請求項２記載の情報処理装置。
4. 前記フローの操作部品を表示し、前記条件分岐の操作部品に対する編集の操作を、前記ユーザから受け付ける操作部品編集手段、
   を更に有する請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記操作部品編集手段は、前記フローの操作部品を対話形式で表示する
   請求項４記載の情報処理装置。
6. 前記操作のフローは、ソフトウェアロボットが前記アプリケーションを操作するために利用されること
   を特徴とする請求項１乃至５の何れか一項に記載の情報処理装置。
7. アプリケーションを実行するコンピュータに処理させる操作のフローを生成する情報処理装置が実行するフロー生成方法であって、
   ユーザから操作を受け付ける一つ以上の画面を表示する表示制御ステップと、
   前記画面に対する操作に基づき、前記画面の表示情報から前記操作に応じた操作項目を特定する操作項目特定ステップと、
   前記操作項目に応じた条件を対応付けた操作部品を生成する操作部品生成ステップと、
   前記ユーザの操作順に従って前記操作部品から操作のフローを生成するフロー生成ステップと、
   生成された複数の前記フローを比較し、前記フローを構成する前記操作部品の差分を抽出する差分抽出ステップと、
   差分のあった前記操作部品の前に、条件分岐の操作部品を設定する条件分岐設定ステップと、
   を有するフロー生成方法。
8. 前記条件分岐設定ステップは、所定の条件を満たすか否かにより分岐する前記条件分岐の操作部品を設定する
   請求項７記載のフロー生成方法。
9. 前記条件分岐設定ステップは、所定の条件を満たすか又は満たさない場合の分岐を、差分のあった前記操作部品の後であって、差分のなかった操作部品にスキップするように設定する
   請求項８記載のフロー生成方法。
10. 前記フローの操作部品を表示し、前記条件分岐の操作部品に対する編集の操作を、前記ユーザから受け付ける操作部品編集ステップ、
    を更に有する請求項７乃至９の何れか一項に記載のフロー生成方法。
11. 前記操作部品編集ステップは、前記フローの操作部品を対話形式で表示する
    請求項１０記載のフロー生成方法。
12. 前記操作のフローは、ソフトウェアロボットが前記アプリケーションを操作するために利用されること
    を特徴とする請求項７乃至１１の何れか一項に記載のフロー生成方法。
13. アプリケーションを実行するコンピュータに処理させる操作のフローを生成する情報処理装置を、
    ユーザから操作を受け付ける一つ以上の画面を表示する表示制御手段、
    前記画面に対する操作に基づき、前記画面の表示情報から前記操作に応じた操作項目を特定する操作項目特定手段、
    前記操作項目に応じた条件を対応付けた操作部品を生成する操作部品生成手段、
    前記ユーザの操作順に従って前記操作部品から操作のフローを生成するフロー生成手段、
    生成された複数の前記フローを比較し、前記フローを構成する前記操作部品の差分を抽出する差分抽出手段、
    差分のあった前記操作部品の前に、条件分岐の操作部品を設定する条件分岐設定手段、
    として機能させるためのプログラム。

Images