JP7004375B1 - 携帯端末及びおしぼり管理システム - Google Patents

Abstract

【課題】 回収ボックスに収容された使用済おしぼりの枚数を迅速に推計することができる携帯端末を提供する。【解決手段】 おしぼりを配送する店舗、店舗が利用するおしぼりの種類、店舗へ納品したおしぼりの枚数、店舗から回収したおしぼりの枚数及び店舗におけるおしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、回収ボックスに収容された使用済おしぼりを上方から撮影する撮影部と、回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、撮影部により撮影された推計用画像を取得する画像取得部と、学習モデル記憶部に記憶されている学習モデルを用いて、画像取得部により取得した推計用画像からニューラルネットワークにより使用済おしぼりの枚数を推計する推計部と、推計部により推計された推計結果を表示する表示部と、情報受信部により受信した回収前店舗情報に、推計結果を追加した回収後店舗情報を基幹システムに送信する情報送信部とを備える。

Description

本発明は、回収ボックス内の使用済おしぼりの枚数を推計する携帯端末及びおしぼり管理システムに関するものである。

飲食店などに貸し出されるおしぼりは、飲食店で使用された後、回収ボックス内に無造作に入れられた状態で回収される。おしぼりの配送及び回収を行う配送員は、次回おしぼりを納品する枚数や紛失したおしぼりの枚数を把握するために、回収ボックス内にある使用済おしぼりの枚数を確認する必要がある。しかしながら、おしぼりを一枚一枚数える作業は非効率的であり、もとより数える時間はない。したがって、配送員は回収ボックス内にあるおしぼりの量を視認して、経験則からおしぼりの枚数を推測する。

しかしながら、おしぼり回収経験の浅い配送員にとっておしぼりの枚数を推測することは困難である。また、様々な配送員がおしぼりの枚数を推測するため推測枚数にムラが生じる。よって、おしぼりを計数するシステムを構築することが望まれている。例えば、個体を計数するシステムとして特許文献１記載の個体計数システムが知られている。

特開２０１９－１５３０７７号公報

特許文献１記載の個体計数システムは、魚などの移動する個体を計数対象としており、おしぼりのように動かない物体を計数するシステムでない。おしぼりはサイズが決まっており、動くこともないが、回収ボックス内に不均一に収容されるため、密度が一定でなく、回収ボックス内のおしぼりの枚数を回収ボックスの体積に基づき算出することはできない。また、使用済おしぼりに含まれる水分量はそれぞれ異なることから使用済おしぼりの重さも各々異なり、且つ同一のおしぼりであっても使用前のおしぼりと使用済おしぼりとでは重さが異なるため、回収ボックス内のおしぼりの枚数をおしぼりが収容された回収ボックスの重さに基づき算出することもできない。

本発明の目的は、回収ボックス内に収容された使用済おしぼりの枚数を迅速に推計することができる携帯端末及びおしぼり管理システムを提供することである。

本発明の携帯端末は、おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、回収ボックスに収容された使用済おしぼりを上方から撮影する撮影部と、前記回収ボックスに収容された前記使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、前記撮影部により撮影された推計用画像を取得する画像取得部と、前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計する推計部と、前記推計部により推計された推計結果を表示する表示部と、前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部とを備えることを特徴とする。

また、本発明の携帯端末は、前記推計結果を修正した修正枚数を取得する修正枚数取得部を備え、前記情報送信部は、前記修正枚数を追加した前記回収後店舗情報を前記基幹システムに送信し、前記学習モデルは、前記学習用画像及び過去に撮影された前記推計用画像であって前記推計結果を修正した修正済推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた１次深層学習モデルを用いて、過去に撮影された前記推計用画像であって前記推計結果を修正していない無修正推計用画像における前記使用済おしぼりの枚数を推計し、前記学習用画像、前記修正済推計用画像及び前記１次学習モデルを用いて推計された前記無修正推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた２次深層学習モデルであることを特徴とする。

また、本発明の携帯端末の前記学習モデル記憶部は、前記学習用画像から前記回収ボックスの外枠及び前記回収ボックスに収容された使用済おしぼり群の外縁の輪郭を抽出し、抽出された前記回収ボックスの外枠に対する前記使用済おしぼり群の外縁の輪郭から前記使用済おしぼりの枚数を推計するためのパラメーターが組み込まれた前記学習モデルを記憶することを特徴とする。

また、本発明の携帯端末は、前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠を表示させる表示制御部と、前記回収ボックスの外枠の位置が所定の位置となった際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、を更に備えることを特徴とする。

また、本発明の携帯端末は、前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置にあるか否かを所定間隔毎に判定する判定部と、前記判定部により前記回収ボックスの外枠の位置が所定の位置にあると判定された数をカウントする計数部と、前記計数部によりカウントされた数が所定数に達した際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、を更に備え、前記撮影制御部は、前記判定部により前記所定の位置にないと予め設定された回数連続で判定された際、前記計数部によるカウントをリセットすることを特徴とする。

また、本発明の携帯端末の前記学習モデル記憶部は、前記回収ボックスの外枠より外側の画像データを削除した前記学習用画像を用いて学習させた前記学習モデルを記憶し、前記推計部は、前記回収ボックスの外枠より外側の画像データを削除した前記推計用画像を用いて前記使用済おしぼりの枚数を推計することを特徴とする。

また、本発明の携帯端末は、前記推計用画像に基づいて前記回収ボックス内における前記使用済おしぼりの密度を検出する密度検出部を更に備え、前記推計部は、前記密度検出部により検出された前記密度を用いて前記使用済おしぼりの枚数を推計することを特徴とする。

また、本発明の携帯端末は、前記回収ボックス内における前記使用済おしぼりの密度が所定密度より大きいか否かを入力する密度入力部を更に備え、前記推計部は、前記密度入力部により入力された入力結果を用いて前記使用済おしぼりの枚数を推計することを特徴とする。

また、本発明の携帯端末は、前記使用済おしぼりの枚数に関する演算を行う演算部を更に備え、前記撮影部は、複数の前記推計用画像を撮影し、前記推計部は、複数の前記推計用画像内の前記使用済おしぼりの枚数をそれぞれ推計し、前記演算部は、前記推計部により推計された複数の推計結果の平均値を算出し、前記表示部は、前記演算部により算出された前記平均値を前記推計結果として表示することを特徴とする。

また、本発明の携帯端末は、前記複数の推計結果の異常値を検出する異常値検出部を更に備え、前記演算部は、前記異常値検出部により検出された前記異常値を除いた前記複数の推計結果の前記平均値を算出することを特徴とする。

また、本発明の携帯端末は、おしぼりの種類を取得する種類取得部と、前記おしぼりの種類毎に設定された前記おしぼりの重さに基づく補正係数を記憶する補正係数記憶部と、を更に備え、前記推計部は、前記種類取得部により取得した前記おしぼりの種類の前記補正係数を前記補正係数記憶部から取得し、取得した前記補正係数を用いて前記使用済おしぼりの枚数を補正することを特徴とする。

また、本発明の携帯端末は、前記推計用画像に写る前記回収ボックスの色を、前記学習用画像に写る前記回収ボックスの色または近似色に補正する色補正部を備えることを特徴とする。

また、本発明の携帯端末は、おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、回収ボックスに収容された第１使用済おしぼりを上方から撮影する撮影部と、前記第１使用済おしぼりと異なる前記回収ボックスに収容された第２使用済おしぼりを上方から撮影した学習用画像を入力値とし前記第１使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、前記撮影部により撮影された推計用画像を取得する画像取得部と、前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記第１使用済おしぼりの枚数を推計する推計部と、前記推計部により推計された推計結果を表示する表示部と、前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部と、を備えることを特徴とする。

また、本発明のおしぼり管理システムは、本発明の携帯端末及び基幹システムを備えるおしぼり管理システムであって、前記基幹システムは、回収前店舗情報を記憶する情報記憶部と、前記情報記憶部に記憶されている前記回収前店舗情報を前記携帯端末に送信する送信部と、前記携帯端末から送信される回収後店舗情報を受信する受信部と、前記受信部より受信した前記回収後店舗情報を前記情報記憶部に記憶させることにより、前記回収前店舗情報を更新する更新部と、を備えることを特徴とする。

本発明によれば、回収ボックス内に収容された使用済おしぼりの枚数を迅速に推計することができる携帯端末及びおしぼり管理システムを提供することができる。

第１の実施の形態に係るおしぼり管理システムの構成を示すブロック図である。 第１の実施の形態に係るスマートフォンのシステム構成を示すブロック図である。 第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第１の実施の形態に係るおしぼり管理システムが回収ボックスに収容された使用済おしぼりの枚数を推計するために実行する処理について説明するためのフローチャートである。 第２の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第２の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第２の実施の形態に係る標準学習モデルについて説明するための図である。 第２の実施の形態に係る第１種類学習モデルの正解ラベルと推計結果との平均二乗誤差を示すグラフである。 第２の実施の形態に係るおしぼり管理システムが回収ボックスに収容された使用済おしぼりの枚数を推計するために実行する処理について説明するためのフローチャートである。 第２の実施の形態に係る撮影制御部が推計用画像を撮影するために実行する処理について説明するためのフローチャートである。

以下、図面を参照して本発明の第１の実施の形態に係るおしぼり管理システムについて説明する。図１は、第１の実施の形態に係るおしぼり管理システムの構成について説明するためのブロック図である。第１の実施の形態に係るおしぼり管理システム１は、飲食店等の店舗に貸し出される貸しおしぼりの枚数等を管理するためのシステムであって、図１に示すように、複数のスマートフォン２ａ，２ｂ，２ｃ、クラウドサーバ４及び基幹システム６を備えている。

スマートフォン２ａ～２ｃは、店舗におしぼりを配送し且つ店舗から使用済おしぼりを回収する配送員が所持する携帯端末（携帯情報端末）であって、タブレット等でもよい。クラウドサーバ４は、スマートフォン２ａ～２ｃからアップロードされるデータを収集及び保管するサーバであって、物理サーバなど他のサーバでもよい。基幹システム６は、社屋内に配置されるパソコン等である。スマートフォン２ａ～２ｃ、クラウドサーバ４及び基幹システム６は、ネットワーク８により互いに接続されている。なお、図１においては、３台のスマートフォン２ａ～２ｃがネットワーク８に接続されている場合を例示しているが、実際にはスマートフォン２ａ～２ｃと同様の構成を有する多数のスマートフォンがネットワーク８に接続されている。また、この実施の形態においては、クラウドサーバ４及び基幹システム６がネットワーク８により接続される場合を例に挙げているが、サーバと基幹システムとが一体に形成されたシステム、即ちサーバ機能を備えた基幹システムを用いてもよい。

図２は、スマートフォン２ａのシステム構成を示すブロック図である。スマートフォン２ａは、配送員が使用済おしぼりを回収する際に、回収ボックスに収容されている使用済おしぼりの枚数を、人口知能（ＡＩ）を用いて推計するおしぼり枚数推計システムを含み、図２に示すように、スマートフォン２ａの各部を統括的に制御する制御部１０を備えている。制御部１０には、入力部１２、撮影部１４、データ記憶部１６、表示部１８及び通信部２０が接続されている。

入力部１２は、タッチパネル及びボタン等であって、使用済おしぼりを回収する際、おしぼりを使用した店舗の情報（店コード）及びおしぼりの種類（おしぼりＡかおしぼりＢか）等を入力する（図３参照）。また、入力部１２は、回収ボックス内における使用済おしぼりの密度が所定密度より大きいか否か（「ぎゅうぎゅう」か「ふわふわ」か）を入力する（図３参照）。撮影部１４は、カメラ等であって、制御部１０（後述する撮影制御部３１）の指示にしたがって、使用済おしぼりを回収する際、回収ボックス内に収容されている使用済おしぼりを上方から撮影する。この実施の形態では、撮影部１４は、３枚の推計用画像（回収ボックスに収容されている使用済おしぼりを上方から撮影した画像）を撮影する。

データ記憶部１６には、撮影部１４により撮影された画像等、制御部１０による演算処理に必要な情報が一時的に記憶される。また、データ記憶部１６には、後述する推計部３２による推計の際に使用される第１学習モデル２２及び第２学習モデル２３、配送員が使用済おしぼりを回収する店舗に関する店舗情報２４、並びにおしぼりの種類毎に定められている補正係数２６等が記憶されている。

第１学習モデル２２及び第２学習モデル２３は、ＡＩを用いて回収ボックスに収容されている使用済おしぼりの枚数を推計するために予め学習させたモデルであって、おしぼり枚数推計システムに予め組み込まれている。なお、第１学習モデル２２及び第２学習モデル２３は、回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させたモデルである。また、第１学習モデル２２及び第２学習モデル２３には、学習用画像から回収ボックスの外枠及び回収ボックスに収容された使用済おしぼり群（回収ボックスの収容されているすべての使用済おしぼり）の外縁の輪郭を抽出し、抽出された回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターも組み込まれている。

ニューラルネットワークは入力層、中間層及び出力層に分けられ、入力層では、学習用画像を画素にまでばらばらにしたデータが入力され、入力されたデータから画像の輪郭が抽出される。次に中間層では、入力層にて抽出された画像の輪郭について画像解析が行われ、出力層では中間層にて画像解析された結果に基づいて使用済おしぼりの推計枚数結果が出力される。なお、ニューラルネットワークは、画像の画素毎の明度値０～１×画素数からおしぼりの枚数値（例えば５～３２０枚）を数学的に演算する。中間層には畳み込み層、プーリング層、ドロップアウト層、全結合層及び平坦化層が組み合わせて使用されており、各層には数百～数千万個のパラメーターが保存されている。そして、多数の学習用画像を用いてチューニングさせることにより、入力層から中間層を経て出力層にできるだけ正確な結果（正確なおしぼり枚数）を導き出せるように、各層の上記パラメーターの重みづけを変化させている。

ここで、第１学習モデル２２は回収ボックスに収容された使用済おしぼりの密度が所定密度より大きい場合（「ぎゅうぎゅう」の場合）、第２学習モデル２３は回収ボックスに収容された使用済おしぼりの密度が所定密度以下の場合（「ふわふわ」の場合）における学習モデルである。即ち、「ぎゅうぎゅう」の場合と「ふわふわ」の場合とでは、おしぼりが同一であって回収ボックス内のおしぼりの体積が同一であっても、当然におしぼりの枚数は異なるが、この実施の形態においては、密度によって学習モデルを第１学習モデル２２及び第２学習モデル２３に分けることによりおしぼり枚数推計精度を向上させている。

なお、この実施の形態に係るおしぼり管理システムにおいては、同一の大きさ及び異なる厚さを有するおしぼりＡ及びおしぼりＢ、即ち厚さの違いにより重さ及び体積が異なるおしぼりＡ及びおしぼりＢを管理しているものとし、第１学習モデル２２及び第２学習モデル２３は、おしぼりＡについて学習させたモデルとする。

店舗情報２４には、配送コース（配送エリア）コード、店コード、おしぼりの種類（おしぼりＡまたはＢ）、直近任意回数のおしぼり回収実績平均枚数、前回納品したおしぼりの枚数、前回回収したおしぼりの枚数、及び店舗におけるおしぼり在庫枚数等の回収前店舗情報が含まれている。補正係数２６は、おしぼりの種類毎（この実施の形態においては、おしぼりＡ及びＢ）に定められている係数である。なお、第１学習モデル２２及び第２学習モデル２３がおしぼりＡについて学習させたモデルであるから、おしぼりＡ（基準のおしぼり）の補正係数が１、またはおしぼりＡが基準のおしぼりである旨データ記憶部１６に記憶されている。また、おしぼりＢの補正係数は、基準のおしぼりに対するおしぼりＢの重さと枚数から設定され、データ記憶部１６（補正係数２６）に記憶されている。

表示部１８は、液晶表示パネル等であって、制御部１０（後述する表示制御部３４）の指示にしたがって店舗及びおしぼり情報を入力する画面及び推計部３２（後述する）による推計結果を表示する画面等を表示する。図３～図５は、この実施の形態に係るスマートフォン２ａの表示部１８における表示例を示す図である。図３～図５については、後述する。

通信部２０は、ネットワーク８を介してクラウドサーバ４及び基幹システム６と通信する。具体的には、通信部２０は、制御部１０の指示にしたがって、入力部１２を介して入力された配送コースに含まれる店舗情報、即ちおしぼりを配送する店舗、店舗が利用するおしぼりの種類、直近任意回数のおしぼり回収実績平均数、前回納品したおしぼりの枚数、前回回収したおしぼりの枚数、店舗におけるおしぼり在庫枚数、及び店舗へのおしぼり納品停止フラグ等の回収前店舗情報、基幹システム６からネットワーク８を介して受信する。また、通信部２０は、制御部１０の指示にしたがって、基幹システム６から受信した回収前店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、クラウドサーバ４にネットワーク８を介して送信する。

また、制御部１０は、取得部３０、撮影制御部３１、推計部３２、検出部３３、演算部３５及び表示制御部３４を備えている。取得部３０は、入力部１２を介して入力された店コード等の各種情報及び撮影部１４により撮影された画像を取得する。また、取得部３０は、制御部１０による演算処理に必要な情報をデータ記憶部１６から取得する。撮影制御部３１は、表示部１８に表示される外側のガイド枠１９ａ及び内側のガイド枠１９ｂ（図３参照）の間に回収ボックスの外枠が収まった際、撮影部１４に推計用画像を撮影させる。

推計部３２は、データ記憶部１６に記憶されている第１学習モデル２２または第２学習モデル２３を用いて、撮影部１４により回収ボックスに収容された使用済おしぼりを上方から撮影した推計用画像から、使用済おしぼりの枚数を推計する。このとき、推計部３２は、入力部１２により入力された使用済おしぼりの密度が所定密度より大きい場合（「ぎゅうぎゅう」が選択されている場合）第１学習モデル２２を、入力部１２により入力された使用済おしぼりの密度が所定密度以下の場合（「ふわふわ」が選択されている場合）第２学習モデル２３を用いて、使用済おしぼりの枚数を推計する。即ち、ニューラルネットワークの入力層に推計用画像の画素データが入力され、画素データから画像の輪郭が抽出され、中間層において入力層にて抽出された画像の輪郭について画像解析が行われ、出力層において中間層にて画像解析された結果から推計された使用済おしぼりの推計枚数結果が出力される。このとき、推計用画像から回収ボックスの外枠及び回収ボックスに収容された使用済おしぼり群の外縁の輪郭も抽出され、抽出された回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターを用いて使用済おしぼりの推計枚数結果が出力される。

なお、第１学習モデル２２または第２学習モデル２３を用いて推計される使用済おしぼりの推計枚数結果は、おしぼりＡの推計枚数結果である。したがって、推計部３２は、おしぼりＢの場合にあっては、取得部３０を介してデータ記憶部１６の補正係数２６からおしぼりＢの補正係数を取得し、おしぼりＡの推計枚数結果からおしぼりＢの推計枚数結果となるように、おしぼりＢの補正係数を用いて使用済おしぼりの推計枚数を補正する。

検出部３３は、推計部３２による複数（３個）の推計結果の異常値を検出する。具体的には、検出部３３は、１個目の推計結果と他の推計結果との差が閾値を超えている場合、１個目の推計結果を異常値と判別し、２番目及び３番目の推計結果についても同様の判別を行う。演算部３５は、使用済おしぼりの枚数に関する演算を行う。特に、演算部３５は、推計部３２により推計された複数（３個）の推計結果の平均値を算出する。また、演算部３５は、検出部３３において異常値が検出された場合、検出部３３により検出された異常値を除いた複数（２個）の推計結果の平均値を算出する。

表示制御部３４は、図３に示す店舗及びおしぼり情報を入力する画面１８ａ、図４に示す推計部３２による推計結果を示す回収登録画面１８ｂ及び図５に示すおしぼりの適正納品枚数を示す納品登録画面１８ｃ等を表示部１８に表示させる。また、表示制御部３４は、撮影部１４により推計用画像を撮影する際、表示部１８にライブビュー画像を表示させると共に、撮影範囲に対する回収ボックスの外枠の位置をガイドするガイド枠１９ａ，１９ｂを表示させる（図３参照）。なお、スマートフォン２ｂ及び２ｃの構成は、スマートフォン２ａの構成と同一のため、説明を省略する。

次に、クラウドサーバ４の構成について説明する。クラウドサーバ４は、図１に示すように、クラウドサーバ４の各部を統括的に制御する制御部３６を備えている。制御部３６には、データ記憶部３８及び通信部４０が接続されている。

データ記憶部３８には、使用済おしぼりの回収を終えた後に各スマートフォン２ａ～２ｃより送信される回収後店舗情報が記憶されている。通信部４０は、ネットワーク８を介して各スマートフォン２ａ～２ｃ及び基幹システム６と通信する。具体的には、通信部４０は、制御部３６の指示にしたがって、回収前の店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、各スマートフォン２ａ～２ｃからネットワーク８を介して受信する。また、通信部４０は、制御部３６の指示にしたがって、各スマートフォン２ａ～２ｃより受信した回収後店舗情報を、基幹システム６にネットワーク８を介して送信する。

次に、基幹システム６の構成について説明する。基幹システム６は、貸しおしぼりに関する全体的な情報を統括して管理し、図１に示すように、基幹システム６の各部を統括的に制御する制御部４２を備えている。制御部４２には、入力部４４、表示部４６、データ記憶部４８及び通信部５０が接続されている。

入力部４４は、キーボードやマウス等であって、基幹システム６のユーザーにより入力された入力結果を制御部４２に出力する。表示部４６は、液晶パネル等であって、配送コース情報、店舗情報及びおしぼり情報等の表示を行う。データ記憶部４８には、配送コースコードを含む配送コース（配送エリア）に関する情報である配送コース情報５２、貸しおしぼりを納品している店舗の情報である店舗情報５４、おしぼりの種類等に関する情報であるおしぼり情報５６、並びにその他ユーザー（配送員）のログイン認証キー、認証キーの有効期限、ユーザー名、パスワード、所属会社名及び所属会社のおしぼり納品枚数単位（パッケージ単位）等が記憶されている。

通信部５０は、ネットワーク８を介して各スマートフォン２ａ～２ｃ及びクラウドサーバ４と通信する。具体的には、通信部５０は、制御部４２の指示にしたがって、配送コースコードが含まれる店舗情報を回収前店舗情報として、各スマートフォン２ａ～２ｃにネットワーク８を介して送信する。また、通信部５０は、制御部４２の指示にしたがって、回収前の店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、クラウドサーバ４からネットワーク８を介して受信する。制御部４２は、クラウドサーバ４から受信した回収後店舗情報をデータ記憶部４８に記憶させることにより、店舗情報５４を更新する。

次に、図面を参照して、第１の実施の形態に係るおしぼり管理システム１を用いて回収ボックスに収容された使用済おしぼりの枚数を推計するおしぼり枚数推計方法について説明する。図６は、回収ボックスに収容された使用済おしぼりの枚数を推計するためにおしぼり管理システム１が実行する処理について説明するためのフローチャートである。

まず、配送員が当日おしぼり回収で回る配送コースを確認し、入力部１２を介して配送コースコードを入力（図３に示す「コース」を入力）した後、配送員が所持するスマートフォン２ａの制御部１０は、配送コースに含まれる店舗情報（回収前店舗情報）を、基幹システム６から取得する（ステップＳ１０）。具体的には、制御部１０は、入力部１２を介して配送員より入力された配送コースコードを取得し、通信部２０及びネットワーク８を介して、取得した配送コースコードを基幹システム６に送信し、配送コースに含まれる店舗情報を提供するよう要求する。基幹システム６の制御部４２は、ネットワーク８及び通信部５０を介して、スマートフォン２ａから送信された配送コースコード及び配送コースに含まれる店舗情報の提供要求を受信する。そして、制御部４２は、配送コースコードに紐付けされた店コードの店舗情報を、データ記憶部４８から読み込み、通信部５０及びネットワーク８を介して、スマートフォン２ａに送信する。スマートフォン２ａの制御部１０は、ネットワーク８及び通信部２０を介して、配送コースに含まれる店舗情報を受信し、データ記憶部１６に店舗情報２４として記憶させる。

次に、配送員が最初の店舗に到着し使用済おしぼりを回収する際、スマートフォン２ａが配送員から入力部１２を操作することによりおしぼり枚数の推計開始の指示を受けると、制御部１０の表示制御部３４は、表示部１８に図３に示す画面１８ａを表示させる（ステップＳ１１）。この際、表示制御部３４は、ライブビュー画像５８の撮影範囲に対する回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠１９ａ，１９ｂも表示部１８に表示させる。そして、制御部１０は、入力部１２を介して入力された店コード、おしぼり種類及びおしぼり密度を確認する。更に、制御部１０は、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっているか否かを確認する。このとき、予め店舗情報２４からすべての店コードを読み込み、店コードをプルダウン形式で選択できるようにしてもよい。また、店コードが入力されると、店舗情報２４から店コードに紐付けされているおしぼりの種類（店舗が契約しているおしぼりの種類）を読み込み、おしぼりの種類を自動で選択するようにしてもよい。なお、図３においては、「おしぼりＡ」及び「ぎゅうぎゅう」が選択されている場合を例示している。

なお、配送コースに含まれているが、当日おしぼりの配送を要しない（おしぼりの回収も納品もなし）店舗については、配送員が図３に示す「配送なし」ボタンをタップする。制御部１０は、入力部１２を介して「配送なし」ボタンがタップされたことを確認すると、該店舗に係る回収前店舗情報に配送済フラグを追加した回収後店舗情報をデータ記憶部１６に記憶させ、ステップＳ１２～Ｓ１６の処理をスキップして後述するステップＳ１７の処理を実行する。

また、配送コースに含まれているが、当日おしぼりの回収を要しない（おしぼりの納品のみ有り）店舗については、配送員が図３に示す「回収なし」ボタンをタップする。制御部１０は、入力部１２を介して「回収なし」ボタンがタップされたことを確認すると、該店舗に係る使用済おしぼり回収枚数を０とし、ステップＳ１２～Ｓ１６の処理をスキップする。そして、制御部１０の表示制御部３４は、図４に示す回収登録画面１８ｂを表示させることなく、図５に示す納品登録画面１８ｃを表示部１８に表示させ、制御部１０は、後述するステップＳ１７の処理を実行する。

制御部１０の撮影制御部３１は、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっていることを確認した後（ステップＳ１２）、撮影部１４に推計用画像を撮影させる（ステップＳ１３）。撮影部１４は推計用画像を撮影し、制御部１０は撮影部１４により撮影された推計用画像を取得し、データ記憶部１６に推計用画像を記憶させる。なお、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっていることを確認した後、撮影制御部３１が配送員による推計用画像の撮影指示を許可し、配送員から入力部１２を介して撮影指示を受け取ると、撮影部１４に推計用画像を撮影させる構成にしてもよい。

次に、制御部１０は、ステップＳ１３において撮影された推計用画像が３枚目の推計用画像であるか否かを判別し（ステップＳ１４）、３枚目でない（１枚目または２枚目である）場合には（ステップＳ１４：Ｎｏ）、ステップＳ１２及びＳ１３の動作を繰り返す。一方、３枚目である場合には（ステップＳ１４：Ｙｅｓ）、制御部１０の推計部３２は、使用済おしぼりの枚数を推計する（ステップＳ１５）。

まず、推計部３２は、入力フォームに入力されたおしぼり密度の選択が「ぎゅうぎゅう」か「ふわふわ」かを確認し、「ぎゅうぎゅう」の場合には、データ記憶部１６から所定密度より大きい場合の学習モデルである第１学習モデル２２を読み込む。一方、「ふわふわ」の場合には、データ記憶部１６から所定密度以下の場合の学習モデルである第２学習モデル２３を読み込む。更に、推計部３２は、入力フォームに入力されたおしぼり種類の選択が「おしぼりＡ」か「おしぼりＢ」かを確認し、「おしぼりＢ」の場合にはデータ記憶部１６の補正係数２６からおしぼりＢの補正係数を読み込む。

そして、推計部３２は、おしぼり密度が「ぎゅうぎゅう」且つおしぼり種類が「おしぼりＡ」の場合には、第１学習モデル２２を用いて使用済おしぼりの枚数を推計する。おしぼり密度が「ぎゅうぎゅう」且つおしぼり種類が「おしぼりＢ」の場合には、第１学習モデル２２を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。おしぼり密度が「ふわふわ」且つおしぼり種類が「おしぼりＡ」の場合には、第２学習モデル２３を用いて使用済おしぼりの枚数を推計する。おしぼり密度が「ふわふわ」且つおしぼり種類が「おしぼりＢ」の場合には、第２学習モデル２３を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。

具体的には、推計部３２は、推計用画像を入力値としてニューラルネットワークにより画像の輪郭、回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭等を抽出し、回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターを含む数百～数千万個のパラメーターを用いて出力値として使用済おしぼりの推定枚数結果を出力する。

推計部３２は、撮影部１４により撮影された３枚の画像それぞれに対して上述の推計を行い、検出部３３に３個の推計結果を送信する。検出部３３は、３個の推計結果の中に異常値があるか否かを検出し、演算部３５に異常値の有無等の異常値に関する情報を送信する。演算部３５は、検出部３３により異常値が検出されなかった場合、３個の推計結果の平均値を算出し、検出部３３により異常値が検出された場合、検出部３３により検出された異常値を除いた２個の推計結果の平均値を算出する。

制御部１０は、使用済おしぼりの枚数の推計を終えると、表示制御部３４を介して、図４に示す回収登録画面１８ｂを表示部１８に表示させる（ステップＳ１６）。図４に例示する推計結果は７３枚であり、図４に示す画像６０は撮影部１４により撮影され且つ推計部３２によるおしぼり枚数の推計に用いられた画像である。そして、制御部１０の表示制御部３４は、配送員から入力部１２を介してＯＫボタンの入力を確認すると、図５に示す納品登録画面１８ｃを表示部１８に表示させる。図５に例示する適正納品枚数は８０本であり、これは０本・４０本・８０本・１２０本の選択肢の中から推定枚数７３枚に最も近い枚数が選択された結果である。適正納品枚数については、配送員により入力部１２を介して訂正可能である。例えば、店舗が休業日であるなど次回の納品を必要としない場合には０本、店舗が時節柄等の理由により通常より多い（少ない）納品を希望する場合には１２０本（４０本）をマニュアルで選択することも可能である。また、その他の欄に０本・４０本・８０本・１２０本以外の枚数を入力することも可能である。そして制御部１０は、通信部２０を介して、推定結果及び納品枚数等を追加した回収後店舗情報をクラウドサーバ４に送信する（ステップＳ１７）。

図６のフローチャートに示す処理を、配送コースに含まれるすべての店舗に対して行う。なお、ステップＳ１７の処理は、一店一店行う代わりに、回収後店舗情報をデータ記憶部１６に記憶させておき、数店舗の回収後店舗情報をまとめてクラウドサーバ４に送信するようにしてもよい。基幹システム６は、必要に応じてクラウドサーバ４から回収後店舗情報を受信し、データ記憶部４８の店舗情報５４を更新する。

第１の実施の形態に係るおしぼり管理システム１によれば、回収された使用済おしぼりの枚数を一枚一枚数えることなく、迅速に推計することができる。そして、使用済おしぼりの枚数を店舗ごとに管理することにより、おしぼりの契約枚数、季節変動に伴う追加枚数、おしぼりの回収枚数、紛失したおしぼりの枚数、店舗に在庫されている枚数等を適切に管理することができる。また、第１の実施の形態に係るスマートフォン２ａ～２ｃによれば、おしぼり回収経験の浅い配送員であっても使用済おしぼりの枚数を容易に推計することができる。また、様々な配送員がおしぼりを回収する場合であっても使用済おしぼりの枚数をムラなく推計することができる。

なお、上述の実施の形態においては、取得部３０が撮影部１４により撮影された推計用画像を取得する場合を例に挙げて説明したが、データ記憶部１６に記憶されている画像または通信部２０を介して受信した画像を推計用画像として取得してもよい。

また、上述の実施の形態においては、撮影部１４が３枚（複数）の推計用画像を撮影する場合を例に挙げて説明したが、撮影部１４が１枚の推計用画像を撮影する構成にしてもよい。この場合には、検出部３３及び演算部３５を備える必要はなく、推計部３２による推計結果を出力する。

また、上述の実施の形態においては、検出部３３が１個の推計結果と他２個の推計結果との差が閾値を超えている場合に１個の推計結果が異常値であると検出している。即ち、他２個の推計結果との比較から異常値を検出しているが、同一店舗における他日（若しくは他の月・他の同じ曜日）の推計結果との比較から異常値を検出する構成にしてもよい。具体的には、検出部３３は、同一店舗にて他日のおしぼり推計枚数が４０～６０枚であるにも拘わらず、当日の推計結果が１５０枚である場合、当日の推計結果が異常値であると検出し、制御部１０は、撮影制御部３１に再撮影するよう指示する。

また、上述の実施の形態においては、スマートフォン２ａ～２ｃにおいて回収後店舗情報をクラウドサーバ４を介して基幹システム６に送信しているが、回収後店舗情報をスマートフォン２ａ～２ｃのデータ記憶部１６に一旦保存し、配送コースを回り終えた後、クラウドサーバ４または基幹システム６に一括送信する構成にしてもよい。

また、上述の実施の形態においては、回収ボックスに収容されているおしぼりの密度が所定密度より大きいか否かを配送員が入力部１２を介して入力しているが、推計用画像に基づいておしぼりの密度を検出する構成にしてもよい。具体的には、推計用画像の画像解析からおしぼりの部分とおしぼりでない部分（おしぼりとおしぼりとの間の隙間）とを抽出し、抽出結果に基づいておしぼりの密度を検出する。

また、上述の実施の形態においては、回収ボックスに収容されているおしぼりの密度が所定密度より大きい場合には第１学習モデル２２、所定密度以下の場合には第２学習モデル２３を用いておしぼりの枚数を推計しているが、所定密度より大きいか否かを判別するための学習モデル（密度判別学習モデル）を搭載してもよい。この場合には、密度判別学習モデルを用いて所定密度より大きいか否かを判別し、判別結果から第１学習モデル２２または第２学習モデル２３を選択する。

また、上述の実施の形態においてニューラルネットワークを用いて第１学習モデル２２または第２学習モデル２３を作成する際、及び第１学習モデル２２または第２学習モデル２３を用いて使用済おしぼりの枚数を推計する際、入力層に入力される学習用画像または推計用画像の画素データを、設定部３１により設定された回収ボックスの外枠より内側のみの画像の画素データに限定してもよい。即ち、回収ボックスの外枠より外側の画像の画素データを削除した学習用画像及び推計用画像（回収ボックスの外枠より外側であると判別された画像の画素データを０とした学習用画像及び推計用画像）を用いてもよい。これにより枚数情報とは本来無関係の箱外部の物体の写り込みによる精度低下を防止でき、おしぼり枚数の推計に係る効率化を図ることができる。

次に、図面を参照して本発明の第２の実施の形態に係るおしぼり管理システムについて説明する。なお、この第２の実施の形態に係るおしぼり管理システムについては、図１及び図２に示すおしぼり管理システム１の構成と同一の構成には同一の符号を用い、その図示及び説明を省略する。

第２の実施の形態に係る表示制御部３４は、図３に示す画面１８ａに代えて、図７に示す店舗及びおしぼり情報を入力する画面１８ｄ、図４に示す回収登録画面１８ｂに代えて、図８に示す推計部３２による推計結果を示す回収登録画面１８ｅ等を表示部１８に表示させる。また、第２の実施の形態に係るおしぼり管理システムにおいては、推計部３２による推計枚数を任意に修正することができる。具体的には、表示部１８に図８に示す画面１８ｅが表示され、配送員が入力部１２を介して枚数修正ボタンを押下（タッチ）すると、表示部１８におしぼりの枚数を入力する画面が表示される。配送員が入力部１２を介しておしぼりの枚数を入力すると、配送員が入力したおしぼりの枚数が修正枚数結果（正解ラベル）として回収後店舗情報に追加され、通信部２０を介してクラウドサーバ４に送信される。

また、第２の実施の形態に係るスマートフォン２ａは、図２に示す第１学習モデル２２及び第２学習モデル２３に代えて、標準学習モデル６１（図９参照）、第１種類学習モデル、及び第２種類学習モデルを備えている。

標準学習モデル６１は、標準色（例えばオレンジ色）の回収ボックスに収容される標準色（例えば白色）及び標準サイズのおしぼりＡの枚数を推計するための学習モデルである。なお、おしぼりＢの場合にあっては、標準学習モデル６１を用いたおしぼりＡの推計枚数結果からおしぼりＢの推計枚数結果となるように、おしぼりＢの補正係数を用いて使用済おしぼりの推計枚数を補正する。おしぼりＢのサイズはおしぼりＡのサイズと異なるが、おしぼりＡ及びＢのサイズの差は、おしぼりＡ及びＣやおしぼりＡ及びＤのサイズ差と比較して小さい。したがって、おしぼりＢの推計枚数は、おしぼりＡのための標準学習モデル６１及び補正係数を用いて推計可能であるが、おしぼりＣ及びＤの推計枚数は、おしぼりＡのサイズと大きく異なるため、標準学習モデル６１及び補正係数による推計が困難である。

第１種類学習モデルは、標準色の回収ボックスに収容される標準色のおしぼりＣの枚数を推計するための学習モデルである。おしぼりＣは、おしぼりＡ及びＢより大きい（または小さい）サイズを有し、おしぼりＡより需要が少ない。第２種類学習モデルは、標準色の回収ボックスに収容される標準色のおしぼりＤの枚数を推計するための学習モデルである。おしぼりＤは、おしぼりＣと異なるサイズであって、おしぼりＡ及びＢより大きい（または小さい）サイズを有し、おしぼりＡ及びＣより需要が少ない。

標準学習モデル６１、第１種類学習モデル、及び第２種類学習モデルは、第１の実施の形態に係る第１学習モデル２２等と同様に、ＡＩを用いて予め学習させたモデルである。標準学習モデル６１は、図９に示すように、１次処理及び２次処理され作成された学習モデルである。１次処理においては、学習用画像データ６２に、これまでに撮影された推計用画像データ６４であって入力部１２において枚数修正された修正済推計用画像データ６４Ａを追加して深層学習させた１次深層学習モデル６６を作成する。

２次処理においては、学習用画像データ６２、修正済推計用画像データ６４Ａ、及びこれまでに撮影された推計用画像データ６４であって枚数修正されなかった無修正推計用画像データ６４Ｂを１次深層学習モデル６６により枚数推計（ラベリング）させたラベリング済データ６４Ｃを用いて深層学習させた２次深層学習モデル、即ち標準学習モデル６１を作成する。

一般的に学習させる画像データが多いほど高精度な学習モデルを作成することができるが、枚数修正されなかった無修正推計用画像データ６４Ｂをそのまま学習用画像データとして用いるべきでない。無修正推計用画像データ６４Ｂに含まれるおしぼり推計枚数の情報が実際の枚数または近似枚数（正解ラベル）であるか否か判別できないからである。しかしながら、初期学習モデル（学習用画像データ６２のみを用いて学習させた学習モデル）より精度が上がった１次深層学習モデル６６により無修正推計用画像データ６４Ｂをラベリングするため、ラベリング済データ６４Ｃのおしぼり推計枚数は、無修正推計用画像データ６４Ｂのそれと比較して正解ラベルに近い。そして、学習用画像データ６２、修正済推計用画像データ６４Ａ及びラベリング済データ６４Ｃに基づく標準学習モデル（２次深層学習モデル）６１は、学習用画像データ６２及び修正済推計用画像データ６４Ａに基づく１次深層学習モデル６６より、学習させる画像データが多いため、完成度が高く、おしぼりの枚数推計精度も向上する。また、推計用画像データ６４は、学習用画像データ６２と比較して、おしぼり回収場所特有のノイズ、例えば回収ボックスが置かれている地面の映り込み、日影の映り込みなどを含んでいるため、学習用画像データ６２から取得することができないパラメーターを推計用画像データ６４から取得することができる。

第１種類学習モデル（第２種類学習モデル）は、画像の特徴抽出（画像解析）が行われる浅い層（入力層及び入力層に近い中間層）において標準学習モデル６１のパラメーターと同一のパラメーターを転用（ファインチューニング）し、おしぼり枚数の推計が行われる深い層（出力層に近い中間層及び出力層）においておしぼりＣ（おしぼりＤ）の学習用画像データを用いて学習させることにより作成された学習モデルである。おしぼりＣ（おしぼりＤ）はおしぼりＡと比較して需要が少なく、おしぼりＣ（おしぼりＤ）の学習用画像データ及び推計用画像データはおしぼりＡのそれより少ない。したがって、おしぼりＣ（おしぼりＤ）の学習用画像データ及び推計用画像データを用いてモデルを作成した場合、学習させる画像データが少ないため画像の特徴抽出を正確に行うことができず、高精度な学習モデルを作成することができない。しかしながら、第１種類学習モデル（第２種類学習モデル）は、データ数が多い標準学習モデル６１のパラメーターを転用（ファインチューニング）するため、学習させるデータの少ないおしぼりＣ（おしぼりＤ）についても高精度なモデルを作成することができる。

図１０は、第１種類学習モデルの正解ラベル及び推計枚数の平均二乗誤差を示すグラフであって、（Ａ）は、おしぼりＢの学習用画像データを用いて一から学習させた第１種類学習モデル、（Ｂ）は、浅い層において一般公開されている学習済モデルのパラメーターをファインチューニングし、深い層においておしぼりＣの学習用画像データを用いて学習させることにより作成された学習モデル、（Ｃ）は、浅い層において標準学習モデル６１のパラメーターをファインチューニングし、深い層においておしぼりＣの学習用画像データを用いて学習させることにより作成された学習モデルである。図１０に示すように、（Ｃ）は（Ａ）及び（Ｂ）と比較して明らかに正解ラベルと推計枚数との誤差が少なく、浅い層においてデータ数の多いモデルのパラメーターをファインチューニングしたほうが高精度な学習モデルを作成することができる。

また、第２の実施の形態に係るスマートフォン２ａは、色補正部を備えている。色補正部は、撮影部１４により撮影された推計用画像の色、即ち３バイト（Ｒ．Ｇ．Ｂ）で構成されるＲＧＢカラーのバイト数を検出し、使用済おしぼりの枚数を推計する前に、撮影部１４により撮影された推計用画像の色を補正する。具体的には、撮影部１４により撮影された推計用画像内の回収ボックスの色を、標準学習モデル６１、第１種類学習モデル及び第２種類学習モデルを作成する際に用いた学習用画像内の回収ボックスの色（標準色）若しくは近似する色に補正する。撮影部１４により撮影された推計用画像内の回収ボックスの色のバイト数をＸ．Ｙ．Ｚ、学習用画像内の回収ボックスの色（標準色）をＲ１．Ｇ１．Ｂ１とした場合、（１）Ｒ．Ｇ．Ｂ＝Ｘ．Ｙ．Ｚのバイト配列を（２）Ｒ．Ｂ．Ｇ＝Ｘ．Ｙ．Ｚ、（３）Ｇ．Ｒ．Ｂ＝Ｘ．Ｙ．Ｚ、（４）Ｇ．Ｂ．Ｒ＝Ｘ．Ｙ．Ｚ、（５）Ｂ．Ｒ．Ｇ＝Ｘ．Ｙ．Ｚ及び（６）Ｂ．Ｇ．Ｒ＝Ｘ．Ｙ．Ｚに入れ替えることにより色変換し、（１）～（６）の中から最も近似する値（Ｘ．Ｙ．Ｚ≒Ｒ１．Ｇ１．Ｂ１）を選択する。この実施の形態では、おしぼりＡ～Ｄの色は白（２５５，２５５，２５５）であるから色変換してもおしぼりＡ～Ｄの色は変化しない。

次に、図面を参照して、第２の実施の形態に係るおしぼり管理システムを用いて回収ボックスに収容された使用済おしぼりの枚数を推計するおしぼり枚数推計方法について説明する。図１１は、回収ボックスに収容された使用済おしぼりの枚数を推計するためにおしぼり管理システムが実行する処理について説明するためのフローチャートである。

まず、制御部１０は、回収前店舗情報を取得する（ステップＳ２０）。なお、ステップＳ２０の処理は、図６に示すステップＳ１０の処理と同一のため、説明を省略する。次に、制御部１０の表示制御部３４は、表示部１８に図７に示す画面１８ｄを表示させる（ステップＳ２１）。そして、制御部１０は、入力部１２を介して入力された店コードを確認し、店舗情報２４から店コードに紐付けされているおしぼりの種類（店舗が契約しているおしぼりの種類）を読み込む。なお、図７においては、店コード「ＸＸＸＸ」の店舗が契約しているおしぼりＡが選択されている場合を例示している。

次に、制御部１０は、おしぼりの種類に基づき、使用済おしぼりの枚数推計に用いる学習モデルを選択し、選択された学習モデルを読み込む（ステップＳ２２）。即ち、おしぼりＡが選択されている場合には標準学習モデル６１、おしぼりＢが選択されている場合には標準学習モデル６１及び補正係数、おしぼりＣが選択されている場合には第１種類学習モデル、おしぼりＤが選択されている場合には第２種類学習モデルを読み込む。

次に、制御部１０の撮影制御部３１は、ライブビュー画像５８内の所定の位置（この実施の形態においてはライブビュー画像５８の外枠）に回収ボックスの外枠が収まっていることを確認した後、撮影部１４に推計用画像を撮影させる（ステップＳ２３）。図１２は、撮影部１４に推計用画像を撮影させるために撮影制御部３１が実行する処理について説明するためのフローチャートである。

まず、撮影制御部３１は、図示しない第１カウンターによりカウントされるＮ１（Ｎ１は０以上の整数）の値を０、図示しない第２カウンターによりカウントされるＮ２（Ｎ２は０以上の整数）の値を０に設定する（ステップＳ４０）。なお、第1カウンターは、回収ボックスの外枠の位置が所定の位置にあると判定された回数をカウントするカウンターであり、第２カウンターは、回収ボックスの外枠の位置が所定の位置にないと判定された回数をカウントするカウンターである。

次に、撮影制御部３１は、回収ボックスの外枠の位置が所定の位置にあるか否か、具体的にはライブビュー画像５８の外枠に回収ボックスの外枠が収まっているか否かを判定する（ステップＳ４１）。なお、撮影制御部３１は、ステップＳ４１における判定を所定間隔毎に行っており、この実施の形態においては１秒間に３０回行っているが、１秒間に３０回未満または３０回超過行ってもよい。

ステップＳ４１においてライブビュー画像５８の外枠に回収ボックスの外枠が収まっていると判定された場合（ステップＳ４２：Ｙｅｓ）、撮影制御部３１は、Ｎ２の値を０に設定し（ステップＳ４３）、Ｎ１の値に１を追加する（ステップＳ４４）。次に、撮影制御部３１は、Ｎ１の値が１０に達したか否かを判定し（ステップＳ４５）、Ｎ１の値が１０であると判定された場合（ステップＳ４５：Ｙｅｓ）、撮影部１４に推計用画像を撮影させる（ステップＳ４６）。即ち、撮影部１４は、配送員から入力部１２を介して撮影指示を受けることなく、オートで撮影する。一方、Ｎ１の値が１０でないと判定された場合（ステップＳ４５：Ｎｏ）、撮影制御部３１は、ステップＳ４１の処理に戻り、ステップＳ４１以降の処理を繰り返す。

一方、ステップＳ４１においてライブビュー画像５８の外枠に回収ボックスの外枠が収まっていないと判定された場合（ステップＳ４２：Ｎｏ）、撮影制御部３１は、Ｎ２の値に１を追加する（ステップＳ４７）。次に、撮影制御部３１は、Ｎ２の値が５であるか否かを判定し（ステップＳ４８）、Ｎ２の値が５であると判定された場合（ステップＳ４８：Ｙｅｓ）、ステップＳ３０の処理に戻り、ステップＳ３０以降の処理を繰り返す。一方、Ｎ２の値が５でないと判定された場合（ステップＳ４８：Ｎｏ）、撮影制御部３１は、ステップＳ４１の処理に戻り、ステップＳ４１以降の処理を繰り返す。

即ち、撮影制御部３１は、ライブビュー画像５８の外枠に回収ボックスの外枠が収まっていると１０回判定されると（第１カウンターのＮ１＝１０）、撮影部１４に推計用画像を撮影させる。一方、ライブビュー画像５８の外枠に回収ボックスの外枠が収まっていないと５回連続で判定されると（第２カウンターのＮ２＝５）、第１カウンターをリセットする（Ｎ１＝０）。なお、この実施の形態においては、Ｎ１の値が１０のときに撮影部１４が撮影するが、Ｎ１の値が１０未満または１０超過のときに撮影部１４が撮影するよう設定してもよい。同様に、この実施の形態においては、Ｎ２の値が５のときに第１カウンターをリセットするが、Ｎ２の値が５未満または５超過のときに第１カウンターをリセットするよう設定してもよい。

次に、制御部１０は、ステップＳ２３において撮影した推計用画像に写る回収ボックスの色を補正する（ステップＳ２４）。具体的には、制御部１０は、色補正部において推計用画像の３バイト（Ｒ．Ｇ．Ｂ）で構成されるＲＧＢカラーのバイト数を検出し、Ｒ．Ｇ．Ｂのバイト配列を入れ替えることにより色変換する。そして制御部１０は、色変換した６種類の中から、標準学習モデル６１、第１種類学習モデル及び第２種類学習モデルを作成する際に用いた学習用画像内の回収ボックスの色（標準色）に最も近似するものを選択する。

次に、制御部１０の推計部３２は、使用済おしぼりの枚数を推計する（ステップＳ２５）。推計部３２は、おしぼりの種類が「おしぼりＡ」の場合には標準学習モデル６１を用いて使用済おしぼりの枚数を推計する。おしぼりの種類が「おしぼりＢ」の場合には第１学習モデル２２を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。おしぼりの種類が「おしぼりＣ」の場合には第１種類学習モデルを用いて使用済おしぼりの枚数を推計する。おしぼりの種類が「おしぼりＤ」の場合には第２種類学習モデルを用いて使用済おしぼりの枚数を推計する。具体的な処理については、図６に示すステップＳ１５の処理と同一のため、説明を省略する。

制御部１０は、使用済おしぼりの枚数の推計を終えると、表示制御部３４を介して、図８に示す回収登録画面１８ｅを表示部１８に表示させる（ステップＳ２６）。次に、制御部１０は、配送員により入力部１２を介して枚数修正ボタンが押下されたか否かを判別する（ステップＳ２７）。ステップＳ２７において枚数修正ボタンが押下されたと判別された場合には（ステップＳ２７：Ｙｅｓ）、制御部１０は、表示制御部３４を介して、図示しない枚数修正入力画面を表示部１８に表示させる（ステップＳ２８）。そして、制御部１０は、配送員により入力部１２を介して入力された使用済おしぼりの修正枚数（推計結果の修正枚数）を取得し、入力された枚数を修正枚数結果（正解ラベル）として回収後店舗情報に追加する。そして、制御部１０の表示制御部３４は、配送員から入力部１２を介してＯＫボタンの入力を確認すると、図５に示す納品登録画面１８ｃを表示部１８に表示させ、ステップＳ２９の処理に進む。

一方、ステップＳ２７において枚数修正ボタンが押下されずに、ＯＫボタンが押下された場合には（ステップＳ２７：Ｎｏ）、制御部１０の表示制御部３４は、図５に示す納品登録画面１８ｃを表示部１８に表示させ、ステップＳ２９の処理に進む。具体的な処理については、図６に示すステップＳ１７の処理と同一のため、説明を省略する。

第２の実施の形態に係るおしぼり管理システムによれば、回収された使用済おしぼりの枚数を一枚一枚数えることなく、迅速に推計することができる。そして、使用済おしぼりの枚数を店舗ごとに管理することにより、おしぼりの契約枚数、季節変動に伴う追加枚数、おしぼりの回収枚数、紛失したおしぼりの枚数、店舗に在庫されている枚数等を適切に管理することができる。

また、第２の実施の形態に係るスマートフォン２ａ～２ｃによれば、おしぼり回収経験の浅い配送員であっても使用済おしぼりの枚数を容易に推計することができる。また、様々な配送員がおしぼりを回収する場合であっても使用済おしぼりの枚数をムラなく推計することができる。

また、第２の実施の形態に係るスマートフォン２ａ～２ｃによれば、２次深層学習モデルである標準学習モデル６１を用いるため、使用済おしぼりの枚数を精度よく推計することができる。また、ライブビュー画像５８の外枠に回収ボックスの外枠が収まっていると所定回数判定されてから自動で撮影するため、関係ない画像または回収ボックスの外枠が収まっていない画像等の撮影を回避することができ、ひいては使用済おしぼりの推計枚数の精度低下を抑制することができる。また、学習用画像データ及び推計用画像データの少ないおしぼりＣ及びＤの第１種類学習モデル及び第２種類学習モデルにおいて、データ数が多い標準学習モデル６１のパラメーターをファインチューニングするため、高精度な学習モデルを作成することができる。

また、第２の実施の形態に係るスマートフォン２ａ～２ｃによれば、色補正部を備えているため、学習モデル作成に用いた学習用画像の回収ボックスの色と撮影部１４により撮影された推計用画像の回収ボックスの色とが異なる場合、推計用画像の回収ボックスの色を学習用画像の回収ボックスの色に手軽に近似させることができる。したがって、回収ボックスの色が異なることによる使用済おしぼりの推計枚数の精度低下を抑制することができる。

なお、第２の実施の形態に係るスマートフォン２ａ～２ｃおいては、色補正部を備え、推計用画像の回収ボックスの色を学習用画像の回収ボックスの色に近似させる処理を行っているが、色補正部を備えずに、ＲＧＢのバイト配列を入れ替えた６種類それぞれについて作成された学習モデルを搭載する構成にしてもよい。この場合には、推計用画像の回収ボックスの色を検出し、検出結果に基づいて最適な学習モデルを選択する。

１…おしぼり管理システム、２ａ～２ｃ…スマートフォン、４…クラウドサーバ、６…基幹システム、８…ネットワーク、１０…制御部、１２…入力部、１４…撮影部、１６…データ記憶部、１８…表示部、２０…通信部、２２…第１学習モデル、２３…第２学習モデル、２４…店舗情報、２６…補正係数、３０…取得部、３１…撮影制御部、３２…推計部、３３…検出部、３４…表示制御部、３５…演算部、３６…制御部、３８…データ記憶部、４０…通信部、４２…制御部、４４…入力部、４６…表示部、４８…データ記憶部、５０…通信部、５２…配送コース情報、５４…店舗情報、５６…おしぼり情報、６１…標準学習モデル、６２…学習用画像データ、６４…推計用画像データ、６４Ａ…修正済画像データ、６４Ｂ…無修正推計用画像データ、６６…１次深層学習モデル。

Claims (14)

1. おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、
   回収ボックスに収容された使用済おしぼりを上方から撮影する撮影部と、
   前記回収ボックスに収容された前記使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、
   前記撮影部により撮影された推計用画像を取得する画像取得部と、
   前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計する推計部と、
   前記推計部により推計された推計結果を表示する表示部と、
   前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部と、
   を備えることを特徴とする携帯端末。
2. 前記推計結果を修正した修正枚数を取得する修正枚数取得部を備え、
   前記情報送信部は、前記修正枚数を追加した前記回収後店舗情報を前記基幹システムに送信し、
   前記学習モデルは、
   前記学習用画像及び過去に撮影された前記推計用画像であって前記推計結果を修正した修正済推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた１次深層学習モデルを用いて、過去に撮影された前記推計用画像であって前記推計結果を修正していない無修正推計用画像における前記使用済おしぼりの枚数を推計し、
   前記学習用画像、前記修正済推計用画像及び前記１次深層学習モデルを用いて推計された前記無修正推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた２次深層学習モデルであることを特徴とする請求項１記載の携帯端末。
3. 前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置にあるか否かを所定間隔毎に判定する判定部と、
   前記判定部により前記回収ボックスの外枠の位置が所定の位置にあると判定された数をカウントする計数部と、
   前記計数部によりカウントされた数が所定数に達した際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、
   を更に備え、
   前記撮影制御部は、前記判定部により前記所定の位置にないと予め設定された回数連続で判定された際、前記計数部によるカウントをリセットすることを特徴とする請求項１または請求項２記載の携帯端末。
4. 前記学習モデル記憶部は、前記回収ボックスの外枠より外側の画像データを削除した前記学習用画像を用いて学習させた前記学習モデルを記憶し、
   前記推計部は、前記回収ボックスの外枠より外側の画像データを削除した前記推計用画像を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１または請求項２記載の携帯端末。
5. 前記推計用画像に写る前記回収ボックスの色を、前記学習用画像に写る前記回収ボックスの色または近似色に補正する色補正部を備えることを特徴とする請求項１～請求項４の何れか一項に記載の携帯端末。
6. 前記推計用画像に基づいて前記回収ボックス内における前記使用済おしぼりの密度を検出する密度検出部を更に備え、
   前記推計部は、前記密度検出部により検出された前記密度を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１記載の携帯端末。
7. 前記回収ボックス内における前記使用済おしぼりの密度が所定密度より大きいか否かを入力する密度入力部を更に備え、
   前記推計部は、前記密度入力部により入力された入力結果を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１記載の携帯端末。
8. 前記使用済おしぼりの枚数に関する演算を行う演算部を更に備え、
   前記撮影部は、複数の前記推計用画像を撮影し、
   前記推計部は、複数の前記推計用画像内の前記使用済おしぼりの枚数をそれぞれ推計し、
   前記演算部は、前記推計部により推計された複数の推計結果の平均値を算出し、
   前記表示部は、前記演算部により算出された前記平均値を前記推計結果として表示することを特徴とする請求項１、請求項６または請求項７記載の携帯端末。
9. 前記複数の推計結果の異常値を検出する異常値検出部を更に備え、
   前記演算部は、前記異常値検出部により検出された前記異常値を除いた前記複数の推計結果の前記平均値を算出することを特徴とする請求項８記載の携帯端末。
10. 前記学習モデル記憶部は、前記学習用画像から前記回収ボックスの外枠及び前記回収ボックスに収容された使用済おしぼり群の外縁の輪郭を抽出し、抽出された前記回収ボックスの外枠に対する前記使用済おしぼり群の外縁の輪郭から前記使用済おしぼりの枚数を推計するためのパラメーターが組み込まれた前記学習モデルを記憶することを特徴とする請求項１～請求項９の何れか一項に記載の携帯端末。
11. 前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠を表示させる表示制御部と、
    前記回収ボックスの外枠の位置が所定の位置となった際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、
    を更に備えることを特徴とする請求項１～請求項１０の何れか一項に記載の携帯端末。
12. おしぼりの種類を取得する種類取得部と、
    前記おしぼりの種類毎に設定された前記おしぼりの重さに基づく補正係数を記憶する補正係数記憶部と、を更に備え、
    前記推計部は、前記種類取得部により取得した前記おしぼりの種類の前記補正係数を前記補正係数記憶部から取得し、取得した前記補正係数を用いて前記使用済おしぼりの枚数を補正することを特徴とする請求項１～請求項１１の何れか一項に記載の携帯端末。
13. おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、
    回収ボックスに収容された第１使用済おしぼりを上方から撮影する撮影部と、
    前記第１使用済おしぼりと異なる前記回収ボックスに収容された第２使用済おしぼりを上方から撮影した学習用画像を入力値とし前記第１使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、
    前記撮影部により撮影された推計用画像を取得する画像取得部と、
    前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記第１使用済おしぼりの枚数を推計する推計部と、
    前記推計部により推計された推計結果を表示する表示部と、
    前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部と、
    を備えることを特徴とする携帯端末。
14. 請求項１～請求項１３の何れか一項に記載の携帯端末及び基幹システムを備えるおしぼり管理システムであって、
    前記基幹システムは、
    回収前店舗情報を記憶する情報記憶部と、
    前記情報記憶部に記憶されている前記回収前店舗情報を前記携帯端末に送信する送信部と、
    前記携帯端末から送信される回収後店舗情報を受信する受信部と、
    前記受信部より受信した前記回収後店舗情報を前記情報記憶部に記憶させることにより、前記回収前店舗情報を更新する更新部と、
    を備えることを特徴とするおしぼり管理システム。

Images