[go: up one dir, main page]

JP7482091B2 - 熟練度判定装置、方法及びプログラム - Google Patents

熟練度判定装置、方法及びプログラム Download PDF

Info

Publication number
JP7482091B2
JP7482091B2 JP2021142615A JP2021142615A JP7482091B2 JP 7482091 B2 JP7482091 B2 JP 7482091B2 JP 2021142615 A JP2021142615 A JP 2021142615A JP 2021142615 A JP2021142615 A JP 2021142615A JP 7482091 B2 JP7482091 B2 JP 7482091B2
Authority
JP
Japan
Prior art keywords
worker
proficiency
information
time
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021142615A
Other languages
English (en)
Other versions
JP2023035616A (ja
Inventor
いづみ 福永
康晋 山内
昭行 谷沢
司 池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2021142615A priority Critical patent/JP7482091B2/ja
Priority to US17/652,189 priority patent/US20230060521A1/en
Publication of JP2023035616A publication Critical patent/JP2023035616A/ja
Application granted granted Critical
Publication of JP7482091B2 publication Critical patent/JP7482091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Psychiatry (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)

Description

本発明の実施形態は、熟練度判定装置、方法及びプログラムに関する。
工場等において技術的な作業に従事する作業者の熟練度を判定することは、熟練度の低い作業者(初心者)に必要な訓練又は教育を実施する上で重要である。例えば、作業者が要した作業時間や作業中の動作又は姿勢に基づき作業者の熟練度を判定する方法がある。
ところで、作業者が習得すべき能力として、製品の品質を評価する能力(以下、「品質評価能力」と呼ぶ)が挙げられる。作業者が製品の品質を意識して作業に臨むことは、工場等から出荷される製品の品質向上に繋がると考えられる。したがって、作業者の品質評価能力に関する熟練度を判定することが望まれる。しかしながら、当該能力は作業者の主観的な認知に依存するため、前述した作業時間や動作又は姿勢といった客観的な情報に基づき当該能力の程度を測定することは困難である。
特開2006-171184号公報
本発明が解決しようとする課題は、作業者の品質評価能力に関する熟練度を判定することである。
実施形態に係る熟練度判定装置は、第1取得部と、第1解析部と、第2解析部と、判定部とを具備する。第1取得部は、所定期間における作業者の生体情報に関する第1時系列データを取得する。第1解析部は、前記第1時系列データを解析し前記作業者の精神的負荷を示す生理指標に関する第2時系列データを算出する。第2解析部は、前記第2時系列データを解析し前記生理指標の出現状況を算出する。判定部は、前記生理指標の出現状況に基づき前記作業者の熟練度を判定する。
第1実施形態に係る熟練度判定装置の構成例を示すブロック図。 第1実施形態に係る熟練度判定装置の動作例を示すフロー図。 第1実施形態に係るLF/HF比に関する時系列データの一例を示す図。 第1実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の一例を示す図。 第1実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度と熟練度との対応の一例を示す図。 第2実施形態に係る熟練度判定装置の構成例を示すブロック図。 第2実施形態に係るLF/HF比に関する時系列データに対応する作業者の作業状況の一例を示す図。 第2実施形態に係る作業者の作業状況に応じた生理指標の発現特性を示す図。 第2実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の一例を示す図。 第2実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度と熟練度との対応の一例を示す図。 第3実施形態に係る熟練度判定装置の構成例を示すブロック図。 第3実施形態に係るLF/HF比に関する時系列データにおける作業区間と製品の品質情報との対応の一例を示す図。 第3実施形態に係る製品の品質情報に応じた生理指標の発現特性を示す図。 第3実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の解析例を示す図。 第3実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の解析例を示す図。 第4実施形態に係る熟練度判定装置の構成例を示すブロック図。 第4実施形態に係る表示データの一例を示す図。 第4実施形態に係る表示データの一例を示す図。 第5実施形態に係る熟練度判定装置の構成例を示すブロック図。 第5実施形態に係る改善提案情報の一例を示す図。 第1乃至第5実施形態に係る熟練度判定装置のハードウェア及びソフトウェアに関する構成例を示すブロック図。
以下、図面を参照しながら実施形態に係る熟練度判定装置、方法及びプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜、省略する。
(第1実施形態)
図1は、第1実施形態に係る熟練度判定装置1の構成例を示すブロック図である。熟練度判定装置1は、作業者の品質評価能力に関する熟練度を判定する装置である。熟練度判定装置1は、各構成として情報取得部101、生体情報解析部102、生理指標解析部103及び熟練度判定部104を含む。情報取得部101、生体情報解析部102、生理指標解析部103及び熟練度判定部104はそれぞれ、第1取得部、第1解析部、第2解析部及び判定部の一例である。
情報取得部101は、作業者の生体情報を取得する。具体的には、情報取得部101は所定期間における作業者の生体情報に関する第1時系列データを取得する。生体情報は、例えば心拍間隔、皮膚電位、発汗、血流、体温又は脳波に関する情報である。これら各種情報は、生理指標としても使用され得る。本実施形態において、生体情報は心拍間隔に関する情報であると想定する。続いて情報取得部101は、取得した生体情報に関する第1時系列データを生体情報解析部102に出力する。
生体情報解析部102は、作業者の生体情報を解析する。具体的には、生体情報解析部102は第1時系列データを解析し作業者の精神的負荷を示す生理指標に関する第2時系列データを算出する。生理指標は、例えば心拍間隔に関するLF/HF(Low Frequency / High Frequency)比、LF(Low Frequency)値、HF(High Frequency)値、VLF(Very Low Frequency)値、トータルパワー(Total Power)値、HR(Heart Rate:心拍数)値、MeanNN(Mean of the NN intervals:心拍間隔の平均)値、SDNN(Standard Deviation of the NN intervals:心拍間隔の標準偏差)値、RMSSD(Root Mean Square of Successive Differences:連続して隣接する心拍間隔の差の二乗平均平方根)値、NN50(連続して隣接する心拍間隔の差が50msを超える心拍の総数)値、pNN50(連続して隣接する心拍間隔の差が50msを超える心拍の割合)値又はCVRR(Coefficient of Variation of R-R Interval:心拍間隔の変動係数)値である。本実施形態において、生理指標はLF/HF比であると想定する。続いて生体情報解析部102は、算出した生理指標に関する第2時系列データを生理指標解析部103に出力する。
生理指標解析部103は、作業者の生理指標を解析する。具体的には、生理指標解析部103は第2時系列データを解析し生理指標の出現状況を算出する。生理指標の出現状況は、例えば生理指標に関する極大値、極小値、平均、分散、揺らぎ、最大値、最小値、微分値及び積分値を含むパラメータの頻度又は大きさである。本実施形態において、生理指標の出現状況はLF/HF比に関する極大値の頻度であると想定する。続いて生理指標解析部103は、算出した生理指標の出現状況を熟練度判定部104に出力する。
熟練度判定部104は、作業者の熟練度を判定する。具体的には、熟練度判定部104は生理指標の出現状況に基づき作業者の熟練度を判定する。熟練度判定部104は、例えば生理指標に関する極大値の頻度が閾値以上であるか否かに基づき作業者の熟練度を判定する。本実施形態において、熟練度判定部104はLF/HF比に関する極大値の頻度が閾値以上であるか否かに基づき作業者の熟練度を判定する。続いて熟練度判定部104は、判定した作業者の熟練度を熟練度判定装置1の内部又は外部に出力する。
図2は、第1実施形態に係る熟練度判定装置1の動作例を示すフロー図である。ステップS101において、熟練度判定装置1は情報取得部101により心電図を取得する。心電図は、作業者の心拍間隔に関する生体情報の一例であり、例えば作業者の体表面に設置された生体センサから取得される。心電図は、後述するLF/HF比を算出可能な程度の期間又は時間長に亘る時系列データであればよい。同時に、熟練度判定装置1は生理指標の頻度N(Nは整数)を0に設定する(N=0)。
ステップS102において、熟練度判定装置1は生体情報解析部102により心電図を解析し、LF/HF比又は移動平均を算出する。例えば、熟練度判定装置1は取得した心電図を解析することで心拍間隔の変動に関する時系列データを計算した後、当該時系列データにフーリエ変換又は自己回帰モデルを適用することで心拍間隔の変動に関するパワースペクトルを計算する。続いて熟練度判定装置1は、計算したパワースペクトルの低周波(LF:Low Frequency)帯域(0.004-0.15Hz)における周波数成分(LF値)と、高周波(HF:High Frequency)帯域(0.15-0.4Hz)における周波数成分(HF値)とをそれぞれ計算する。最後に熟練度判定装置1は、計算した低周波成分と高周波成分との比率(LF/HF比)を算出する。すなわち、熟練度判定装置1は心電図からLF/HF比を算出するための既存の解析手法を使用すればよい。なお、計算したパワースペクトルの超低周波(VLF:Very Low Frequency)帯域(0.0033-0.04Hz)における周波数成分(VLF値)や全周波数帯域(0-0.04Hz)における周波数成分(トータルパワー値)が計算されてもよい。
LF/HF比は、作業者の精神的負荷(ストレス)を示す生理指標の一例である。一般に、LF/HF比は交感神経の活動と副交感神経の活動とのバランスを示す指標であると考えられている。本実施形態において、作業者のLF/HF比が高いほど作業者には強いストレスがかかっていると想定する。逆に、作業者のLF/HF比が低いほど作業者にはさほどストレスがかかっていない、又はリラックスしていると想定する。
心拍間隔の変動に関する時系列データは、周波数解析を行うために少なくとも1分間といった所定の期間を必要とする。本解析手法によれば、当該所定の期間に対し一つのLF/HF比が算出される。LF/HF比は、互いに重複しない1分間の期間ごとに算出されてもよし、一定の心拍数や秒数ごとにずれながら互いに重複する1分間の期間ごとに算出されてもよい。すなわち、任意のタイミングごとに心拍間隔の変動に関する時系列データからLF/HF比が算出されることで、LF/HF比に関する時系列データが算出される(図3を参照)。なお、算出されたLF/HF比に関する時系列データについて所定の期間又は時間長ごとに移動平均が算出されてもよい。
ステップS103において、熟練度判定装置1は生理指標解析部103によりLF/HF比又は移動平均を解析する。例えば、熟練度判定装置1はLF/HF比に関する時系列データを解析することでLF/HF比の極大値の頻度を算出する。LF/HF比の極大値の頻度に関する具体的な算出方法については、ステップS104乃至S107に後述する。
ステップS104において、熟練度判定装置1は生理指標解析部103により任意の時点(time=t)におけるLF/HF比が当該任意の時点より一つ前の時点(time=tx-1)におけるLF/HF比より所定値以上大きいか否かを判定する。当該命題が真である場合(ステップS104のYes)、処理はステップS105に進む。当該命題が偽である場合(ステップS104のNo)、処理はステップS106に進む。
任意の時点は、LF/HF比が算出されたタイミングのそれぞれについて設定される。例えば、LF/HF比が時間的に連続する複数の時点(t0、t1、t2、t3)のそれぞれにおいて算出された時系列データを想定する。ステップS104の初回実行時において、熟練度判定装置1は最初の時点t0を任意の時点に設定する。しかしながら、時点t0より一つ前の時点が存在しないため、ステップS104は実行されない。そこで、熟練度判定装置1は時点t0より一つ後の時点t1を任意の時点に設定する。熟練度判定装置1は、時点t1におけるLF/HF比が時点t0におけるLF/HF比より所定値以上大きいか否かを判定する。ステップS104は、熟練度判定装置1が最後の時点t3を任意の時点に設定するまで繰り返し実行される。
ステップS105において、熟練度判定装置1は生理指標解析部103により生理指標の頻度NをN+1に設定する(N=N+1)。換言すれば、ステップS105が実行されるごとにLF/HF比に関する極大値の頻度が1ずつ増加する。
ステップS106において、熟練度判定装置1は生理指標解析部103により任意の時点を当該任意の時点より一つ後の時点に設定する(time=tx+1)。換言すれば、ステップS106が実行されるごとに任意の時点が1ずつ後の時点に設定される。
ステップS107において、熟練度判定装置1は生理指標解析部103により任意の時点が最後の時点に設定されたか否かを判定する(time=tend?)。当該命題が真である場合(ステップS107のYes)、処理はステップS108に進む。もちろん、熟練度判定装置1は最後の時点におけるLF/HF比が、当該最後の時点より一つ前の時点におけるLF/HF比より所定値以上大きい場合、極大値の頻度を1だけ増加させてもよい。これにより、LF/HF比に関する時系列データにおける極大値の頻度が算出される(図4を参照)。当該命題が偽である場合(ステップS107のNo)、処理はステップS104に戻る。
ステップS108において、熟練度判定装置1は熟練度判定部104により生理指標の頻度Nが「3」以上であるか否かを判定する(N≧3?)。具体的には、算出されたLF/HF比に関する極大値の頻度が「3」以上であるか否かが判定される。当該命題が真である場合(ステップS108のYes)、処理はステップS109に進む。当該命題が偽である場合(ステップS108のNo)、処理はステップS110に進む。もちろん、生理指標の頻度Nに関する閾値は「3」に限らず、「1」以上の任意の値を取り得る。
ステップS109において、熟練度判定装置1は熟練度判定部104により作業者の熟練度は高いと判定し、当該判定結果(熟練度:高)を出力する(図5を参照)。ステップS109の後、熟練度判定装置1は一連の処理を終了する。
ステップS110において、熟練度判定装置1は熟練度判定部104により作業者の熟練度は低いと判定し、当該判定結果(熟練度:低)を出力する(図5を参照)。ステップS110の後、熟練度判定装置1は一連の処理を終了する。
以上、第1実施形態に係る熟練度判定装置1の動作例について説明した。前述の通り、熟練度判定装置1は、生理指標の頻度Nが閾値以上である場合を熟練度が高いと判定する。一般に、熟練度の高い作業者は、周囲の様々なことに注意を向けており、作業中に周辺環境のみならず自身が作業する製品の品質についても注意を払うと考えられる。したがって、作業者の作業中の精神的負荷を示す生理指標の頻度Nが高いほど、作業者は製品の品質についてもより注意を払っていると想定される。当該想定に基づき、熟練度判定装置1は生理指標の頻度Nが閾値以上である場合に作業者の品質評価能力に関する熟練度は高いと判定する。
図3は、第1実施形態に係るLF/HF比に関する時系列データの一例を示す図である。図3において、「作業者A」のLF/HF比に関する時系列データを示すグラフ210と、「作業者B」のLF/HF比に関する時系列データを示すグラフ220とが比較可能に並置される。グラフ210,220の縦軸はLF/HF比に関する値を「0-9」の範囲で示し、横軸は作業時間を秒単位で示す。グラフ210の作業時間の範囲は「0-1800秒」であり、グラフ220の作業時間の範囲は「0-1000秒」である。グラフ210は「作業者A」のLF/HF比に関する実測値の時間変化を示す実線の系列データ211と、移動平均の時間変化を示す破線の系列データ212とを含む。グラフ220は「作業者B」のLF/HF比に関する実測値の時間変化を示す実線の系列データ221と、移動平均の時間変化を示す破線の系列データ222とを含む。
グラフ210,220から理解される通り、作業者AのLF/HF比に関する実測値は作業者Bの実測値に比して頻繁かつ急激に変化している。換言すれば、作業者Aには作業者Bに比して頻繁に強い精神的負荷がかかっている。熟練度判定装置1は、グラフ210,220を解析することで、各グラフについてLF/HF比に関する実測値の急激な一過性上昇を示すピーク(極大値)が出現するタイミング及び頻度を算出する。
図4は、第1実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の一例を示す図である。ここでは、特定のタイミングにおけるLF/HF比の実測値が当該特定のタイミングよりも前のタイミングにおけるLF/HF比の実測値よりも所定値以上大きい場合、前者の実測値が極大値として算出される。図4において、グラフ210,220について算出された極大値のタイミングが下向き矢印230により示される。各下向き矢印230は、系列データ211,221の極大値を指示する。具体的には、グラフ210において7個の極大値が算出される。換言すれば、作業者Aには作業時間において7回の瞬間的な精神的負荷がかかったといえる。一方、グラフ220において1個の極大値が算出される。換言すれば、作業者Bは作業時間において1回の瞬間的な精神的負荷がかかったといえる。熟練度判定装置1は、算出された極大値の個数を生理指標の頻度Nとして扱う。
図5は、第1実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度と熟練度との対応の一例を示す図である。図5において、生理指標の頻度Nと熟練度との対応を示すテーブル240が示される。テーブル240の各項目として「作業者」、「頻度(N)」、「単位時間あたりの頻度」、「熟練度(2段階)」及び「熟練度(3段階)」がそれぞれ示される。前述の計算結果によれば、作業者Aについて頻度Nは「7」であり、単位時間当たりの頻度は「0.23」(式:7[回]/(1800/60)[分])と算出される。同様に、作業者Bについて頻度Nは「1」であり、単位時間当たりの頻度は「0.06」(式:1[回]/(1000/60)[分])と算出される。
熟練度判定装置1は、各作業者について算出された生理指標の頻度Nに基づき、各作業者の熟練度を判定する。熟練度を2段階で判定する場合、熟練度判定装置1は頻度が「3」以上の場合を「熟練度:高」と判定し、頻度が「3」未満の場合を「熟練度:低」と判定する。当該判定基準によれば、作業者Aの頻度「7」は「3」以上であるため、作業者Aの熟練度は高いと判定される。一方、作業者Bの頻度「1」は「3」未満であるため、作業者Bの熟練度は低いと判定される。このように、熟練度判定装置1は作業者Aを「熟練者」と判定し、作業者Bを「初心者」と判定する。
熟練度を3段階で判定する場合、熟練度判定装置1は頻度が「10」以上の場合を「熟練度:高」と判定し、頻度が「5」以上「10」未満の場合を「熟練度:中」と判定し、頻度が「5」未満の場合を「熟練度:低」と判定する。当該判定基準によれば、作業者Aの頻度「7」は「5」以上「10」未満であるため、作業者Aの熟練度は中程度であると判定される。一方、作業者Bの頻度「1」は「5」未満であるため、作業者Bの熟練度は低いと判定される。このように、熟練度判定装置1は作業者Aを「中級者」と判定し、作業者Bを「初心者」と判定する。
前述の通り、熟練度判定装置1は生理指標の頻度が一つの閾値以上であるか否かに基づき熟練度を2段階に分けて判定してもよいし、複数の閾値に基づき熟練度を3段階以上に分けて判定してもよい。もちろん、熟練度判定装置1は単位時間当たりの頻度に基づき、同様な熟練度の分け方で熟練度を判定してもよい。本実施形態において、熟練度は複数のカテゴリ(高、中、低)を示す値であると想定したが、「0-100%」のような割合で示される値であっても構わない。
以上、第1実施形態に係る熟練度判定装置1について説明した。熟練度判定装置1は、作業中の精神的負荷を示す生理指標の出現状況に基づき作業者の熟練度を判定する。これにより、熟練度判定装置1は作業時間や動作又は姿勢といった客観的な情報からは測定されない、作業者の品質評価能力を測定することができる。また、熟練度判定装置1は、作業者が作業した製品の多くが問題ない品質であったとしても、作業者が自信を持って当該製品について作業を実施しているか否かを判定することができる。したがって、熟練度判定装置1は、最終産物である製品の品質の検査結果からは評価されない、作業者の潜在的な作業ミスの発生確率を定性的又は定量的に評価することができる。すなわち、熟練度判定装置1は作業者の品質評価能力に関する熟練度を判定することができる。
(第2実施形態)
図6は、第2実施形態に係る熟練度判定装置1の構成例を示すブロック図である。第2実施形態に係る熟練度判定装置1は、第1実施形態に係る熟練度判定装置1が含む各構成に加えて注目区間設定部105をさらに含む。注目区間設定部105は、設定部の一例である。第2実施形態に係る情報取得部101は、第2取得部の一例である。
情報取得部101は、作業者の作業状況を取得する。具体的には、情報取得部101は所定期間における作業者の作業状況に関する第3時系列データを取得する。作業状況は、例えば所定期間のうち作業者が作業している作業区間と、作業者が待機している待機区間と、作業区間のうち作業者が特定の作業工程を実行している作業工程区間とをそれぞれ示す情報である。特定の作業工程は、例えば製品の組み立て、加工、製作及び品質確認を含む。すなわち、作業状況は作業時間のうち作業者が所定のタイミングにおいて実行している作業の種類を示す情報であり、具体的には作業者が作業中か否か、待機中か否か、及び特定の作業工程を実行中か否かに関する情報である。作業状況は、例えば作業者の動作や作業者の周囲に存在する製品の移動を示す種々の情報(例:加速度、角速度、映像)から取得されてもよい。あるいは、作業状況は作業者の申告又は当該作業者の周囲に存在する別の作業者の申告から取得されてもよい。続いて情報取得部101は、取得した作業状況に関する第3時系列データを注目区間設定部105に出力する。
本実施形態において、作業時間は作業区間と待機区間とに二分されると想定する。作業区間と待機区間とを区別する第一の方法として、例えば作業者に設置されたモーションセンサから取得された加速度又は角速度を利用する方法がある。作業区間よりも待機区間において加速度又は角速度の絶対値がより大きいという傾向が存在する場合、当該絶対値の大きさに基づき作業区間と待機区間とが区別され得る。あるいは、特定の作業に特有な加速度又は角速度の波形が存在する場合、当該波形を機械学習モデルにより解析することで作業区間と待機区間とが区別され得る。
第二の方法として、例えば作業者の動作を撮影した映像を利用する方法がある。当該方法によれば、先ず当該映像を人物検出技術や骨格推定技術により解析することで、作業者の位置や動作を追跡する。続いて追跡された位置や動作を解析することで、作業者が特定の動作又は姿勢を取る期間を作業区間として特定する一方、当該特定の動作又は姿勢を取らない期間を待機区間として特定する。あるいは、作業者が作業場所に存在する期間を作業区間として特定する一方、待機場所に存在する期間を待機区間として特定する。
第三の方法として、例えば製品に設置されたモーションセンサから取得された加速度又は角速度を利用する方法がある。当該方法によれば、製品の加速度又は角速度に基づき製造ラインが稼働しているか否かを判定することで、作業区間と待機区間とが区別され得る。また、レーザーなど製品位置を特定する他の手段が利用されてもよい。もちろん、熟練度判定装置1が前述した第一、第二又は第三の方法を実施することで作業状況を算出し取得してもよい。
注目区間設定部105は、注目区間を設定する。具体的には、注目区間設定部105は作業者の作業状況に関する第3時系列データについて注目区間を設定する。例えば、注目区間設定部105は作業区間又は作業工程区間を注目区間に設定する。一般に、作業者は待機区間において次の作業をいつ開始すべきかに注意を払うため、緊張感から熟練者及び初心者ともに精神的負荷が上昇すると考えられる。したがって、待機区間とは異なる作業区間において、熟練者と初心者との間で精神的負荷を示す生理指標の発現特性に差異が生じると想定される(図8を参照)。当該想定に基づき、注目区間設定部105は作業区間を注目区間に設定する。続いて注目区間設定部105は、設定した注目区間に関する情報を熟練度判定部104に出力する。
熟練度判定部104は、作業者の熟練度を生理指標の出現状況と注目区間とに基づき判定する。具体的には、熟練度判定部104は注目区間における生理指標の出現状況に基づき作業者の熟練度を判定する。熟練度の判定方法は、第1実施形態と同様である。設定された注目区間が複数存在する場合、熟練度判定部104は各注目区間において算出された生理指標の頻度を合計してもよい。ひいては、熟練度判定部104は合計された生理指標の頻度について単位時間当たりの頻度を算出してもよい。続いて熟練度判定部104は、判定した作業者の熟練度を熟練度判定装置1の内部又は外部に出力する。
図7は、第2実施形態に係るLF/HF比に関する時系列データに対応する作業者の作業状況の一例を示す図である。図7において、グラフ210,220に作業状況を示す作業区間及び待機区間と、設定された注目区間とが重畳して示される。作業区間は黒の両方向矢印310、待機区間は白の両方向矢印320、注目区間は矩形の枠330によりそれぞれ示される。グラフ210において、3つの作業区間及び当該作業区間の間に存在する2つの待機区間が示される。一方、グラフ220において2つの作業区間及び当該作業区間の間に存在する1つの待機区間が示される。
グラフ210,220から理解される通り、作業者AのLF/HF比に関する実測値は作業区間及び待機区間に関わらず頻繁かつ急激に変化している。一方、作業者BのLF/HF比に関する実測値は、特に待機区間において急激に変化している。熟練度判定装置1は、作業区間を注目区間に設定した上でグラフ210,220を解析することで、各グラフについて注目区間におけるLF/HF比に関する実測値の急激な一過性上昇を示すピーク(極大値)が出現するタイミング及び頻度を算出する。
図8は、第2実施形態に係る作業者の作業状況に応じた生理指標の発現特性を示す図である。図8において、作業状況と熟練者又は初心者の生理指標の発現特性との対応を示すテーブル250が示される。テーブル250が示す通り、作業区間において熟練者には生理指標が発現し、初心者には生理指標が発現しないと想定される。一方、待機区間において熟練者及び初心者にはともに生理指標が発現すると想定される。換言すれば、熟練者と初心者との間で生理指標の発現特性に差異が観察されるのは、作業区間においてであると想定される。当該想定に基づき、熟練度判定装置1は作業区間を注目区間に設定する。
図9は、第2実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の一例を示す図である。図9において、グラフ210,220について算出された極大値のタイミングが下向き矢印230により示される。具体的には、グラフ210の3つの作業区間において合計で5個の極大値が算出され、2つの待機区間において合計で2個の極大値が算出される。換言すれば、作業者Aには作業区間において5回、待機区間において2回の瞬間的な精神的負荷がかかったといえる。一方、グラフ220の2つの作業区間において極大値が算出されず、1つの待機区間において1個の極大値が算出される。換言すれば、作業者Bには作業区間において瞬間的な精神的負荷がかからず、待機区間において1回の瞬間的な精神的負荷がかかったといえる。熟練度判定装置1は、作業区間において算出された極大値の個数を生理指標の頻度Nとして扱う。
図10は、第2実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度と熟練度との対応の一例を示す図である。図10において、生理指標の頻度Nと熟練度との対応を示すテーブル260が示される。テーブル260の各項目として、「作業者」、「頻度(N)」、「単位時間あたりの頻度」、「熟練度(2段階)」及び「熟練度(3段階)」がそれぞれ示される。前述の計算結果によれば、作業者Aについて頻度Nは「5」であり、単位時間当たりの頻度は「0.20」である。一方、作業者Bについて頻度Nは「0」であり、単位時間当たりの頻度は「0」である。
熟練度判定装置1は、第1実施形態と同様な判定基準に基づき各作業者の熟練度を判定する。熟練度を2段階で判定する場合、作業者Aの頻度「5」は「3」以上であるため、作業者Aの熟練度は高いと判定される。一方、作業者Bの頻度「0」は「3」未満であるため、作業者Bの熟練度は低いと判定される。このように、熟練度判定装置1は作業者Aを「熟練者」と判定し、作業者Bを「初心者」と判定する。
熟練度を3段階で判定する場合、作業者Aの頻度「5」は「5」以上「10」未満であるため、作業者Aの熟練度は中程度であると判定される。一方、作業者Bの頻度「0」は「5」未満であるため、作業者Bの熟練度は低いと判定される。このように、熟練度判定装置1は作業者Aを「中級者」と判定し、作業者Bを「初心者」と判定する。
以上、第2実施形態に係る熟練度判定装置1について説明した。熟練度判定装置1は、注目区間における生理指標の出現状況に基づき作業者の熟練度を判定する。これにより、熟練度判定装置1は、作業者の作業時間のうち特定の時間帯における生理指標の出現状況に基づき作業者の品質評価能力を測定することができる。また、熟練度判定装置1は作業者が特定の作業(組み立て、加工、製作、品質確認など)に従事している時間帯(作業工程区間)に注目して作業者の品質評価能力を測定することができる。
(第3実施形態)
図11は、第3実施形態に係る熟練度判定装置1の構成例を示すブロック図である。第3実施形態に係る熟練度判定装置1は、第2実施形態に係る熟練度判定装置1が含む各構成と同様である。第3実施形態に係る情報取得部101は、第3取得部の一例である。
情報取得部101は、製品の品質情報を取得する。具体的には、情報取得部101は作業区間において作業者が作業した製品の品質を示す品質情報を取得する。品質情報は、例えば製品の品質が良好又は不良であることを示す情報である。本実施形態において、品質情報は2段階に分けて評価されると想定する。この場合、品質情報は例えば良品/悪品、可/不可、良好/不良、○/×のように表現される。また、品質情報は3段階以上に分けて評価されてもよい。この場合、品質情報は例えば良好/普通/不良、○/△/×のように表現される。もちろん、品質情報は複数のカテゴリを示す値でもよいし、「0-100%」のような割合を示す値でもよい。品質情報は、例えば人間が製品を目視して判断した結果、機械学習モデルが製品の映像から自動的に算出した結果、又は製品の品質に関する客観的な検査の結果から取得されてもよい。続いて情報取得部101は、取得した品質情報を熟練度判定部104に出力する。
注目区間設定部105は、作業区間のうち作業者が製品の品質を確認している確認区間を注目区間に設定する。本実施形態において、作業区間には製品の組み立て、加工又は製作に係る作業の後に、作業者が製品の品質を確認するための期間(確認区間)が含まれると想定する。また、品質情報は確認区間に関連付けられると想定する。一般に、熟練者は製品の品質を十分に認識できる一方、初心者は製品の品質を十分には認識できないと考えられる。また、熟練者は製品の品質が良好であると認識した場合には当該製品に修正を加える必要性を認識せず、精神的負荷は上昇しないと考えられる。逆に、熟練者は製品の品質が不良であると認識した場合には当該製品に修正を加える必要性を認識するため、精神的負荷が上昇すると考えられる。一方、初心者は製品の品質を十分には認識できないため、製品の品質に関わらず精神的負荷は上昇しないと考えられる。したがって、製品の品質が不良である場合において、熟練者と初心者との間で精神的負荷を示す生理指標の発現特性に差異が生じると想定される(図13を参照)。当該想定に基づき、注目区間設定部105は確認区間を注目区間に設定する。続いて注目区間設定部105は、設定した注目区間に関する情報を熟練度判定部104に出力する。
熟練度判定部104は、注目区間における生理指標の出現状況と品質情報とに基づき作業者の熟練度を判定する。具体的には、熟練度判定部104は製品の品質が不良である場合の注目区間における生理指標の出現状況に基づき作業者の熟練度を判定する。本実施形態において、熟練度判定部104は作業者が製品の品質不良を認識しているか否かを、確認区間においてLF/HF比の極大値が出現するか否かに基づき判定する。続いて熟練度判定部104は、判定した作業者の熟練度を熟練度判定装置1の内部又は外部に出力する。
図12は、第3実施形態に係るLF/HF比に関する時系列データにおける作業区間と製品の品質情報との対応の一例を示す図である。図12において、「作業者A」のLF/HF比に関する時系列データを示すグラフ410と、「作業者B」のLF/HF比に関する時系列データを示すグラフ420とが比較可能に並置される。グラフ410,420の縦軸はLF/HF比に関する値を「0-10」の範囲で示し、横軸は作業時間を秒単位で示す。グラフ410は「作業者A」のLF/HF比に関する実測値の時間変化を示す実線の系列データ411を含む。グラフ420は「作業者B」のLF/HF比に関する実測値の時間変化を示す実線の系列データ421を含む。
さらに、グラフ410,420に作業状況を示す作業区間と、設定された注目区間とが重畳して示される。作業区間は黒の両方向矢印310、注目区間は矩形の枠330によりそれぞれ示される。ここでは、注目区間は確認区間と同一の範囲であると想定する。グラフ410,420のそれぞれにおいて、2つの作業区間及び当該作業区間それぞれの終点付近に位置する2つの確認区間が示される。具体的には、グラフ410,420のそれぞれにおける1つ目の確認区間に関する品質情報は「良好」であり、2つ目の確認区間に関する品質情報は「不良」である。第1及び第2実施形態と同様に、熟練度判定装置1はグラフ410,420を解析することで、各グラフについてLF/HF比に関する実測値の急激な一過性上昇を示すピーク(極大値)が出現するタイミング及び頻度を算出する。
図13は、第3実施形態に係る製品の品質情報に応じた生理指標の発現特性を示す図である。図13において、品質情報と、熟練者又は初心者の生理指標の発現特性との対応を示すテーブル430が示される。ここでは、確認区間における品質情報に注目する。テーブル430が示す通り、品質情報が「良好」である場合、熟練者及び初心者にはともに生理指標が発現しないと想定される。逆に、品質情報が「不良」である場合、熟練者には生理指標が発現し、初心者には生理指標が発現しないと想定される。当該想定に基づき、熟練度判定装置1は品質情報が不良である場合における確認区間を注目区間に設定する。
図14及び図15は、第3実施形態に係るLF/HF比に関する時系列データにおける極大値の頻度の解析例を示す図である。図14において、グラフ410,420について算出された生理指標の極大値のタイミングが下向き矢印230により示される。各下向き矢印230は、系列データ411,421の極大値を指示する。具体的には、グラフ410の3つの注目区間(I、II、III)において合計で3個の極大値が算出される。換言すれば、作業者Aには確認区間において合計で3回の瞬間的な精神的負荷がかかったといえる。一方、グラフ420の4つの注目区間(I、II、III、IV)のいずれにおいても極大値が算出されない。換言すれば、作業者Bにはいずれの確認区間においても瞬間的な精神的負荷がかからなかったといえる。第1及び第2実施形態と同様に、熟練度判定装置1は算出された極大値の個数を生理指標の頻度Nとして扱う。
図15において、グラフ410,420の解析結果を示すテーブル440が示される。テーブル440に示される通り、品質情報が「不良」である複数の区間が存在する場合、熟練度判定装置1は各区間における生理指標の有無又は頻度を合計してもよい。例えば熟練度判定装置1は、グラフ410のように品質情報が「不良」である3つの注目区間が存在する場合、当該注目区間のそれぞれについて各項目(生理指標の有無、区間数に対する生理指標の有無、生理指標の頻度、単位時間当たりの生理指標の頻度)を算出してもよい。もちろん、グラフ420についても同様な手法で各区間における生理指標の有無又は頻度が合計されてもよい。グラフ410については、品質情報が「不良」である2つの注目区間において生理指標が出現している。一方、グラフ420については、いずれの注目区間においても生理指標が出現していないため、前述した各項目に関する合計値はいずれも「0」である。このように、図14のグラフ410,420からも、熟練度判定装置1は作業者Aを「熟練者」又は「中級者」と判定し、作業者Bを「初心者」と判定することができる。
以上、第3実施形態に係る熟練度判定装置1について説明した。熟練度判定装置1は、注目区間における生理指標の出現状況と品質情報とに基づき作業者の熟練度を判定する。これにより、熟練度判定装置1は製品の品質情報に注目して作業者の品質評価能力を測定することができる。具体的には、熟練度判定装置1は製品の品質が不良である場合の確認区間における生理指標の出現状況に応じて熟練度を判定することができる。
(第4実施形態)
図16は、第4実施形態に係る熟練度判定装置1の構成例を示すブロック図である。第4実施形態に係る熟練度判定装置1は、第2実施形態に係る熟練度判定装置1が含む各構成に加えて表示制御部106をさらに含む。表示制御部106は、表示制御部の一例である。第4実施形態に係る情報取得部101は、第4取得部の一例である。
情報取得部101は、作業者の映像情報を取得する。具体的には、情報取得部101は所定期間における作業者の動作を示す映像情報を取得する。映像情報は、作業者の生体情報に関するデータの期間と同一の期間に関するデータであればよい。映像情報は、例えば作業者を撮影可能な位置に設置されたカメラから取得されてもよい。続いて情報取得部101は、取得した映像情報を表示制御部106に出力する。
表示制御部106は、作業者に関する種々の情報を表示させる。例えば、表示制御部106は第1時系列データ、第2時系列データ、生理指標の出現状況及び作業者の熟練度のうち少なくとも一つを映像情報と関連付けた表示データを表示させる。もちろん、表示制御部106は注目区間設定部105により設定された注目区間を映像情報と関連付けて表示させてもよい。また、表示制御部106は作業者の今回の作業における表示データに関連付けて作業者又は他の作業者の過去の作業における表示データを表示させてもよい。別の態様として、表示制御部106は作業者の今回の作業における表示データに関連付けて、当該作業者よりも熟練度が高い別の作業者の過去の作業における表示データを表示させてもよい。すなわち、表示制御部106は2種類の表示データを互いに比較可能に同時に表示させてもよい。表示制御部106は、例えば表示データをディスプレイ12(図21を参照)に表示させる。
図17及び図18は、第4実施形態に係る表示データ510,520の一例をそれぞれ示す図である。図17における表示データ510は、今回の作業における作業者の映像情報が表示されるエリア511、今回の作業者の生理指標、生理指標の出現状況及び注目区間などが表示されるエリア512、並びに今回の作業者の熟練度が表示されるエリア513を含む。具体的には、エリア511には今回の作業における作業者の動作を示す映像が表示される。当該映像の時間的範囲は、エリア512に表示されるグラフの作業時間「0-1800秒」の範囲に相当する。一方、エリア512にはグラフ210(図9を参照)に類似するグラフが表示される。なお、エリア511に再生される映像の現在の再生位置が、エリア512のグラフ上に直線などで示されてもよい。一方、エリア513にはテーブル260(図10を参照)に含まれる内容が表示される。
図18における表示データ520は、エリア511,512,513に加えて、過去の作業における作業者の映像情報が表示されるエリア514、過去の作業者の生理指標、生理指標の出現状況及び注目区間などが表示されるエリア515、並びに過去の作業者の熟練度が表示されるエリア516を含む。すなわち、同一の作業者に関する今回及び過去の作業における種々の情報が同時に表示される。具体的には、エリア514には過去の作業における作業者の動作を示す映像が表示される。当該映像の時間的範囲は、エリア515に表示されるグラフの作業時間「0-1000秒」の範囲に相当する。一方、エリア515にはグラフ220(図9を参照)に類似するグラフが表示される。なお、エリア514に再生される映像の現在の再生位置が、エリア515のグラフ上に直線などで示されてもよい。一方、エリア516にはテーブル260(図10を参照)に含まれる内容が表示される。なお、エリア514,515,516に表示される情報は、今回の作業者の過去の情報でもよいし、異なる作業者の過去の情報でもよい。例えば、熟練度判定装置1は特定の作業者よりも熟練度が高い他の作業者を選択し、選択された他の作業者が実行した過去の作業に関する情報をエリア514,515,516に表示してもよい。これにより、熟練度判定装置1は、作業者が熟練度の高い他の作業者との間で作業中の映像や生理指標の出現状況などを比較することを可能にする。すなわち、熟練度判定装置1は、作業者が他の作業者との比較に基づき、自発的に技術向上に励むのを支援することができる。
以上、第4実施形態に係る熟練度判定装置1について説明した。熟練度判定装置1は、生体情報、生理指標、生理指標の出現状況、熟練度及び注目区間のうち少なくとも一つを映像情報と関連付けた表示データを表示させる。これにより、熟練度判定装置1は作業者に自身の熟練度及び動作を、作業中にリアルタイムで又は作業後に振り返って確認させることができる。例えば、作業者は過去に同様な作業を実施した時における生理指標の出現状況や映像などを確認することで、今回の作業において自身の熟練度が向上したか否かを確認することができる。換言すれば、熟練度判定装置1は作業者を訓練するためのシステムとして機能することができる。
(第5実施形態)
図19は、第5実施形態に係る熟練度判定装置1の構成例を示すブロック図である。第5実施形態に係る熟練度判定装置1は、第3実施形態に係る熟練度判定装置1が含む各構成に加えて報知制御部107を含む。報知制御部107は、報知制御部の一例である。第5実施形態に係る情報取得部101は、第5取得部の一例である。
情報取得部101は、作業者の改善提案情報(アドバイス)を取得する。具体的には、情報取得部101は所定期間における作業者の動作について改善方法を提案する改善提案情報を取得する。改善提案情報は、作業者の生体情報に関するデータの期間に行われた作業者の動作に関するデータであればよい。例えば、改善提案情報は、良好な品質の製品を製造するための作業者の動作に関するアドバイスや、作業者がどのようなチェックをすべきかに関する情報である。改善提案情報は、作業者の動作を示す映像情報を機械学習モデル等により自動的に解析することで得られた情報であってもよい。あるいは、改善提案情報は、入力インタフェース14(図21を参照)を介して作業者を監督する管理者が手動で入力することで得られた情報であってもよい。続いて情報取得部101は、取得した改善提案情報を報知制御部107に出力する。
報知制御部107は、作業者に関する種々の情報を報知させる。例えば、報知制御部107は、作業者に向けて改善提案情報を報知させる。なお、報知制御部107は作業者の熟練度が閾値以上である場合に改善提案情報を報知させず、作業者の熟練度が閾値未満である場合に改善提案情報を報知させてもよい。さらに、報知制御部107は品質情報が良好である場合に改善提案情報を報知させず、品質情報が不良である場合に改善提案情報を報知させてもよい。また、品質情報が不良である場合において、作業者の熟練度が閾値以上である場合に改善提案情報を報知させず、作業者の熟練度が閾値未満である場合に改善提案情報を報知させてもよい。これにより、熟練者は既に作業時間において精神的負荷がかかっており、かつ製品の品質不良も認識しているため、報知制御部107は品質情報が不良であっても改善提案情報を報知させないことで、熟練者に更なる精神的負荷がかかるのを防ぐことができる。
報知制御部107は、例えば改善提案情報をディスプレイ12又はスピーカ13(図21を参照)に報知させる。報知制御部107は、改善提案情報を表示データ、音声、ビープ音、物体の振動又は接触等の態様により報知させてもよい。このとき、報知制御部107は品質情報が良好又は不良であるかに応じてビープ音の種類を変更してもよい。
図20は、第5実施形態に係る改善提案情報の一例を示す図である。図20において品質情報、熟練度及び改善提案情報を含む報知データ600が示される。報知データ600は、品質情報が「不良」、熟練度が「中」、改善提案が「肩が上がっているので肩の力を抜きましょう」であることを示す。報知データ600は、表示データ510,520とともに表示され得る。あるいは、報知データ600に示される内容が音声により出力され得る。
以上、第5実施形態に係る熟練度判定装置1について説明した。熟練度判定装置1は作業者に向けて改善提案情報を報知する。これにより、熟練度判定装置1は作業者が次回の作業において注意すべき箇所を報知することができる。ひいては、熟練度判定装置1は作業者が自身の熟練度を向上させるべく、報知された改善提案情報に基づき自発的に作業の技術向上に努めるのを励ますことができる。すなわち、熟練度判定装置1は、作業者が製品の品質を意識して作業に臨むのを支援することができる。
図21は、第1乃至第5実施形態に係る熟練度判定装置1のハードウェア及びソフトウェアに関する構成例を示すブロック図である。熟練度判定装置1は、各構成として処理回路10、メモリ11、ディスプレイ12、スピーカ13、入力インタフェース14及び通信インタフェース15を含む。各構成は、共通の信号伝送路であるバスを介して互いに通信可能に接続される。各構成は個々のハードウェアにより実現されなくともよい。例えば、各構成のうち少なくとも2つが1つのハードウェアにより実現されてもよい。
処理回路10は、熟練度判定装置1の動作を制御する。処理回路10は、ハードウェアとしてCPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサを有する。処理回路10は、プロセッサを介してメモリ11に展開された各プログラムを実行することで、各プログラムに対応する各部(情報取得部101、生体情報解析部102、生理指標解析部103、熟練度判定部104、注目区間設定部105、表示制御部106、報知制御部107)を実現する。なお、各部は単独のプロセッサから成る処理回路10により実現されなくともよい。例えば、各部は複数のプロセッサを組み合わせた処理回路10により実現されてもよい。
メモリ11は、処理回路10が使用するデータやプログラム等の情報を記憶する。メモリ11は、ハードウェアとしてRAM(Random Access Memory)等の半導体メモリ素子を有する。なお、メモリ11は、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク)、光磁気ディスク(MO)、光学ディスク(CD、DVD、Blu-ray(登録商標))、フラッシュメモリ(USBフラッシュメモリ、メモリカード、SSD)、磁気テープ等の外部記憶装置との間で情報を読み書きする駆動装置であってもよい。なお、メモリ11の記憶領域は、熟練度判定装置1の内部にあってもよいし、外部記憶装置にあってもよい。メモリ11は、記憶部の一例である。
ディスプレイ12は、処理回路10が生成したデータやメモリ11に格納されるデータ等の情報を表示する。ディスプレイ12として、ブラウン管(CRT:Cathode Ray Tube)ディスプレイ、液晶ディスプレイ(LCD:Liquid Crystal Display)、プラズマディスプレイ、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)、及びタブレット端末等のディスプレイが使用可能である。ディスプレイ12は、表示データを表示してもよい。ディスプレイ12は、表示部又は報知部の一例である。
スピーカ13は、処理回路10が生成したデータやメモリ11に格納されるデータ等の情報を音声又はビープ音により報知する。スピーカ13は、改善提案情報を報知してもよい。スピーカ13は、報知部の一例である。
入力インタフェース14は、熟練度判定装置1を利用するユーザからの入力を受け付け、受け付けた入力を電気信号に変換して処理回路10に出力する。入力インタフェース14として、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、タッチパネルディスプレイ等の物理的な操作部品が使用可能である。なお、入力インタフェース14は、熟練度判定装置1とは別体である外部の入力装置から入力を受け付け、受け付けた入力を電気信号に変換して処理回路10に出力する装置であってもよい。ユーザは、例えば工場等において技術的な作業に従事する作業者である。入力インタフェース14は、入力部の一例である。
通信インタフェース15は、外部装置や外部ネットワークとの間でデータを送信又は受信する。通信インタフェース15と外部装置や外部ネットワークとの間では任意の通信規格が使用可能である。通信方式は有線又は無線を問わない。熟練度判定装置1は、通信インタフェース15を介して、プリンタやインターネットとの間でデータを送信又は受信し、熟練度判定装置1が生成したデータをプリンタに印刷させたり、ウェブページに表示したりしてもよい。通信インタフェース15は、通信部の一例である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、各省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1・・・熟練度判定装置、10・・・処理回路、11・・・メモリ、12・・・ディスプレイ、13・・・スピーカ、14・・・入力インタフェース、15・・・通信インタフェース、101・・・情報取得部、102・・・生体情報解析部、103・・・生理指標解析部、104・・・熟練度判定部、105・・・注目区間設定部、106・・・表示制御部、107・・・報知制御部、210,220,410,420・・・グラフ、211,212,221,222,411,421・・・系列データ、230・・・下向き矢印、240,250,260,430,440・・・テーブル、310,320・・・両方向矢印、330・・・枠、510,520・・・表示データ、511,512,513,514,515,516・・・エリア、600・・・報知データ

Claims (12)

  1. 所定期間における作業者の生体情報に関する第1時系列データと、前記所定期間のうち前記作業者が製品の品質を確認する確認区間と、前記製品の品質を示す品質情報とを取得する取得部と、
    前記第1時系列データを解析し前記作業者の精神的負荷を示す生理指標に関する第2時系列データを算出する第1解析部と、
    前記第2時系列データを解析し前記生理指標の出現状況を算出する第2解析部と、
    前記確認区間における前記生理指標の出現状況と、前記品質情報とに基づき前記作業者の熟練度を判定する判定部と、
    を具備する熟練度判定装置。
  2. 前記品質情報は、前記製品の品質が良好又は不良であることを示す情報であり、
    前記判定部は、前記製品の品質が不良である場合の前記確認区間における前記生理指標の出現状況に基づき、前記作業者の熟練度を判定する、
    請求項に記載の熟練度判定装置。
  3. 前記取得部は、前記所定期間における前記作業者の動作を示す映像情報を取得
    前記第1時系列データ、前記第2時系列データ、前記生理指標の出現状況及び前記作業者の熟練度のうち少なくとも一つを前記映像情報と関連付けた表示データを表示させる表示制御部、をさらに具備する
    請求項1又は請求項に記載の熟練度判定装置。
  4. 前記表示制御部は、前記作業者の今回の作業における前記表示データに関連付けて前記作業者又は他の作業者の過去の作業における前記表示データを表示させる、
    請求項に記載の熟練度判定装置。
  5. 前記取得部は、前記所定期間における前記作業者の動作について改善方法を提案する改善提案情報を取得
    前記作業者に向けて前記改善提案情報を報知させる報知制御部、をさらに具備する
    請求項1から請求項のいずれか1項に記載の熟練度判定装置。
  6. 前記報知制御部は、前記作業者の熟練度が閾値以上である場合に前記改善提案情報を報知させず、前記作業者の熟練度が前記閾値未満である場合に前記改善提案情報を報知させる、
    請求項に記載の熟練度判定装置。
  7. 前記生体情報又は前記生理指標は、心拍間隔、皮膚電位、発汗、血流、体温又は脳波に関する情報である、
    請求項1から請求項のいずれか1項に記載の熟練度判定装置。
  8. 前記生理指標は、心拍間隔に関するLF/HF比、LF値、HF値、VLF値、トータルパワー値、HR値、MeanNN値、SDNN値、RMSSD値、NN50値、pNN50値又はCVRR値である、
    請求項1から請求項のいずれか1項に記載の熟練度判定装置。
  9. 前記生理指標の出現状況は、前記生理指標に関する極大値、極小値、平均、分散、揺らぎ、最大値、最小値、微分値及び積分値を含むパラメータの頻度又は大きさである、
    請求項1から請求項のいずれか1項に記載の熟練度判定装置。
  10. 前記判定部は、前記生理指標に関する極大値の頻度が閾値以上であるか否かに基づき前記作業者の熟練度を判定する、
    請求項1から請求項のいずれか1項に記載の熟練度判定装置。
  11. コンピュータが、
    所定期間における作業者の生体情報に関する第1時系列データと、前記所定期間のうち前記作業者が製品の品質を確認する確認区間と、前記製品の品質を示す品質情報とを取得
    前記第1時系列データを解析し前記作業者の精神的負荷を示す生理指標に関する第2時系列データを算出
    前記第2時系列データを解析し前記生理指標の出現状況を算出
    前記確認区間における前記生理指標の出現状況と、前記品質情報とに基づき前記作業者の熟練度を判定する、
    熟練度判定方法。
  12. コンピュータに、
    所定期間における作業者の生体情報に関する第1時系列データと、前記所定期間のうち前記作業者が製品の品質を確認する確認区間と、前記製品の品質を示す品質情報とを取得する取得機能と、
    前記第1時系列データを解析し前記作業者の精神的負荷を示す生理指標に関する第2時系列データを算出する第1解析機能と、
    前記第2時系列データを解析し前記生理指標の出現状況を算出する第2解析機能と、
    前記確認区間における前記生理指標の出現状況と、前記品質情報とに基づき前記作業者の熟練度を判定する判定機能と、
    を実現させる熟練度判定プログラム。
JP2021142615A 2021-09-01 2021-09-01 熟練度判定装置、方法及びプログラム Active JP7482091B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021142615A JP7482091B2 (ja) 2021-09-01 2021-09-01 熟練度判定装置、方法及びプログラム
US17/652,189 US20230060521A1 (en) 2021-09-01 2022-02-23 Proficiency determination apparatus, method, and non transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021142615A JP7482091B2 (ja) 2021-09-01 2021-09-01 熟練度判定装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2023035616A JP2023035616A (ja) 2023-03-13
JP7482091B2 true JP7482091B2 (ja) 2024-05-13

Family

ID=85288900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021142615A Active JP7482091B2 (ja) 2021-09-01 2021-09-01 熟練度判定装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US20230060521A1 (ja)
JP (1) JP7482091B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119571556A (zh) * 2023-09-05 2025-03-07 杰克科技股份有限公司 自动适配的缝纫机踏板加速方法、系统及介质
JP2025095077A (ja) * 2023-12-14 2025-06-26 株式会社日立製作所 習熟度を判定するシステム及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017199152A (ja) 2016-04-26 2017-11-02 株式会社ジェイテクト 能力データベース構築装置
US20190051201A1 (en) 2017-08-10 2019-02-14 Ewha University - Industry Collaboration Foundation Learning situation determining method and apparatus for performing the method
JP2019101260A (ja) 2017-12-04 2019-06-24 株式会社デンソー北海道 物品判定教育訓練装置
JP2020129018A (ja) 2019-02-07 2020-08-27 株式会社日立製作所 動作評価システムおよび方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6562424B2 (ja) * 2017-07-10 2019-08-21 三菱ロジスネクスト株式会社 荷役作業割当システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017199152A (ja) 2016-04-26 2017-11-02 株式会社ジェイテクト 能力データベース構築装置
US20190051201A1 (en) 2017-08-10 2019-02-14 Ewha University - Industry Collaboration Foundation Learning situation determining method and apparatus for performing the method
JP2019101260A (ja) 2017-12-04 2019-06-24 株式会社デンソー北海道 物品判定教育訓練装置
JP2020129018A (ja) 2019-02-07 2020-08-27 株式会社日立製作所 動作評価システムおよび方法

Also Published As

Publication number Publication date
US20230060521A1 (en) 2023-03-02
JP2023035616A (ja) 2023-03-13

Similar Documents

Publication Publication Date Title
Appel et al. Predicting cognitive load in an emergency simulation based on behavioral and physiological measures
US20220222687A1 (en) Systems and Methods for Assessing the Marketability of a Product
KR102214402B1 (ko) 모바일 기반 맞춤형 정신건강관리시스템 및 그 시스템을 이용한 정신건강관리방법
US20210287564A1 (en) System and method for bed partner mediated sleep disorder treatment program
WO2019111259A1 (en) Methods and systems for determining mental load
JP2016202348A (ja) 生体情報処理システム、端末装置及び生体情報処理方法
JP7482091B2 (ja) 熟練度判定装置、方法及びプログラム
JP2014081913A (ja) アンケート分析装置、アンケート分析システム、アンケート分析方法、及びプログラム
US20240008785A1 (en) Information processing system, information processing device, information processing method, and information processing program
JP2020149150A (ja) 健康管理支援装置、健康管理支援システム、健康管理支援方法、および健康管理支援プログラム
Urrestilla et al. Measuring cognitive load: Heart-rate variability and pupillometry assessment
JP2023133526A (ja) 検出装置および検出方法
KR20170130207A (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
Abdul Samad et al. Effect of mental workload on heart rate variability and reaction time of aircraft maintenance personnel
Mithun et al. Mind Indriya: A System for Simultaneous Assessment of Cognitive Load, Anxiety and Visual Attention
US20230404451A1 (en) Sightline-position determination device, sightline-position determination method, and training method
JP7608264B2 (ja) 生体データ関連指標計測システム
JP2016202345A (ja) 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
Natnithikarat et al. Drowsiness detection for office-based workload with mouse and keyboard data
WO2023193711A1 (en) Contactless physiological measurement device and method
Malagoli et al. Towards a method for the objective assessment of cognitive workload: A pilot study in vessel traffic service (VTS) of maritime domain
JP2980295B2 (ja) ストレス評価方式
Fogelberg et al. Cognitive ergonomics: Triangulation of physiological, subjective, and performance-based mental workload assessments
Grecheneva et al. The algorithm for express-analysis of human functional systems considering of the goniometric control data
Rahimzadeh et al. Immediate Detection of Simulator Sickness in Virtual Environments Using Integrated Subjective Feedback and Physiological Signals

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240426

R150 Certificate of patent or registration of utility model

Ref document number: 7482091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150