JP2010067068A - Image feature classifying apparatus and program - Google Patents
Image feature classifying apparatus and program Download PDFInfo
- Publication number
- JP2010067068A JP2010067068A JP2008233690A JP2008233690A JP2010067068A JP 2010067068 A JP2010067068 A JP 2010067068A JP 2008233690 A JP2008233690 A JP 2008233690A JP 2008233690 A JP2008233690 A JP 2008233690A JP 2010067068 A JP2010067068 A JP 2010067068A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- feature
- image
- image features
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000001174 ascending effect Effects 0.000 claims description 5
- 230000007547 defect Effects 0.000 description 97
- 238000003745 diagnosis Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 21
- 238000007689 inspection Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Abstract
Description
本発明は、画像特徴分類装置及びプログラムに関する。 The present invention relates to an image feature classification device and a program.
紙に形成された画像をスキャンして、形成された画像の画像特徴に基づいて、画像に含まれる欠陥を分類することがある。この際、下記の特許文献1に記載されているように、スキャン画像から各種の特徴量を抽出して特徴ベクトルを生成して、予め学習された画像特徴毎の分類と特徴ベクトルとの距離に基づいて、スキャン画像が有する画像特徴の分類を判定する技術がある。
画像特徴の分類によっては、学習された特徴空間を構成する特徴量の中に当該分類の特徴とはいえない特徴量も含まれており、こうした特徴量を分類に用いることで、誤分類を招いたり分類が絞り込めなかったりして、分類が精度良く行えないことがあった。 Depending on the classification of image features, the features that make up the learned feature space include features that cannot be said to be the features of the classification. Using these features for classification can lead to misclassification. Sometimes the classification could not be narrowed down and the classification could not be performed accurately.
本発明の目的の一つは、分類学習時に用いた特徴量の中から画像特徴に特徴的な要素を絞り込んで、対象画像の画像特徴を精度良く分類する画像特徴分類装置及びプログラムを提供することにある。 One of the objects of the present invention is to provide an image feature classifying apparatus and program for classifying image features of a target image with high accuracy by narrowing down features characteristic to the image features from the feature quantities used during classification learning. It is in.
上記目的を達成するために、請求項1に記載の画像特徴分類装置の発明は、画像特徴の分類毎に用意された標本画像から取得される複数の特徴量を要素とする特徴ベクトルに基づいて、前記画像特徴の分類を学習した分類学習手段と、対象の画像から前記複数の特徴量を取得するとともに、当該取得された特徴量を要素とする特徴ベクトルを生成する生成手段と、前記画像特徴の分類毎に、当該分類における前記複数の各特徴量のばらつきを取得する取得手段と、前記画像特徴の分類毎に、当該分類について前記取得手段により取得された前記複数の各特徴量のばらつきに基づいて、前記複数の特徴量から一部の特徴量を選択する選択手段と、前記選択手段により選択された一部の特徴量に基づいて表される特徴空間における前記生成手段により生成した特徴ベクトルと前記画像特徴の各分類との距離を算出する算出手段と、前記算出手段により算出された距離の比較結果に基づいて、前記対象の画像が有する画像特徴の分類を判定する分類判定手段と、を含むことを特徴とする。
To achieve the above object, the invention of the image feature classification apparatus according to
また、請求項2に記載の発明は、請求項1に記載の画像特徴分類装置において、前記選択手段は、前記複数の特徴量からばらつきが小さい順に特徴量を選択することを特徴とする。 According to a second aspect of the present invention, in the image feature classification apparatus according to the first aspect, the selection unit selects the feature amount in ascending order of variation from the plurality of feature amounts.
また、請求項3に記載の発明は、請求項1又は2に記載の画像特徴分類装置において、前記算出手段は、前記生成手段により生成した特徴ベクトルと前記画像特徴の各分類とのマハラノビス距離を算出し、前記分類判定手段は、前記対象の画像が有する画像特徴の分類を、前記算出手段により算出された最小のマハラノビス距離に対応する画像特徴の分類と判定することを特徴とする。 According to a third aspect of the present invention, in the image feature classification apparatus according to the first or second aspect, the calculation unit calculates a Mahalanobis distance between the feature vector generated by the generation unit and each classification of the image feature. The classification determining unit calculates and classifies the image feature classification of the target image as an image feature classification corresponding to the minimum Mahalanobis distance calculated by the calculation unit.
また、請求項4に記載のプログラムの発明は、画像特徴の分類毎に用意された標本画像から取得される複数の特徴量を要素とする特徴ベクトルに基づいて、前記画像特徴の分類を学習した分類学習手段と、対象の画像から前記複数の特徴量を取得するとともに、当該取得された特徴量を要素とする特徴ベクトルを生成する生成手段と、前記画像特徴の分類毎に、当該分類における前記複数の各特徴量のばらつきを取得する取得手段と、前記画像特徴の分類毎に、当該分類について前記取得手段により取得された前記複数の各特徴量のばらつきに基づいて、前記複数の特徴量から一部の特徴量を選択する選択手段と、前記選択手段により選択された一部の特徴量に基づいて表される特徴空間における前記生成手段により生成した特徴ベクトルと前記画像特徴の各分類との距離を算出する算出手段と、前記算出手段により算出された距離の比較結果に基づいて、前記対象の画像が有する画像特徴の分類を判定する分類判定手段としてコンピュータを機能させることを特徴とする。 According to a fourth aspect of the present invention, the image feature classification is learned based on a feature vector whose elements are a plurality of feature amounts acquired from a sample image prepared for each image feature classification. A classification learning unit, a generation unit that obtains the plurality of feature amounts from the target image, generates a feature vector having the acquired feature amount as an element, and the image feature in the classification for each classification of the image features. An obtaining unit that obtains a variation of each of the plurality of feature amounts; and for each classification of the image features, based on the variation of each of the plurality of feature amounts obtained by the obtaining unit for the classification, from the plurality of feature amounts A selection means for selecting a part of the feature quantity; and a feature vector generated by the generation means in a feature space represented based on the part of the feature quantity selected by the selection means; A computer serving as a classification determining unit for determining a classification of an image feature of the target image based on a comparison result of the distance calculated by the calculation unit and a distance calculated by the calculation unit. It is made to function.
請求項1に記載の発明によれば、分類学習時に用いた特徴量の中から一部の特徴量を絞り込んで、対象画像の画像特徴を精度良く分類することができる。 According to the first aspect of the present invention, it is possible to classify the image features of the target image with high accuracy by narrowing down some of the feature amounts from the feature amounts used during classification learning.
請求項2に記載の発明によれば、各画像特徴の分類に特徴的な情報を選択的に用いることができる。 According to the second aspect of the present invention, characteristic information can be selectively used for classification of each image feature.
請求項3に記載の発明によれば、算出される距離の尺度を共通化して、算出された距離の比較により対象画像の画像特徴の分類を判定できる。 According to the third aspect of the present invention, it is possible to determine the classification of the image features of the target image by comparing the calculated distances in common and comparing the calculated distances.
請求項4に記載の発明によれば、分類学習時に用いた特徴量の中から一部の特徴量を絞り込んで、対象画像の画像特徴を精度良く分類するようにコンピュータを機能させることができる。 According to the fourth aspect of the present invention, it is possible to cause the computer to function so as to classify the image features of the target image with high accuracy by narrowing down some of the feature amounts used in the classification learning.
以下、本発明を実施するための好適な実施の形態(以下、実施形態という)を、図面に従って説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments (hereinafter referred to as embodiments) for carrying out the invention will be described with reference to the drawings.
図1には、本実施形態に係る故障診断機能を有する画像形成装置10の機能ブロック図を示した。図1に示されるように、画像形成部100、画像読取部102、センサ部104、診断情報入力部106、及び故障診断部108を含む。なお、実施形態では、後述する画像形成装置10に備えられた欠陥種類判定部212に、本発明に係る画像特徴分類装置の構成を適用している。
FIG. 1 shows a functional block diagram of an
画像形成部100は、画像データに基づいて印刷用紙に画像を形成して出力する機能である。画像形成部100は、例えば画像データをラスターデータに変換し、当該変換したラスターデータに基づいて感光体にレーザ光により潜在画像を形成するとともに、感光体にトナーを付着させた後に印刷用紙に転写して画像を形成するレーザプリンタの方式により画像を形成することとしてよい。また、画像形成部100はその他にも、電子写真式、感熱式、熱転写式、インクジェット式等の方式により画像を形成することとしてもよい。
The
画像読取部102は、読み取り対象とする原稿を光学的に読み取りスキャン画像を得る機能である。画像読取部102は、原稿を載置するプラテンガラス等の原稿載置台と、原稿載置台に載置された原稿を光学的に読み取る光学系と、光学系により読み取られた画像を画像データに変換する画像処理部とを含み構成される。
The
センサ部104は、複数のセンサを含み構成され、画像形成装置10の部品の動作状態、内部環境の状態、消耗材の使用状態等を含む画像形成装置10の状態情報を取得する。
The
診断情報入力部106は、操作パネルを含み、故障診断に用いる情報の入力を受け付ける機能である。診断情報入力部106は、例えば利用者からの操作入力や故障診断の開始等の情報入力を受け付けることとしてよい。
The diagnosis
故障診断部108は、画像読取部102、センサ部104、診断情報入力部106から入力される情報に基づき、画像形成装置10の故障診断を行う機能である。図2には、故障診断部108の詳細を表した機能ブロック図を示す。
The
図2に示されるように、故障診断部108は、部品状態情報取得部200、内部環境情報取得部202、消耗材情報取得部204、履歴情報管理部206、画像欠陥検出部208、特徴量抽出部210、欠陥種類判定部212、追加操作情報取得部214、故障原因推定部216、及び診断結果通知部218を含む。
As shown in FIG. 2, the
部品状態情報取得部200は、センサ部104により取得された情報に基づいて、画像形成装置10を構成する部品の状態を示す部品状態情報を取得する機能である。部品状態情報取得部200は、部品状態情報としては、例えば用紙通過時間、駆動電流値、感光体への印可電圧値、振動、作動音や光量等の情報を取得する。
The component state
内部環境情報取得部202は、センサ部104により取得された情報に基づいて、画像形成装置10の内部環境の状態を示す内部環境情報を取得する機能である。内部環境情報取得部202は、内部環境情報としては、例えば装置内温度、装置内湿度、用紙温度、用紙湿度等の情報を取得する。
The internal environment
消耗材情報取得部204は、センサ部104により取得された情報に基づいて、画像形成装置10の消耗材の状態を示す消耗材情報を取得する機能である。消耗材情報取得部204は、消耗材情報としては、例えば各種印刷用紙の残量や各色のトナー残量等の情報を取得する。
The consumable material
履歴情報管理部206は、画像形成装置10の使用履歴を管理する機能である。履歴情報管理部206は、例えば、印刷ジョブの処理履歴や部品毎の印刷枚数を示すカウンタ値、上記の部品状態情報取得部200、内部環境情報取得部202、消耗材情報取得部204により取得された各種情報を履歴情報として管理することとしてよい。
The history
画像欠陥検出部208は、画像読取部102により読み込まれた検査画像から画像欠陥を検出する機能である。画像欠陥検出部208は、検査画像について予め定められた階調値の閾値に基づいて検査画像から画像欠陥を検出する。例えば、検査画像が白ベースのテストチャートであれば、背景色に対応した階調値を閾値として設定しておき、検査画像に当該閾値よりも小さい階調値の画素があれば検査画像中に画像の欠陥があるとして検出することとしてよい。
The image
特徴量抽出部210は、画像欠陥検出部208により画像欠陥があると検出された場合に、各欠陥に対応する画像領域から複数の特徴量を抽出する。
When the image
欠陥種類判定部212は、特徴量抽出部210により抽出された特徴量に基づいて、取得された検査画像に発生している欠陥の種類を判定する機能である。欠陥種類判定部212は、予め定められた欠陥の種類について、それら欠陥が発生した特徴的な画像に基づいて各欠陥の種類を表す画像特徴量のクラスタを予め生成しておくとともに、特徴量抽出部210により抽出された特徴量がいずれのクラスタに属するのかを、特徴量と各クラスタの代表特徴量との関係に基づいて分類することとしてよい。上記分類の一態様としては、特徴ベクトルをクラスタの代表ベクトルとの距離が最も近いクラスタに分類することとしてよい。なお、欠陥の種類毎の特徴量群の分布情報を利用したマハラノビス距離を用いて欠陥の種類を判定するようにしてもよい。欠陥種類判定部212の構成と、欠陥種類判定部212において行われる処理の詳細については後述する。
The defect
画像形成装置10の故障箇所によっては検査画像に画像欠陥が再現されないこともある。例えば、故障箇所がプリントエンジンの部品の場合には、検査画像に欠陥が再現されるが、故障箇所が画像読取部102の部品の場合には検査画像には画像欠陥が再現されないことがある。この場合に、検査画像を画像読取部102にセットして検査画像を読み取れば、そのスキャン画像には欠陥が現れることとなる。追加操作情報取得部214は、このような画像欠陥の原因特定のために、画像形成装置10の動作条件を変えて行われた追加操作の情報を取得する機能である。追加操作情報取得部214により取得された情報は、故障原因推定部216に入力される。
Depending on the failure location of the
故障原因推定部216は、推論部216Aと故障候補抽出部216Bとを含み、各部から入力される情報に基づいて故障原因を推定する機能である。推論部216Aは、例えば、故障を引き起こす各原因候補が、発生した故障の主原因である確率(故障原因確率)を各取得情報に基づいて算出する推論エンジンにより構成されることとしてよい。また、故障候補抽出部216Bは、推論部216Aにより算出された故障原因確率に基づいて故障原因候補を抽出する。例えば、故障候補抽出部216Bは、算出された確率が予め設定された値以上の故障原因を抽出してもよいし、算出された確率の高い順に予め設定された順位までの故障原因を抽出することとしてもよい。
The failure
ここで、故障原因確率の算出を行う推論エンジンには、ベイジアンネットワーク(BayesianNetwork)を利用することとしてよい。このベイジアンネットワークとは、複数の事象間の因果関係を順次結線して、グラフ構造を持つネットワークとして表現したものであり、事象間の依存関係を有向グラフにより表したものである。事象毎にノードを作成し、ノードには発生確率を変数として持たせる。推論エンジンには、ベイジアンネットワーク以外にも、エキスパートシステムやニューラルネットワーク等の他の方法を用いてもよい。 Here, a Bayesian network may be used as an inference engine for calculating the failure cause probability. The Bayesian network is a network in which causal relationships between a plurality of events are sequentially connected and expressed as a network having a graph structure, and dependency relationships between events are expressed by a directed graph. A node is created for each event, and the occurrence probability is assigned to the node as a variable. In addition to the Bayesian network, other methods such as an expert system and a neural network may be used for the inference engine.
推論部216Aは、推論エンジンにベイジアンネットワークを利用する場合には、上記取得された各種情報をベイジアンネットワークに入力して、各ノードの確率値を算出する。そして、故障候補抽出部216Bは、算出された確率値に基づいて主原因のノードを特定してそれを故障原因の候補として抽出する。このように故障原因推定部216により抽出された故障原因の候補に基づいて、故障判定結果(故障の有無、故障箇所、故障内容)、故障予測結果(故障可能性の有無、故障箇所、故障内容)、あるいは検査内容や取得した動作状態信号等を診断結果通知部218に出力する。
When using the Bayesian network for the inference engine, the
診断結果通知部218は、故障原因推定部216から入力された診断結果を利用者等に通知する機能である。診断結果の通知は、画像形成装置10の操作パネルに含まれるディスプレイに表示することで行ってもよいし、画像形成装置10と接続する管理コンピュータに表示することで行ってもよい。また、診断結果通知部218は、診断結果を、例えばネットワークを介して接続された管理サーバに送信してもよいし、画像形成装置10により出力して、管理者に通知することとしてもよい。
The diagnosis
図3には、欠陥種類判定部212の詳細な構成を示す。図3に示されるように、欠陥種類判定部212は、標本情報記憶部250、分類器252、ばらつき情報取得部254、特徴量選択部256、距離算出部258、及び分類判定部260を含む。本実施形態では、画像特徴の分類の一形態として欠陥の種類を用いることとするが、画像特徴の分類はこれに限られるものではない。
FIG. 3 shows a detailed configuration of the defect
標本情報記憶部250は、欠陥の種類毎に、その欠陥の種類に該当する画像の標本情報を記憶している。画像の標本情報は、画像データそのものとしてもよいし、画像から抽出された特徴ベクトル等の特徴量情報としてもよい。
The specimen
分類器252は、標本情報記憶部250に記憶された欠陥の種類毎の画像の標本情報に基づいて、欠陥の種類を学習した分類器である。具体的には、分類器252は、特徴量抽出部210により画像から抽出された例えばN個の画像特徴量からなる特徴量ベクトルを用いて、N次元の特徴空間における各欠陥の種類の分布を保持する。そして、分類器252は、処理対象の画像から得られた特徴ベクトルと、特徴空間における欠陥の種類との距離に基づいて、処理対象の画像を分類する欠陥の種類を決定する。
The
図4には、特徴量が3つの場合に、その3つの特徴量(X1,X2,X3)により形成される特徴空間における各欠陥の種類Gi(i=1,2,3,・・・)の分布と、処理対象の画像から得られた特徴ベクトルTとの関係を示した。分類器252は、各欠陥の種類Giの代表ベクトルと、処理対象の画像から得られた特徴ベクトルTとの距離を算出してその距離が最小の欠陥の種類に処理対象の画像を分類する。
In FIG. 4, when there are three feature amounts, each defect type G i (i = 1, 2, 3, 3 ) in the feature space formed by the three feature amounts (X 1 , X 2 , X 3 ). ..)) And the feature vector T obtained from the image to be processed. The
ただし、処理対象の画像から得られた特徴ベクトルと各欠陥の種類との距離が予め定められた閾値を超えてしまう場合には、分類器252では処理対象の画像を分類する欠陥種類が決定されない。本実施形態では、上記のように分類器252により欠陥の種類(分類)が決定されなかった場合には、欠陥の種類毎にN個の特徴量の中から一部の特徴量を選択し、選択した特徴量に基づいて欠陥の種類を再判定することとする。以下、この欠陥の種類の再判定処理に係る機能ブロックについて説明する。
However, if the distance between the feature vector obtained from the processing target image and each defect type exceeds a predetermined threshold, the
ばらつき情報取得部254は、分類器252において学習された欠陥の種類毎に、その欠陥の種類に属する画像の標本情報に基づいて、特徴ベクトルを構成するN個の各特徴量についてのばらつきを表す指標値を取得する。本実施形態では、ばらつきの指標値に標準偏差を用いることとするが、これに限られず、分散、範囲、四分位範囲、平均差、平均絶対偏差等の他の指標値を用いても構わない。
For each defect type learned by the
図5には、ばらつき情報取得部254により欠陥の種類毎に取得されたそれぞれの特徴量の標準偏差を格納したばらつき情報テーブルの一例を示す。図5に示されたばらつき情報テーブルでは、欠陥の種類すなわち分類Gi(i=1,2,・・・,M)と、特徴量Xj(j=1,2,・・・,N)との各々の組み合わせ毎に取得される標準偏差を格納している。なお、図5における、σijとは分類Giにおける特徴量Xjの標準偏差を表している。
FIG. 5 shows an example of a variation information table that stores the standard deviation of each feature quantity acquired for each type of defect by the variation
特徴量選択部256は、欠陥の種類毎に、その欠陥の種類についてばらつき情報取得部254で取得された標準偏差の小さい順に特徴量を選択する。特徴量選択部256により選択される特徴量の数は、予め定めておくこととしてよい。
For each defect type, the feature
図6には、各欠陥の種類について選択された特徴量を示した選択特徴量テーブルの一例を示す。図6に示された選択特徴量テーブルでは、XGiは、欠陥の種類Giについて選択される特徴量の集合を示しており、XGiの要素には、標準偏差の小さい順に1位〜p位の特徴量を選択することとする。 FIG. 6 shows an example of a selected feature amount table showing the feature amounts selected for each defect type. In the selected feature amount table shown in FIG. 6, XG i indicates a set of feature amounts selected for the defect type G i , and elements of XG i have the first to pths in ascending order of standard deviation. The feature amount of the position is selected.
距離算出部258は、欠陥の種類毎に選択された特徴量の集合により構成される特徴空間において、分類対象の特徴ベクトルと各欠陥の種類との距離を算出する。距離算出部258により算出される距離は、マハラノビス距離としてよい。
The
図7には、距離算出部258により算出される距離の情報を格納した距離情報テーブルの一例を示す。図7におけるDklとは、欠陥の種類Gkについて選択された特徴量の集合XGkにより構成される特徴空間における、分類対象の特徴ベクトルと欠陥の種類Glとの距離を表している。なお、k=1,2,・・・,M、l=1,2,・・・,Mである。
FIG. 7 shows an example of a distance information table in which information on distances calculated by the
分類判定部260は、距離算出部258により算出された距離に基づいて、分類対象の特徴ベクトルを分類する欠陥の種類を判定する。具体的には、分類判定部260は、上述した距離情報テーブルに含まれる距離のうち最小の距離に該当する欠陥の種類Glに分類対象の特徴ベクトルを分類するように判定する。このように、欠陥の種類毎にばらつきの小さい特徴量を選択的に用いること、言い換えれば、欠陥の種類を表現するのに適した特徴空間を用いることにより、既存の分類器252により分類が決定されなかった対象の特徴ベクトルに対しても分類が決定される。
The
次に、図8及び図9に示されたフローチャートを参照しながら、本実施形態に係る画像形成装置10により行われる故障診断処理の一連の流れを説明する。
Next, a series of failure diagnosis processing performed by the
図8は、故障診断処理の全体の流れを示したフローチャートである。まず、画像形成装置10は、ユーザによる操作に基づいて故障診断モードを開始し、故障診断用のテストパターンを印刷出力する(S301)。ここで印刷出力するテストパターンは、図1に示した画像形成部100に予め保持されていることとしてよい。画像形成装置10は、印刷出力されたテストパターンを画像読取部102により読み取る(S302)。
FIG. 8 is a flowchart showing the overall flow of the failure diagnosis process. First, the
次に、画像形成装置10は、画像欠陥検出部208により読み取った画像(スキャン画像)と予め記憶されている基準画像とを比較して、スキャン画像から画像欠陥を検出する(S303)。画像形成装置10は、上記処理により画像欠陥が検出されなかった場合には(S304:N)、それ以前に発生した欠陥は偶発的なものであったか、あるいはテストパターン出力前に画像欠陥の発生要因が既に解消された可能性があると判断し、その旨を操作パネルに表示して処理を終了する。一方で、上記処理により画像欠陥が検出された場合には(S304:Y)、画像形成装置10は検出された画像欠陥を含む画像領域から特徴量を抽出する(S305)。
Next, the
画像形成装置10は、上記抽出された特徴量を用いてスキャン画像に含まれる欠陥の種類を判定する(S306)。欠陥の種類の判定処理の詳細については後述する。
The
画像形成装置10は、当該装置を構成する各部品の状態情報や、部品ごとの印刷枚数を示すカウンタ値などの履歴情報、装置内部の温度、湿度などの環境情報といった、故障診断に必要な種々のデータを取得する。また、画像形成装置10は、抽出された各欠陥の特徴量、及び判定された欠陥の種類および上記取得した各種データに基づいて故障原因を推論する(S307)。故障原因の推論は、上記各種データを推論エンジンたるベイジアンネットワークに入力して各故障原因の発生確率を算出することにより行うこととしてよい。
The
画像形成装置10は、上記算出された発生確率に基づいて、故障原因となる確率の高い故障原因候補を抽出する(S308)。なお、抽出する故障原因の候補数は予め定めておいてもよいし、利用者により任意の数を入力して指定できるようにしてもよい。画像形成装置10は、抽出された故障原因を操作パネルに表示して利用者に通知する(S309)。そして、この段階で追加操作情報がなければ(S310:N)、すなわち故障原因候補を絞り込むことができていれば、診断処理を一旦終了し、この段階で追加操作情報があれば(S310:Y)、画像形成装置10は、追加操作情報に従って動作条件を変更してテストパターンを再出力する。
The
再出力されたテストパターンに基づいて、利用者が追加操作情報を画像形成装置10に入力する(S311)。この時の追加操作は、欠陥の発生状態の変化の有無を調べるものであり、例えば画像の拡大・縮小や、イメージパスの各箇所で保持しているテストパターンの出力等としてよい。従って追加操作情報は利用者によって操作パネルに容易に入力されるものとなっている。そして、画像形成装置10は、追加された情報と、既に入力された情報とに基づいて故障原因確率を再計算し、その計算結果から故障候補を絞り込む。ここで故障候補が絞り込めた場合や、追加する情報がない場合は(S310:N)、診断処理を一旦終了する。そして、次の診断対象となる画像領域がある場合は(S312:Y)、S306に戻って欠陥に対応する画像領域に対する故障診断処理を行い、次の診断対象となる画像領域がない場合は(S312:N)、処理を終了する。
Based on the re-output test pattern, the user inputs additional operation information to the image forming apparatus 10 (S311). The additional operation at this time is to examine whether or not the defect occurrence state has changed, and may be, for example, enlargement / reduction of an image, output of a test pattern held at each part of an image path, or the like. Therefore, the additional operation information is easily input to the operation panel by the user. Then, the
図9は、欠陥種類の判定処理のフローチャートである。まず、画像形成装置10は、S304で抽出された特徴量に基づいてスキャン画像(分類対象画像)の特徴ベクトルを生成する(S401)。
FIG. 9 is a flowchart of the defect type determination process. First, the
画像形成装置10は、予め学習された欠陥種類(画像特徴の分類)毎に上記生成された特徴ベクトルとの距離を算出する(S402)。画像形成装置10は、上記距離を算出するにあたり、欠陥種類毎に用意された複数の標本画像から特徴量を抽出し、抽出された特徴量からなる特徴ベクトルの重心を算出しておく。算出された特徴ベクトルの重心を、代表ベクトルとする。そして、画像形成装置10は、分類対象画像について生成された特徴ベクトルと、各欠陥種類の代表ベクトルとの距離を算出する。なお、上記の距離とは特徴空間におけるユークリッド距離を、欠陥種類毎の標本画像の特徴ベクトルの分散で基準化したマハラノビス距離としてよい。
The
次に画像形成装置10は、算出された分類対象の特徴ベクトルと各欠陥種類との距離のうち予め定められた閾値以下のものがあるか否かを判断する(S403)。画像形成装置10は、閾値以下の距離の欠陥種類がないと判断する場合には(S403:N)、未処理の欠陥種類Gi(i=1〜M)のうち1つを選択して(S404)、当該欠陥種類についての特徴量毎の値のばらつきを格納したばらつき情報テーブルを参照して、特徴ベクトルを構成するN個の特徴量のうち標準偏差の小さい順からp個(p<N)の特徴量を選択する(S405)。特徴量の選択数pは、事前に評価を行った結果に基づいて予め定めておくこととしてよい。
Next, the
画像形成装置10は、選択したp個の特徴量により表される特徴空間における各欠陥種類Giと特徴ベクトルとの距離を算出する(S406)。欠陥種類Giに特徴的な特徴量を選択的に利用することで、特徴ベクトルと欠陥種類との距離に実際の相関関係が反映される。
The
画像形成装置10は、未処理の欠陥種類があるか否かを判断し(S407)、未処理の欠陥種類がある場合には(S407:Y)、S404に戻って、それ以降の処理を繰り返す。一方で、画像形成装置10は、未処理の欠陥種類がないと判断する場合には(S407:N)、算出された距離のうち最小の距離に対応する欠陥種類に対象画像を分類する(S408)。また、S403において、画像形成装置10が閾値以下の距離の欠陥種類があると判断する場合にも(S403:Y)、算出された距離のうち最小の距離に対応する欠陥種類に対象画像を分類する(S408)。以上が、画像形成装置10により行われる欠陥種類の判定処理である。
The
もちろん本発明は上記の実施形態に限定されるものではない。例えば上記の実施形態においては、特徴量選択部256により選択される特徴量の数は予め定められていることとしたが、以下のようにして、画像特徴毎に選択する特徴量の数を変更してもよい。ここで図10には、ある画像特徴の分類に関して選択した特徴量の数と対象の特徴ベクトルとの距離を算出したグラフの一例を示した。特徴量選択部256は、図10に示されたグラフにおいて特徴ベクトルの距離が最小となる場合の特徴量の数(p)を、この画像特徴について用いることとする。上記処理は、画像特徴毎に行われるものである。この画像特徴について選択される特徴量の数には、上限や下限等を定めた数値範囲を設定しておくこととしてもよい。
Of course, the present invention is not limited to the above embodiment. For example, in the above embodiment, the number of feature amounts selected by the feature
なお、本実施形態に係る画像形成装置10を構成する各部の機能は、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムが、図示しない媒体読取装置を用いてコンピュータシステムたる画像形成装置10に読み込まれ実行されることで実現されるものとしてよい。このプログラムは情報記憶媒体によって画像形成装置10に供給されることとしてもよいし、インターネット等のデータ通信ネットワークを介して供給されることとしてもよい。また、RAMやROM等のメモリ素子、ハードディスクなどを含んで構成される記憶装置に、中央処理装置によって実行されるプログラムや、各種のデータを保持するものとしてよい。
Note that the functions of each unit constituting the
10 画像形成装置、100 画像形成部、102 画像読取部、104 センサ部、106 診断情報入力部、108 故障診断部、200 部品状態情報取得部、202 内部環境情報取得部、204 消耗材情報取得部、206 履歴情報管理部、208 画像欠陥検出部、210 特徴量抽出部、212 欠陥種類判定部、214 追加操作情報取得部、216 故障原因推定部、216A 推論部、216B 故障候補抽出部、218 診断結果通知部、250 標本情報記憶部、252 分類器、254 ばらつき情報取得部、256 特徴量選択部、258 距離算出部、260 分類判定部。
DESCRIPTION OF
Claims (4)
対象の画像から前記複数の特徴量を取得するとともに、当該取得された特徴量を要素とする特徴ベクトルを生成する生成手段と、
前記画像特徴の分類毎に、当該分類における前記複数の各特徴量のばらつきを取得する取得手段と、
前記画像特徴の分類毎に、当該分類について前記取得手段により取得された前記複数の各特徴量のばらつきに基づいて、前記複数の特徴量から一部の特徴量を選択する選択手段と、
前記選択手段により選択された一部の特徴量に基づいて表される特徴空間における前記生成手段により生成した特徴ベクトルと前記画像特徴の各分類との距離を算出する算出手段と、
前記算出手段により算出された距離の比較結果に基づいて、前記対象の画像が有する画像特徴の分類を判定する分類判定手段と、
を含むことを特徴とする画像特徴分類装置。 Classification learning means for learning the classification of the image features based on a feature vector having a plurality of feature amounts acquired from a sample image prepared for each classification of the image features,
Generating means for acquiring the plurality of feature amounts from the target image and generating a feature vector having the acquired feature amounts as elements;
Obtaining means for obtaining a variation of each of the plurality of feature amounts in the classification for each classification of the image features;
Selection means for selecting a part of the feature quantities from the plurality of feature quantities based on variations of the plurality of feature quantities obtained by the obtaining means for the classification for each classification of the image features;
Calculating means for calculating a distance between the feature vector generated by the generating means and each classification of the image features in a feature space represented based on a part of the feature amount selected by the selecting means;
A classification determination unit that determines a classification of image features of the target image based on a comparison result of distances calculated by the calculation unit;
An image feature classifying device comprising:
ことを特徴とする請求項1に記載の画像特徴分類装置。 The image feature classification apparatus according to claim 1, wherein the selection unit selects a feature amount in ascending order of variation from the plurality of feature amounts.
前記分類判定手段は、前記対象の画像が有する画像特徴の分類を、前記算出手段により算出された最小のマハラノビス距離に対応する画像特徴の分類と判定する
ことを特徴とする請求項1又は2に記載の画像特徴分類装置。 The calculating means calculates a Mahalanobis distance between the feature vector generated by the generating means and each classification of the image features;
The classification determination unit determines the classification of the image feature of the target image as the classification of the image feature corresponding to the minimum Mahalanobis distance calculated by the calculation unit. The image feature classification apparatus described.
対象の画像から前記複数の特徴量を取得するとともに、当該取得された特徴量を要素とする特徴ベクトルを生成する生成手段と、
前記画像特徴の分類毎に、当該分類における前記複数の各特徴量のばらつきを取得する取得手段と、
前記画像特徴の分類毎に、当該分類について前記取得手段により取得された前記複数の各特徴量のばらつきに基づいて、前記複数の特徴量から一部の特徴量を選択する選択手段と、
前記選択手段により選択された一部の特徴量に基づいて表される特徴空間における前記生成手段により生成した特徴ベクトルと前記画像特徴の各分類との距離を算出する算出手段と、
前記算出手段により算出された距離の比較結果に基づいて、前記対象の画像が有する画像特徴の分類を判定する分類判定手段としてコンピュータを機能させることを特徴とするプログラム。 Classification learning means for learning the classification of the image features based on a feature vector having a plurality of feature amounts acquired from a sample image prepared for each classification of the image features,
Generating means for acquiring the plurality of feature amounts from the target image, and generating a feature vector having the acquired feature amounts as elements;
Obtaining means for obtaining a variation of each of the plurality of feature amounts in the classification for each classification of the image features;
Selection means for selecting a part of feature quantities from the plurality of feature quantities based on variations of the plurality of feature quantities obtained by the obtaining means for the classification for each classification of the image features;
Calculating means for calculating a distance between the feature vector generated by the generating means and each classification of the image features in a feature space represented based on a part of the feature amount selected by the selecting means;
A program that causes a computer to function as a classification determination unit that determines a classification of image features of the target image based on a distance comparison result calculated by the calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008233690A JP4844606B2 (en) | 2008-09-11 | 2008-09-11 | Image classification apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008233690A JP4844606B2 (en) | 2008-09-11 | 2008-09-11 | Image classification apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010067068A true JP2010067068A (en) | 2010-03-25 |
| JP4844606B2 JP4844606B2 (en) | 2011-12-28 |
Family
ID=42192595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008233690A Expired - Fee Related JP4844606B2 (en) | 2008-09-11 | 2008-09-11 | Image classification apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4844606B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147141B2 (en) | 2012-01-31 | 2015-09-29 | Hewlett-Packard Development Company, L.P. | Printer sample feature set |
| JP2019101540A (en) * | 2017-11-29 | 2019-06-24 | 大日本印刷株式会社 | Facility diagnostic device, facility diagnostic method, and program |
| US20200045185A1 (en) * | 2018-07-31 | 2020-02-06 | Taku Kodama | Image data generation apparatus, information processing system, image data generation method, and recording medium |
| US10819862B2 (en) | 2018-03-29 | 2020-10-27 | Ricoh Company, Ltd. | Failure diagnosis apparatus, failure diagnosis system, failure diagnosis method, and non-transitory recording medium |
| JP2021174456A (en) * | 2020-04-30 | 2021-11-01 | ボッシュ株式会社 | Abnormality judgment method and abnormality judgment device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07134774A (en) * | 1993-11-09 | 1995-05-23 | Nippon Telegr & Teleph Corp <Ntt> | Feature selection method |
| JPH10289320A (en) * | 1997-02-12 | 1998-10-27 | Fujitsu Ltd | Pattern recognition apparatus and method for performing classification using candidate table |
-
2008
- 2008-09-11 JP JP2008233690A patent/JP4844606B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07134774A (en) * | 1993-11-09 | 1995-05-23 | Nippon Telegr & Teleph Corp <Ntt> | Feature selection method |
| JPH10289320A (en) * | 1997-02-12 | 1998-10-27 | Fujitsu Ltd | Pattern recognition apparatus and method for performing classification using candidate table |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147141B2 (en) | 2012-01-31 | 2015-09-29 | Hewlett-Packard Development Company, L.P. | Printer sample feature set |
| JP2019101540A (en) * | 2017-11-29 | 2019-06-24 | 大日本印刷株式会社 | Facility diagnostic device, facility diagnostic method, and program |
| US10819862B2 (en) | 2018-03-29 | 2020-10-27 | Ricoh Company, Ltd. | Failure diagnosis apparatus, failure diagnosis system, failure diagnosis method, and non-transitory recording medium |
| US20200045185A1 (en) * | 2018-07-31 | 2020-02-06 | Taku Kodama | Image data generation apparatus, information processing system, image data generation method, and recording medium |
| US10798255B2 (en) | 2018-07-31 | 2020-10-06 | Ricoh Company, Ltd. | Image data generation apparatus, information processing system, image data generation method, and recording medium |
| JP2021174456A (en) * | 2020-04-30 | 2021-11-01 | ボッシュ株式会社 | Abnormality judgment method and abnormality judgment device |
| JP7521778B2 (en) | 2020-04-30 | 2024-07-24 | 学校法人梅村学園 | Abnormality determination method and abnormality determination device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4844606B2 (en) | 2011-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4711077B2 (en) | Fault diagnosis system, image forming apparatus, and fault diagnosis program | |
| US8132049B2 (en) | Failure diagnosis method, failure diagnosis apparatus, conveyance device, image forming apparatus, program, and storage medium | |
| JP5413012B2 (en) | Image defect diagnosis system, image forming apparatus, and program | |
| US7903844B2 (en) | Failure analysis system, failure analysis method, and program product for failure analysis | |
| US8249830B2 (en) | Method and system for automatically diagnosing faults in rendering devices | |
| JP4872979B2 (en) | Image processing apparatus, image forming apparatus, and program | |
| JP4710495B2 (en) | Failure diagnosis system, image forming apparatus, and failure diagnosis method | |
| JP4844606B2 (en) | Image classification apparatus and program | |
| US20110064278A1 (en) | System and method to detect changes in image quality | |
| JP5050589B2 (en) | Recording medium, image forming apparatus, image defect position determining apparatus, image forming program, and image defect position determining program | |
| JP2017223892A (en) | Image processing device, image forming apparatus and program | |
| JP7452271B2 (en) | Image forming system, image inspection device, abnormality detection level setting method, and program | |
| JP4631809B2 (en) | Defect classification system, image forming apparatus, and defect classification program | |
| JP6230514B2 (en) | Image defect detection apparatus and method, and program | |
| CN104427183B (en) | Image processing system and its control method | |
| JP2005045585A (en) | Formed image inspection device | |
| US8725872B2 (en) | Information processing apparatus, image forming apparatus, information processing method, image forming method, and computer readable medium | |
| JP2007062288A (en) | Failure diagnosis system, imaging device and failure diagnostic method | |
| JP2008157676A (en) | Color determination device, color determination program, and failure diagnostic device | |
| US11941306B2 (en) | Information processing system | |
| JP4784225B2 (en) | Failure diagnosis apparatus, image forming apparatus, and failure diagnosis method | |
| JP2007133472A (en) | Fault diagnostic device and fault diagnostic method | |
| US20260012541A1 (en) | Diagnostic system, non-transitory computer readable medium, and diagnostic method | |
| US20250294108A1 (en) | Machine learning system, machine learning method, and storage medium | |
| US11595531B2 (en) | System and method for toner classification from device printouts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110913 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110926 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4844606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |