[go: up one dir, main page]

JP2022038102A - Calibration device, calibration method, and calibration program - Google Patents

Calibration device, calibration method, and calibration program Download PDF

Info

Publication number
JP2022038102A
JP2022038102A JP2020142415A JP2020142415A JP2022038102A JP 2022038102 A JP2022038102 A JP 2022038102A JP 2020142415 A JP2020142415 A JP 2020142415A JP 2020142415 A JP2020142415 A JP 2020142415A JP 2022038102 A JP2022038102 A JP 2022038102A
Authority
JP
Japan
Prior art keywords
light
image
spectroscopic
color
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020142415A
Other languages
Japanese (ja)
Other versions
JP7472718B2 (en
Inventor
拓未 内藤
Takumi Naito
政史 金井
Masafumi Kanai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020142415A priority Critical patent/JP7472718B2/en
Publication of JP2022038102A publication Critical patent/JP2022038102A/en
Application granted granted Critical
Publication of JP7472718B2 publication Critical patent/JP7472718B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】色変換による変換誤差が小さい変換行列を算出する校正装置、校正方法、及び校正プログラムを提供する。【解決手段】校正装置40は、第三プロセッサーを備え、第三プロセッサーは、(1)光源部10からの均一光を分光カメラ30で分光測定して測定値を取得することと、(2)光源部10からの均一光を分光光度計20で測定して、基準三刺激値を取得することと、(3)階調値が異なる複数種の単色光及び合成色光のそれぞれについての測定値及び基準三刺激値に基づいて、各単色光及び合成色光のそれぞれについての変換行列を算出することと、(4)算出された変換行列を、光源部10の累積稼働時間を表す情報に関連付けて、分光カメラ30に出力することと、を実行するように構成されており、異なる時間に少なくとも2回上記(1)~(4)を実行する。【選択図】図1A calibration device, a calibration method, and a calibration program for calculating a conversion matrix with a small conversion error due to color conversion are provided. A calibration device (40) includes a third processor, and the third processor (1) spectroscopically measures uniform light from a light source unit (10) with a spectroscopic camera (30) to acquire a measured value; Measure uniform light from the light source unit 10 with a spectrophotometer 20 to obtain reference tristimulus values; (4) associating the calculated conversion matrix with information representing the cumulative operating time of the light source unit 10, and outputting to the spectroscopic camera 30, and performs the above (1) to (4) at least twice at different times. [Selection drawing] Fig. 1

Description

本発明は、校正装置、校正方法、及び校正プログラムに関する。 The present invention relates to a calibration device, a calibration method, and a calibration program.

従来、カメラで測定された測定値を所定の色座標値に変換する変換行列を算出して、カメラの校正を行う校正装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の装置では、光源であるLEDを切り替えて複数種の色光を順次出力し、各色に対して得られる二次元センサーからのRGB値と、分光装置からのXYZ値とを測定し、RGB値とXYZ値に変換する変換行列を算出する。
Conventionally, there is known a calibration device that calibrates a camera by calculating a transformation matrix that converts a measured value measured by a camera into a predetermined color coordinate value (see, for example, Patent Document 1).
In the apparatus described in Patent Document 1, a plurality of types of colored light are sequentially output by switching LEDs as a light source, and the RGB values obtained from the two-dimensional sensor for each color and the XYZ values from the spectroscopic apparatus are measured. , Calculate the transformation matrix to convert to RGB and XYZ values.

特開2015-178995号公報JP-A-2015-178995

しかしながら、特許文献1の校正装置及び校正方法では、光源からの光の色や階調値によらず、同じ変換行列を用いてRGB値をXYZ値に変換する変換処理を行っている。この場合、光源からの光の色や明るさによらず変換誤差が同程度発生してしまい、特に、測定光が暗色である場合に、変換誤差の影響が大きくなる、との課題がある。 However, in the calibration device and calibration method of Patent Document 1, a conversion process of converting an RGB value into an XYZ value is performed using the same conversion matrix regardless of the color and gradation value of the light from the light source. In this case, there is a problem that a conversion error occurs to the same extent regardless of the color and brightness of the light from the light source, and the influence of the conversion error becomes large particularly when the measured light is a dark color.

校正装置は、少なくとも一つのプロセッサーを備えた校正装置であって、前記少なくとも一つのプロセッサーは、(1)光源部からの均一光を校正対象となる分光測定器で分光測定して測定値を取得することと、(2)前記光源部からの前記均一光を校正基準器で測定して分光基準値を取得することと、(3)前記光源部の累積稼働時間を表す情報を取得することと、(4)前記測定値及び前記分光基準値に基づいて、前記測定値を所定の色座標値に色変換する変換行列を算出することと、(5)算出された前記変換行列を、前記累積稼働時間を表す情報に関連付けて、記憶装置に出力することと、を実行するように構成されており、前記光源部は、前記均一光として、複数種の単色光、及び複数種の前記単色光のいくつかを合成した合成色光にそれぞれ切り替え可能、かつ、前記均一光の階調値を変更可能であり、前記少なくとも一つのプロセッサーは、上記(4)において、階調値が異なる複数種の前記単色光及び前記合成色光のそれぞれについての前記測定値及び前記分光基準値に基づいて、各前記単色光及び前記合成色光のそれぞれについての前記変換行列を算出し、異なる時間に少なくとも2回上記(1)~(5)を実行する。 The calibrator is a calibrator equipped with at least one processor, and the at least one processor (1) spectrally measures uniform light from a light source unit with a spectroscopic measuring instrument to be calibrated and acquires a measured value. (2) Measuring the uniform light from the light source unit with a calibration reference device to obtain a spectral reference value, and (3) acquiring information representing the cumulative operating time of the light source unit. , (4) Calculate a conversion matrix for color-converting the measured value to a predetermined color coordinate value based on the measured value and the spectral reference value, and (5) calculate the cumulative conversion matrix. It is configured to output to a storage device in association with information representing an operating time, and the light source unit comprises a plurality of types of monochromatic light and a plurality of types of monochromatic light as the uniform light. It is possible to switch to synthetic color light obtained by synthesizing some of the above, and it is possible to change the gradation value of the uniform light. Based on the measured value and the spectral reference value for each of the monochromatic light and the synthetic color light, the conversion matrix for each of the monochromatic light and the synthetic color light is calculated, and the above (1) is performed at least twice at different times. )-(5).

校正方法は、分光測定器で測定された測定値を所定の色座標値に色変換する変換行列を算出する校正方法であって、(1)均一光として、複数種の単色光、及び複数種の前記単色光のいくつかを合成した合成色光にそれぞれ切り替え可能で、かつ、前記均一光の階調値を変更可能な光源部からの前記均一光を、校正対象となる前記分光測定器で分光測定して前記測定値を取得することと、(2)前記光源部からの前記均一光を校正基準器で測定して分光基準値を取得することと、(3)前記光源部の累積稼働時間を表す情報を取得することと、(4)階調値が異なる複数種の前記単色光及び前記合成色光のそれぞれについての前記測定値及び前記分光基準値に基づいて、各前記単色光及び前記合成色光のそれぞれについての前記変換行列を算出することと、(5)算出された前記変換行列を、前記累積稼働時間を表す情報に関連付けて、記憶装置に出力することと、を実行し、異なる時間に少なくとも2回上記(1)~(5)を実行する。 The calibration method is a calibration method for calculating a conversion matrix that color-converts the measured value measured by the spectroscopic measuring instrument into a predetermined color coordinate value. (1) As uniform light, a plurality of types of monochromatic light and a plurality of types are used. The uniform light from the light source unit, which can be switched to synthetic color light obtained by synthesizing some of the monochromatic light and whose gradation value of the uniform light can be changed, is separated by the spectroscopic measuring instrument to be calibrated. Obtaining the measured value by measuring, (2) measuring the uniform light from the light source unit with a calibration reference device to acquire the spectral reference value, and (3) cumulative operating time of the light source unit. (4) The monochromatic light and the composite based on the measured values and the spectral reference values for each of the plurality of types of the monochromatic light and the synthetic color light having different gradation values. The conversion matrix for each of the colored lights is calculated, and (5) the calculated conversion matrix is associated with the information representing the cumulative operating time and output to the storage device at different times. The above (1) to (5) are executed at least twice.

校正プログラムは、コンピューターにより読み取り実行可能な校正プログラムであって、前記コンピューターに、上記の記載の校正方法を実施させる。 The calibration program is a calibration program that can be read and executed by a computer, and causes the computer to perform the calibration method described above.

第一実施形態の校正システムの概略構成を示す模式図。The schematic diagram which shows the schematic structure of the calibration system of 1st Embodiment. 第一実施形態の校正システムのブロック図。The block diagram of the calibration system of 1st Embodiment. 第一実施形態の分校カメラで色補正を行う様子を示す図。The figure which shows the state of performing the color correction with the branch school camera of 1st Embodiment. 第一実施形態の分光フィルターの一例を示す図。The figure which shows an example of the spectroscopic filter of 1st Embodiment. 第一実施形態の校正装置の校正方法を示すフローチャート。The flowchart which shows the calibration method of the calibration apparatus of 1st Embodiment. 第一実施形態の校正装置の校正方法を示すフローチャート。The flowchart which shows the calibration method of the calibration apparatus of 1st Embodiment. 第一実施形態の表示装置の画像を補正する画像補正処理を示すフローチャート。The flowchart which shows the image correction process which corrects the image of the display device of 1st Embodiment. 第一実施形態の補正点と、表示装置の測定点との関係の一例を示す図。The figure which shows an example of the relationship between the correction point of 1st Embodiment, and the measurement point of a display device.

[第一実施形態]
以下、第一実施形態について説明する。
図1は、第一実施形態の校正システム1の概略構成を示す模式図である。図2は、校正システム1のブロック図である。
図1及び図2に示すように、校正システム1は、光源部10と、校正基準器である分光光度計20と、校正対象である分光カメラ30と、校正装置40とを備えている。
[First Embodiment]
Hereinafter, the first embodiment will be described.
FIG. 1 is a schematic diagram showing a schematic configuration of the calibration system 1 of the first embodiment. FIG. 2 is a block diagram of the calibration system 1.
As shown in FIGS. 1 and 2, the calibration system 1 includes a light source unit 10, a spectrophotometer 20 as a calibration reference device, a spectroscopic camera 30 to be calibrated, and a calibration device 40.

[光源部10の構成]
光源部10は、表示装置11と、積分球12と、を備える。
表示装置11は、画像光を出力する装置である。この表示装置11は、例えばプロジェクターにより構成されている。
表示装置11は、図2に示すように、画像光生成部111、第一通信部112、第一メモリー113、及び第一プロセッサー114を備えて構成されている。
[Structure of light source unit 10]
The light source unit 10 includes a display device 11 and an integrating sphere 12.
The display device 11 is a device that outputs image light. The display device 11 is configured by, for example, a projector.
As shown in FIG. 2, the display device 11 includes an image light generation unit 111, a first communication unit 112, a first memory 113, and a first processor 114.

画像光生成部111は、例えば、光源、光分離素子、液晶パネル、光合成素子、及び投射光学系等を備えて構成されている。
光源は、レーザー光源やハロゲンランプ等により構成されており、画像光を生成するための光を出力する。
光分離素子は、光源から出力された光をR(赤色)、G(緑色)、B(青色)の光に分離する。
液晶パネルは、R,G,Bの各色の光路上にそれぞれ設けられる。この液晶パネルは、複数の画素を有し、画素毎に光の透過率を変更可能な光学素子であり、第一プロセッサー114の制御に基づいて、各画素の光の透過率を変更する。
光合成素子は、液晶パネルを透過した各色の光を合成して、画像光を形成する。
投射光学系は、投射レンズ等を含んで構成され、画像光を外部に出射させる。
The image light generation unit 111 includes, for example, a light source, a light separation element, a liquid crystal panel, a photosynthesis element, a projection optical system, and the like.
The light source is composed of a laser light source, a halogen lamp, or the like, and outputs light for generating image light.
The light separation element separates the light output from the light source into R (red), G (green), and B (blue) light.
The liquid crystal panel is provided on each of the optical paths of each color of R, G, and B. This liquid crystal panel is an optical element having a plurality of pixels and capable of changing the light transmittance for each pixel, and changes the light transmittance of each pixel based on the control of the first processor 114.
The photosynthetic element synthesizes the light of each color transmitted through the liquid crystal panel to form the image light.
The projection optical system is configured to include a projection lens and the like, and emits image light to the outside.

第一通信部112は、分光カメラ30及び校正装置40等の外部機器と通信する。第一通信部112による通信方式は特に限定されず、例えば有線により外部機器に接続されていてもよく、無線通信により外部機器と通信してもよい。 The first communication unit 112 communicates with external devices such as the spectroscopic camera 30 and the calibration device 40. The communication method by the first communication unit 112 is not particularly limited, and may be connected to an external device by wire or may communicate with the external device by wireless communication, for example.

第一メモリー113は、表示装置11を制御する各種プログラムや各種情報を記録する。各種情報としては、校正システム1において、分光カメラ30の校正処理を実施する際に出力する基準画像、外部機器から入力される画像情報に対する光源や液晶パネルの駆動パラメーター等が記録されている。 The first memory 113 records various programs and various information that control the display device 11. As various information, a reference image output when the spectroscopic camera 30 is calibrated in the calibration system 1, a light source for image information input from an external device, a drive parameter of a liquid crystal panel, and the like are recorded.

第一プロセッサー114は、第一メモリー113に記憶された各種プログラムを読み込み実行することで、出力制御部114A、測色指令部114B、画像補正部114Cなどとして機能する。 The first processor 114 functions as an output control unit 114A, a color measurement command unit 114B, an image correction unit 114C, and the like by reading and executing various programs stored in the first memory 113.

出力制御部114Aは、画像光生成部111を制御し、外部機器から入力される画像情報や第一メモリー113に記憶された基準画像に対応する画像光を生成させる。この際、出力制御部114Aは、第一メモリー113に記憶される駆動パラメーターに従って、画像光を生成する。 The output control unit 114A controls the image light generation unit 111 to generate image light corresponding to the image information input from the external device and the reference image stored in the first memory 113. At this time, the output control unit 114A generates image light according to the drive parameters stored in the first memory 113.

測色指令部114Bは、画像光生成部111から画像光が投射対象に投射された際に、分光カメラ30に分光画像の撮像指令と、測定点の位置とを送信する。測定点とは、分光画像上において測色を行う点であり、例えば、複数の測定点がマトリクス状に設定されている。これにより、分光カメラ30により、投射対象に投射された画像光が撮像され、かつ、分光カメラ30において、測定点に対する色変換処理が実施される。 When the image light is projected onto the projection target from the image light generation unit 111, the color measurement command unit 114B transmits an image pickup command of the spectroscopic image and the position of the measurement point to the spectroscopic camera 30. The measurement points are points for performing color measurement on a spectroscopic image, and for example, a plurality of measurement points are set in a matrix. As a result, the image light projected on the projection target is captured by the spectroscopic camera 30, and the spectroscopic camera 30 performs color conversion processing on the measurement point.

画像補正部114Cは、分光カメラ30から測定点に対する測色結果を受信し、受信した測色結果に基づいて、画像光生成部111を駆動させるための駆動パラメーターを補正する。 The image correction unit 114C receives the color measurement result for the measurement point from the spectroscopic camera 30, and corrects the drive parameters for driving the image light generation unit 111 based on the received color measurement result.

積分球12は、内面に、球状の反射面を有する光学部材であり、入射窓121、第一出射窓122、及び第二出射窓123を有する。入射窓121には、表示装置11が接続されており、表示装置11から出力された光が入射される。第一出射窓122には、分光光度計20が接続され、第二出射窓123には、分光カメラ30が接続されている。
積分球12は、表示装置11から入射された画像光を反射面で反射させることで混合して、面内での光量を均一化する。均一化された画像光である均一光は、第一出射窓122から分光光度計20に出射され、第二出射窓123から分光カメラ30に出射される。
The integrating sphere 12 is an optical member having a spherical reflecting surface on the inner surface, and has an incident window 121, a first exit window 122, and a second exit window 123. A display device 11 is connected to the incident window 121, and the light output from the display device 11 is incident. A spectrophotometer 20 is connected to the first exit window 122, and a spectroscopic camera 30 is connected to the second exit window 123.
The integrating sphere 12 mixes the image light incident from the display device 11 by reflecting it on the reflecting surface to make the amount of light in the surface uniform. The uniform light, which is the uniformed image light, is emitted from the first exit window 122 to the spectrophotometer 20, and is emitted from the second exit window 123 to the spectroscopic camera 30.

[分光光度計20の構成]
分光光度計20は、積分球12から出力された画像光を受光し、画像光の分光測定を実施する。この分光光度計20は、校正基準器であり、入射光の正確な分光測定を行って、測定結果として所定の色座標値を出力する装置である。
本実施形態では、分光光度計20は、所定の色座標値として、入射光の三刺激値を出力する。
[Structure of spectrophotometer 20]
The spectrophotometer 20 receives the image light output from the integrating sphere 12 and performs spectrophotometric measurement of the image light. The spectrophotometer 20 is a calibration reference device, which performs accurate spectroscopic measurement of incident light and outputs a predetermined color coordinate value as a measurement result.
In the present embodiment, the spectrophotometer 20 outputs the tristimulus value of the incident light as a predetermined color coordinate value.

[分光カメラ30の構成]
分光カメラ30は、校正システム1で校正対象となる分光測定器であり、積分球12から出力された画像光を受光して、複数の波長に対する分光画像を撮像する。
[Structure of spectroscopic camera 30]
The spectroscopic camera 30 is a spectroscopic measuring instrument to be calibrated by the calibration system 1, and receives image light output from the integrating sphere 12 to capture spectroscopic images for a plurality of wavelengths.

なお、図3に示すように、本実施形態の分光カメラ30は、校正システム1による校正処理が済んだ後、表示装置60の色補正を行うために用いられる。表示装置60は、校正処理で用いられる表示装置11と同様の構成を有している。つまり、表示装置60は、上述した画像光生成部111、第一通信部112、第一メモリー113、及び第一プロセッサー114を備えたプロジェクターである。
より具体的には、分光カメラ30は、表示装置60からスクリーンなどの投射対象70に投射された画像を撮像し、複数の波長に対応する分光画像を取得する。また、分光カメラ30は、測色の対象となる測定点を表示装置60から受信し、校正システム1により設定された変換行列を用いて、分光画像における測定点に対する三刺激値を算出して、表示装置60に送信する。これにより、表示装置60は、測定点に対する三刺激値に基づいて、駆動パラメーターを更新して色補正を行うことが可能となる。
As shown in FIG. 3, the spectroscopic camera 30 of the present embodiment is used to perform color correction of the display device 60 after the calibration process by the calibration system 1 is completed. The display device 60 has the same configuration as the display device 11 used in the calibration process. That is, the display device 60 is a projector including the image light generation unit 111, the first communication unit 112, the first memory 113, and the first processor 114 described above.
More specifically, the spectroscopic camera 30 captures an image projected from the display device 60 onto a projection target 70 such as a screen, and acquires a spectroscopic image corresponding to a plurality of wavelengths. Further, the spectroscopic camera 30 receives the measurement points to be measured in color from the display device 60, calculates the tristimulus values for the measurement points in the spectroscopic image using the transformation matrix set by the calibration system 1, and then calculates the tristimulus values. It is transmitted to the display device 60. As a result, the display device 60 can update the drive parameters and perform color correction based on the tristimulation values for the measurement points.

分光カメラ30は、図2に示すように、入射光学系31、分光フィルター32、撮像部33、第二通信部34、第二メモリー35、及び第二プロセッサー36を備える。
入射光学系31は、画像光が入射される複数のレンズを備えて構成され、入射した画像光を分光フィルター32及び撮像部33に導く。
As shown in FIG. 2, the spectroscopic camera 30 includes an incident optical system 31, a spectroscopic filter 32, an image pickup unit 33, a second communication unit 34, a second memory 35, and a second processor 36.
The incident optical system 31 is configured to include a plurality of lenses into which image light is incident, and guides the incident image light to the spectroscopic filter 32 and the image pickup unit 33.

分光フィルター32は、入射した画像光から所定波長の光を透過させる分光素子である。
図4は、分光フィルター32の一例を示す図である。
本実施形態では、分光フィルター32として、第一基板321と、第二基板322と、第一基板321に設けられる第一反射膜323と、第二基板322に設けられる第二反射膜324と、ギャップ変更部325とを備える、波長可変型のファブリーペローエタロンを用いる。
この分光フィルター32では、第一反射膜323と第二反射膜324とがギャップを介して対向しており、ギャップの寸法に応じた波長の光が分光フィルター32を透過する。
第二基板322は、第二反射膜324が設けられる可動部322Aと、可動部322Aを保持して、第一基板321に対して進退させる保持部322Bとを備える。
また、ギャップ変更部325は、例えば静電アクチュエーター等により構成されており、可動部322Aを第一基板321側に変位させることで、第一反射膜323と第二反射膜324との間のギャップの寸法を変更する。これにより、分光フィルター32を透過する光の波長も変化する。
The spectroscopic filter 32 is a spectroscopic element that transmits light having a predetermined wavelength from the incident image light.
FIG. 4 is a diagram showing an example of the spectroscopic filter 32.
In the present embodiment, as the spectroscopic filter 32, the first substrate 321 and the second substrate 322, the first reflective film 323 provided on the first substrate 321 and the second reflective film 324 provided on the second substrate 322 are used. A tunable Fabry-Perot Etalon equipped with a gap changing unit 325 is used.
In this spectroscopic filter 32, the first reflective film 323 and the second reflective film 324 face each other through a gap, and light having a wavelength corresponding to the size of the gap passes through the spectroscopic filter 32.
The second substrate 322 includes a movable portion 322A provided with the second reflective film 324, and a holding portion 322B that holds the movable portion 322A and moves it back and forth with respect to the first substrate 321.
Further, the gap changing portion 325 is configured by, for example, an electrostatic actuator or the like, and by displacing the movable portion 322A toward the first substrate 321 side, the gap between the first reflective film 323 and the second reflective film 324 is formed. Change the dimensions of. As a result, the wavelength of the light transmitted through the spectroscopic filter 32 also changes.

撮像部33は、複数の撮像画素を有し、分光フィルター32の第一反射膜323及び第二反射膜324を透過した光を受光して、分光画像を撮像する。 The image pickup unit 33 has a plurality of image pickup pixels, receives light transmitted through the first reflection film 323 and the second reflection film 324 of the spectroscopic filter 32, and captures a spectroscopic image.

第二通信部34は、表示装置11,60や校正装置40等の外部機器と通信する。第二通信部34の通信方式は特に限定されず、有線接続されていてもよく、無線通信接続であってもよい。 The second communication unit 34 communicates with an external device such as the display devices 11 and 60 and the calibration device 40. The communication method of the second communication unit 34 is not particularly limited, and may be a wired connection or a wireless communication connection.

第二メモリー35は、分光カメラ30を制御する各種情報を記憶する記録部である。具体的には、第二メモリー35は、校正装置40により生成された変換行列、分光フィルター32を駆動させる駆動テーブル等を記録する。また、第二メモリー35には、分光カメラ30を制御する各種プログラムが記録されている。なお、変換行列の詳細な説明は後述する。 The second memory 35 is a recording unit that stores various information that controls the spectroscopic camera 30. Specifically, the second memory 35 records a transformation matrix generated by the calibration device 40, a drive table for driving the spectroscopic filter 32, and the like. Further, various programs for controlling the spectroscopic camera 30 are recorded in the second memory 35. A detailed description of the transformation matrix will be described later.

第二プロセッサー36は、第二メモリー35に記憶されたプログラムを読み込み実行することで、撮像制御部361、表示情報取得部362、補間部363、色補正部364として機能する。
撮像制御部361は、駆動テーブルに基づいて分光フィルター32を制御し、分光フィルター32を透過する光の波長を切り替える。また、撮像部33の露光制御を行って、分光画像を撮像させる。
The second processor 36 functions as an image pickup control unit 361, a display information acquisition unit 362, an interpolation unit 363, and a color correction unit 364 by reading and executing a program stored in the second memory 35.
The image pickup control unit 361 controls the spectroscopic filter 32 based on the drive table, and switches the wavelength of the light transmitted through the spectroscopic filter 32. Further, the exposure control of the image pickup unit 33 is performed to capture a spectroscopic image.

表示情報取得部362は、表示装置60から、表示装置60の累積稼働時間を取得するとともに、表示装置60から出力される画像の色を測定色として取得する。
補間部363は、表示装置60から分光画像における測定点が指定された際に、第二メモリー35に記憶された所定の補正点を用いて、測定点に対する変換行列を内挿補間により算出する。補正点とは、撮像部33が撮像した撮像画像上において変換行列を生成する点であり、複数の補正点がマトリクス状に設定されている。
色補正部364は、変換行列を用いて、分光画像の所定位置の色を補正する。具体的には、色補正部364は、分光画像の所定位置に対する測定値を補正して三刺激値に色変換する。
The display information acquisition unit 362 acquires the cumulative operating time of the display device 60 from the display device 60, and acquires the color of the image output from the display device 60 as the measurement color.
When the measurement point in the spectroscopic image is designated by the display device 60, the interpolation unit 363 calculates the transformation matrix for the measurement point by interpolation using the predetermined correction point stored in the second memory 35. The correction points are points that generate a transformation matrix on the captured image captured by the imaging unit 33, and a plurality of correction points are set in a matrix.
The color correction unit 364 corrects the color at a predetermined position of the spectroscopic image by using the transformation matrix. Specifically, the color correction unit 364 corrects the measured value with respect to a predetermined position of the spectroscopic image and color-converts it into a tristimulation value.

[校正装置40の構成]
校正装置40は、例えば、コンピューターによって構成され、図2に示すように、第三通信部41、第三メモリー42、第三プロセッサー43等を含んでいる。第三プロセッサー43は、少なくとも一つのプロセッサーによって構成されていればよく、複数のプロセッサーを含んだ構成であってもよい。
第三通信部41は、表示装置11、分光光度計20、及び分光カメラ30に接続されており、これらの表示装置11、分光光度計20、及び分光カメラ30と通信する。
第三メモリー42は、校正装置40に校正処理を実施させる校正プログラム等の各種プログラムや各種データ等を記憶する。
第三プロセッサー43は、第三メモリー42に記録された校正プログラムを読み取り実行することで、光出力指令部431、対象色選択部432、測定値取得部433、基準値取得部434、露光補正部435、階調値抽出部436、正規化処理部437、行列算出部438、及び稼働時間取得部439、として機能する。
[Configuration of calibration device 40]
The calibration device 40 is composed of, for example, a computer, and includes a third communication unit 41, a third memory 42, a third processor 43, and the like, as shown in FIG. The third processor 43 may be configured by at least one processor, and may be configured to include a plurality of processors.
The third communication unit 41 is connected to the display device 11, the spectrophotometer 20, and the spectroscopic camera 30, and communicates with these display devices 11, the spectrophotometer 20, and the spectroscopic camera 30.
The third memory 42 stores various programs such as a calibration program and various data for causing the calibration device 40 to perform the calibration process.
The third processor 43 reads and executes the calibration program recorded in the third memory 42, thereby reading and executing the optical output command unit 431, the target color selection unit 432, the measured value acquisition unit 433, the reference value acquisition unit 434, and the exposure compensation unit. It functions as 435, a gradation value extraction unit 436, a normalization processing unit 437, a matrix calculation unit 438, and an operating time acquisition unit 439.

光出力指令部431は、表示装置11に、複数の基準画像に対応する画像光の出力を指令する。基準画像は、全画素が所定色により構成される画像である。本実施形態では、所定色が単一色である複数種の単色基準画像と、所定色が複数の単一色を合成した色である合成色基準画像とを用いる。より具体的には、単色基準画像は、赤色、緑色、及び青色の各色の単色基準画像である。また、合成色基準画像は、赤色、緑色、及び青色の階調値を同量に設定したグレー画像である。また、光出力指令部431は、各単色基準画像、及び合成色基準画像に関して、階調値がそれぞれ異なる複数の画像の出力を指令する。例えば、本実施形態では、赤色、緑色、及び青色の単色基準画像に関して、階調値が異なる7パターンの単色基準画像を出力させ、グレーの合成色基準画像に関しては、階調値が異なる8パターンの合成色基準画像を出力させる。 The optical output command unit 431 commands the display device 11 to output image light corresponding to a plurality of reference images. The reference image is an image in which all pixels are composed of predetermined colors. In the present embodiment, a plurality of types of single color reference images in which a predetermined color is a single color and a composite color reference image in which a predetermined color is a composite of a plurality of single colors are used. More specifically, the monochromatic reference image is a monochromatic reference image of each color of red, green, and blue. The composite color reference image is a gray image in which the gradation values of red, green, and blue are set to the same amount. Further, the optical output command unit 431 commands the output of a plurality of images having different gradation values for each single color reference image and the composite color reference image. For example, in the present embodiment, seven patterns of single color reference images having different gradation values are output for the red, green, and blue single color reference images, and eight patterns having different gradation values are output for the gray composite color reference image. Outputs the composite color reference image of.

表示装置11は、光出力指令部431から上記の指令が入力されると、指令に応じた基準画像の画像光を出力する。この画像光は、積分球12によって均一化されて均一光となる。このため、光源部10は、均一光として、単色基準画像に対応する複数種の単色光と、合成色基準画像に対応する合成色光、即ち複数種の単色光のいくつかを合成した合成色光とにそれぞれ切り替え可能であり、かつ、均一光の階調値を変更することが可能である。 When the above command is input from the light output command unit 431, the display device 11 outputs the image light of the reference image in response to the command. This image light is homogenized by the integrating sphere 12 to become uniform light. Therefore, as uniform light, the light source unit 10 includes a plurality of types of monochromatic light corresponding to the monochromatic reference image and synthetic color light corresponding to the synthetic color reference image, that is, synthetic color light obtained by synthesizing some of the plurality of types of monochromatic light. It is possible to switch to and change the gradation value of uniform light.

対象色選択部432は、変換行列の算出対象となる色を選択する。
測定値取得部433は、分光カメラ30に対して、分光画像の撮像を指令する分光測定指令を送信し、分光カメラ30から分光画像を受信する。分光測定器である分光カメラ30から得られる分光画像は、分光測定による測定結果であり、本開示の測定値を含む。すなわち、分光画像の各画素の階調値が本開示の測定値に相当する。分光カメラ30は、分光測定指令を受信すると、分光フィルター32の透過波長を順次切り替えて、各波長に対する撮像画像である分光画像を撮像する。この際、1つの基準画像の画像光に対して複数の波長に対応する分光画像を取得する。つまり、表示装置11から出射される画像光の色が切り替えられる毎に、複数の波長の分光画像が撮像される。例えば、本実施形態では、上述のように、表示装置11に29色の基準画像を順次出力するように指令が出され、各基準画像に対して16バンドの分光画像を取得する場合、29×16個の分光画像が得られる。
The target color selection unit 432 selects a color to be calculated by the transformation matrix.
The measurement value acquisition unit 433 transmits a spectroscopic measurement command for commanding the imaging of the spectroscopic image to the spectroscopic camera 30, and receives the spectroscopic image from the spectroscopic camera 30. The spectroscopic image obtained from the spectroscopic camera 30 which is a spectroscopic measuring instrument is a measurement result by spectroscopic measurement and includes the measured values of the present disclosure. That is, the gradation value of each pixel of the spectroscopic image corresponds to the measured value of the present disclosure. Upon receiving the spectroscopic measurement command, the spectroscopic camera 30 sequentially switches the transmission wavelength of the spectroscopic filter 32 to capture a spectroscopic image which is an image captured for each wavelength. At this time, a spectroscopic image corresponding to a plurality of wavelengths is acquired with respect to the image light of one reference image. That is, each time the color of the image light emitted from the display device 11 is switched, a spectroscopic image having a plurality of wavelengths is captured. For example, in the present embodiment, as described above, when a command is issued to sequentially output a reference image of 29 colors to the display device 11 and a 16-band spectroscopic image is acquired for each reference image, 29 × 16 spectroscopic images are obtained.

基準値取得部434は、分光光度計20に対して、基準値測定指令を出力し、測定結果である分光基準値を取得する。本実施形態では、分光光度計20により測定される入射光の三刺激値が分光基準値となる。 The reference value acquisition unit 434 outputs a reference value measurement command to the spectrophotometer 20 and acquires the spectral reference value which is the measurement result. In the present embodiment, the tristimulus value of the incident light measured by the spectrophotometer 20 is the spectroscopic reference value.

露光補正部435は、分光画像の各画素の階調値を、分光カメラ30の撮像部33で画像光を撮像した際の露光時間で除算して補正する。
なお、本実施形態では、分光カメラ30は、撮像部33で画像光を撮像した際の露光時間を計測し、分光画像に関連付けて校正装置40に出力する。露光補正部435は、測定値取得部433により分光画像とともに受信した露光時間に基づいて、分光画像の各画素の階調値を補正する。
The exposure compensation unit 435 corrects the gradation value of each pixel of the spectroscopic image by dividing it by the exposure time when the image light is captured by the image pickup unit 33 of the spectroscopic camera 30.
In the present embodiment, the spectroscopic camera 30 measures the exposure time when the image light is captured by the image pickup unit 33, associates it with the spectroscopic image, and outputs it to the calibration device 40. The exposure compensation unit 435 corrects the gradation value of each pixel of the spectroscopic image based on the exposure time received together with the spectroscopic image by the measurement value acquisition unit 433.

階調値抽出部436は、複数の分光画像における所定の補正点の階調値を測定値として抽出する。この補正点は、変換行列を生成する対象座標を示している。なお、補正点の数及び位置は、予め設定されており、第三メモリー42に記憶されている。
また、階調値抽出部436は、補正点の測定値の抽出に関し、ノイズの影響を抑制するため、補正点と、その周囲画素との階調値を取得し、これらの画素の階調値の平均を補正点に対する測定値とする。
The gradation value extraction unit 436 extracts the gradation value of a predetermined correction point in a plurality of spectroscopic images as a measured value. This correction point indicates the target coordinates for generating the transformation matrix. The number and positions of the correction points are set in advance and are stored in the third memory 42.
Further, the gradation value extraction unit 436 acquires the gradation values of the correction points and the peripheral pixels thereof in order to suppress the influence of noise in extracting the measured values of the correction points, and the gradation values of these pixels. Let the average of be the measured value for the correction point.

正規化処理部437は、補正点に対する測定値、及び分光基準値を、表示装置11から出力される画像光の輝度値を用いて正規化する。
行列算出部438は、正規化された測定値、及び分光基準値を用いて、測定値を分光基準値に変換するための変換行列を、赤色、緑色、青色、及びグレーの色毎に算出する。なお、本実施形態の変換行列は、分光画像の補正点の階調値を、三刺激値に変換する色変換行列である。
稼働時間取得部439は、表示装置11の累積稼働時間を表示装置11から取得する。表示装置11の累積稼働時間は、光源部10の累積稼働時間に相当する。
The normalization processing unit 437 normalizes the measured value for the correction point and the spectral reference value by using the brightness value of the image light output from the display device 11.
The matrix calculation unit 438 calculates a transformation matrix for converting the measured value into the spectral reference value for each of the red, green, blue, and gray colors by using the normalized measured value and the spectral reference value. .. The transformation matrix of the present embodiment is a color transformation matrix that converts the gradation value of the correction point of the spectral image into a tristimulus value.
The operating time acquisition unit 439 acquires the cumulative operating time of the display device 11 from the display device 11. The cumulative operating time of the display device 11 corresponds to the cumulative operating time of the light source unit 10.

[校正方法]
本実施形態の校正システム1は、校正対象である分光カメラ30で使用される変換行列を生成する。
図5A及び図5Bは、本実施形態の校正方法を示すフローチャートである。
分光カメラ30の校正処理、つまり、変換行列の生成処理において、まず、校正作業者は、図1に示すように、表示装置11、分光光度計20、及び分光カメラ30を積分球12に接続し、校正装置40に校正処理の開始を指令する。
なお、表示装置11が出力する画像光の色は、経時変化が起こり得るため、本実施形態の校正処理では、表示装置11の累積稼働時間に応じた変換行列を生成する。このため、校正システム1は、校正開始時においてほぼ未使用状態の表示装置11を長時間に亘って稼働させつつ、周期的に校正処理を実行する。つまり、校正装置40は、各色の変換行列を生成する処理を、異なる時間に少なくとも2回実行する。
[Calibration method]
The calibration system 1 of the present embodiment generates a transformation matrix used in the spectroscopic camera 30 to be calibrated.
5A and 5B are flowcharts showing the calibration method of the present embodiment.
In the calibration process of the spectroscopic camera 30, that is, the generation process of the transformation matrix, the calibration worker first connects the display device 11, the spectrophotometer 20, and the spectroscopic camera 30 to the integrating sphere 12, as shown in FIG. , Instruct the calibration device 40 to start the calibration process.
Since the color of the image light output by the display device 11 may change with time, in the calibration process of the present embodiment, a conversion matrix corresponding to the cumulative operating time of the display device 11 is generated. Therefore, the calibration system 1 periodically executes the calibration process while operating the display device 11 in a substantially unused state at the start of calibration for a long period of time. That is, the calibration device 40 executes the process of generating the transformation matrix of each color at least twice at different times.

校正装置40の第三プロセッサー43は、まず、累積稼働時間変数rtを初期化してrt=1とする(ステップS1)。累積稼働時間変数rtとは、表示装置11の累積稼働時間に応じた変数である。累積稼働時間変数rtは、校正処理を実行する周期ごとに1が加算され、累積稼働時間変数rtが所定の最大値RTmaxに達するまで校正処理が繰り返される。例えば、校正処理を、累積稼働時間が10000時間に達するまで1000時間毎に実行する場合には、累積稼働時間変数rtの最大値RTmaxは、10に設定される。 First, the third processor 43 of the calibration device 40 initializes the cumulative operating time variable rt so that rt = 1 (step S1). The cumulative operating time variable rt is a variable corresponding to the cumulative operating time of the display device 11. The cumulative operating time variable rt is incremented by 1 for each cycle in which the calibration process is executed, and the calibration process is repeated until the cumulative operating time variable rt reaches a predetermined maximum value RTmax. For example, when the calibration process is executed every 1000 hours until the cumulative operating time reaches 10,000 hours, the maximum value RTmax of the cumulative operating time variable rt is set to 10.

次に、第三プロセッサー43は、画像光の色を示すカラー変数cを初期化してc=1とする(ステップS2)。なお、カラー変数cの最大値はCmaxである。上述したように、本実施形態では、表示装置11から赤色、緑色、青色、及びグレーの基準画像を表示させる。ここで、カラー変数と、基準画像の色とは予め対応付けられており、c=CR1~CRMが赤色の基準画像に対応し、c=CG1~CGMが緑色の基準画像に対応し、c=CB1~CBMが青色の基準画像に対応し、c=CK1~CKMがグレーの基準画像に対応ものとする。
例えば、赤色、緑色、及び青色の単色基準画像の階調値をそれぞれ7パターンで変化させ、グレーの合成色基準画像の階調値をそれぞれ8パターンで変化させる場合では、Cmax=29である。また、例えば、CR1=1、CRM=7として、c=1~7を赤色に対応する変数とし、CG1=8、CGM=14として、c=8~14を緑色に対応する変数とし、CB1=15、CBM=21として、c=15~21を青色に対応する変数とし、CK1=22、CKM=Cmax=29として、c=22~29をグレーに対応する変数とすることができる。
Next, the third processor 43 initializes the color variable c indicating the color of the image light to set c = 1 (step S2). The maximum value of the color variable c is C max . As described above, in the present embodiment, the red, green, blue, and gray reference images are displayed from the display device 11. Here, the color variable and the color of the reference image are associated in advance, and c = CR1 to CRM correspond to the red reference image, and c = C G1 to CGM correspond to the green reference image. Then, c = C B1 to C BM correspond to the blue reference image, and c = C K1 to C KM correspond to the gray reference image.
For example, when the gradation values of the red, green, and blue single color reference images are changed by 7 patterns each, and the gradation values of the gray composite color reference image are changed by 8 patterns each, C max = 29. .. Further, for example, C R1 = 1, CRM = 7, c = 1 to 7 are variables corresponding to red, C G1 = 8, C GM = 14, and c = 8 to 14 are variables corresponding to green. C B1 = 15, C BM = 21, c = 15 to 21 are variables corresponding to blue, C K1 = 22, C KM = C max = 29, and c = 22 to 29 are gray. It can be a variable.

そして、光出力指令部431は、表示装置11に対してカラー変数cに対応する基準画像の画像光を出射させる旨の出力指令を送信する(ステップS3)。ステップS3により校正装置40から表示装置11に画像光の出力指令が入力されると、表示装置11の出力制御部114Aは、駆動パラメーターに基づいて画像光生成部111を制御し、カラー変数cに対応した色の画像光を生成して積分球12に出射する。なお、ステップS3で表示装置11から出力される各画像光は、表示装置11の色補正を行う場合に用いられる色の基準画像である。 Then, the optical output command unit 431 transmits an output command to the display device 11 to emit the image light of the reference image corresponding to the color variable c (step S3). When an image light output command is input from the calibration device 40 to the display device 11 in step S3, the output control unit 114A of the display device 11 controls the image light generation unit 111 based on the drive parameters and sets the color variable c. Image light of the corresponding color is generated and emitted to the integrating sphere 12. Each image light output from the display device 11 in step S3 is a color reference image used when performing color correction of the display device 11.

また、校正装置40の基準値取得部434は、分光光度計20に対して基準値測定指令を出力する(ステップS4)。これにより、分光光度計20は、光源部10の積分球12から出射される均一光の分光測定を実施して、分光基準値である三刺激値xCを出力する。分光基準値である三刺激値xCを、以降、基準三刺激値xCと称する。
基準値取得部434は、分光光度計20から基準三刺激値xCを取得し(ステップS5)、第三メモリー42に記憶する。
Further, the reference value acquisition unit 434 of the calibration device 40 outputs a reference value measurement command to the spectrophotometer 20 (step S4). As a result, the spectrophotometer 20 performs spectroscopic measurement of the uniform light emitted from the integrating sphere 12 of the light source unit 10 and outputs a tristimulus value x C which is a spectral reference value. The tristimulation value x C , which is a spectral reference value, is hereinafter referred to as a reference tristimulation value x C.
The reference value acquisition unit 434 acquires the reference tristimulation value x C from the spectrophotometer 20 (step S5) and stores it in the third memory 42.

さらに、校正装置40の測定値取得部433は、分光カメラ30に対して分光測定指令を出力する(ステップS6)。
これにより、分光カメラ30は、光源部10の積分球12から出射される均一光の画像光を撮像し、分光画像を得る。具体的には、撮像制御部361は、分光フィルター32を透過させる光の波長を、複数の波長に切り替え、各波長に対する分光画像をそれぞれ取得する。
ここで、カラー変数cの画像光に対する波長λaの分光画像をD0(x,y,c,λa)とする。なお、(x,y)は、分光画像の画素位置を示す。また、aは、分光画像の波長に対応する変数であり、最大値はamaxである。例えば、400nm~700nmを20nm間隔で16バンドの分光画像を撮像する場合、amax=16、λ1=400nm、λ16=700nmであり、D0(x,y,c,λ1)からD0(x,y,c,λ16)の16個の分光画像が得られる。
この際、分光カメラ30は、各波長の分光画像を撮像した際の、撮像部33への画像光の露光時間t(c,λa)をそれぞれ計測し、撮像された分光画像と関連付けて校正装置40に送信する。
校正装置40の測定値取得部433は、分光カメラ30から分光画像DC0(x,y,c,λa)を取得し(ステップS7)、第三メモリー42に記憶する。
Further, the measured value acquisition unit 433 of the calibration device 40 outputs a spectroscopic measurement command to the spectroscopic camera 30 (step S6).
As a result, the spectroscopic camera 30 captures the image light of the uniform light emitted from the integrating sphere 12 of the light source unit 10 to obtain a spectroscopic image. Specifically, the image pickup control unit 361 switches the wavelength of the light transmitted through the spectroscopic filter 32 to a plurality of wavelengths, and acquires a spectroscopic image for each wavelength.
Here, let D 0 (x, y, c, λ a ) be a spectroscopic image of the wavelength λ a with respect to the image light of the color variable c. Note that (x, y) indicates the pixel position of the spectroscopic image. Further, a is a variable corresponding to the wavelength of the spectroscopic image, and the maximum value is a max . For example, when a 16-band spectroscopic image is taken at intervals of 20 nm from 400 nm to 700 nm, a max = 16, λ 1 = 400 nm, λ 16 = 700 nm, and D 0 (x, y, c, λ 1 ) to D. 16 spectroscopic images of 0 (x, y, c, λ 16 ) are obtained.
At this time, the spectroscopic camera 30 measures the exposure time t (c, λ a ) of the image light to the image pickup unit 33 when the spectroscopic image of each wavelength is captured, and calibrates it in association with the captured spectroscopic image. It is transmitted to the device 40.
The measured value acquisition unit 433 of the calibration device 40 acquires the spectroscopic image DC0 (x, y, c, λ a ) from the spectroscopic camera 30 (step S7) and stores it in the third memory 42.

次に、光出力指令部431は、カラー変数cが、表示装置11から出力する画像光の最大値Cmaxに達したか否かを判定する(ステップS8)、ステップS8でNOである場合、変数cに1を加算して、ステップS3に戻る。つまり、表示装置11から出力する画像光の色を変更して、ステップS3からステップS7の処理を繰り返す。 Next, the optical output command unit 431 determines whether or not the color variable c has reached the maximum value C max of the image light output from the display device 11 (step S8), and if NO in step S8, Add 1 to the variable c and return to step S3. That is, the color of the image light output from the display device 11 is changed, and the processes of steps S3 to S7 are repeated.

ステップS8でYESと判定されると、ステップS9からステップS14による行列算出ステップを実施する。具体的には、露光補正部435は、下記式(1)に示すように、分光画像D0(x,y,c,λa)を、露光時間t(c,λa)で除算して露光補正し、補正分光画像D(x,y,c,λa)を得る(ステップS9)。これにより、各画像光を各波長で撮像する際の露光時間の違いによる光量の変動が補正される。 If YES is determined in step S8, the matrix calculation step according to steps S9 to S14 is carried out. Specifically, the exposure compensation unit 435 divides the spectroscopic image D 0 (x, y, c, λ a ) by the exposure time t (c, λ a ) as shown in the following equation (1). Exposure correction is performed to obtain a corrected spectroscopic image D (x, y, c, λ a ) (step S9). As a result, fluctuations in the amount of light due to differences in the exposure time when capturing each image light at each wavelength are corrected.

Figure 2022038102000002
Figure 2022038102000002

次に、階調値抽出部436は、各分光画像から、変換行列を算出する対象位置である補正点(xi,yj)に対する測定値s(i,j,c,λa)を抽出する(ステップS10)。具体的には、階調値抽出部436は、各分光画像から、|x-xi|≦Δ、|y-yj|≦Δとなる画素の階調値{s(c,λa)}i,jを抽出する。Δは、予め設定された値であり、例えば、補正点から1画素内の画素を抽出する場合は、Δ=1である。そして、これらの画素の階調値の平均値を算出して、測定値s(i,j,c,λa)とする。 Next, the gradation value extraction unit 436 extracts the measured values s (i, j, c, λ a ) with respect to the correction point ( xi , y j ), which is the target position for calculating the transformation matrix, from each spectroscopic image. (Step S10). Specifically, the gradation value extraction unit 436 determines the gradation value {s (c, λ a ) of the pixel such that | x-x i | ≤Δ, | y-y j | ≤Δ from each spectroscopic image. } Extract i and j . Δ is a preset value, and for example, when extracting a pixel within one pixel from a correction point, Δ = 1. Then, the average value of the gradation values of these pixels is calculated and used as the measured value s (i, j, c, λ a ).

ここで、以降の説明にあたり、以下のように、分光画像における測定値sCと、基準三刺激値xCと、を定義する。 Here, in the following description, the measured value s C and the reference tristimulation value x C in the spectroscopic image are defined as follows.

Figure 2022038102000003
Figure 2022038102000003

この後、対象色選択部432は、変換行列の算出対象となる色(対象色)を選択する(ステップS11)。例えば、赤色、緑色、青色、グレーの順に変換行列を算出する場合、最初にc=CR1~CRMの赤色の基準画像を対象色として選択する。
次に、正規化処理部437は、ステップS11で選択された対象色に関して、測定値sC及び基準三刺激値xCを、表示装置11からカラー変数cの画像光を出力した際の、画像光の輝度値LCで除算して正規化する(ステップS12)。具体的には、正規化処理部437は、下記式(2)~(9)に示すように、正規化処理を実施する。
After that, the target color selection unit 432 selects a color (target color) to be calculated in the transformation matrix (step S11). For example, when calculating the transformation matrix in the order of red, green, blue, and gray, first, the red reference image of c = CR1 to CRM is selected as the target color.
Next, the normalization processing unit 437 outputs the measured value s C and the reference tristimulation value x C with respect to the target color selected in step S11, and the image when the image light of the color variable c is output from the display device 11. The light brightness value is divided by LC and normalized (step S12). Specifically, the normalization processing unit 437 carries out the normalization processing as shown in the following equations (2) to (9).

Figure 2022038102000004
Figure 2022038102000004

つまり、ステップS11で選択される対象色が赤色である場合、正規化処理部437は、赤色の1つの基準画像に関し、各波長(λ1~λamax)に対応する分光画像の各補正点の測定値sCを、その基準画像の輝度値LCで除算する。正規化処理部437は、これを、表示装置11から出力した赤色の各基準画像のそれぞれについて算出して、式(2)により赤色に対する正規化測定値ARを求める。また、正規化処理部437は、赤色の1つの画像光を分光光度計20で測定した基準三刺激値xCを、その画像光の輝度値LCで除算し、これを表示装置11から出力した赤色の各画像光のそれぞれについて算出して、式(3)により赤色に対する正規化基準値BRを求める。
緑色、青色、及びグレーについても同様である。ステップS11で緑色が選択された場合は、式(4)及び式(5)により、緑色に対する正規化測定値AG及び正規化基準値BGを求める。ステップS11で青色が選択された場合は、式(6)及び式(7)により、青色に対する正規化測定値AB及び正規化基準値BBを求める。また、ステップS11でグレーが選択された場合では、式(8)及び式(9)により、グレーに対する正規化測定値AK及び正規化基準値BKを求める。
よって、赤色の正規化測定値ARは、amax×(CRM-CR1+1)の行列、緑色の正規化測定値AGは、amax×(CGM-CG1+1)の行列、青色の正規化測定値ABは、amax×(CBM-CB1+1)の行列、グレーの正規化測定値AKは、amax×(CKM-CK1+1)の行列となる。また、赤色の正規化基準値BRは、3×(CRM-CR1+1)の行列、緑色の正規化基準値BGは、3×(CGM-CG1+1)の行列、青色の正規化基準値BBは、3×(CBM-CB1+1)の行列、グレーの正規化基準値BKは、3×(CKM-CK1+1)の行列となる。また、これらの正規化測定値AR,AG,AB,AK及び正規化基準値BR,BG,BB,BKは、補正点の数だけ算出される。
以上の後、行列算出部438は、以下の式(10)から式(13)に基づいて、測定値を三刺激値に変換する変換行列MC(i,j)を算出する(ステップS13)。なお、変換行列MC(i,j)の添え字の「C」は、補正対象の色を示すものであり、赤色の場合C=R、緑色の場合C=G、青色の場合C=G、グレーの場合C=Kである。
That is, when the target color selected in step S11 is red, the normalization processing unit 437 has the correction point of each correction point of the spectral image corresponding to each wavelength (λ 1 to λ amax ) with respect to one reference image of red. The measured value s C is divided by the brightness value L C of the reference image. The normalization processing unit 437 calculates this for each of the red reference images output from the display device 11, and obtains the normalized measurement value AR for red by the equation (2). Further, the normalization processing unit 437 divides the reference tristimulus value x C measured by the spectrophotometer 20 for one red image light by the luminance value L C of the image light, and outputs this from the display device 11. It is calculated for each of the red image lights, and the normalization reference value BR for the red color is obtained by the equation (3).
The same applies to green, blue, and gray. When green is selected in step S11, the normalized measurement value AG and the normalized reference value BG for green are obtained by the equations (4) and (5). When blue is selected in step S11, the normalized measurement value AB and the normalized reference value B B for blue are obtained by the equations (6) and (7). When gray is selected in step S11, the normalized measurement value AK and the normalized reference value BK for gray are obtained by the equations (8) and (9).
Therefore, the red normalized measurement value A R is a matrix of a max × ( CRM -C R1 +1), and the green normalized measurement value A G is a matrix of a max × (C GM -C G1 +1). The blue normalized measurement value A B is a matrix of a max × (C BM − C B1 +1), and the gray normalized measurement value A K is a matrix of a max × (C KM − C K1 +1). The red normalization reference value B R is a 3 × ( CRM -C R1 +1) matrix, and the green normalization reference value B G is a 3 × (C GM -C G1 +1) matrix, blue. The normalization reference value B B is a matrix of 3 × (C BM − C B1 +1), and the gray normalization reference value BK is a matrix of 3 × (C KM − C K1 +1). Further, these normalized measurement values AR , AG , AB , AK and the normalized reference values BR , BG , BB , BK are calculated by the number of correction points.
After the above, the matrix calculation unit 438 calculates the transformation matrix MC (i, j) for converting the measured value into the tristimulation value based on the following equations (10) to (13) (step S13). .. The subscript " C " in the transformation matrix MC (i, j) indicates the color to be corrected. In the case of red, C = R, in the case of green, C = G, and in the case of blue, C = G. , In the case of gray, C = K.

Figure 2022038102000005
Figure 2022038102000005

式(10)から式(13)において、βは、オーバーフィッティング防止のための正則化係数であり、Iは、amax×amaxの単位行列である。また、上付きの「´」は転置行列を示しており、上付きの「-1」は逆行列を示している。
ステップS13では、ステップS11において選択された対象色に対する各変換行列MC(i,j)を算出する。
In equations (10) to (13), β is a regularization coefficient for preventing overfitting, and I is an identity matrix of a max × a max . The superscript "'" indicates a transposed matrix, and the superscript "-1" indicates an inverse matrix.
In step S13, each transformation matrix MC (i, j) for the target color selected in step S11 is calculated.

この後、第三プロセッサー43は、全ての色に対する変換行列MC(i,j)が算出されたか否かを判定し(ステップS14)、変換行列MC(i,j)が算出されていない色がある場合は、ステップS11に戻って、変換行列MC(i,j)が算出されていない他の対象色を選択する。以上により、行列算出部438は、各色の変換行列MC(i,j)、つまり、赤色変換行列MR(i,j)、緑色変換行列MG(i,j)、青色変換行列MB(i,j)、及びグレー変換行列MK(i,j)を算出する。 After that, the third processor 43 determines whether or not the transformation matrix MC (i, j) for all the colors has been calculated (step S14), and the transformation matrix MC (i, j) has not been calculated. If there is a color, the process returns to step S11, and another target color for which the transformation matrix MC (i, j) has not been calculated is selected. As described above, the matrix calculation unit 438 uses the transformation matrix MC (i, j) for each color, that is, the red transformation matrix MR (i, j), the green transformation matrix MG (i, j), and the blue transformation matrix MB . (I, j) and the gray transformation matrix M K (i, j) are calculated.

ステップS14でYESと判定されると、稼働時間取得部439は、表示装置11の累積稼働時間を表示装置11より取得する(ステップS15)。
なお、校正処理に要する時間を短縮するために、高温多湿の環境下のように、過酷な条件下で校正処理を行うことも想定され得る。この場合には、表示装置11より取得される累積稼働時間を、通常環境下での累積稼働時間に変換する変換テーブルや変換式を第三メモリー42に記憶させておき、これら変換テーブルや変換式を用いて、累積稼働時間の変換を行うようにすればよい。
If YES is determined in step S14, the operating time acquisition unit 439 acquires the cumulative operating time of the display device 11 from the display device 11 (step S15).
In addition, in order to shorten the time required for the calibration process, it may be assumed that the calibration process is performed under harsh conditions such as in a hot and humid environment. In this case, a conversion table and a conversion formula for converting the cumulative operating time acquired from the display device 11 into the cumulative operating time under a normal environment are stored in the third memory 42, and these conversion tables and conversion formulas are stored. May be used to convert the cumulative operating time.

次に、行列算出部438は、算出された各色の変換行列MC(i,j)、つまり、赤色変換行列MR(i,j)、緑色変換行列MG(i,j)、青色変換行列MB(i,j)、及びグレー変換行列MK(i,j)を、累積稼働時間に関連付けて分光カメラ30に出力する(ステップS16)。これにより、分光カメラ30は、受信した変換行列Mを第二メモリー35に記憶する。なお、本実施形態では、第二メモリー35を備える分光カメラ30は、記憶装置に相当する。 Next, the matrix calculation unit 438 uses the calculated transformation matrix MC (i, j) for each color, that is, the red transformation matrix MR (i, j), the green transformation matrix MG (i, j ), and the blue transformation. The matrix MB (i, j) and the gray transformation matrix M K (i, j) are output to the spectroscopic camera 30 in association with the cumulative operating time (step S16). As a result, the spectroscopic camera 30 stores the received transformation matrix M in the second memory 35. In this embodiment, the spectroscopic camera 30 provided with the second memory 35 corresponds to a storage device.

次に、第三プロセッサー43は、累積稼働時間変数rtが最大値RTmaxに達したか否かを判定し(ステップS17)、YESと判定された場合には、校正を終了する。 Next, the third processor 43 determines whether or not the cumulative operating time variable rt has reached the maximum value RTmax (step S17), and if YES, ends the calibration.

ステップS17でNOと判定された場合、光出力指令部431は、表示装置11に対して所定の画像光を出射させる旨の出力指令を送信する(ステップS18)。表示装置11は、この出力指令を受信すると、所定の画像光の出射を開始し、適宜、累積稼働時間を更新する。 If NO is determined in step S17, the optical output command unit 431 transmits an output command to the display device 11 to emit a predetermined image light (step S18). Upon receiving this output command, the display device 11 starts emitting a predetermined image light and appropriately updates the cumulative operating time.

その後、第三プロセッサー43は、所定の画像光を出射させた状態で一定時間が経過したか否かを判定する(ステップS19)。ここで、一定時間とは校正処理の周期に対応する時間のことであり、例えば、1000時間である。ステップS19でYESと判定された場合、第三プロセッサー43は、変数rtに1を加算して、ステップS2に戻る。一方、NOと判定された場合には、ステップS19を繰り返す。 After that, the third processor 43 determines whether or not a certain period of time has elapsed with the predetermined image light emitted (step S19). Here, the fixed time is the time corresponding to the cycle of the calibration process, and is, for example, 1000 hours. If YES is determined in step S19, the third processor 43 adds 1 to the variable rt and returns to step S2. On the other hand, if NO is determined, step S19 is repeated.

なお、上記の校正処理に未使用状態の表示装置11を用いる場合には、校正装置40が表示装置11の累積稼働時間を導くことも可能である。このため、この場合には、稼働時間取得部439は、累積稼働時間を表示装置11から取得する必要はなく、自らの計測により累積稼働時間を取得する。また、ステップS16にて、算出された各色の変換行列MC(i,j)を累積稼働時間に関連付けて出力する際には、累積稼働時間に変えて、累積稼働時間変数rtに関連付けるようにしてもよい。つまり、変換行列MC(i,j)に関連付けるべき情報は、累積稼働時間そのものである必要はなく、累積稼働時間を表す情報であればよい。 When the unused display device 11 is used for the above calibration process, the calibration device 40 can also derive the cumulative operating time of the display device 11. Therefore, in this case, the operating time acquisition unit 439 does not need to acquire the cumulative operating time from the display device 11, and acquires the cumulative operating time by its own measurement. Further, when the calculated transformation matrix MC (i, j) of each color is output in association with the cumulative operating time in step S16, it is changed to the cumulative operating time and associated with the cumulative operating time variable rt. You may. That is, the information to be associated with the transformation matrix MC (i, j) does not have to be the cumulative operating time itself, but may be information representing the cumulative operating time.

以上のような変換行列の算出では、ステップS12により正規化処理が行われているので、明度が小さい暗色に対しても誤差の少ない色変換を行うことが可能となる。
一般に、人の目により暗色を知覚する場合、明るい環境より、暗い環境の方が色の判別精度が高い。例えば、暗所で表示装置11から画像光を照射して画像を表示する場合、明所で画像光を表示する場合に比べて、人の目は、暗色の色の違いをより明確に区別することができる。ここで、ステップS12による正規化処理を実施しない場合、暗色と明色とで、分光カメラ30で測定された測定値sCを三刺激値に変換する際の色変換誤差が同程度になる。この場合、暗所での暗色に対する色変換誤差が大きくなり、上記のような人の目に対応した色変換ができない可能性がある。これに対して、本実施形態では、ステップS12の処理を実施することで、暗所での色変換誤差を抑制できる。また、本実施形態では、赤色、緑色、青色、及びグレーに対するそれぞれの変換行列Mが算出される。したがって、全ての色に関して同一の変換行列を用いる場合に比べて、各色の色補正の精度を向上させることができる。
さらに、本実施形態では、変換行列を累積稼働時間に関連付けて分光カメラ30に出力するため、分光カメラ30は、測定対象機器である表示装置60の経時変化に応じた変換行列を用いることにより、さらに高精度に測色を行うことが可能となる。
In the calculation of the transformation matrix as described above, since the normalization process is performed in step S12, it is possible to perform color conversion with a small error even for a dark color having a small lightness.
In general, when a human eye perceives a dark color, the color discrimination accuracy is higher in a dark environment than in a bright environment. For example, when displaying an image by irradiating an image light from the display device 11 in a dark place, the human eye more clearly distinguishes the difference in dark color than when displaying the image light in a bright place. be able to. Here, when the normalization process according to step S12 is not performed, the color conversion error when converting the measured value s C measured by the spectroscopic camera 30 into the tristimulation value is about the same for dark color and light color. In this case, the color conversion error for dark colors in a dark place becomes large, and there is a possibility that the above-mentioned color conversion corresponding to the human eye cannot be performed. On the other hand, in the present embodiment, the color conversion error in a dark place can be suppressed by carrying out the process of step S12. Further, in the present embodiment, each transformation matrix M for red, green, blue, and gray is calculated. Therefore, the accuracy of color correction of each color can be improved as compared with the case where the same transformation matrix is used for all colors.
Further, in the present embodiment, since the transformation matrix is output to the spectroscopic camera 30 in association with the cumulative operating time, the spectroscopic camera 30 uses the transformation matrix according to the change with time of the display device 60 which is the measurement target device. It is possible to perform color measurement with higher accuracy.

[画像補正処理]
次に、表示装置60における画像補正処理、及び分光カメラ30での測定処理について説明する。図3に示したように、画像補正処理では、表示装置60、スクリーンなどの投射対象70、分光カメラ30から構成される。
図6は、画像補正処理を示すフローチャートである。
本実施形態の表示装置60により画像補正を行う場合、出力制御部114Aは、画像光生成部111を制御して、所定のテスト画像を投射対象70に対して投射させる(ステップS21)。投射するテスト画像は、赤色、緑色、及び青色の単色基準画像、及びグレーの合成色基準画像である。
[Image correction processing]
Next, the image correction process in the display device 60 and the measurement process in the spectroscopic camera 30 will be described. As shown in FIG. 3, the image correction process includes a display device 60, a projection target 70 such as a screen, and a spectroscopic camera 30.
FIG. 6 is a flowchart showing the image correction process.
When image correction is performed by the display device 60 of the present embodiment, the output control unit 114A controls the image light generation unit 111 to project a predetermined test image onto the projection target 70 (step S21). The test images to be projected are a single color reference image of red, green, and blue, and a composite color reference image of gray.

次に、測色指令部114Bは、画像における測定点の位置座標と、投射するテスト画像の色と、累積稼働時間と、を含む測色要求を、分光カメラ30に送信する(ステップS22)。
ここで、図7に校正装置40により変換行列が算出された補正点Pと、表示装置11の測定点Qとの関係を示す。なお、図7において、補正点Pは白丸、測定点Qは黒丸で示している。また、外枠50は、分光カメラ30の撮像部33により撮像される撮像画像の外枠である。破線の円は、分光カメラ30において、分光フィルター32の第一反射膜323と第二反射膜324とが重なり合う領域であり、撮像画像のうち、分光フィルター32により分光された光が入射する光の分光範囲51を示す。本実施形態では、撮像部33により撮像される撮像画像の外枠50の内側に分光範囲51が含まれるが、分光範囲51内の所定領域を撮像部33で撮像するよう撮像範囲が設定されていてもよい。
さらに、図7において内枠52は、表示装置60から画像光が投射対象70に投射されることで形成された表示画像を示している。つまり、表示画像が分光範囲51に含まれるように、表示装置60、分光カメラ30、投射対象70の位置が設定されている。
Next, the color measurement command unit 114B transmits a color measurement request including the position coordinates of the measurement point in the image, the color of the test image to be projected, and the cumulative operating time to the spectroscopic camera 30 (step S22).
Here, FIG. 7 shows the relationship between the correction point P for which the transformation matrix has been calculated by the calibration device 40 and the measurement point Q of the display device 11. In FIG. 7, the correction point P is indicated by a white circle, and the measurement point Q is indicated by a black circle. Further, the outer frame 50 is an outer frame of the captured image captured by the imaging unit 33 of the spectroscopic camera 30. The circle of the broken line is the region where the first reflective film 323 and the second reflective film 324 of the spectroscopic filter 32 overlap in the spectroscopic camera 30, and the light dispersed by the spectroscopic filter 32 in the captured image is incident. The spectral range 51 is shown. In the present embodiment, the spectral range 51 is included inside the outer frame 50 of the captured image captured by the imaging unit 33, but the imaging range is set so that the imaging unit 33 captures a predetermined region within the spectral range 51. You may.
Further, in FIG. 7, the inner frame 52 shows a display image formed by projecting image light from the display device 60 onto the projection target 70. That is, the positions of the display device 60, the spectroscopic camera 30, and the projection target 70 are set so that the display image is included in the spectroscopic range 51.

分光カメラ30の表示情報取得部362は、ステップS22で送信された測色要求に含まれる、テスト画像の色を測定色として取得するとともに、表示装置60の累積稼働時間を取得する(ステップS31)。
そして、分光カメラ30の撮像制御部361は、投射対象70に投射された画像の分光画像を撮像する(ステップS32)。
具体的には、撮像制御部361は、分光フィルター32を透過させる光の波長を、複数の波長に切り替え、各波長に対する分光画像をそれぞれ取得する。また、撮像制御部361は、各波長の分光画像の各画素の階調値を、その波長の分光画像を撮像した際の露光時間で除算して、階調値を補正する。
The display information acquisition unit 362 of the spectroscopic camera 30 acquires the color of the test image included in the color measurement request transmitted in step S22 as the measurement color, and acquires the cumulative operating time of the display device 60 (step S31). ..
Then, the image pickup control unit 361 of the spectroscopic camera 30 acquires a spectroscopic image of the image projected on the projection target 70 (step S32).
Specifically, the image pickup control unit 361 switches the wavelength of the light transmitted through the spectroscopic filter 32 to a plurality of wavelengths, and acquires a spectroscopic image for each wavelength. Further, the image pickup control unit 361 corrects the gradation value by dividing the gradation value of each pixel of the spectroscopic image of each wavelength by the exposure time when the spectroscopic image of the wavelength is imaged.

また、撮像制御部361は、各波長の分光画像に関し、測定点Qの測定値sC(m,n,λa)を抽出する(ステップS33)。なお、添え字の「C」は、表示装置60から出力される基準画像の色を示すものであり、赤色の場合C=R、緑色の場合C=G、青色の場合C=G、グレーの場合C=Kである。また、(m、n)は、測定点Qの位置を表す。この色情報は、上述のように、ステップS22で表示装置60から送信される測定要求に含まれている。
具体的には、校正装置40が実施したステップS9と同様に、各分光画像から、|x-xm|≦Δ、|y-yn|≦Δとなる画素の階調値{s(λa)}m,nを抽出する。そして、これらの画素の階調値{s(λa)}m,nの平均値を算出して、測定値sC(m,n,λa)とする。
Further, the image pickup control unit 361 extracts the measured value s C (m, n, λ a ) of the measurement point Q with respect to the spectroscopic image of each wavelength (step S33). The subscript "C" indicates the color of the reference image output from the display device 60, and is C = R for red, C = G for green, C = G for blue, and gray. Case C = K. Further, (m, n) represents the position of the measurement point Q. As described above, this color information is included in the measurement request transmitted from the display device 60 in step S22.
Specifically, similarly to step S9 carried out by the calibration device 40, the gradation value {s (λ) of the pixel such that | x-x m | ≤Δ, | y- yn | ≤Δ from each spectroscopic image. a )} Extract m and n . Then, the average value of the gradation values {s (λ a )} m, n of these pixels is calculated and used as the measured value s C (m, n, λ a ).

次に、補間部363は、ステップS31で取得された測定色に関し、第二メモリー35に記憶されている複数の変換行列と、それぞれに関連付けられた累積稼働時間とに基づいて、ステップS31で取得された累積稼働時間に対応する変換行列を内挿補間により算出する(ステップS34)。
さらに、補間部363は、補正点Pに対する変換行列から、測定点Qに対する変換行列を内挿補間により求める(ステップS35)。
つまり、分光カメラ30の第二メモリー35に記憶される変換行列は、分光画像の分光範囲内の所定の補正点Pに対するものである。しかしながら、図7に示すように、表示装置11から指令される測定点Qと、補正点Pとは必ずしも一致するとは限らない。
そこで、補間部363は、以下の式(14)に示すように、補正点Pの変換行列MC(i,j)から、位置(m,n)の測定点Qの変換行列MC(m,n)を内挿補間により算出する。
Next, the interpolation unit 363 acquires the measurement color acquired in step S31 in step S31 based on the plurality of transformation matrices stored in the second memory 35 and the cumulative operating time associated with each. The transformation matrix corresponding to the cumulative operating time is calculated by interpolation (step S34).
Further, the interpolation unit 363 obtains the transformation matrix for the measurement point Q from the transformation matrix for the correction point P by interpolation (step S35).
That is, the transformation matrix stored in the second memory 35 of the spectroscopic camera 30 is for a predetermined correction point P within the spectroscopic range of the spectroscopic image. However, as shown in FIG. 7, the measurement point Q commanded by the display device 11 and the correction point P do not always coincide with each other.
Therefore, as shown in the following equation (14), the interpolation unit 363 changes the transformation matrix M C (m) of the measurement point Q at the position (m, n) from the transformation matrix M C (i, j) of the correction point P. , N) is calculated by interpolation.

Figure 2022038102000006
Figure 2022038102000006

そして、分光カメラ30の色補正部364は、分光画像の測定点Qに対する変換行列MC(m,n)と、測定点Qに対する各分光画像の測定値s(m,n)とを用いて、下記式(15)に示すように、当該測定点Qの三刺激値X(m,n)を算出する(ステップS36)。 Then, the color correction unit 364 of the spectroscopic camera 30 uses the transformation matrix MC (m, n) for the measurement point Q of the spectroscopic image and the measured value s (m, n) of each spectroscopic image for the measurement point Q. , The tristimulus value X (m, n) of the measurement point Q is calculated as shown in the following formula (15) (step S36).

Figure 2022038102000007
Figure 2022038102000007

この後、分光カメラ30は、算出した三刺激値X(m,n)を表示装置60に送信する(ステップS37)。
表示装置60の画像補正部114Cは、分光カメラ30から測定点Qに対する三刺激値X(m,n)を受信すると、テスト画像の元データと比較して、画像光生成部111を駆動させる際の駆動パラメーターを補正する(ステップS23)。
After that, the spectroscopic camera 30 transmits the calculated tristimulation value X (m, n) to the display device 60 (step S37).
When the image correction unit 114C of the display device 60 receives the tristimulus value X (m, n) for the measurement point Q from the spectroscopic camera 30, it compares with the original data of the test image and drives the image light generation unit 111. (Step S23).

[本実施形態の作用効果]
本実施形態の校正装置40は、少なくとも一つのプロセッサーとして第三プロセッサー43を備え、第三プロセッサー43は、(1)光源部10からの均一光を校正対象となる分光カメラ30で分光測定して測定値sCを取得することと、(2)光源部10からの均一光を校正基準器である分光光度計20で測定して、分光基準値である基準三刺激値xCを取得することと、(3)測定値sC及び基準三刺激値xCに基づいて、測定値sCを所定の色座標値である三刺激値Xに色変換する変換行列MC(i,j)を算出することと、(4)算出された変換行列MC(i,j)を、光源部10の累積稼働時間を表す情報と関連付けて、分光カメラ30に出力することと、を実行するように構成されている。また、光源部10は、均一光として、複数種の単色光、及び複数種の単色光のいくつかを合成した合成色光にそれぞれ切り替え可能、かつ、均一光の階調値を変更可能であり、第三プロセッサー43は、上記(3)において、階調値が異なる複数種の単色光及び合成色光のそれぞれについての測定値sC及び基準三刺激値xCに基づいて、各単色光及び合成色光のそれぞれについての変換行列MC(i,j)、即ち変換行列MR(i,j)、変換行列MG(i,j)、変換行列MB(i,j)、及び変換行列MK(i,j)を算出し、異なる時間に少なくとも2回上記(1)~(4)を実行するように構成されている。
[Action and effect of this embodiment]
The calibration device 40 of the present embodiment includes a third processor 43 as at least one processor, and the third processor 43 (1) spectroscopically measures uniform light from the light source unit 10 with a spectroscopic camera 30 to be calibrated. Acquiring the measured value s C , and (2) measuring the uniform light from the light source unit 10 with the spectrophotometer 20 which is a calibration reference device, and acquiring the reference tristimulus value x C which is the spectral reference value. And (3) a conversion matrix M C (i, j) that color-converts the measured value s C to the tristimulus value X, which is a predetermined color coordinate value, based on the measured value s C and the reference tristimulus value x C. The calculation and (4) the calculated conversion matrix MC (i, j) are associated with the information representing the cumulative operating time of the light source unit 10 and output to the spectroscopic camera 30 so as to be executed. It is configured. Further, the light source unit 10 can switch between a plurality of types of monochromatic light and a synthetic color light obtained by synthesizing some of the plurality of types of monochromatic light as uniform light, and can change the gradation value of the uniform light. In the above (3), the third processor 43 determines each monochromatic light and synthetic colored light based on the measured values s C and the reference tristimulus values x C for each of the plurality of types of monochromatic light and synthetic colored light having different gradation values. Conversion matrix M C (i, j) for each of the above, that is, conversion matrix MR (i, j), conversion matrix MG (i, j), conversion matrix MB (i, j), and conversion matrix M K. It is configured to calculate (i, j) and execute the above (1) to (4) at least twice at different times.

このため、本実施形態では、色毎の変換行列MC(i,j)が算出されるため、分光カメラ30で各色の分光画像を撮像した場合に、当該色に対応する変換行列MC(i,j)を用いることで、測定値から三刺激値へ変換する際の変換誤差を極めて小さくでき、精度の高い測色を行うことができる。
さらに、本実施形態では、変換行列を累積稼働時間に関連付けて分光カメラ30に出力するため、分光カメラ30は、測定対象機器である表示装置60の測色を行う際に、表示装置60の累積稼働時間に応じた変換行列を用いることが可能となり、さらに高精度に測色を行うことが可能となる。
Therefore, in the present embodiment, the transformation matrix MC (i, j) for each color is calculated. Therefore, when the spectroscopic image of each color is captured by the spectroscopic camera 30, the transformation matrix MC (corresponding to the color) is calculated. By using i and j), the conversion error when converting the measured value to the tristimulus value can be made extremely small, and highly accurate color measurement can be performed.
Further, in the present embodiment, since the transformation matrix is output to the spectroscopic camera 30 in association with the cumulative operating time, the spectroscopic camera 30 accumulates the display device 60 when measuring the color of the display device 60 which is the measurement target device. It becomes possible to use a transformation matrix according to the operating time, and it becomes possible to perform color measurement with higher accuracy.

本実施形態では、分光測定器として、複数の波長に対する分光画像を撮像する分光カメラ30を用い、測定値取得部433は、分光画像における所定の補正点の階調値を測定値sCとして取得する。
これにより、分光画像の各補正点に対する変換行列MC(i,j)をそれぞれ算出することができ、補正点毎に高精度に測定値sCの色変換を行うことができる。
In the present embodiment, a spectroscopic camera 30 that captures a spectroscopic image for a plurality of wavelengths is used as a spectroscopic measuring instrument, and the measured value acquisition unit 433 acquires the gradation value of a predetermined correction point in the spectroscopic image as the measured value s C. do.
As a result, the transformation matrix MC (i, j) for each correction point of the spectroscopic image can be calculated, and the color conversion of the measured value s C can be performed with high accuracy for each correction point.

本実施形態では、光源部10は、所定色の画像光を出力する表示装置11と、画像光を均一化する積分球12とを備える。
表示装置11から出力される画像光には、照明むらが含まれるが、積分球12に入射させることで、画像光の光量を均一にできる。
In the present embodiment, the light source unit 10 includes a display device 11 that outputs image light of a predetermined color, and an integrating sphere 12 that equalizes the image light.
The image light output from the display device 11 includes uneven illumination, but the amount of light of the image light can be made uniform by incidenting it on the integrating sphere 12.

本実施形態では、光源部10は、表示装置11から、単色光として、赤色、緑色、及び青色の各色光を出力させ、合成色光として、赤色、緑色、及び青色の各色光を同じ諧調値で合成したグレーの色光を出力させる。そして、行列算出部438は、赤色変換行列MR(i,j)、緑色変換行列MG(i,j)、青色変換行列MB(i,j)、及びグレー変換行列MK(i,j)をそれぞれ算出する。
本実施形態の校正システム1は、分光カメラ30の分光測定精度を向上させるものであり、表示装置60の色補正を行う際に用いる各色(赤、緑、青、グレー)の基準画像の画像光に基づいて、各色の変換行列MC(i,j)が算出される。これにより、表示装置60から出力される各色の基準画像に対する測定精度を向上させることができる。
In the present embodiment, the light source unit 10 outputs each color light of red, green, and blue as monochromatic light from the display device 11, and each color light of red, green, and blue as synthetic color light with the same gradation value. Output the combined gray color light. Then, the matrix calculation unit 438 includes a red transformation matrix MR (i, j), a green transformation matrix MG (i, j), a blue transformation matrix MB (i, j), and a gray transformation matrix M K (i, j). j) is calculated respectively.
The calibration system 1 of the present embodiment improves the spectral measurement accuracy of the spectroscopic camera 30, and is the image light of a reference image of each color (red, green, blue, gray) used when performing color correction of the display device 60. The conversion matrix MC (i, j) for each color is calculated based on. This makes it possible to improve the measurement accuracy of the reference image of each color output from the display device 60.

[第二実施形態]
次に、第二実施形態について説明する。
第二実施形態は、第一実施形態と同じ構成の校正システム1であり、校正装置40における校正方法の一部が、第一実施形態と相違する。
なお、以降の説明にあたり、既に説明した事項については、同符号を付し、その説明を省略または簡略化する。
[Second Embodiment]
Next, the second embodiment will be described.
The second embodiment is a calibration system 1 having the same configuration as the first embodiment, and a part of the calibration method in the calibration device 40 is different from the first embodiment.
In the following description, the matters already described will be designated by the same reference numerals, and the description thereof will be omitted or simplified.

第二実施形態の校正システム1は、第一実施形態と同様に、表示装置11及び積分球12を備える光源部10と、分光光度計20と、分光カメラ30と、校正装置40とを備える。そして、本実施形態では、校正装置40の正規化処理部437及び行列算出部438の処理が第一実施形態と相違している。
つまり、本実施形態の校正装置40は、第一実施形態と同様、ステップS2からステップS10までの処理を実施し、測定値sCと、基準三刺激値xCとを取得する。
この際、本実施形態の校正装置40は、さらに、表示装置11から黒色画像、即ち黒色の画像光を出力させ、ことのきの測定値及び基準三刺激値を、それぞれ、黒色測定値sBL及び黒色基準三刺激値xBLとして取得する。なお、黒色画像は、合成色基準画像であるグレー画像のうちの、階調値を最も低くした画像(例えば、RGBの階調値を「0」にした画像)を用いてもよく、グレー画像とは別に黒色画像を用いてもよい。また、黒色と、黒に近い他の色の低階調色とを黒色画像群として、表示装置11から出力させてもよい。例えば、赤色、緑色、青色、及びグレーの最も低い階調値の色の画像と、2番目に低い階調値の色の画像と、黒色との9色を黒色画像群に含ませてもよい。以降の説明では、黒色画像群を「BL」で表す。
測定値sC、基準三刺激値xC,黒色測定値sBL、及び黒色基準三刺激値xBLは以下の構成要素を有する。
Similar to the first embodiment, the calibration system 1 of the second embodiment includes a light source unit 10 including a display device 11 and an integrating sphere 12, a spectrophotometer 20, a spectroscopic camera 30, and a calibration device 40. In this embodiment, the processing of the normalization processing unit 437 and the matrix calculation unit 438 of the calibration device 40 is different from that of the first embodiment.
That is, the calibration device 40 of the present embodiment performs the processes from step S2 to step S10 as in the first embodiment, and acquires the measured value s C and the reference tristimulus value x C.
At this time, the calibration device 40 of the present embodiment further outputs a black image, that is, a black image light from the display device 11, and sets the measured value and the reference tristimulus value of each of the black measured values s BL . And black standard tristimulus value x BL . As the black image, an image having the lowest gradation value (for example, an image in which the RGB gradation value is set to "0") among the gray images which are the composite color reference images may be used, and the gray image may be used. Alternatively, a black image may be used. Further, black and low-gradation colors of other colors close to black may be output from the display device 11 as a black image group. For example, nine colors of red, green, blue, and gray with the lowest gradation value, an image with the second lowest gradation value, and black may be included in the black image group. .. In the following description, the black image group is represented by "BL".
The measured value s C , the reference tristimulation value x C , the black measured value s BL , and the black reference tristimulation value x BL have the following components.

Figure 2022038102000008
Figure 2022038102000008

そして、本実施形態では、ステップS12において、黒成分と、黒以外の色とに分けて、下記式(16)~(25)に示すように、正規化処理を実施する。 Then, in the present embodiment, in step S12, the black component and the color other than black are separated and the normalization process is carried out as shown in the following formulas (16) to (25).

Figure 2022038102000009
Figure 2022038102000009

正規化処理部437は、式(16)から式(23)に示すように、黒以外の色成分に対する正規化測定値ACと、正規化基準値BCとを算出する。また、正規化処理部437は、式(24)(25)に示すように、黒色に対する黒色正規化測定値ABLと、黒色正規化基準値BBLとを算出する。なお、sBL0は、黒色画像に対する測定値であり、xBL0は、黒色画像に対する基準三刺激値であり、LBL0は、黒色画像の輝度値である。また、黒色画像群に属する画像のうち、黒色画像以外の画像がBL1~BLMである。黒色正規化測定値ABLと、黒色正規化基準値BBLは、黒色画像群に属する画像のうち黒色画像以外の画像の測定値sBL及び基準三刺激値xBLから、黒色画像の測定値sBL0及び基準三刺激値xBL0を減算して求める。
次に、行列算出部438は、以下の式(26)から式(30)により通常変換行列MC(i,j)及び黒色変換行列MBL(i,j)を算出する。
As shown in equations (16) to (23), the normalization processing unit 437 calculates a normalized measurement value A C for a color component other than black and a normalized reference value B C. Further, as shown in the equations (24) and (25), the normalization processing unit 437 calculates the black normalization measurement value A BL for black and the black normalization reference value B BL . Note that s BL0 is a measured value for a black image, x BL0 is a reference tristimulation value for a black image, and L BL0 is a luminance value for a black image. Further, among the images belonging to the black image group, the images other than the black image are BL1 to BLM. The black normalization measurement value A BL and the black normalization reference value B BL are the measurement values of the black image from the measurement values s BL and the reference tristimulus value x BL of the images belonging to the black image group other than the black image. It is obtained by subtracting s BL0 and the reference tristimulus value x BL0 .
Next, the matrix calculation unit 438 calculates the normal transformation matrix MC (i, j) and the black transformation matrix M BL ( i, j) from the following equation (26) by the equation (30).

Figure 2022038102000010
Figure 2022038102000010

また、表示装置60の画像補正を実施する場合は、第一実施形態と略同様の処理を実施する。
すなわち、表示装置60は、ステップS21により、投射対象70にテスト画像を出力して画像を表示させる。この際、まず、表示装置60は、黒色画像を出力し、ステップS22を実施して、分光カメラ30に測色要求を送信する。
これにより、分光カメラ30は、黒色画像に対して、ステップS31からステップS35を実施し、測定点Qに対する変換行列を内挿補間により算出する。内挿補間では、式(14)と略同様にして、測定点Qに対する黒色変換行列MBL(m,n)を算出する。
Further, when performing image correction of the display device 60, substantially the same processing as in the first embodiment is performed.
That is, the display device 60 outputs a test image to the projection target 70 and displays the image in step S21. At this time, first, the display device 60 outputs a black image, performs step S22, and transmits a color measurement request to the spectroscopic camera 30.
As a result, the spectroscopic camera 30 performs steps S31 to S35 on the black image, and calculates the transformation matrix for the measurement point Q by interpolation interpolation. In the interpolation interpolation, the black transformation matrix M BL (m, n) for the measurement point Q is calculated in substantially the same manner as in the equation (14).

この後、表示装置60は、再度ステップS21に戻り、投射対象70に黒画像以外の基準色画像をテスト画像として出力して画像を表示させ、ステップS22を実施して、分光カメラ30に測色要求を送信する。
これにより、分光カメラ30は、基準画像に対して、ステップS31からステップS35を実施し、測定点Qに対する変換行列を内挿補間により算出する。内挿補間では、式(14)と略同様にして、測定点Qに対する黒色変換行列MBL(m,n)を算出する。
After that, the display device 60 returns to step S21 again, outputs a reference color image other than the black image to the projection target 70 as a test image and displays the image, performs step S22, and measures the color on the spectroscopic camera 30. Send the request.
As a result, the spectroscopic camera 30 performs steps S31 to S35 on the reference image, and calculates the transformation matrix for the measurement point Q by interpolation interpolation. In the interpolation interpolation, the black transformation matrix M BL (m, n) for the measurement point Q is calculated in substantially the same manner as in the equation (14).

そして、色補正部364は、以下の式(31)により、測定点Qの測定値sC(m,n)を三刺激値X(m,n)に変換する。なお、sBL(m,n)は黒色画像における測定点Qの階調値である。その他の処理に関しては、第一実施形態と同様である。 Then, the color correction unit 364 converts the measured value s C (m, n) at the measurement point Q into the tristimulation value X (m, n) by the following equation (31). Note that s BL (m, n) is the gradation value of the measurement point Q in the black image. Other processes are the same as those in the first embodiment.

Figure 2022038102000011
Figure 2022038102000011

[本実施形態の作用効果]
本実施形態の校正装置40では、光源部10は、さらに、表示装置11において黒色の画像光(黒色画像)を出力させる。そして、行列算出部438は、各単色光、及び合成色光の測定値sCを、黒色画像に対する測定値sBL0で減算し、各単色光、及び合成色光の基準三刺激値xCを、黒色画像に対する基準三刺激値xBL0で減算した後、各単色光及び合成色光に対する変換行列MC(i,j)を算出する。
このように、黒色以外の色に対する通常変換行列MC(i,j)と、黒色に対応する黒色変換行列MBL(i,j)をそれぞれ別に求めることで、暗色に対する測定値を三刺激値に色変換する際の、補正精度、及び色変換精度をさらに高めることができる。
[Action and effect of this embodiment]
In the calibration device 40 of the present embodiment, the light source unit 10 further outputs black image light (black image) on the display device 11. Then, the matrix calculation unit 438 subtracts the measured value s C of each monochromatic light and the synthetic color light by the measured value s BL0 for the black image, and sets the reference tristimulus value x C of each monochromatic light and the synthetic color light to black. After subtracting the reference tristimulus value x BL0 for the image, the transformation matrix MC (i, j) for each monochromatic light and synthetic color light is calculated.
In this way, by separately obtaining the normal transformation matrix M C (i, j) for colors other than black and the black transformation matrix M BL (i, j) corresponding to black, the measured values for dark colors are tristimulus values. It is possible to further improve the correction accuracy and the color conversion accuracy at the time of color conversion.

[変形例]
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、及び各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
[Modification example]
The present invention is not limited to the above-described embodiments, and the present invention includes configurations obtained by modifying, improving, and appropriately combining the respective embodiments within the range in which the object of the present invention can be achieved. It is a thing.

(変形例1)
上記実施形態では、式(10)から式(13)、又は、式(26)から式(30)により、最小二乗法に基づいて変換行列を算出したが、これに限定されない。行列算出部438は、例えば、主成分回帰法や、部分的最小二乗回帰法を用いて変換行列を算出してもよい。
(Modification 1)
In the above embodiment, the transformation matrix is calculated based on the least squares method by the equations (10) to (13) or the equations (26) to (30), but the present invention is not limited to this. The matrix calculation unit 438 may calculate the transformation matrix by using, for example, a principal component regression method or a partial least squares regression method.

(変形例2)
上記実施形態では、分光光度計20により、所定の色座標値として三刺激値を測定し、分光カメラ30の補正点に対する測定値を補正して三刺激値に色変換する変換行列を算出したが、これに限定されない。
例えば、分光光度計20が、L*a*b*値、反射率スペクトル等の他の色座標値を計測する基準校正器であってもよい。この場合、行列算出部438は、測定値をL*a*b*値や反射率スペクトル等に変換する変換行列を算出することができる。
また、校正基準器として、分光光度計20を用いたが、校正済みの分光カメラを用いてもよい。
(Modification 2)
In the above embodiment, the spectrophotometer 20 measures the tristimulus value as a predetermined color coordinate value, corrects the measured value for the correction point of the spectroscopic camera 30, and calculates a transformation matrix for color conversion to the tristimulus value. , Not limited to this.
For example, the spectrophotometer 20 may be a reference calibrator that measures other color coordinate values such as L * a * b * values and reflectance spectra. In this case, the matrix calculation unit 438 can calculate a transformation matrix that converts the measured value into an L * a * b * value, a reflectance spectrum, or the like.
Further, although the spectrophotometer 20 is used as the calibration reference device, a calibrated spectroscopic camera may be used.

(変形例3)
上記実施形態では、画像光を出射する表示装置60の画像補正を行うための分光カメラ30、及びその分光カメラ30の校正を行う校正装置40を例示したが、これに限定されない。例えば、対象物の成分分析を行うための分光カメラ30の校正システム1として用いてもよい。この場合、光源部10は、表示装置11ではなく、レーザー光源やハロゲンランプ等の他の光源と積分球12により構成されていてもよい。
(Modification 3)
In the above embodiment, the spectroscopic camera 30 for performing image correction of the display device 60 that emits image light and the calibration device 40 for calibrating the spectroscopic camera 30 are exemplified, but the present invention is not limited thereto. For example, it may be used as the calibration system 1 of the spectroscopic camera 30 for performing component analysis of an object. In this case, the light source unit 10 may be composed of another light source such as a laser light source or a halogen lamp and an integrating sphere 12 instead of the display device 11.

(変形例4)
光源部10として、表示装置11から積分球12に画像光を入射させて均一光を生成する例を示したが、これに限定されない。例えば、光源からの光を拡散反射させる拡散反射板に照射し、拡散反射板で反射された光を分光光度計20及び分光カメラ30で測定してもよい。
(Modification example 4)
As the light source unit 10, an example is shown in which image light is incident on the integrating sphere 12 from the display device 11 to generate uniform light, but the present invention is not limited to this. For example, the diffuse reflector that diffusely reflects the light from the light source may be irradiated, and the light reflected by the diffuse reflector may be measured by the spectrophotometer 20 and the spectroscopic camera 30.

(変形例5)
上記実施形態では、表示装置60と、分光カメラ30とが、別体として設けられ、第一通信部112及び第二通信部34により通信可能に接続される例を示したが、表示装置60と分光カメラ30とが一体的に設けられる構成としてもよい。
(Modification 5)
In the above embodiment, the display device 60 and the spectroscopic camera 30 are provided as separate bodies and are communicably connected by the first communication unit 112 and the second communication unit 34. The spectroscopic camera 30 may be integrally provided.

(変形例6)
上記実施形態では、校正装置40が露光補正部435を備える構成としたが、分光カメラ30の撮像制御部361が、撮像された分光画像の階調値を露光補正して校正装置40に出力するように構成されていてもよい。この場合、校正装置40の露光補正部435は不要にできる。
また、分光カメラ30の撮像部33が、受光する光の光量に応じて露光時間を変更しない場合では、露光補正を実施しなくてもよい。
(Modification 6)
In the above embodiment, the calibration device 40 is configured to include the exposure compensation unit 435, but the image pickup control unit 361 of the spectroscopic camera 30 exposes and corrects the gradation value of the captured spectral image and outputs it to the calibration device 40. It may be configured as follows. In this case, the exposure compensation unit 435 of the calibration device 40 can be eliminated.
Further, if the imaging unit 33 of the spectroscopic camera 30 does not change the exposure time according to the amount of light received, it is not necessary to perform the exposure correction.

(変形例7)
上記実施形態では、表示装置60から、測定点Qの座標を分光カメラ30に送信してから、分光カメラ30による分光画像の撮像が実施された。これに対して、分光カメラ30による分光画像の撮像の後、分光画像を表示装置60に送信し、表示装置60は、受信した分光画像に基づいて測定点Qを設定してもよい。つまり、分光カメラ30と表示装置60とが別体である場合、分光カメラ30と表示装置60との相対位置が変化する場合があり、この場合、分光画像において、表示装置60により投射された画像光の投射範囲が変動する場合がある。表示装置60が、分光画像に基づいて、測定点Qを設定する場合では、分光画像で画像光の投射範囲が変動しても、正しく測定点Qを設定することができる。
(Modification 7)
In the above embodiment, the display device 60 transmits the coordinates of the measurement point Q to the spectroscopic camera 30, and then the spectroscopic image is captured by the spectroscopic camera 30. On the other hand, after the spectroscopic image is captured by the spectroscopic camera 30, the spectroscopic image may be transmitted to the display device 60, and the display device 60 may set the measurement point Q based on the received spectroscopic image. That is, when the spectroscopic camera 30 and the display device 60 are separate bodies, the relative positions of the spectroscopic camera 30 and the display device 60 may change. In this case, the image projected by the display device 60 in the spectroscopic image. The projection range of light may fluctuate. When the display device 60 sets the measurement point Q based on the spectroscopic image, the measurement point Q can be set correctly even if the projection range of the image light fluctuates in the spectroscopic image.

(変形例8)
上記実施形態では、分光カメラ30の第二メモリー35に変換行列が記憶され、分光カメラ30の補間部363及び色補正部364が、表示装置60から指示された測定点Qに対する三刺激値を算出する例を示した。
これに対して、変換行列が表示装置60の第一メモリー113に記憶され、第一プロセッサー114が、補間部363や色補正部364として機能してもよい。この場合、分光カメラ30は、分光画像を撮像すると、撮像した分光画像を表示装置60に送信する。そして、表示装置60において、測定点Qに対する変換行列を内挿補間により算出し、測定点Qに対する三刺激値を算出する。
(Modification 8)
In the above embodiment, the transformation matrix is stored in the second memory 35 of the spectroscopic camera 30, and the interpolation unit 363 and the color correction unit 364 of the spectroscopic camera 30 calculate the tristimulus values for the measurement point Q instructed by the display device 60. An example is shown.
On the other hand, the transformation matrix may be stored in the first memory 113 of the display device 60, and the first processor 114 may function as the interpolation unit 363 or the color correction unit 364. In this case, when the spectroscopic camera 30 captures the spectroscopic image, the captured spectroscopic image is transmitted to the display device 60. Then, in the display device 60, the transformation matrix for the measurement point Q is calculated by interpolation, and the tristimulation value for the measurement point Q is calculated.

(変形例9)
上記実施形態では、分光測定器として、分光カメラ30を例示したが、所定の測定点に対する分光測定処理を実施する分光測定器であってもよい。
(Modification 9)
In the above embodiment, the spectroscopic camera 30 is exemplified as the spectroscopic measuring instrument, but it may be a spectroscopic measuring instrument that performs spectroscopic measurement processing on a predetermined measurement point.

(変形例10)
上記実施形態では、分光フィルター32として、図4に示すようなファブリーペロー素子を例示したが、これに限定されない。分光フィルター32としては、その他、AOTFやLCTF等の各種分光素子を用いることができる。
(Modification 10)
In the above embodiment, the Fabry-Perot element as shown in FIG. 4 is exemplified as the spectroscopic filter 32, but the present invention is not limited to this. In addition, various spectroscopic elements such as AOTF and LCTF can be used as the spectroscopic filter 32.

(変形例11)
上記実施形態では、ステップS34において、補間部363は、第二メモリー35に記憶されている複数の変換行列と、それぞれに関連付けられた累積稼働時間とに基づいて、ステップS31で取得された累積稼働時間に対応する変換行列を算出しているが、この態様に限定されない。例えば、補間部363は、ステップS34を実行することなく、第二メモリー35に記憶されている変換行列に関連付けられた累積稼働時間のうち、ステップS31で取得された累積稼働時間よりも短い時間と長い時間の双方について、測定点Qに対する変換行列を算出し(ステップS35)、その後に、ステップS31で取得された累積稼働時間に対応する変換行列を内挿補間により算出するようにしてもよい。あるいは、補間部363は、ステップS34を実行することなく、第二メモリー35に記憶されている変換行列に関連付けられた累積稼働時間のうち、ステップS31で取得された累積稼働時間よりも短い時間と長い時間の双方について、測定点Qに対する変換行列を算出する(ステップS35)。そして、色補正部364は、双方の時間について、測定点Qの三刺激値を算出し(ステップS36)、その後に、ステップS31で取得された累積稼働時間における三刺激値を、内挿補間により算出するようにしてもよい。あるいは、補間部363は、ステップS34を実行することなく、ステップS35において、第二メモリー35に記憶されている変換行列に関連付けられた累積稼働時間のうち、ステップS31で取得された累積稼働時間に最も近い累積稼働時間の変換行列を使って、測定点Qの変換行列を算出するようにしてもよい。
(Modification 11)
In the above embodiment, in step S34, the interpolation unit 363 has the cumulative operation acquired in step S31 based on the plurality of transformation matrices stored in the second memory 35 and the cumulative operation time associated with each of them. The transformation matrix corresponding to time is calculated, but the present invention is not limited to this embodiment. For example, the interpolation unit 363 does not execute step S34, and the cumulative operating time associated with the transformation matrix stored in the second memory 35 is shorter than the cumulative operating time acquired in step S31. The transformation matrix for the measurement point Q may be calculated for both of the long times (step S35), and then the transformation matrix corresponding to the cumulative operating time acquired in step S31 may be calculated by interpolation interpolation. Alternatively, the interpolation unit 363 does not execute step S34, and the cumulative operating time associated with the transformation matrix stored in the second memory 35 is shorter than the cumulative operating time acquired in step S31. A transformation matrix for the measurement point Q is calculated for both long times (step S35). Then, the color correction unit 364 calculates the tristimulation value of the measurement point Q for both times (step S36), and then the tristimulation value in the cumulative operating time acquired in step S31 is interpolated. It may be calculated. Alternatively, the interpolating unit 363 does not execute step S34, but instead uses the cumulative operating time acquired in step S31 among the cumulative operating times associated with the transformation matrix stored in the second memory 35 in step S35. The transformation matrix of the measurement point Q may be calculated using the transformation matrix of the closest cumulative operating time.

1…校正システム、10…光源部、11,60…表示装置、12…積分球、20…分光光度計、30…分光カメラ、31…入射光学系、32…分光フィルター、33…撮像部、34…第二通信部、35…第二メモリー、36…第二プロセッサー、40…校正装置、41…第三通信部、42…第三メモリー、43…第三プロセッサー、50…外枠、51…分光範囲、52…内枠、70…投射対象、111…画像光生成部、112…第一通信部、113…第一メモリー、114…第一プロセッサー、114A…出力制御部、114B…測色指令部、114C…画像補正部、121……入射窓、122…第一出射窓、123…第二出射窓、321…第一基板、322…第二基板、322A…可動部、322B…保持部、323…第一反射膜、324…第二反射膜、325…ギャップ変更部、361…撮像制御部、362…表示情報取得部、363…補間部、364…色補正部、431…光出力指令部、432…対象色選択部、433…測定値取得部、434…基準値取得部、435…露光補正部、436…階調値抽出部、437…正規化処理部、438…行列算出部、439…稼働時間取得部、P…補正点、Q…測定点。 1 ... Calibration system, 10 ... Light source unit, 11,60 ... Display device, 12 ... Integrating sphere, 20 ... Spectral photometer, 30 ... Spectral camera, 31 ... Incident optical system, 32 ... Spectral filter, 33 ... Imaging unit, 34 ... second communication unit, 35 ... second memory, 36 ... second processor, 40 ... calibration device, 41 ... third communication unit, 42 ... third memory, 43 ... third processor, 50 ... outer frame, 51 ... spectroscopy Range, 52 ... Inner frame, 70 ... Projection target, 111 ... Image light generation unit, 112 ... First communication unit, 113 ... First memory, 114 ... First processor, 114A ... Output control unit, 114B ... Color measurement command unit , 114C ... image correction unit, 121 ... incident window, 122 ... first exit window, 123 ... second exit window, 321 ... first substrate, 322 ... second substrate, 322A ... movable unit, 322B ... holding unit, 323. ... first reflective film, 324 ... second reflective film, 325 ... gap changing unit, 361 ... imaging control unit, 362 ... display information acquisition unit, 363 ... interpolating unit, 364 ... color correction unit, 431 ... optical output command unit, 432 ... Target color selection unit, 433 ... Measurement value acquisition unit, 434 ... Reference value acquisition unit, 435 ... Exposure compensation unit, 436 ... Gradation value extraction unit, 437 ... Normalization processing unit, 438 ... Matrix calculation unit, 439 ... Operating time acquisition unit, P ... correction point, Q ... measurement point.

Claims (7)

少なくとも一つのプロセッサーを備えた校正装置であって、
前記少なくとも一つのプロセッサーは、
(1)光源部からの均一光を校正対象となる分光測定器で分光測定して測定値を取得することと、
(2)前記光源部からの前記均一光を校正基準器で測定して分光基準値を取得することと、
(3)前記光源部の累積稼働時間を表す情報を取得することと、
(4)前記測定値及び前記分光基準値に基づいて、前記測定値を所定の色座標値に色変換する変換行列を算出することと、
(5)算出された前記変換行列を、前記累積稼働時間を表す情報に関連付けて、記憶装置に出力することと、
を実行するように構成されており、
前記光源部は、前記均一光として、複数種の単色光、及び複数種の前記単色光のいくつかを合成した合成色光にそれぞれ切り替え可能、かつ、前記均一光の階調値を変更可能であり、
前記少なくとも一つのプロセッサーは、上記(4)において、
階調値が異なる複数種の前記単色光及び前記合成色光のそれぞれについての前記測定値及び前記分光基準値に基づいて、各前記単色光及び前記合成色光のそれぞれについての前記変換行列を算出し、
異なる時間に少なくとも2回上記(1)~(5)を実行するように構成されている、
校正装置。
A calibration device with at least one processor
The at least one processor
(1) Obtaining the measured value by spectroscopically measuring the uniform light from the light source with a spectroscopic measuring instrument to be calibrated.
(2) To acquire the spectral reference value by measuring the uniform light from the light source unit with a calibration reference device.
(3) Acquiring information representing the cumulative operating time of the light source unit, and
(4) To calculate a transformation matrix for color-converting the measured value into a predetermined color coordinate value based on the measured value and the spectral reference value.
(5) The calculated transformation matrix is associated with the information representing the cumulative operating time and output to the storage device.
Is configured to run
The light source unit can switch between a plurality of types of monochromatic light and a composite color light obtained by synthesizing some of the plurality of types of the monochromatic light as the uniform light, and can change the gradation value of the uniform light. ,
The at least one processor is described in (4) above.
Based on the measured values and the spectroscopic reference values for each of the plurality of types of monochromatic light and the synthetic color light having different gradation values, the transformation matrix for each of the monochromatic light and the synthetic color light was calculated.
It is configured to perform the above (1)-(5) at least twice at different times.
Calibration device.
請求項1に記載の校正装置において、
前記分光測定器は、複数の波長に対する分光画像を撮像する分光カメラであり、
前記少なくとも一つのプロセッサーは、前記分光画像における所定の補正点の階調値を前記測定値として取得する
ことを特徴とする校正装置。
In the calibration device according to claim 1,
The spectroscopic measuring instrument is a spectroscopic camera that captures spectroscopic images for a plurality of wavelengths.
The at least one processor is a calibration device, which acquires a gradation value of a predetermined correction point in the spectroscopic image as the measured value.
請求項1又は請求項2に記載の校正装置において、
前記光源部は、所定色の画像光を出力する表示装置と、前記画像光を均一化する積分球とを備える
ことを特徴とする校正装置。
In the calibration device according to claim 1 or 2.
The light source unit is a calibration device including a display device that outputs image light of a predetermined color and an integrating sphere that equalizes the image light.
請求項3に記載の校正装置において、
前記光源部は、前記表示装置から、前記単色光として、赤色、緑色、及び青色の各画像光を出力させ、前記合成色光として、前記赤色、前記緑色、及び前記青色の各前記単色光を同じ階調値で合成したグレーの画像光を出力させ、
前記少なくとも一つのプロセッサーは、前記赤色に対する赤色変換行列、前記青色に対する青色変換行列、前記緑色に対する緑色変換行列、及び前記グレーに対するグレー変換行列をそれぞれ算出する
ことを特徴とする校正装置。
In the calibration device according to claim 3,
The light source unit outputs red, green, and blue image light as the monochromatic light from the display device, and the same monochromatic light of red, green, and blue as the synthetic color light. Outputs the gray image light synthesized with the gradation value,
The at least one processor is a calibration device for calculating a red transformation matrix for red, a blue transformation matrix for blue, a green transformation matrix for green, and a gray transformation matrix for gray.
請求項3又は請求項4に記載の校正装置において、
前記光源部は、さらに、前記表示装置において黒色の画像光を出力させ、
前記少なくとも一つのプロセッサーは、各前記単色光、及び前記合成色光の前記測定値を、前記黒色の前記画像光に対する前記測定値で減算し、各前記単色光、及び前記合成色光の前記分光基準値を、前記黒色の前記画像光に対する前記分光基準値で減算した後、各前記単色光及び前記合成色光に対する前記変換行列を算出する
ことを特徴とする校正装置。
In the calibration device according to claim 3 or 4.
The light source unit further outputs black image light in the display device.
The at least one processor subtracts the measured value of each monochromatic light and the synthetic color light by the measured value with respect to the black image light, and the spectroscopic reference value of each monochromatic light and the synthetic color light. Is subtracted by the spectral reference value for the black image light, and then the conversion matrix for each monochromatic light and the synthetic color light is calculated.
分光測定器で測定された測定値を所定の色座標値に色変換する変換行列を算出する校正方法であって、
(1)均一光として、複数種の単色光、及び複数種の前記単色光のいくつかを合成した合成色光にそれぞれ切り替え可能で、かつ、前記均一光の階調値を変更可能な光源部からの前記均一光を、校正対象となる前記分光測定器で分光測定して前記測定値を取得することと、
(2)前記光源部からの前記均一光を校正基準器で測定して分光基準値を取得することと、
(3)前記光源部の累積稼働時間を表す情報を取得することと、
(4)階調値が異なる複数種の前記単色光及び前記合成色光のそれぞれについての前記測定値及び前記分光基準値に基づいて、各前記単色光及び前記合成色光のそれぞれについての前記変換行列を算出することと、
(5)算出された前記変換行列を、前記累積稼働時間を表す情報に関連付けて、記憶装置に出力することと、
を実行し、
異なる時間に少なくとも2回上記(1)~(5)を実行する、
校正方法。
It is a calibration method that calculates a transformation matrix that converts the measured value measured by a spectroscopic measuring instrument into a predetermined color coordinate value.
(1) From a light source unit that can switch between a plurality of types of monochromatic light and a composite color light obtained by synthesizing some of the plurality of types of the monochromatic light, and the gradation value of the uniform light can be changed. To obtain the measured value by spectroscopically measuring the monochromatic light of the above with the spectroscopic measuring instrument to be calibrated.
(2) To acquire the spectral reference value by measuring the uniform light from the light source unit with a calibration reference device.
(3) Acquiring information representing the cumulative operating time of the light source unit, and
(4) Based on the measured values and the spectral reference values for each of the plurality of types of the monochromatic light and the synthetic color light having different gradation values, the transformation matrix for each of the monochromatic light and the synthetic color light is obtained. To calculate and
(5) The calculated transformation matrix is associated with the information representing the cumulative operating time and output to the storage device.
And run
Performing the above (1) to (5) at least twice at different times,
Calibration method.
コンピューターにより読み取り実行可能な校正プログラムであって、
前記コンピューターに、請求項6に記載の校正方法を実施させる
ことを特徴とする校正プログラム。
A proofreading program that can be read and executed by a computer.
A calibration program comprising the computer performing the calibration method according to claim 6.
JP2020142415A 2020-08-26 2020-08-26 Calibration device, calibration method, and calibration program Active JP7472718B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020142415A JP7472718B2 (en) 2020-08-26 2020-08-26 Calibration device, calibration method, and calibration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020142415A JP7472718B2 (en) 2020-08-26 2020-08-26 Calibration device, calibration method, and calibration program

Publications (2)

Publication Number Publication Date
JP2022038102A true JP2022038102A (en) 2022-03-10
JP7472718B2 JP7472718B2 (en) 2024-04-23

Family

ID=80497786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020142415A Active JP7472718B2 (en) 2020-08-26 2020-08-26 Calibration device, calibration method, and calibration program

Country Status (1)

Country Link
JP (1) JP7472718B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023074454A (en) * 2021-11-17 2023-05-29 國立中正大學 Method and apparatus for measuring chromaticity
CN120558128A (en) * 2025-05-20 2025-08-29 深圳市尚德福科技有限公司 An optical detection calibration method based on laser cross calibration method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329591A (en) * 2006-06-06 2007-12-20 Sony Corp Calibration method in measurement of luminance and chromaticity
JP2010249548A (en) * 2009-04-10 2010-11-04 Konica Minolta Sensing Inc Color measuring device and method, and liquid crystal display system
JP2012078151A (en) * 2010-09-30 2012-04-19 Olympus Corp Inspection device
JP2012191635A (en) * 2006-10-13 2012-10-04 Apple Inc System and method for processing images using predetermined tone reproduction curve
JP2014038081A (en) * 2013-03-27 2014-02-27 Seiko Epson Corp Spectroscopy measurement method, spectroscopic measurement equipment, and method of generating transformation matrix
JP2016105079A (en) * 2014-11-11 2016-06-09 インストゥルメント・システムズ・オプティシェ・メステクニーク・ゲーエムベーハー Colorimeter calibration
JP2022022514A (en) * 2020-06-25 2022-02-07 セイコーエプソン株式会社 Calibration equipment, calibration methods, calibration programs, and spectroscopic cameras

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329591A (en) * 2006-06-06 2007-12-20 Sony Corp Calibration method in measurement of luminance and chromaticity
JP2012191635A (en) * 2006-10-13 2012-10-04 Apple Inc System and method for processing images using predetermined tone reproduction curve
JP2010249548A (en) * 2009-04-10 2010-11-04 Konica Minolta Sensing Inc Color measuring device and method, and liquid crystal display system
JP2012078151A (en) * 2010-09-30 2012-04-19 Olympus Corp Inspection device
JP2014038081A (en) * 2013-03-27 2014-02-27 Seiko Epson Corp Spectroscopy measurement method, spectroscopic measurement equipment, and method of generating transformation matrix
JP2016105079A (en) * 2014-11-11 2016-06-09 インストゥルメント・システムズ・オプティシェ・メステクニーク・ゲーエムベーハー Colorimeter calibration
JP2022022514A (en) * 2020-06-25 2022-02-07 セイコーエプソン株式会社 Calibration equipment, calibration methods, calibration programs, and spectroscopic cameras

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023074454A (en) * 2021-11-17 2023-05-29 國立中正大學 Method and apparatus for measuring chromaticity
US11928842B2 (en) 2021-11-17 2024-03-12 National Chung Cheng University Method and apparatus for measuring chromaticity of a target object
JP7450960B2 (en) 2021-11-17 2024-03-18 國立中正大學 Color measurement method and device
CN120558128A (en) * 2025-05-20 2025-08-29 深圳市尚德福科技有限公司 An optical detection calibration method based on laser cross calibration method

Also Published As

Publication number Publication date
JP7472718B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
JP7207124B2 (en) CALIBRATION DEVICE, CALIBRATION METHOD, SPECTRAL CAMERA, AND DISPLAY DEVICE
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
US7002624B1 (en) Apparatus and method for obtaining object-color component data
US8976239B2 (en) System and apparatus for color correction in transmission-microscope slides
JP4120841B2 (en) Projector color correction method
Ohsawa et al. Six band HDTV camera system for spectrum-based color reproduction
EP3830551A1 (en) A hybrid spectral imager
EP3993382B1 (en) Colour calibration of an imaging device
US20020196456A1 (en) Color reproducing device
US20070177029A1 (en) Color correction apparatus
CN112437872A (en) Method and system for color calibration of an imaging device
JP2014077792A (en) Method for determining calibration parameter of spectrometer
US9826226B2 (en) Expedited display characterization using diffraction gratings
JP7238296B6 (en) Projector, color correction system, and projector control method
US10567719B2 (en) Method for correcting a color reproduction of a digital microscope and digital microscope
JP7428090B2 (en) Calibration device, calibration method, calibration program, and spectroscopic camera
US8169475B2 (en) Image processing system, imaging system, and microscope imaging system
US20080212874A1 (en) Method for Spectral Integrated Calibration of an Image Sensor by Means of a Monochromatic Light Source
JP2020034741A (en) Projector, color correction system, and method for controlling projector
KR20080070070A (en) Dental colorimeter
JP7472718B2 (en) Calibration device, calibration method, and calibration program
JP3960989B2 (en) Color estimation system and color estimation method
JP7491084B2 (en) CALIBRATION DEVICE, CALIBRATION METHOD, CALIBRATION PROGRAM, SPECTROSCOPIC CAMERA, AND INFORMATION PROCESSING APPARATUS
WO2019167806A1 (en) Method for setting colorimetric conversion parameters in a measuring device
JP6851082B2 (en) Multi-point monitor color sharing device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210914

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7472718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150