KR102176200B1 - 혈류변화 실시간 탐지 장치 및 방법 - Google Patents

Abstract

본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)을 검출하고, 이 과정에서 실시간으로 탐지되는 동일혈관의 2개 이상 측정지점에서 혈중 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 파악하여 이를 합산하고 비교함으로써, 혈류의 상대적 변화량을 파악하고, 각 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론하는데 유용하게 사용할 수 있도록 하여 적용 의료영역을 확대할 수 있는 혈류변화 실시간 탐지 장치 및 방법에 관한 것이다.

Description

혈류변화 실시간 탐지 장치 및 방법{Real-time detection and method of blood flow}

본 발명은 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)을 검출하고, 이 과정에서 실시간으로 탐지되는 표재정맥 전체영역에서 혈류의 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 계조화(繼照化, Scalarize)하여 혈류(Blood Flow)의 상대적 변화량과 산화 및 환원 헤모글로빈 각 농도의 비율차이를 신시간으로 탐지하는 장치 및 방법에 관한 것이다.

혈관이 막히거나 터져서 생기는 혈관질환에는 동정맥루, 동정맥기형, 정맥기형, 모세혈관 동정맥기형, 하지정맥류 등이 있는데, 이러한 혈관질환들을 진단하기 위해서는 통상 선별검사인 ABI 검사(Ankle brahcial index, 발목상완지수), 초음파 검사, MRI검사, 체적혈류유량계 검사 등을 단독 또는 병행하여야 한다.

그러나, 이러한 검사는 대부분 장비가 고가일 뿐 아니라, 특정한 환경하에서만 검사가 이루어지므로, 검사비용이 높고, 검사시간이 많이 소요되므로, 조기진단이 어려운 문제점이 있었다.

아울러, 혈관질환의 시술 또는 수술시에 동맥과 정맥의 정확한 판단 및 정확한 혈관상태 판단이 요구되지만, 이를 위해서는 별도의 초음파 장비나 MRI장비 등이 설치된 곳에서 수술이 이루어져야 하므로 혈관질환의 치료 또한 어려운 문제점이 있었다.

한편, 혈관주사(IV Injection)는 많은 의료영역에서 행해지는 중요한 의료시술의 하나로, 대부분의 경우 숙련된 의료인력이 큰 무리없이 IV 주사 시술을 하고 있으나, 간혹 혈관을 육안으로 파악하기 어려운 비만환자나 특이체질 환자, 아동 환자 등의 경우에는 IV 주사 시술에 어려움을 겪고 있다.

특히 중증의 질병으로 장기 입원하는 환자의 경우, 링거 수액을 거의 24시간 투여해야 하므로 항상 IV 주사가 되어 있는 상태로 있어야 하고, 이 경우 반복된 수액투여로 혈관이 약해지고 약한 부위를 피해서 반복 주사하다 보면 결국 팔, 손, 발목 등에서 더 이상 IV 주사를 실시할 위치를 찾지 못하게 되며, 종국에는 중심정맥관(Central Venous Line) 삽입을 통하여 약물을 주입하는 경우가 발생한다.

이러한 이유로 IV 주사과정에서 혈관이 아닌 곳에 약물을 주입할 경우, 침윤, 혈종, 신경 손상, 급성 구획 증후군 등의 증상이 발생된다.

상기에서 침윤[Infiltration]은 정맥주사액이 정맥 밖의 주위조직들로 새어나가는 것을 뜻하고, 혈종[Hematoma]은 정맥주사 부위의 주변조직으로의 출혈이 일어나 형성되는 좌상을 말하며, 신경 손상[Nerve damage]은 바늘 삽입 시 신경초를 실질적으로 침범하는 경우 혹은 오랜 기간 동안 정맥주사 카테터(catheter)에 의해 신경이 압박된 경우에 발생되며, 급성 구획 증후군[acute compartment syndrome]은 외상에 의해 한정된 공간의 압력이 한계범위까지 증가하여 혈류의 감소로 이어지는 것으로 조직의 허혈과 괴사 및 기능적 손상이 발생하는 것을 말한다.

한편, 성형외과/피부과 영역의 경우에는 미용 시술시 혈관을 피해야 하는 경우가 대부분으로, 최근 유행하고 있는 필러(충전재) 시술의 경우 미세혈관과 신경이 다량으로 분포하고 있는 얼굴에 시술을 해야 하는데, 잘못된 시술로 인한 사고가 자주 발생하는 편이다.

따라서 정확한 혈관 위치와 혈류변화 등의 상태를 파악할 수 있는 기술의 개발이 절실히 요구되고 있다.

등록특허 10-1494638

본 발명은 상기한 요구에 의하여 개발된 것으로, 근적외선(N-IR)의 조사(照射) 환경에서 혈액 내 헤모글로빈이 특정 파장대에서 보이는 반응 특이성을 분석하여 표재정맥(Superficial Vein)을 검출하고, 이 과정에서 실시간으로 탐지되는 동일혈관의 2개 이상 측정지점에서 혈중 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 파악하여 이를 합산하고 비교함으로써, 혈류의 상대적 변화량을 파악하고, 각 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론하는데 유용하게 사용할 수 있도록 하여 적용 의료영역을 확대할 수 있는 혈류변화 실시간 탐지 장치 및 방법을 제공하는 데 목적이 있다.

또한 파악된 혈관정보 및 혈류변화를 가시(Visible) 영역의 이미지로 재구성하여 측정된 원위치(In-Situ)에 실시간으로 정확하게 투사(Projection)함으로써, 육안으로는 판별되지 않는 혈관의 위치와 형태 등을 실제 모습 그대로 파악하면서 혈관질병위치를 정확하게 확인할 수 있어 치료에 도움을 주고, 정확한 위치로 IV주사(또는 필러시술 등)를 할 수 있게 되어, IV주사과정 및 성형시술에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하는 데 다른 목적이 있다.

또한 표재정맥 탐지 과정에서 왜곡이나 노이즈가 발생하지 않도록 하여 정확하고 선명한 혈관 영상이 출력되도록 하는 데 또 다른 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 특징은, 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개 사용하고 이들이 교번으로 배치 및 점등제어되는 근적외선 광원 모듈; 피하혈관의 영상을 획득하는 하나 이상의 렌즈와 상기 렌즈로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서를 포함하여 구성되는 카메라 모듈; 상기 카메라 모듈로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈; 상기 이미지 프로세서 모듈에서 출력된 이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량 변화 또는 산화 Hb와 환원 Hb의 차이를 판단하고 그 차이가 기준치를 넘어설 경우 혈관이상으로 판단하여 표시부로 출력하는 제어부; 를 포함하여 구성되는 혈류변화 실시간 탐지 장치에 있다.

한편, 상기 혈류변화 실시간 탐지 장치에는 상기 이미지 프로세서 모듈에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP) 모듈; 을 더 포함하여 구성된다.

그리고, 본 발명의 다른 특징은 60-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하는 혈관이미지 획득 단계; 상기 획득된 LED소자별 혈관이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화인 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하는 단계; 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 정상이라고 판단할 기준치를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력하는 단계;를 포함하여 구성되는 혈류변화 실시간 탐지 방법에 있다.

상기 혈류변화 실시간 탐지 방법에는 표재정맥의 원위치 표시단계를 더 포함하여 혈관 이상이 발생된 위치를 즉시 확인할 수 있도록 한다.

또한, 상기 이미지 프로세서는 혈관이미지에서 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 균일화(Equalization)를 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 수행하여 혈관이미지를 검출한다.

상기와 같은 구성을 갖는 본 발명에 의하면 동일 혈관의 복수개 지점에서 혈류의 상대적 변화량을 파악하고, 각 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론하는데 유용하게 사용할 수 있도록 하여 적용 의료영역을 확대하고, 혈관 질환의 진단에 도움을 주며, 저렴한 비용으로 간단한 판별 검사로써 사용될 수 있어 혈관계 질환 예방에 도움을 준다.

그리고 혈관기형클리닉에서 시술 시 초음파를 이용하여 병변의 위치를 확인하고 마킹 한 뒤 시술하거나 초음파를 보면서 시술하는 것보다 피부 아래를 직접 관찰하면서 시술할 수 있어 보다 직관적이며 시술자의 편의성을 증대시킬 수 있고, 수술 시 육안으로 구별 불가능한 혈관 및 조직들을 간편하게 구별함으로써, 수술 성공률을 높이는 데 기여할 수 있다.

또한, 혈관 이미지가 원위치(In-Situ)에 정확하게 실시간 투사(Projection)됨으로써, IV주사과정에서 발생되는 의료사고와 그에 따른 부작용을 획기적으로 줄이고, 혈관을 피해서 주사할 필요가 있는 경우에 혈관을 손상시키지 않도록 하여 IV 주사, 채혈 또는 성형 시술 상황에서 의료인력의 부담감을 줄일 수 있어 환자에게 적극적인 진료가 가능하도록 하며, 환자의 경우에도 정확한 시술로 의료진에 대한 신뢰감을 높일 수 있는 효과가 있다.

도 1 및 도 2는 본 발명에 따른 혈류변화 실시간 탐지 장치를 나타내는 도면
도 3은 LED 파장별 혈관 검출 이미지를 나타내는 도면
도 4 및 도 5는 본 발명에 따른 가시광선필터의 작용을 나타내는 도면
도 6 내지 도 9는 모바일기기용 사용자 인터페이스의 구동예를 나타내는 도면
도 10 내지 도 12는 혈류변화 실시간 탐지 방법의 실시예를 나타내는 도면
도 13 내지 도 18은 본 발명에 따른 표재정맥 실시간 탐지 방법을 나타내는 도면

이하 본 발명의 실시 예를 하기에서 첨부된 도면을 참조하여 설명한다.

본 발명에 따른 혈류변화 실시간 탐지 장치는 도 1 및 도 2에 나타내는 바와 같이, 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개 사용하고 이들이 교번으로 배치 및 점등제어되는 근적외선 광원 모듈(100); 피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200); 상기 카메라 모듈(200)로부터 전송된 피하혈관 데이터를 이미지 처리하는 이미지 프로세서 모듈(300); 상기 이미지 프로세서 모듈(300)에서 출력된 이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량 변화 또는 산화 Hb와 환원 Hb의 차이를 판단하고 그 차이가 기준치를 넘어설 경우 혈관이상으로 판단하여 표시부(D)로 출력하는 제어부(C); 및, 상기 이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);을 포함하여 구성된다.

도면중 미설명부호 500은 와이파이, 블루투스 등의 통신모듈을 나타내고, 600은 전원온/오프 등의 메뉴선택버튼과 충전이나 데이터전송 등을 위한 커넥터 등의 입/출력모듈을 나타낸다.

상기에서 혈류의 상태변화 측정은 실시간으로 탐지되는 혈류의 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 계조화(繼照化, Scalarize)하여, 각 지점에서 산화 및 환원 헤로글로빈의 농도를 합산하여 복수개 지점의 혈류량을 비교하고, 복수개 지점에서 산화 및 환원 헤로글로빈의 농도를 각각 비교함으로써 혈류(Blood Flow)의 상태변화를 파악하는 것이다.

이에 따라 헤모글로빈의 적외선 흡수율을 분석하여 최적의 파장대를 갖는 LED를 선정한다.

De-Oxygenated Hb(환원 헤모글로빈)은 650nm 대역에서 가장 높은 흡수율을 보이나, 650nm 대역은 가시광선 대역이라 피부 투과력이 약하고 붉은색 광원이 탐지하고자 하는 영상에 영향을 주게 되며, 비가시광선 대역에서는 760nm NIR 대역에서 높은 흡수율을 보이나, Peak 760nm LED를 생산하는 제조사가 없어 Peak 770nm LED(독일 Marktech사)를 사용한다.

Oxygenated Hb(산화 헤모글로빈)은 940nm NIR 대역에서 가장 높은 흡수율을 보이나 적외선 투사시 가장 잘 투영되고 흡수율에 차이가 없는 Peak 850nm LED(OSRAM사)를 사용한다.

이와 같이 선정된 770nm LED 소자(110) 및 850nm LED 소자(120)를 이용하여 획득된 혈관 영상은 도 2와 같고, 이 중 850nm LED 소자(확산각 45°)는 최적의 영상획득이 가능하므로 혈관 즉 표재정맥 탐지시에는 이를 단독으로 사용한다.

따라서 본 발명에서는 상기 근적외선 광원 모듈(100)로 770nm LED 소자(110) 및 850nm LED 소자(120)를 각각 복수개(본 발명의 실시 예에서는 각각 8개씩 총 16개 사용함) 사용하여, 이들을 교번으로 배치하고, 점등제어시에도 이들을 교번으로 점등시킨다.

즉, 770nm LED 소자(110)점등시에는 850nm LED 소자(120)는 소등되고, 770nm LED 소자(110) 소등시에는 850nm LED 소자(120)가 점등된다.

한편, 상기 근적외선 광원모듈(100)의 출력을 조정하고 이에 따라 근적외선 이미지 센서의 감도를 조정하여 세밀한 영상 제어가 가능하도록 하는데, 그 예로 근적외선 광원모듈의 출력을 강하게 하면 혈관의 선명도는 높일 수 있으나 세밀함(Detail)이 사라져서 미세혈관을 볼 수가 없고, 미세혈관을 보려고 근적외선 광원모듈의 출력을 약하게 하면 큰 혈관의 선명도가 약해지는 상관관계가 있다. 따라서, 목적하고자 하는 용도에 따라 사용자가 근적외선 광원모듈의 출력과 근적외선 이미지 센서의 감도를 조정할 수 있도록 한다.

상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 렌즈로, 렌즈에서 IR 대역이 충분히 투과될 수 있도록 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 짧은 거리에서도 적외선(IR) 이미지 센서(220)에 상이 맺힐 수 있도록 최소 초점거리는 15cm이하로 하며, DLP 모듈(400)로부터 프로젝션되는 혈관이미지가 IR 이미지 센서(220)에 간섭을 일으키는 현상(플리커링, Flickering)을 방지하기 위해, 도 1 및 도 3에 나타내는 바와 같이 렌즈(210)에 별도의 720nm 로우컷(Low-cut) 필터인 가시광선필터(230)를 구비한다.

상기 가시광선필터(230)는 렌즈후면에 가시광선 차단물질을 코팅한 것으로, 종래에는 렌즈 및 LED광원 전면에 필터를 부착하는 방법을 사용하였으나 이 경우 필터 자체의 산란효과로 출력 LED광량의 손실과 획득이미지의 해상도 저하 현상을 발생시키므로, 본 발명에서는 렌즈후면에 가시광선 차단물질을 코팅하여 필터링함으로써 LED광량의 손실과 획득이미지의 해상도 저하 현상없이 선명한 이미지를 획득할 수 있는 것이다.

따라서 상기 가시광선필터(230)를 적용하면 햇빛이나 램프빛 등 주변광원(Ambience Light)의 빛과 플리커링 이미지 및 자기이미지(Self Image of Vein) 무한반복을 차단하고, 혈관의 근적외선 이미지(N-IR Image of Vein)만 통과시킬 수 있게 된다.

상기에서 플리커링은 DLP 모듈이 영상의 RGB 각 광원을 회전하는 미러로 출력하는데서 기인하는 구조적인 문제이고, 자기이미지 무한반복은 측정되는 원위치에 영상을 재현하면서 발생하는 문제, 즉 재현되는 영상이 다시 측정과정에 유입되는 문제이다.

이러한 상기 가시광선 필터(230)의 성능을 광학분광기(spectroscope)로 측정한 결과 도 4에 나타내는 바와 같이 720nm 이하의 광간섭이 완벽하게 차단됨을 알 수 있고, 도 5는 가시광선 필터 사용 전/후 영상을 나타내는 것으로 사용 후 간섭이 사라짐을 알 수 있다.

상기 이미지 센서(220)는 N-IR CMOS 센서로, 근적외선(N-IR) 파장대에서 Bayer Color 또는 Monochrome type 이미지 센서 대비 약 2배 높은 QE(Quantum Efficiency) 특성을 가지는 특화된 이미지센서로 ISP(Image signal Processor)를 내장하여 ROI(Random Programmable Region of Interest) 기능으로 외부 Processor에 부하를 주지 않고 이미지 영역을 잘라서 사용할 수 있으며 AEC(Automatic Exposure Control), HDR(High Dynamic Range) 등의 기능을 지원하여 정밀한 혈관 영상 촬영이 가능하도록 함으로써, 표재정맥 영역에서의 보다 높은 해상력을 가진 이미지를 재구성할 수 있게 되어 기존 혈관탐지장비로는 잘 파악되지 않는 미세혈관까지 파악이 가능하게 된다.

이때 양자효율(QE)은 물질 중에서 빛을 양자화한 광자(photon, 光子) 또는 전자(electron, 電子)가 다른 에너지의 광자 또는 전자로 변환되는 비율을 말하는 것으로, 이미지 센서 분야에서는 주로 CMOS 등의 감광성 장치에서 흡수된 광자와 전환된 전자의 비율을 말하며, 이미지 센서에서의 양자효율은 이미지의 해상력(Visiability)과 채도력(Saturation Capacity)을 의미한다.

또한 상기 이미지 센서(220)는 HDMI영상출력을 병렬 24비트로 변경하고, 카메라 영상입력 또한 기존 직렬입력방식인 MIPI 방식에서 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하여 그래픽 가속 기능을 구현하고, 이에 따른 충돌발생을 방지하기 위하여 다른 모든 핀의 포트 리맵핑 및 OS 커널 설정을 변경한다.

이미지 프로세서 모듈(300)은 I.MX6Quad 프로세서를 사용하는데, 이는 높은 Performance와 저전력 소비에 초점을 맞춘 Freescale Semiconductor의 최상위 멀티미디어 전용 프로세서로, HD급 비디오처리가 필요한 하이엔드 포터블 미디어 플레이어(portable media players with HD video capability)에 최적화된 솔루션이며, ARM Cortex-A9 MPCore 플랫폼기반으로 설계된다.

그리고, 상기 이미지 프로세서 모듈(300)은 별도의 배터리타입 전원관리를 위한 PMIC를 포함하여 구성된다.

상기 제어부(C) 및 표시부(D)는 본 발명의 혈류변화 실시간 탐지 장치 내부에 구비될 수도 있고, 도 1에 도시된 바와 같이 통신모듈(500)을 통하여 연결된 외부기기 즉, 서버, 컴퓨터(데스크탑, 노트북 등), 휴대폰 등의 모바일기기의 제어부 및 표시부를 사용할 수도 있다.

그리고 상기 제어부(C)에서 혈류변화 실시간 탐지와 관련한 각종 동작을 제어하기 위하여, 상기 제어부(C)가 구비되는 혈류변화 실시간 탐지 장치 또는 외부기기에는 사용자 인터페이스가 구비되고, 그 예를 하기에서 도 6을 참조하여 살펴본다.

상기 사용자 인터페이스에는 혈류상태 확인메뉴와, 표재정맥 검출장치의 배터리잔량표시메뉴, 이미지의 확대와 축소메뉴, 도 7에 나타내는 바와 같이 검출된 표재정맥 이미지의 출력을 다양하게 조정하여 출력하는 메뉴 즉, 실시간 혈관 검출 알고리즘이 적용된 스트리밍 메뉴인 Universal 메뉴와 정밀분석을 위해 해상도를 높인 스트리밍 메뉴(혈관 검출 알고리즘은 CLAHE 2단계까지만 적용)인 Fine Detail메뉴(실시간은 아님) 및 혈류의 상대적 변화량 관찰을 위해 해상도를 높은 스트리밍 메뉴로 770nm LED와 850nm LED의 교차 점등을 통해서 획득된 영상을 출력하는 Blook Flow 메뉴(실시간이미지는 아님) 등을 포함한다.

또한 상기 사용자 인터페이스에는 도 8에 나타내는 바와 같이 표재정맥 이미지를 촬영된 영상 그대로 혈관을 검게 표시(Display)하거나, 영상을 반전시켜 혈관을 밝게 표시하는 메뉴가 구비되고, 도 9에 나타내는 바와 같이 밝은 부분에 사용할 색상(Option : Green(Default)/Blue/Red)을 선택하는 메뉴가 구비되며, LED 광원의 광량 조절과 상기 표재정맥 탐지장치와 연동을 위한 연동설정메뉴 등이 구비된다.

아울러, 상기 혈류변화 실시간 탐지 장치는 자연공냉 방식을 채택함으로써, 수술실 등에서도 사용할 수 있게 되고, 고해상도로 처리된 혈관이미지를 외부기기에 실시간으로 스트리밍할 수 있어, 표재정맥의 상세 분석자료로 활용할 수 있으며, 혈관 기형분석, 개복수술에서 내부 장기의 혈관파악, 안과에서 망막혈관 변성 파악 등에 사용이 가능하다.

상기 DLP모듈(400)은 프로젝션의 촛점거리가 15cm 이하로 조정될 수 있도록 경통부를 제작하고, 영상신호의 포트 매핑(Port Mapping)을 변경하여 DLP 컨트롤러 보드에 구현하며, 전용 디바이스 드라이버(Device Driver)를 개발하여 컨트롤러 보드에 포팅(Porting)한다.

상기 장치를 이용한 혈류변화 실시간 탐지 방법을 하기에서 살펴본다.

상기 혈류변화 실시간 탐지 방법은 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하는 혈관이미지 획득 단계 : 상기 획득된 LED소자별 혈관이미지에서 도 10에 나타내는 바와 같이 동일 혈관의 복수개 지점에서 혈류의 상태변화 즉, 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하는 단계; 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 기준치(정상이라고 판단할 기준치)를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력하는 단계를 포함하여 구성된다.

상기 혈류변화 실시간 탐지 방법에는 표재정맥의 원위치 표시단계를 더 포함하여 혈관이상이 발생된 위치를 원위치상에 표재정맥과 함께 출력하여 시술자 및 환자 모두 즉시 그 위치를 확인할 수 있도록 한다.

한편, 상기에서 혈류의 상태변화 측정은 770nm와 850nm LED를 교차 점등하여 실시간으로 탐지되는 혈류의 산화(Oxide) 및 환원(Deoxide) 헤모글로빈(Hb)의 농도를 각각 계조화(繼照化, Scalarize)하여 혈류(Blood Flow)의 상태변화를 파악하는 것이다.

그리고 혈류량은 환원 및 산화 Hb의 합으로 추론할 수 있으며, 측정하고자 하는 지점의 계조변화의 차이를 RGB888인터페이스에 의한 24비트 체계로 계조화한 수치로 합산함으로써 두 지점 간의 상대적 변화 정도를 도출하게 된다.

아울러, 복수 개 측정지점에서 산화 및 환원 헤모글로빈의 농도 비율이 변화하는 차이를 파악하여 특정 질병이나 병변을 추론할 수 있는데, 이러한 농도비율변화 측정으로 확인 가능한 질환에는 동정맥루, 동정맥기형, 정맥기형, 모세혈관 동정맥기형, 하지정맥류 등이 있다.

상기에서 동정맥루는 동정맥문합지를 통하지 않고 동맥과 정맥이 이상 단락한 증상으로, 동맥과 정맥을 연결하는 수술시 농도비율 변화를 측정하여 동맥과 정맥의 단락부위 판별에 사용할 수 있다.

그리고, 동정맥기형은 동맥과 정맥이 서로 엉켜 모세혈관과 연결되지 않은 선천적 결함을 의미하는 것으로, 모세혈관의 부족으로 피가 빨리 흐르게 되며, 기형화된 혈관으로 피를 보내게 되므로, 동정맥 기형 부분의 혈류변화량을 측정할 수 있으면, 진단 및 치료계획을 수립하는데 도움을 줄 수 있다.

하지정맥류는 도 11에 나타내는 바와 같이 다리에서 올라오는 혈액이 다시 내려가지 못하게 차단하는 판막이 제 기능을 못해서 혈액이 역류하여 혈관이 비정상적으로 확장/돌출되는 질환으로, 중년 여성에서 주로 발병하며, 미용적인 문제와 함께 다양한 합병증, 부종, 가려움, 경련조직괴사 등을 일으키나, 혈관의 변색이나 돌출이 발생하기 전에는 외견상 소견이 없어 일반적으로는 초기 진단에 어려움이 있었다.

또한 확장된 혈관은 복원되지 않으므로 근본적인 치료가 어려우며 증상이 심할 경우 혈관을 제거하거나 경화요법을 사용하여야 하므로 초기에 이를 검출하는 방법이 절실히 요구된다.

이에 따라 본 발명은 도 12에 나타내는 바와 같이 복수개 지점에서 측정한 각 산화 Hb와 환원 Hb의 농도 차이가 해당 복수개 지점에서 구성비율이 특정지점에서의 구성비율과 유의미하게 차이가 나는 경우, 하지정맥류로 판단하며, 이에 따라 혈관돌출, 변색 등 외형적인 소견이 발생하기 전에 조기 진단할 수 있게 된다.

한편, 상기 표재정맥을 원위치에 표시하기 위하여 이미지 프로세서모듈에서는 렌즈의 광학적 왜곡(Distortion)을 보정하고, DLP의 투사각(Projection Angle)오차를 보정하는 전처리(Pre-Processing)과정 : 상기 전처리과정을 거쳐 획득된 이미지에서 원근변형(Perspective Transform)을 포함하는 기하학적 변형을 수행하는 기하학적 변형과정 : 히스토그램 평준화(획득 이미지의 명암대비 증가)의 방법으로 블록 단위로 별도의 Contrast Limiting 값을 설정하여 Equalization을 수행하는 균일화[CLAHE(Contrast Limited Adaptive Histogram Equalization)] 과정 : CLAHE 적용 후 증가된 노이즈를 제거하는 노이즈 제거[Median Blur]과정 : 어둡게 표시된 혈관이미지의 명암을 반전하는 반전[Invert]과정 : 이미지 분할 및 이진화를 통한 형상검출[Binarization] 과정 : 을 수행하여 표재정맥을 검출하고 이를 DLP모듈을통해서 원위치에 표시하게 된다.

상기 전처리과정에서 광학적 왜곡 보정(Distortion Correction)에 대하여 설명한다.

렌즈를 통해 획득된 이미지는 기본적으로 왜곡(Distortion) 현상이 발생하며, 주요 왜곡으로 방사 왜곡(Radial Distortion) 및 접선 왜곡(Tangential Distortion)이 있다.

이 중 방사 왜곡(Radial Distortion)이란 볼록렌즈의 굴절률에 의해 발생하며, 영상의 왜곡 정도는 중심에서의 거리에 의해 결정되는데(이미지 중심에서 멀어질수록 직선이 곡선으로 왜곡), 이러한 방사 왜곡은 아래의 수학식 1로 보정한다.

수학식 1

접선 왜곡(Tangential Distortion)은 카메라 제조(조립) 과정에서 카메라 렌즈와 이미지센서의 수평이 맞지 않거나, 렌즈 자체의 Centering이 맞지 않는 경우 발생하며, 이미지의 일부 영역이 예상보다 가깝게 보일 수 있는 왜곡으로, 수학식 2로 보정한다.

수학식 2

기타 발생하는 물리적 왜곡 요소들은 Brown-Conrady Model을 적용하여 추가로 보정한다.

수학식 3

투사각 오차 보정은 렌즈각도에 의한 이미지의 왜곡이 발생하지 않도록 하는 것으로, 혈관측정 전 DLP 모듈을 이용해 먼저 기준점(또는 기준라인)을 검출하고자 하는 위치에 조사하고, 이미지센서를 통해 수집된 영상 데이터에서 상기 기준점의 좌표를 획득하여, 이를 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.

그 예로, 도 13에 나타내는 바와 같이 DLP 모듈로 투사한 DLP 모듈로 투사한 체커보드(Checker Board) 영상을 카메라에서 촬영하여 기준점 즉, 모서리 각 4지점(빨간점으로 표시)의 좌표를 획득한 후, 상기 획득된 기준좌표로 카메라 모듈과 DLP 모듈을 정렬하여 혈관검출에 적용한다.

즉, 상기 카메라 모듈의 인식영역과 DLP 모듈의 프로젝션 영역을 일치시키기 위하여 상기 카메라 모듈의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록하고, 이로 인해 발생되는 왜곡현상은 이후 이미지 프로세서 모듈에서 보정한다.

상기와 같은 카메라 모듈의 인식영역 및 DLP 모듈의 투사영역이 일치되도록 한 후, 카메라 모듈로부터 획득된 2D 이미지에 대하여 기하학적 변형과정을 수행하는데, 이는 카메라 모듈과 DLP 모듈의 광축이 일치하지 않아서 발생하는 원근감 변형 등을 보정하는 것으로, 상기 기하학적 변형에는 원근(Perspective), 크기(Scaling), 위치(Translation), 회전(Rotation) 등이 있으며, 그 예는 도 14와 같다.

균일화 과정은 히스토그램 평준화방법으로 수행되는데, 히스토그램 평준화(Histogram Equalization)는 도 15에 나타내는 바와 같이 2D 이미지의 명암 대비를 증가시키는 것으로, 히스토그램(Histogram)의 강도를 더 잘 분산시킬 수 있고, 이로 인해 낮은 명암비의 이미지 영역이 더 높아지게 된다.

따라서 히스토그램 평준화는 밝거나 어두운 배경 및 전경이 있는 이미지에 유용하며, 특히 과다 노출 또는 과소 노출된 이미지를 더욱 자세히 묘사할 수 있으나, 전체 영역에서 적용되므로 명암 대비가 향상되면서 과도한 밝기에 의해 이미지의 세부영역 정보가 손실되는 문제점이 발생한다.

따라서, 이러한 문제를 해결하기 위해 도 13에 나타내는 바와 같이 히스토그램 평준화 기법을 변형한 CLAHE기법으로 변경하여 적용하며, CLAHE는 필요에 따라 복수회 반복하여 복수해 실시한다.

상기 CLAHE(Contrast Limited Adaptive Histogram Equalization)는 이미지를 작은 블록(타일, Tile)으로 나눈 후, 각 블록에 대해서 각각 히스토그램 평준화(Histogram Equalization)를 실시하는 것으로, 다만 이미지에 노이즈(Noise)가 많을 경우에는 노이즈 또한 함께 증폭되기 때문에, 별도의 콘트라스트 리미팅(Contrast Limiting) 값을 설정하여 해결한다. 그리고 타일(Tile)의 경계 부분에서 발생하는 Artifact는 이중선형 보간기법(Bilinear Interpolation)을 적용하여 제거한다.

그리고 CLAHE를 적용한 이후 증가된 노이즈(Noise)를 제거하기 위해 도 17에 나타내는 바와 같이 노이즈제거과정인 Median Blur를 수행하는데, 이는 주변 픽셀들의 값과 자신의 값들을 크기에 따라 정렬하고 중간값(Median)을 선택해서 자신의 픽셀값으로 선택하는 알고리즘이다.

이후 도 17에 나타내는 바와 같이 반전과정(Invert)을 수행하여, 어둡게 표시되는 혈관을 밝게 표현하되도록 이미지의 명암을 역상시킨다.

마지막으로 형상검출과정(Binarization) 즉, 이미지를 분할하여 원하는 부분 혹은 물체의 형상을 검출하는데, 이는 입력된 영상 전체를 스캔하면서 픽셀값보다 트레스홀드(Threshold) 값이 크면 해당 위치의 픽셀값을 흰색(1 또는 255)로 하고, 픽셀값이 트레스홀드(Threshold)값보다 작으면 검은색으로 설정하여 출력하고, 이를 원위치(In-Situ)에 실시간으로 투사(Projection)하는 것으로, 형상검출과정을 거친 이미지와 실제 투사 이미지를 도 18에 나타낸다.

이와 같이 원위치에 표재정맥이 표시되므로, 시술과정에서 천자위치를 정확하게 파악할 수 있는데, 보다 정확한 천자위치 설정을 위하여 상기 혈류변화 실시간 탐지 장치를 통해서 획득된 표재정맥 이미지는 서버로 전송되고, 상기 서버에서 의료영상 분석에 특화된 인공지능(AI) 학습기법을 적용하여, 정맥주사(IV Injection) 시술 시 최적의 천자(穿刺, Centesis) 위치를 추천하되, 실제 천자시 획득된 천자이미지와 전문가의 천자위치추천을 통하여 가중치 부여로 최적 천자위치를 제안하고, 상기 서버로부터 제안된 천자위치는 표재정맥 검출 장치로 전송되어 DLP 모듈을 통해서 해당 피부 상에 투사된다.

100 : 근적외선 광원 모듈
200 : 카메라 모듈
210 : 렌즈
220 : 근적외선(IR) 이미지센서
300 : 이미지 프로세서 모듈
400 : 디지털광원처리(Digital Light Processing, DLP)모듈
C : 제어부
D : 표시부

Claims (9)

1. 760-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개 사용하고 이들이 교번으로 배치 및 점등제어되는 근적외선 광원 모듈(100);
   피하혈관의 영상을 획득하는 하나 이상의 렌즈(210)와 상기 렌즈(210)로부터 획득된 상이 맺히는 근적외선(IR) 이미지센서(220)를 포함하여 구성되는 카메라 모듈(200);
   상기 카메라 모듈(200)로부터 전송된 각 LED소자별 Hb의 농도정보가 포함된 혈관데이터를 이미지 처리하는 이미지 프로세서 모듈(300);
   상기 이미지 프로세서 모듈(300)에서 출력된 이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화인 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하여, 상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 정상이라고 판단할 기준치를 벗어날 경우 혈관이상으로 판단하고 이를 표시부(D)로 출력하는 제어부(C);
   이미지 프로세서 모듈(300)에서 출력되는 혈관 이미지를 촬영된 피부영역 상에 실시간으로 출력하는 디지털광원처리(Digital Light Processing, DLP)모듈(이하 DLP모듈이라 함)(400);를 포함하여 구성되고,
   혈관 이미지 검출 전 DLP 모듈에서 기준점 또는 기준라인을 피부에 조사하고 카메라 모듈로부터 획득된 영상에서 상기 이미지 프로세서 모듈은 기준점 또는 기준라인을 기준으로 이미지 처리하여 DLP 모듈에서 해당 기준점 또는 기준라인을 기준으로 이미지를 출력하는 것을 특징으로하는 혈류변화 실시간 탐지 장치.
2. 삭제
3. 제 1항에 있어서, 상기 카메라모듈(200)을 구성하는 렌즈(210)는 C-Mount 타입의 비적외선코팅렌즈(Non-IR Coating Lends)를 사용하고, 최소 초점거리는 15cm이하로 하는 것을 특징으로 하는 혈류변화 실시간 탐지 장치.
4. 제 1항에 있어서, 상기 렌즈(210)의 뒷면에 가시광선차단물질을 코팅하여 가시광선필터(230)를 구비한 것을 특징으로 하는 혈류변화 실시간 탐지 장치.
5. 제 1항에 있어서, 상기 이미지 센서(220)는 N-IR CMOS 이미지 센서를 사용하고, HDMI영상출력을 병렬 24비트로 변경하고, 카메라 영상입력은 병렬 12비트 그레이스케일(Grey scale)로 핀맵핑(pin mapping)하는 것을 특징으로 하는 혈류변화 실시간 탐지 장치.
6. 삭제
7. 제 1항에 있어서, 상기 카메라 모듈(200)의 인식영역과 DLP 모듈(400)의 프로젝션 영역을 일치시키기 위하여, 상기 카메라 모듈(200)의 광축을 16°정도 어긋나게 하여 카메라 모듈의 혈관 인식영역과 DLP 모듈의 프로젝션 영역이 일치되도록 하고, 이로 인해 발생되는 왜곡현상은 이미지 프로세서 모듈(300)에서 보정하는 것을 특징으로 하는 혈류변화 실시간 탐지 장치.
8. 청구항 1, 청구항 3, 청구항 4, 청구항 5 또는 청구항 7의 어느 하나에 따른 혈류변화 실시간 탐지 장치를 사용하여,
   60-790nm LED 소자 및 800-950nm LED 소자를 각각 복수개씩 교번으로 배치하고 이들을 교번으로 점등시켜 카메라모듈로 각 LED소자별 Hb의 농도정보가 포함된 혈관이미지를 획득하는 혈관이미지 획득 단계 :
   상기 획득된 LED소자별 혈관이미지에서 동일 혈관의 복수개 지점에서 혈류의 상태변화인 혈류량의 상대적 변화량 또는 산화 Hb대 환원 Hb의 농도 비율차이를 판단하는 단계;
   상기 혈류량의 상대적 변화량 또는 각 헤모글로빈의 농도 비율 차이가 정상이라고 판단할 기준치를 벗어날 경우 혈관이상으로 판단하고 이를 표시부로 출력하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 혈류변화 실시간 탐지 방법.
9. 제 8항에 있어서, 상기 혈류변화 실시간 탐지 방법에는 표재정맥의 원위치 표시단계를 더 포함하여 혈관이상이 발생된 위치를 표재정맥이미지와 함께 동시에 원위치로 출력하는 것을 특징으로 하는 혈류변화 실시간 탐지 방법.

Images