JP2002016792A

JP2002016792A - 写真画像の少なくとも一部分を写真受像体上に画像生成する方法

Info

Publication number: JP2002016792A
Application number: JP2001151282A
Authority: JP
Inventors: Jiebo Luo; ルオジェボ; Robert T Gray; ティーグレイロバート; Edward B Gindele; ビィーギンデルエドワード
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2000-05-22
Filing date: 2001-05-21
Publication date: 2002-01-18
Also published as: US6545743B1; EP1158464A1

Abstract

(57)【要約】【課題】写真画像のデジタル画像処理により適切なク
ロッピングを行う方法を提供する。【解決手段】写真画像の少なくとも一部分を写真受像
体上に画像生成する方法であって、写真画像に対応す
る、ピクセルで構成されたデジタル画像を受け取るステ
ップと、デジタル画像のピクセルに応答して写真画像、
レンズ、および写真受像体の相対的な光学的位置を確定
し、写真画像内で被写体コンテンツの占める割合が高い
部分を照射してその部分を写真受像体上に画像生成する
ステップとを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、写真画像のデジタ
ル画像処理を用いて写真画像の一部分を受像体上に画像
生成する方法に関する。

【０００２】

【従来の技術】数十年にわたり、従来の商用写真現像シ
ステムは、大量複写を促進すべく、消費者に提供する特
徴に制約を設けてきた。これらの簡便に利用できない特
徴のうち、ズーミングとクロッピングを加えれば写真の
仕上がり品質が向上し、後で写真を見る楽しみが増し
て、極めて有用であると消費者および現像業者の双方か
ら認められている。デジタル画像処理の到来、およびそ
の急速な進歩により、従来の写真に存在した技術的障壁
の多くはもはや克服不可能なものではない。

【０００３】ハイブリッドおよびデジタル写真は、不要
なコンテンツを写真からクロッピング（切り取り）し、
所望のコンテンツを拡大またはズーミングして、そのコ
ンテンツのみで写真プリントを作成する機能を提供す
る。ズーミング機能を備えたある種の従来型のカメラ
は、消費者が所望の場面コンテンツ作成にあたってより
良い制御が行なえるという事実にもかかわらず、研究に
よれば、現像された写真を撮影者が後で見たらまだ何が
しかのクロッピングやズーミングを行ないたいと思う場
合があることがわかった。単に最初の出来栄えを見直す
だけでなく、多くのポイントアンドシュートカメラ（被
写体方向に向けてシャッターを押すだけのカメラ）のフ
ァインダーが不正確であることもズーミングやクロッピ
ングを望む要因である。その上、楕円形、ハート型、正
方形等、その他の標準境界テンプレートを使いたい場合
がある。別の観点からは、一般に”スクラップブッカ
ー”と呼ばれるある種の人々はスクラップブック作成時
により積極的にクロッピングを行なう傾向がある。すな
わち物の境界に沿って写真を切るのである。

【０００４】これら２種類のクロッピング、すなわちア
ルバム作成とスクラップブック作成との間には目的と行
動において大きな違いがあり、後者を理解および要約す
る方が難しい。以下に述べる本発明は、写真プリントを
作るために自動ズーミングおよびクロッピングを行な
う。顧客フォーカス・グループに関するある研究によれ
ば、顧客に標準サイズと拡大サイズの２組のプリントを
渡すのが有益であることがわかった。さらに、クロッピ
ングとズーミングは自動的に行なわれるのが好適であ
る。大多数の顧客は、クロッピングやズーミングされた
写真のコンテンツと品質（例えば、鮮明さ）に満足でき
れば、どのようにズーミングやクロッピングが行なわれ
たかには関心がない。

【０００５】自動ズーミングとクロッピングを実行する
のは明らかに困難なため、それらに関する研究はほとん
ど行なわれてこなかった。自動クロッピングの程度を決
定するにあたって、従来の公知な画像操作ソフトウェア
はいずれも場面コンテンツを利用しない。例えば、米国
ペンシルバニア大学（コンピュータおよび情報科学科）
のＪｏｈｎＢｒａｄｌｅｙにより開発されたフリーウ
ェアパッケージである”ＸＶ”と題されたプログラムは
画像操作用の”ａｕｔｏｃｒｏｐ”機能を提供して、以
下のように動作する。

【０００６】１．プログラムは画像の境界線を上下左右
４方向すべてについて調べる。

【０００７】２．プログラムは描線内の変化をチェック
する。グレースケール・画像では、クロッピングを行な
うために描線は一様でなければならない。カラー画像で
は、描線がクロッピング可能であるためにはごく一部の
ピクセルを除いて空間相関とスペクトル相関の両方とも
低くなければならない、言い換えれば、描線に相当の変
化が含まれているなら、クロッピングされない。

【０００８】３．描線が１個の次元に沿って基準に合格
したなら、内側の次の描線（行または列）が続いて調べ
られる。

【０００９】４．上述の再帰的プロセスが停止したと
き、最終的にクロッピングされた画像が決定される。

【００１０】

【発明が解決しようとする課題】上記プログラムは基本
的に、画像境界周囲の比較的均一なマージンを除去しよ
うとする。画像全体のコンテンツは調べない。実際に
は、ＸＶプログラムはスキャニング処理の間に生じた不
正確な並びが原因で生じた暗い境界をクロッピングする
効果がある。しかし、場面の理解が明らかに欠如してい
るために不満足な結果がしばしば生じる。極端な場合、
画像全体がクロッピングされてしまう恐れがある。

【００１１】Ｂｏｌｌｍａｎ他による米国特許第５,９
７８,５１９号に記述されている、別の従来型システム
は、画像内の異なる輝度レベルに基づいて画像をクロッ
ピングする方法を提供する。このシステムにより、クロ
ッピングされる画像がグリッドに縮小されて、重なり合
わないブロックに分けられる。各ブロックについて輝度
レベルの平均と分散が計算される。ブロック内の分散の
分布に基づいて、分散に対する閾値が選択される。分散
の閾値より高い分散を有するすべてのブロックが関心対
象領域として選択される。関心対象領域は続いて境界を
なす長方形にクロッピングされる。しかし、このような
システムが有効なのは、クロッピングされていない画像
が、輝度レベルが一様な領域と輝度レベルがかなり変化
するその他の領域を含んでいる場合だけである。このよ
うなシステムの有効性はＸＶプログラムのそれに比肩し
得ると期待される。違いは、ＸＶプログラムが一様な領
域を識別するために画像を１ラインづつ調べるのに対
し、Ｂｏｌｌｍａｎ方式では一様な領域を識別するため
に画像を１ブロックづつ調べる点である。要するに、両
方の技術ともに一様でない背景を含む画像を扱うことが
できない。

【００１２】ある種の光学式印刷システムは、写真複写
処理で用いられるリレーレンズの光学式倍率を変化させ
る機能を備える。米国特許第５,９９５,２０１号で、Ｓ
ａｋａｇｕｃｈｉはズームレンズの代わりに固定された
光学式レンズを利用してオリジナルのフィルムから作ら
れたプリントの倍率を効率的に変える方法を記述してい
る。米国特許第５,８７２,６１９号でＳｔｅｐｈｅｎｓ
ｏｎ他は、フィルムストリップの長さ方向の幅が異な
り、かつ幅方向に高さが規定される画像を有する現像済
み写真フィルムストリップから写真をプリントする方法
を述べている。この方法はズームレンズと印刷マスクを
有する写真プリンタを用いて、選択された印刷幅と選択
された印刷高を有する印刷画像を提供する。米国特許第
４,８０９.０６４号でＡｍｏｓ他は、写真陰画の選択さ
れた領域を感光性の印画紙に印刷して拡大およびクロッ
ピングされたプリントを形成する印刷装置を記述してい
る。この装置はそれぞれ倍率が調整可能である第一およ
び第二のズームレンズ上へ写真陰画を射影する手段を含
む。米国特許第５,８７２,６４３号で、Ｍａｅｄａ他
は、効率的にズーミングとクロッピングを行なうことが
できるフィルム再生装置を記述している。この装置は、
フィルムに記録されたフィルムフレーム画像をピックア
ップして画像データを生成する画像ピックアップ装置
と、フィルムフレーム画像の撮影条件に関する情報を読
み取る情報リーダと、フィルムフレーム画像の複製領域
を指定する複製領域指定装置とを含む。しかし、フィル
ムフレーム画像の複製領域は主要被写体の位置に関する
事前記録情報に基づいて決定される。この事前記録情報
には、写真のどの部分に対してカメラの自動照準（Ａ
Ｆ）動作が機能したかといった撮影条件が含まれる。上
述のすべての光学式印刷システムにおいて、写真フィル
ムサンプルの位置とリレーレンズの倍率係数は事前選択
されている。

【００１３】

【課題を解決するための手段】本発明の目的は、写真画
像の主要被写体を識別することにより、写真画像から画
像の一部分を生成する方法を提供することである。この
目的は、以下のステップを含む、写真画像の少なくとも
一部分を写真受像体上に画像生成する方法により実現さ
れる。

【００１４】ａ）写真画像に対応する、ピクセルで構成
されたデジタル画像を受け取る。

【００１５】ｂ）デジタル画像のピクセルに応答して写
真画像、レンズ、および写真受像体の相対的な光学的位
置を確定し、写真画像内で被写体コンテンツの占める割
合が高い部分を照射してその部分を写真受像体上に画像
生成する。

【００１６】本発明の利点の一つは、場面コンテンツに
基づいて写真画像のクロッピングとズーミングを自動的
に行なう機能である。本発明が採用しているデジタル画
像処理ステップは、デジタル画像内の主要被写体を識別
するステップを含む。本発明はデジタル画像の識別され
た主要被写体を用いて自動的に画像のズーミングとクロ
ッピングを行なう。従って本発明は、背景が一様である
か否かにかかわらず、ズーミングまたはクロッピングさ
れた高品質の画像を生成する。

【００１７】本発明は、場面における主要被写体の解析
に従ってデジタル画像ズーミングとクロッピングを自動
的に行なう。従来より、一般消費者向けの写真画像内の
主要被写体を第三者的観察者の観点から検出するシステ
ム（例えば、主要被写体検出あるいは”ＭＳＤ”）が開
発されて、米国特許出願書第０９／２２３，８６０号
（１９９８年１２月３１日出願）に記述されている。主
要被写体検出は、画像内の多様な被写体に関連付けられ
た多様な領域に対し顕著性や相対的重要性の尺度を提供
する。主要被写体検出により、一般消費者向け写真画像
に関する多くの用途において自動クロッピングやズーミ
ングを含む、場面コンテンツの特別扱いが可能になる。

【００１８】主要被写体の検出およびクロッピング等の
タスクを人間の観察者がどのように行なうかを反映する
コンピュータビジョンの分野における従来からの知見
は、認識されたオブジェクトの意味論的意味に従うオブ
ジェクト認識および場面コンテンツ決定を介した問題解
決経路を必要とする。しかし、学界および産業界におけ
る数十年にわたる努力にもかかわらず、一般的なオブジ
ェクト認識はほとんど未解決の問題のままである。

【００１９】ＭＳＤシステムは大部分が低レベルのビジ
ョン特徴を基盤として構築されていて、意味情報が利用
可能であればその都度統合化している。ＭＳＤシステム
は多くのサブタスクを有し、これには領域分割、知覚グ
ループ化、特徴抽出、および確率的かつ意味論的推論が
含まれる。特に、画像の各セグメント化された領域に対
して多数の特徴が抽出されて広範囲な視覚的顕著性特性
を表わし、これらは続いてチューニング可能、かつ拡張
可能な確率的ネットワークに入力されて、値の連続体を
含む確信度マップを生成する。

【００２０】ＭＳＤを用いて、主要被写体に属する領域
は一般に画像内の背景クラッターから区別される。この
ように、自動ズーミングおよびクロッピングが可能にな
る。自動ズーミングおよびクロッピングは、必ずしも一
様な背景を含まない無制約画像に対してはある程度の場
面理解なしには不可能であると考えられていた、自明で
ない操作である。従来のシステムはコンテンツ主導のク
ロッピングを欠いているため、固定されたズーミング
（倍率）係数で単に中央部のクロッピングを行なうか、
あるいは画像境界に接触している一様な背景を除去する
ことのみに集中してきた。中央部のクロッピングは顧客
にとって魅力的でないことがわかっている。

【００２１】本発明で用いられるＭＳＤの出力は、セグ
メント化された領域を、それらが一般的または特定用途
向けの潜在的な主要被写体であり得る可能性（または確
信度）の降順にランク付けしたリストである。このリス
トは、ある領域の明るさはその領域の主要被写体の確信
度に比例するマップに容易に変換することができる。従
って、このマップを主要被写体”確信度”マップと呼ぶ
ことができる。この”確信度”マップは、決定された主
要被写体の位置を示すだけの単なるバイナリマップを超
えるものである。大きい値を有する領域が主要被写体の
一部である確信度または確信度が高い領域に対応するよ
うに、関連付けられた可能性もまた各領域に割り当てら
れている。

【００２２】この確信度マップは、人間がＭＳＤのよう
な作業を行なう場合の本質的な不確実性をある程度まで
反映する。これは主要被写体について、観察者が異なれ
ば特定の被写体については意見が異なり、別の被写体に
ついては合意する可能性があるためである。しかし、確
信度マップ上の適切な閾値を用いることにより、必要で
あれば二分決定が容易に得られる。さらに、確信度情報
は下流の用途のために非常に有用である。例えば、異な
る領域（被写体群）に異なる重み係数を割り当てて、ク
ロッピングの程度を決定することができる。

【００２３】クロッピングの決定に際し、本発明は復元
不可能な拙いクロッピング決定を避けるために、マップ
の二分化バージョンの代わりに主要被写体確信度マップ
を用いる。さらに、主要被写体の確信度の連続値を用い
れば、クロッピングにおいて出現する制約下で異なる領
域のトレードオフがしやすくなる。何を含め、何を除く
べきかに関する二分決定は、一度なされるとトレードオ
フの余地をほとんど残さない。例えば、主要被写体領域
がクロッピングウインドウより小さい場合、二分主要被
写体マップの条件下で唯一の合理的な選択は、主要被写
体領域の周囲に等しい大きさのマージンを残すことであ
る。他方、二次的な主要被写体は主要被写体確信度マッ
プ内でより低い確信度値で示され、確信度値が最も高い
主要被写体が含まれたならば、確信度値の降順で含める
ことができる。さらに、含めるもの／除去するものにつ
いて拙い二分決定がなされた場合、ミスを修正するため
の手がかりがない。その結果、クロッピングの結果は二
分決定を得るために用いられた閾値に敏感になる。連続
値の主要被写体確信度マップを用いて、すべての領域あ
るいはオブジェクトに対し、それが含まれる可能性ある
いは確信度値が関連付けられる。

【００２４】特に写真プリントを生成する場合のクロッ
ピングの程度を決定する際の自由度を減らすために、本
発明の一つの実施の形態において、許されるズーミング
係数の組を｛１．５ｘ，２ｘ，３ｘ，４ｘ｝に制限す
る。これは顧客フォーカス研究における発見に基づいて
いる。当業者は、本発明が任意のズーミング係数と一緒
に利用できることを認識するであろう。一例で、ズーミ
ング係数の既定値は１．５ｘに設定されている。

【００２５】ここで”デジタル画像理解技術”とは、コ
ピー機やスキャナ以外の画像取得装置により取得された
オリジナル場面の少なくとも一部分を表現するデジタル
画像に対し下記のステップ（ｉ）、（ｉｉ）を専ら実行
すべく個別に設計された技術を意味する。

【００２６】（ｉ）デジタル画像を（色および／または
輝度以外、すなわち色の非空間解析により）デジタル処
理して下記の対象を認識し、それにより有用な意味を割
り当てるステップ。

【００２７】人間が理解できる対象であって、（ａ）ダ
イアグラム、チャート、英数文字、マーク、シンボル、
パターンおよびこれらの任意の組み合わせを含みかつこ
れに限定されない、人間が作ったグラフィックオブジェ
クト、（ｂ）オリジナル場面全体、および（ｃ）オリジ
ナル場面において人間が完全に指定したそのようなオリ
ジナル場面の任意の部分、以外の対象と、オリジナル場
面（画像取得装置の画像信号処理機能を含む、そのよう
な対象の属性を機能制御に用いる場合を除く）における
対象の属性（人間が理解できるそのような対象の特徴、
動きまたは方向を含み、かつこれに限定されない）、あ
るいはオリジナル場面の場面条件（画像取得装置の画像
信号処理機能を含む、そのような場面条件を機能制御に
用いる場合を除く）。

【００２８】（ｉｉ）ステップ（ｉ）の結果に基づき、
かつそのような有用な意味に従って、オリジナル場面の
少なくとも一部分を表現しているデジタル画像を修正、
変形、圧縮、拡大、拡張、編集、分類、フォーマット
化、転送または保存したり、あるいは画像処理以外の動
作の実行を起動するステップ。

【００２９】

【発明の実施の形態】図１を参照するに、以下の説明は
光学式印刷のシステムに関する。フィルムスキャナ３２
は写真フィルムサンプル３１を受け取り、写真フィルム
サンプルの空間密度分布に関連するソースデジタル画像
１０を生成する。デジタル画像プロセッサ２０がこのソ
ースデジタル画像を受け取る。デジタル画像プロセッサ
２０は、入力制御装置６０からのオペレータ制御下で汎
用制御コンピュータ４０に接続されていてよい。モニタ
ー装置５０は光学式印刷システムに関する診断情報を表
示する。汎用制御コンピュータ４０はレンズ倍率設定の
履歴を追跡する。

【００３０】図２を参照するに、画像プロセッサ２０は
また、オペレータ制御の下でレンズ倍率設定に対応する
ズーミング係数１１を汎用制御コンピュータ４０から受
け取る。画像プロセッサ２０はソースデジタル画像１０
を受け取り、ズーミング係数１１とソースデジタル画像
１０を用いて写真フィルムサンプルの適切な位置をフィ
ルムサンプル位置９の形式で計算する。写真フィルムサ
ンプルは、露光の間フィルム陰画を正しく保持するゲー
ト装置３６に置かれている。ゲート装置３６はフィルム
サンプル位置９を受け取って、写真の画像形成領域のど
の部分を印刷するかを調節すべく写真フィルムサンプル
を配置する。

【００３１】図１を参照するに、ランプハウス３４が提
供する光源は写真フィルムサンプル３１を通して伝導さ
れ、レンズ１２により印画紙３８に焦点を合わされる。
時間積分装置１３は可変長時間にわたってシャッターの
開閉を行ない、ランプハウス３４からの焦点が合った光
で印画紙３８を露光できるようにする。露出制御装置１
６はデジタル画像プロセッサ２０から明度バランス値を
受け取る。露出制御装置１６は明度バランス価値を用い
て、時間積分装置のシャッターが開いている時間長さを
調節する。

【００３２】本発明のクロッピングプロセス（例：デジ
タル画像理解技術）のブロック図を図３に示し、図６〜
１２との関連で説明する。図６〜１２は本発明のプロセ
スが図６に示すオリジナル画像に適用されている様子を
示す。

【００３３】ブロック２００において、確信度マップは
ＭＳＤを用いて作成される。本発明は（図７に示すよう
に）ズーミング係数（例：１．５Ｘ）およびクロッピン
グ・ウインドウ８０を選択し、図３のブロック２０１に
おいてこれらを参照する。このズーミング係数はオペレ
ータにより、あるいは直接主要被写体確信度マップに基
づく自動的な方法（例：主要被写体の推定サイズ）によ
り選択されてよい。クロッピング・ウインドウは通常、
ある縦横比率の矩形ウインドウである。オペレータがズ
ーミング係数を選択した場合、ズーミング係数の値は汎
用制御コンピュータ４０から図１に示すデジタル画像プ
ロセッサ２０へ送られる。オペレータが選択した場合と
主要被写体確信度マップの場合の両方において、ズーミ
ング係数を用いてレンズ１２とコミュニケートしてレン
ズ倍率設定を調整する。この調整により、レンズ１２が
印画紙３８上に写真フィルムサンプル３１の適切なサイ
ズを結像できる。

【００３４】ブロック２０２において、確信度マップの
領域がクラスタリングされ、最低確信度クラスタ（例：
背景である確信度）が所定の閾値を用いてゼロに設定さ
れる。以下により詳細に論じるように、ある閾値を下回
る確信度を有する画像のセクションは背景セクションで
あると考えられる。本発明の実施の形態の目的のため、
ブロック２０２においてこのようなセクションにはゼロ
の確信度が与えられる。

【００３５】図７に示すように、続いてブロック２０３
において重心あるいは非ゼロ確信度の質量中心が計算さ
れる、ブロック２０４に示すように、クロッピング・ウ
インドウの位置は重心に中心が置かれる。図６に具体的
に示すように、確信度マップで最高確信度を有する被写
体は女性とベビーカーである。図７に、この被写体の重
心が赤ん坊の頭頂部にあることを示す。

【００３６】確信度マップの重心（ｘ＾，ｙ＾）は以下
の手順を用いて計算される。

【００３７】

【数１】ここにｘ_iとｙ_iは確信度マップ内のピクセルの座標を示
し、ｂｅｌ（ｘ_i，ｙ_i）はこのピクセル位置における確
信度を表わす。

【００３８】続いて図８に示すように、クロッピング・
ウインドウ全体がオリジナル画像（例：ブロック２０
５）内に来るように、クロッピング・ウインドウを動か
す。図９に示すように、ブロック２０７において最高確
信度（”主要被写体”）の全領域がクロッピング・ウイ
ンドウ内に含まれ、かつマージン８１が生じるようにク
ロッピング・ウインドウ８０を再び動かす。このプロセ
ス（例：２０７）は関心対象である被写体全体を取得す
る。従って、図９に示すように、女性の頭頂部はクロッ
ピング・ウインドウに含まれる。これを女性の頭頂部が
クロッピング・ウインドウの外側にある図８と比較され
たい。

【００３９】判定ボックス２０８は、受容できる解が見
つかったか否か、すなわちクロッピング・ウインドウ内
で少なくとも最高確信度の領域を含む可能性があるか否
かを判定する。

【００４０】受容できる解が存在する場合、ブロック２
１０に示すように、ウインドウを再度動かしてクロッピ
ング・ウインドウの被写体のコンテンツ・インデックス
を最適化する。本発明の好適な実施の形態では被写体の
コンテンツ・インデックスを、クロッピング・ウインド
ウ内の確信度の合計として定義する。本発明において、
主要被写体である可能性が高いほど、それに対応してよ
り高い確信度を設定することに留意されたい。従って、
確信度の合計値の最大値を見いだすことは被写体の最適
なコンテンツ・インデックスを見いだすことに等しい。
これは図１０に示すように、クロッピング・ウインドウ
８０内に二次的物体（例：花々）が含まれることにより
確信度の合計が増える。クロッピング・ウインドウの確
信度の合計は次式で計算される。

【００４１】

【数２】ここにｂｅｌ（ｘ，ｙ）はクロッピング・ウインドウｗ
内の所与のピクセル位置（ｘ，ｙ）における確信度を表
わす。

【００４２】主要被写体が含まれている前提で、二次的
な被写体がさらに多く含まれるようにクロッピング・ウ
インドウを動かせばクロッピング・ウインドウ内の確信
度の合計が増えよう。主要被写体は最高確信度により示
され、二次的な被写体の確信度は主要被写体の確信度よ
り低いが、背景被写体のそれより高い値により示される
ことを想起されたい。目標は、その内部に主要被写体を
完全に含むことを保証しながら、確信度の合計が最も高
いクロッピング・ウインドウを見つけることである。す
なわち、次式が得られる。

【００４３】

【数３】ここにＷは、上述の制約条件をすべて満たす、あらゆる
可能なクロッピング・ウインドウの組（例：クロッピン
グされていない画像内に完全に含まれるもの、および主
要被写体全体をカバーするもの）を示す。

【００４４】続いて、ブロック２１２において、クロッ
ピング・ウインドウの中心位置を用いてフィルムサンプ
ル位置９の並進運動成分を計算する。図１に示すよう
に、ゲート装置３６は、フィルムサンプル位置９を受け
取り、この情報を用いて写真フィルムサンプル３１のレ
ンズ１２に相対的な位置を制御する。レンズｌ２と写真
フィルムサンプル３１の一方または両方を動かすことに
より、印画紙３８の上に有効なクロッピング画像領域の
中心を置くことができることは当業者には理解されよ
う。

【００４５】図３を参照するに、判定ボックス２０８が
受容できる解をもたらさない場合、ブロック２０６に示
すように、デジタル画像は９０度回転され、処理はブロ
ック２０５に戻る。判定ボックス２０９を二度目により
大きく通過する際に、クロッピング・ウインドウ８０は
既に９０度に回転されていて、しかも受容できる解（判
定ボックス２０８からの）がまだ無い場合、ブロック２
１１に示すように両方の向き（例：オリジナルと９０
度）について重心ベースのクロッピング・ウインドウ８
０の確信度の合計が計算される。続いて、クロッピング
・ウインドウの中心の位置を用いてフィルムサンプル位
置９の並進運動成分が計算され、フィルムサンプル位置
９の回転成分が９０度に設定される。ゲート装置３６
は、図１に示すように、フィルムサンプル位置９を受け
取り、この情報を用いて写真フィルムサンプル３１のレ
ンズ１２に相対的な位置を制御する。ゲート装置３６は
続いて写真フィルムサンプル３１を９０度回転させる。

【００４６】本開示により、写真フィルムサンプルはブ
ロック２０６において任意の角度（例：４５度、１８０
度等）回転させてもよいことは、当業者には公知であろ
う。さらに、確信度の合計が最も高い向きを見つけよう
として、判定ボックス２０９はブロック２０５、２０７
で述べた処理を何度も通過させてもよい。

【００４７】図６〜１２に示すシミュレートされた画像
の例は、本発明が図３に示すプロセスを経て作用するに
従いもたらす変化を示す。この問題は、最適解のグロー
バルなしらみつぶし探索として定式化することができ
る。本発明で用いた手順は”貪欲な”探索アプローチで
あると見なされ、従来の処理よりも効率的であることは
確かである。

【００４８】図４および５に、フィルムサンプル位置９
を決定する図３に示す処理のバリエーションを示す。図
４は、写真の最初の（必ずしも正しいとは限らない）向
きにかかわらず、横長クロッピングを縦長クロッピング
と比較する。図５の第二のバリエーションは、人間のオ
ペレータに提示するために、一連のズーミング係数
（例：[１ｘ、１．５ｘ、２ｘ、３ｘ、４ｘ]）によ
り”リングアラウンド”クロッピングされた一連のバー
ジョンを生成する。

【００４９】より具体的には、図４においてブロック３
００〜３０３は図３のブロック２００〜２０３とほぼ同
じである。ブロック３０４において、クロッピング・ウ
インドウ８０は全く回転無しに中心が重心に置かれてい
る。同時に、並列処理ステップにおいて、クロッピング
・ウインドウ８０の位置は回転（例：９０度回転）によ
り中心が重心に置かれている。ブロック３０６および３
０７において、図３に関して上述のように、最適なクロ
ッピング・ウインドウ８０は決定される。これによりク
ロッピングされた画像３０８、３０９が生成される。ブ
ロック３１０において２個のクロッピングされた画像の
より良い方（例：確信度合計の高い方）が選択され、フ
ィルムサンプル位置９の対応する並進運動と回転成分が
記録される。

【００５０】図５を参照するに、ブロック４００〜４０
７は上述のブロック３００〜３０７とほぼ同じである。
しかし、図５に示す処理において、判定ボックス４１０
は、ブロック４０４〜４０７における並列処理で生成さ
れたクロッピング済み画像４０８、４０９を観察して、
受容できるレベルが達成されたか否かを判定する。ブロ
ック４１０における処理により、異なるズーミング係数
または異なるクロッピング・ウインドウ８０を評価すべ
きであると判定された場合、処理はブロック４０１に戻
る。このプロセスは受容できる結果が得られるまで繰り
返され、ブロック４１１で終了する。同様に、フィルム
サンプル位置９の対応する並進運動と回転成分が記録さ
れる。

【００５１】本発明は、組み込み”ｋ−ｍｅａｎｓ”ク
ラスタリング処理を利用して各アプリケーションのＭＳ
Ｄ確信度の適切な閾値を決定する。本発明はまた、後述
のようにクラスタリングを用いてクロッピング処理を拡
張する。一つの好適な実施の形態において３段階、すな
わち”高”、”中”、”低”によりＭＳＤ確信度を量子
化すれば十分である。当業者には公知であるように、本
発明は３段階のみの分類に限定されてはおらず、その代
わりに合理的な個数の分類レベルを用いて確信度マップ
の（不要な）バリエーションを減らすことができる。こ
れら３段階は主要被写体（高）、背景（低）、および中
間のレベル（中）を想定することにより二次的被写体、
または不確なもの、あるいは背景の顕著な領域を取得す
ることができる。従って本発明は、ＭＳＤ確信度マップ
でｋ＝３を用いてｋ−ｍｅａｎｓクラスタリングを行な
って確信度を”量子化”することができる。その結果、
各領域の確信度はその領域内のクラスタの平均確信度で
置き換えられる。ｋ＝２であるｋ−ｍｅａｎｓクラス
タリングは本質的に２個のクラスタ”高”および”低”
を含む二分マップを生成するが、これは先の説明に基づ
くクロッピングには好ましくない点に留意されたい。

【００５２】このようなクラスタリングや量子化を行な
う主な利点は二つある。第一に、クラスタリングは、低
い確信度の背景領域を一緒にまとめて一様な低確信度
（例：ゼロ確信度）の背景領域を形成することにより背
景の分離を容易にする。第二に、クラスタリングは、同
様な確信度レベルをグループ化することにより、確信度
の順序指定時にノイズを除去するのに役立つ。重心決定
操作はこのような量子化を必要としない（また量子化に
よる影響を受けるべきでない）。ここで用いた量子化の
主な目的は、背景の閾値を提供することである。

【００５３】ｋ−ｍｅａｎｓクラスタリングは確信度マ
ップに対し、多段閾値処理を効率的に行なう。クラスタ
リングの後で、２個の閾値が次式で決定される。

【００５４】

【数４】ここに｛Ｃ_low、Ｃ_medium、Ｃ_high｝は３個のクラスタ
の重心（平均確信度）の組、またｔｈｒｅｓｈｏｌｄ
_lowとｔｈｒｅｓｈｏｌｄ_highはそれぞれ低、高の閾値
である。

【００５５】確信度が低い閾値を下回る領域は”背景”
であると見なされ、上述のブロック２０２、３０２およ
び４０２においてそれらの確信度はゼロに設定される。
確信度が高い閾値を超える領域は主要被写体の一部であ
ると見なされ、可能ならいつでも、その全部を含める必
要がある。確信度が中位（例：高い閾値以下、低い閾値
以上）である領域は”二次的被写体”の一部であると見
なされ、可能ならば全体的あるいは部分的に含まれて、
クロッピング・ウインドウに保存されている主要被写体
確信度の合計を最大化させる。３個のクラスタの分散統
計値を用いて閾値をより正確に設定してクラスタのバラ
ツキを反映することができる点に留意されたい。

【００５６】本発明では、確信度マップの最大値ｂｅｌ
_maximumと最小値ｂｅｌ_minimumを見つけ、確信度マップ
内の項目について最大値と最小値の平均値ｂｅｌ
_averageを計算し、これら３個の値における初期重心
（上付き添字０で示す）を設定することによりｋ−ｍｅ
ａｎｓ処理を初期化する。すなわち次式を得る。

【００５７】

【数５】他の初期化方法も適用できる。ｋ−ｍｅａｎｓ処理につ
いてより詳しくは画像処理解析（Ｓｏｎｋａ，Ｋｌａｖ
ａｃ，Ｂｏｙｌｅ共著、ＰＷＳ出版、１９９９年）３０
７〜３０８ページを参照されたい。典型的なＭＳＤ確信
度マップの場合、ｋ−ｍｅａｎｓ処理は通常１０回足ら
ずの繰り返しで収束する。

【００５８】クロッピングされた領域のズーミング版が
望まれる用途において、考慮すべき二種類のシナリオが
ある。第一に、ズーミング版は事実上オリジナルデータ
の最高解像度よりも高い空間解像度を必要とする。しか
し、この状況で画像の鮮明さが目に見えて落ちる恐れが
ある。第二に、ズーミングバージョンは事実上オリジナ
ルデータの最高解像度よりも低い空間解像度を必要とす
る。本発明は両方のケースにおいて、画像細部を極力維
持するためにデータを再サンプリングする補間処理を利
用する。一般に、３次元スプライン補間等のエッジまた
は細部維持用の画像補間処理はオリジナル画像の細部と
鮮明さをより良くを維持する傾向があるために好まれ
る。

【００５９】例として一般消費者が撮影した写真および
それらをさまざまにクロッピングしたバージョンを”
家”（例：図１３〜１５）および”バレーボール”（図
１６〜１８）の写真に示す。より具体的には、図１３、
１６にクロッピングされていないオリジナル写真画像を
示す。図１４、１７に示す確信度マップは、明るい領域
が高い確信度を表わす。本開示により、図１４、１７に
示す輝度バリエーションは上述の確信度の合計を計算す
るために容易に数値に変換できることは当業者には公知
であろう。最後に、図１５、１８は本発明によるクロッ
ピングされた画像を示す。

【００６０】”家”の写真の場合、ＢｒａｄｌｅｙとＢ
ｏｌｌｍａｎ（米国特許第５,９７８,５１９号）は共に
画像全体を保持するが、下辺に影およびクロッピングさ
れていない画像の上端まで伸びている木があるためにク
ロッピングされた画像を生成することはできないであろ
う（図１３）。この写真には米国特許第５,９７８,５１
９号で要求されるような画像境界から伸長する連続かつ
平らな背景領域が存在しない。同様に、図１６の木の最
上部は米国特許第５,９７８,５１９号に開示されたシス
テムではクロッピングされないであろう。

【００６１】二次的な被写体からはよりバランスがとれ
たクロッピング済み写真が得られる。”バレーボール”
の写真（図１６）の場合、アルゴリズムにより木のある
部分を含めることにより、単に主要被写体（プレーヤ
ー）をクロッピングされた画像（図１８）の中心に置い
たのよりも面白いクロッピング済み写真が得られる。本
発明でそのようにできたのは、図１７の確信度マップに
基づいて木の重要性は二次的であることが示されたため
である。ＢｒａｄｌｅｙとＢｏｌｌｍａｎが米国特許第
５,９７８,５１９号に開示された技術ではこのようにう
まくクロッピングされた画像を生成できないことは明白
である。実際、ＢｒａｄｌｅｙとＢｏｌｌｍａｎ（米国
特許第５,９７８,５１９号）はせいぜい写真下部の芝生
の部分全体を除去し、クロッピングされていない画像の
左上にある木の枝を維持できる程度であろう。

【００６２】コンピュータ・プログラム製品は１個以上
の記憶媒体、例えば（フレキシブルディスク等の）磁気
ディスクまたは磁気テープ等の磁気記憶媒体、光ディス
ク、光テープ、または機械可読なバーコード等の光記憶
媒体、ランダムアクセスメモリ（ＲＡＭ）、読み出し専
用メモリ（ＲＯＭ）等の固体電子記憶媒体、あるいは、
本発明による方法を実行するための命令を有するコンピ
ュータ・プログラムを保存するために利用される他の任
意の物理的装置または媒体を含んでいてよい。

【図面の簡単な説明】

【図１】本発明のシステムの実施の形態の模式図であ
る。

【図２】本発明の実施の形態のアーキテクチャを示す
模式図である。

【図３】本発明の実施の形態のアーキテクチャを示す
模式図である。

【図４】本発明の実施の形態のアーキテクチャを示す
模式図である。

【図５】本発明の実施の形態のアーキテクチャを示す
模式図である。

【図６】シミュレートされた写真へ本発明を適用した
例を示す図である。

【図７】シミュレートされた写真へ本発明を適用した
例を示す図である。

【図８】シミュレートされた写真へ本発明を適用した
例を示す図である。

【図９】シミュレートされた写真へ本発明を適用した
例を示す図である。

【図１０】シミュレートされた写真へ本発明を適用し
た例を示す図である。

【図１１】シミュレートされた写真へ本発明を適用し
た例を示す図である。

【図１２】シミュレートされた写真へ本発明を適用し
た例を示す図である。

【図１３】クロッピングされていない写真の例を示す
図である。

【図１４】図１３に示す画像の確信度マップである。

【図１５】図１３に示す画像のクロッピングされたバ
ージョンである。

【図１６】クロッピングされていない別の写真の例を
示す図である。

【図１７】図１６に示す画像の確信度マップである。

【図１８】図１６に示す画像のクロッピングされたバ
ージョンである。

【符号の説明】

９フィルムサンプル位置、１０ソースデジタル画
像、１１ズーミング係数、１２レンズ、１３時間
積分装置、１６露出制御装置、２０デジタル画像プ
ロセッサ、３１写真フィルムサンプル、３２フィル
ムスキャナ、３４ランプハウス、３６ゲート装置、３
８印画紙、４０汎用制御コンピュータ、５０モニ
ター装置、６０入力制御装置、７０オフラインメモ
リ装置、８０クロッピング・ウインドウ、８１マー
ジン、９０デジタル画像。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 11/80 Ｇ０６Ｔ 11/80 Ａ (72)発明者エドワードビィーギンデルアメリカ合衆国ニューヨーク州ロチェスターボニーブレアアベニュー 394 Ｆターム(参考） 5B047 AA05 AB02 BB04 BC16 CB04 CB10 5B050 AA09 BA06 CA07 EA03 EA06 EA12 EA13 5B057 BA17 BA24 CA08 CA12 CA16 CB08 CB12 CB16 CD03 CD05 CE09 DA06 DB02 DB09 DC06 5C076 AA02 AA21 AA22 AA24 BA02 BA05 CA08 CA10 CB01 5L096 AA06 CA03 CA21 CA24 DA01 EA03 EA16 EA35 FA60 FA69 GA17 JA11

Claims

【特許請求の範囲】

【請求項１】写真画像の少なくとも一部分を写真受像
体上に画像生成する方法であって、ａ）前記写真画像に対応する、ピクセルで構成されたデ
ジタル画像を受け取るステップと、ｂ）前記デジタル画像のピクセルに応答して写真画像、
レンズ、および写真受像体の相対的な光学的位置を確定
し、前記写真画像内で被写体コンテンツの占める割合が
高い部分を照射して前記部分の画像を前記写真受像体上
に生成するステップとを含むことを特徴とする方法。
【請求項２】写真画像の少なくとも一部分を写真受像
体上に画像生成する方法であって、ａ）前記写真画像に対応する、ピクセルで構成されたデ
ジタル画像を受け取るステップと、ｂ）前記デジタル画像のピクセルを用いて前記デジタル
画像の確信度マップを生成して一連の特徴を決定し、前
記特徴を用いて前記確信度マップにおける前記デジタル
画像の主要被写体の位置の確率を割り当てるステップ
と、ｃ）前記確信度マップに応答して写真画像、レンズ、お
よび写真受像体の相対的な光学的位置を確定し、前記写
真画像内で被写体コンテンツの占める割合が高い部分を
照射して前記部分の画像を前記写真受像体上に生成する
ステップとを含むことを特徴とする方法。
【請求項３】写真画像の少なくとも一部分を写真受像
体上に画像生成する方法であって、ａ）前記写真画像に対応する、ピクセルで構成されたデ
ジタル画像を受け取るステップと、ｂ）前記デジタル画像のピクセルを用いて前記デジタル
画像の確信度マップを生成して一連の特徴を決定し、前
記特徴を用いて前記確信度マップにおける前記デジタル
画像の主要被写体の位置の確率を割り当てるステップ
と、ｃ）サイズと形状のクロッピング・ウインドウを選択す
るステップと、ｄ）前記クロッピング・ウインドウの初期位置を選択す
るステップと、ｅ）前記クロッピング・ウインドウに対応する前記確信
度を用いて前記クロッピング・ウインドウの位置を選択
するステップと、ｆ）前記デジタル画像内の前記クロッピング・ウインド
ウの位置に応答して写真画像、レンズ、および写真受像
体の相対的な光学的位置を確定し、前記写真の一部分を
照射して画像を前記写真受像体上に生成するステップと
を含むことを特徴とする方法。