JP6134281B2 - イメージを処理する電子装置及びその動作方法 - Google Patents

Description

本発明は、電子装置に関し、より詳しくは、イメージを処理するための電子装置及びその動作方法に関するものである。

情報通信技術及び半導体技術の発展によって、各種電子装置は多様なマルチメディアサービスを提供するマルチメディア装置として発展しつつある。例えば、携帯用電子装置は放送サービス、無線インターネットサービス、及び音楽再生サービスなどの多様なマルチメディアサービスを提供する。

電子装置は、イメージセンサを介して獲得した一つ以上のイメージを利用して多様なサービスを提供する。

多数個のイメージセンサを備える場合、電子装置はそれぞれのイメージセンサを介して獲得したイメージの処理速度が異なると、同一時点でイメージセンサを介して獲得したイメージを同一時点に表示部に表示することができない問題が発生する。

韓国公開特許第１０−２０１２−００４８３９６号公報

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、多数個のイメージセンサを介して獲得したイメージを効率的に処理するための電子装置及びその動作方法を提供することにある。
また、本発明の目的は、イメージセンサを介して獲得したイメージの処理遅延を減らすための電子装置及びその動作方法を提供することにある。

上記目的を達成するためになされた本発明の一態様による電子装置は、低画素の第１イメージデータを生成する第１イメージセンサと、高画素の第２イメージデータを生成する第２イメージセンサと、前記第１イメージセンサから受信した第１イメージデータを処理する第１プロセッサと、前記第２イメージセンサから受信した第２イメージデータを処理する第２プロセッサと、前記第１プロセッサによって処理された第１イメージデータ及び前記第２プロセッサによって処理された第２イメージデータのうちの一つ以上のイメージデータを表示する表示部を備え、前記第１のプロセッサは、前記第１イメージデータにイメージ獲得時点（ｔｉｍｅ ｓｔａｍｐ）を設定し、前記第２プロセッサは、前記第２イメージデータにイメージ獲得時点を設定し、前記表示部は、前記イメージ獲得時点に基づいて一つ以上のイメージデータを表示し、前記第１プロセッサは、キャプチャイベントの発生に対する応答で、処理遅延の差に基づいて、前記第１イメージセンサを介して受信した多数個の第１イメージデータのうち、前記キャブチャイベントの発生時点より前のイメージ獲得時点を含む第１イメージデータを選択し、前記第２イメージセンサを介して受信した多数個の第２イメージデータのうち、前記キャブチャイベントの発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択し、前記選択した第１イメージデータと前記選択した第２イメージデータを利用して合成イメージを生成することを特徴とする。

上記目的を達成するためになされた本発明の一態様による電子装置の動作方法は、多数個のイメージセンサを利用して多数個のイメージデータを生成するステップと、前記多数個のイメージセンサのそれぞれに接続される多数個のプロセッサを介して、前記多数個のイメージデータのそれぞれに対するイメージ獲得時点を設定するステップと、前記イメージ獲得時点に基づいて多数個のプロセッサで処理された一つ以上のイメージデータを表示部に表示するステップを有し、前記表示部に表示するステップは、第１メモリに保存された一つ以上の低画素の第１イメージデータのうち、処理遅延の差に基づいてイメージ獲得時点がキャプチャイベント発生時点より前であるいずれか一つの第１イメージデータを選択するステップと、第２メモリに保存された一つ以上の高画素の第２イメージデータのうち、前記キャプチャイベント発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択するステップと、前記選択した第１イメージデータ及び前記選択した第２イメージデータを合成した合成イメージデータを前記表示部に表示するステップを含むことを特徴とする。

上記目的を達成するためになされた本発明の更に他の態様による電子装置の動作方法は、応用プロセッサによって第１イメージ獲得時点が追加された第１イメージデータ及び前記応用プロセッサの外部に位置するイメージ処理プロセッサによって第２イメージ獲得時点が追加された第２イメージデータを保存するステップと、前記イメージ獲得時点に基づいて前記応用プロセッサによって処理された前記第１イメージデータ及び前記イメージ処理プロセッサによって処理された前記第２イメージデータのうちの一つ以上のイメージデータを表示部に表示するステップを有し、前記表示部に表示するステップは、第１メモリに保存された一つ以上の低画素の第１イメージデータのうち、処理遅延の差に基づいてイメージ獲得時点がキャプチャイベント発生時点より前であるいずれか一つの第１イメージデータを選択するステップと、第２メモリに保存された一つ以上の高画素の第２イメージデータのうち、前記キャプチャイベント発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択するステップと、前記選択した第１イメージデータ及び前記選択した第２イメージデータを合成した合成イメージデータを前記表示部に表示するステップを含むことを特徴とする。

また、上記目的を達成するためになされた本発明の更に他の態様による電子装置の動作方法は、第１イメージセンサ及び第２イメージセンサを利用して低画素の第１イメージデータ及び高画素の第２イメージデータを生成するステップと、応用プロセッサによって第１イメージ獲得時点が追加された前記第１イメージデータ及び前記応用プロセッサの外部に位置するイメージ処理プロセッサによって第２イメージ獲得時点が追加された前記第２イメージデータを保存するステップと、前記イメージ獲得時点に基づいて前記応用プロセッサによって処理された前記第１イメージデータ及び前記イメージ処理プロセッサによって処理された前記第２イメージデータのうちの一つ以上のイメージデータを表示部に表示するステップを有し、前記表示部に表示するステップは、第１メモリに保存された一つ以上の第１イメージデータのうち、処理遅延の差に基づいてイメージ獲得時点がキャプチャイベント発生時点より前であるいずれか一つの第１イメージデータを選択するステップと、第２メモリに保存された一つ以上の第２イメージデータのうち、前記キャプチャイベント発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択するステップと、前記選択した第１イメージデータ及び前記選択した第２イメージデータを合成した合成イメージデータを前記表示部に表示するステップを含むことを特徴とする。

本発明によれば、電子装置でプロセッサの内部又は外部に位置するイメージ処理部で一つ以上のイメージセンサを介して獲得した一つ以上のイメージデータを表示部に表示可能な形式に変換してプロセッサに提供することで、イメージ処理時間による時間遅延を減らすことができる。また、電子装置でイメージセンサを介して獲得したイメージデータに設定したイメージ獲得時点を利用して合成のための多数個のイメージデータを選択することで、合成するイメージデータの獲得時点を同期化することができる。

本発明の一実施形態による電子装置のブロック構成を示す図である。 本発明の一実施形態によるプロセッサの詳細なブロック構成を示す図である。 本発明の他の実施形態による電子装置のブロック構成を示す図である。 本発明の他の実施形態によるプロセッサの詳細なブロック構成を示す図である。 本発明の更に他の実施形態による電子装置のブロック構成を示す図である。 本発明の更に他の実施形態によるプロセッサの詳細なブロック構成を示す図である。 本発明の更に他の実施形態による外部イメージ処理部の詳細なブロック構成を示す図である。 本発明の更に他の実施形態によるメモリの詳細なブロック構成を示す図である。 本発明の更に他の実施形態による電子装置で合成のためのイメージデータを選択するためのフローチャートである。 本発明の更に他の実施形態による電子装置で合成のためのイメージデータを選択するためのフローチャートの他の例である。 本発明の更に他の実施形態によるメモリのデータ構成を示す図である。 本発明の更に他の実施形態による電子装置で合成のためのイメージを選択するためのフローチャートの更に他の例である。 本発明の更に他の実施形態によるメモリのデータ構成を示す図である。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

本発明を説明するに当たって、関連する公知の機能或いは構成に関する具体的な説明が本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。後述する用語は本発明における機能に基づいて定義した用語であり、ユーザ、運用者の意図又は慣例などによって異なり得る。よって、その定義は本明細書全般に亘る内容に基づく。

以下、本発明の一実施形態による電子装置において多数個のイメージセンサを介して獲得したイメージを処理するための技術について説明する。

本実施形態による電子装置は、多数個のイメージセンサを含むスマートフォン、タブレットＰＣ、携帯電話、画像電話、電子書籍リーダー、デスクトップＰＣ、ラップトップＰＣ、ネットブックコンピュータ、ＰＤＡ、ＰＭＰ、ＭＰ３プレーヤー、モバイル医療機器、アクセサリ、電子アクセサリ、カメラ、ウェアラブル装置、電子時計、腕時計、冷蔵庫、エアコン、掃除機、人工知能ロボット、ＴＶ、ＤＶＤプレーヤー、オーディオ、オーブン、電子レンジ、洗濯機、電子ブレスレット、電子ネックレス、空気清浄機、電子額縁、医療機器（例えば、ＭＲＡ、ＭＲＩ、ＣＴ撮影装置、超音波機）、ナビゲーション装置、ＧＰＳ受信機、ＥＤＲ、ＦＤＲ、セットップボックス、テレビボックス（例えば、サムスンＨｏｍｅＳｙｎｃ（登録商標）、アップルＴＶ（登録商標）又はグーグルＴＶ（登録商標））、電子辞書、自動車インフォテインメント装置、船舶用電子装備（例えば、船舶用航法装置、ジャイロコンパス）、航空電子機器、保安機器、電子衣服、電子キー、カムコーダ、ゲームコンソール、ＨＭＤ、平板表示装置、電子アルバム、電子装置を含む家具又は建物／構造物の一部、電子ボード、電子サイン入力装置又はプロジェクタなどのような多様な装置のうちの一つ又はそれ以上の組み合わせであってもよい。本発明による電子装置が上述した機器に限られないことは当業者にとって自明である。

図１は、本発明の一実施形態による電子装置のブロック構成を示す図である。

図１を参照すると、電子装置１００は、プロセッサ１１０、メモリ１２０、第１乃至第Ｎイメージセンサ（１３０−１〜１３０−Ｎ）、表示部１４０、及びユーザ入力部１５０を備える。ここで、プロセッサ１１０は応用プロセッサ（ＡＰ）を含む。

プロセッサ１１０は、電子装置１００が多様なサービスを提供するように制御する。

プロセッサ１１０は、電子装置１００に含まれる一つ以上の他の構成要素（例えば、メモリ１２０、イメージセンサ（１３０−１〜１３０−Ｎ）、表示部１４０、及びユーザ入力部１５０）から受信した命令を解読し、解読した命令による演算やデータ処理を行う。プロセッサ１１０は、イメージセンサ（１３０−１〜１３０−Ｎ）から提供されたイメージデータに対するレベル調整、雑音除去、ガンマ補正、及び表示部１４０に表示可能なフォーマットへの変換のうちの一つ又はそれ以上のイメージ処理を行う。

プロセッサ１１０は、イメージ処理したイメージデータをメモリ１２０に保存するか又は表示部１４０に表示するように制御する。この際、プロセッサ１１０は、表示部１４０に表示されるイメージデータをメモリ１２０に一時保存するようにイメージ処理したイメージデータを、メモリ１２０に伝送する。ここで、表示部１４０に表示可能なフォーマットに変換するイメージ処理は色相空間変換を含む。

プロセッサ１１０は、メモリ１２０に保存された一つ以上のプログラムを実行し、電子装置１００が多様なマルチメディアサービスを提供するように制御する。

プロセッサ１１０は、メモリ１２０に保存されたプログラムを実行し、第１乃至第Ｎイメージセンサ（１３０−１〜１３０−Ｎ）を介して獲得したイメージデータのうちの少なくとも２つのイメージデータを選択して合成する。また、プロセッサ１１０は、第１乃至第Ｎイメージセンサ（１３０−１〜１３０−Ｎ）のうちの少なくとも一つのイメージセンサを介して獲得したイメージデータに対応するイメージ獲得時点（ｔｉｍｅ ｓｔａｍｐ）を設定する。

キャプチャイベントが発生した場合、プロセッサ１１０は、それぞれのイメージセンサ（１３０−１〜１３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。他の例として、キャプチャイベントが発生した場合、プロセッサ１１０は、それぞれのイメージセンサ（１３０−１〜１３０−Ｎ）を介して獲得したイメージデータに対する処理遅延時間及びイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。

メモリ１２０は、電子装置１００に含まれる一つ以上の構成要素から受信されるか又は一つ以上の構成要素によって生成された命令若しくはデータを保存する。メモリ１２０は、カーネル、ミドルウェア、アプリケーションプログラミングインタフェース（ＡＰＩ）、又はアプリケーションのようなプログラミングモジュールを含む。
プログラミングモジュールは、電子装置１００に関する資源を制御するオペレーティングシステム（ＯＳ）又はＯＳで駆動される多様なアプリケーションを含む。この際、それぞれのプログラミングモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はそれらのうちの少なくとも２つ以上の組み合わせで構成される。ＯＳとしては、アンドロイド（登録商標）、ＩＯＳ（登録商標）、ウィンドウズ（登録商標）、シンビアン（登録商標）、タイジェン（登録商標）又はバダを含む。

イメージセンサ（１３０−１〜１３０−Ｎ）は、被写体を撮影して獲得したイメージデータをプロセッサ１１０に提供する。イメージセンサ（１３０−１〜１３０−Ｎ）は、ＭＩＰＩ、ＭＰＤＩのような直列インタフェース及び並列バス（ｐａｒａｌｌｅｌ ｂｕｓ）のような並列インタフェースを介してプロセッサ１１０にイメージデータを伝送する。ここで、第１イメージセンサ（１３０−１）は電子装置１００の前面に位置し、第Ｎイメージセンサ（１３０−Ｎ）は電子装置１００の後面に位置する。

表示部１４０は、電子装置１００の状態情報、ユーザが入力する文字、動画像、及び静止画像のようなグラフィックによりユーザインタフェースを提供する。表示部１４０は、プロセッサ１００から提供された一つ以上のイメージデータを表示する。他の例として、表示部１４０は、プロセッサ１００がイメージ獲得時点、又はイメージ獲得時点及びイメージ処理遅延時間に基づいて選択した少なくとも２つのイメージデータを表示する。

ユーザ入力部１５０は、ユーザの選択によって発生する命令又はデータをプロセッサ１１０又はメモリ１２０に伝送する。ユーザ入力部１５０は、タッチ入力部、ペンセンサ、キー（ｋｅｙ）、又は超音波入力装置を含む。

図示していないが、電子装置１００は、音声通信又はデータ通信を介して他の電子装置又はサーバーとの通信を連結する通信部を更に備える。通信部は、それぞれ異なる通信ネットワークを支援する多数個の通信サブモジュールで区分される。通信ネットワークは、近距離通信プロトコル（例えば、Ｗｉ−Ｆｉ（登録商標）、ＢＴ、ＮＦＣ）又はネットワーク通信（例えば、Ｉｎｔｅｒｎｅｔ、ＬＡＮ、ＷＡＮ、ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ、ｃｅｌｌｕａｒ ｎｅｔｗｏｒｋ、ｓａｔｅｌｌｉｔｅ ｎｅｔｗｏｒｋ、又はＰＯＴＳ）を支援する。

上述した一実施形態において、電子装置１００は多数個のイメージセンサ（１３０−１〜１３０−Ｎ）を含む。この際、多数個のイメージセンサ（１３０−１〜１３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは電子装置１００に選択的に装着される。
多数個のイメージセンサ（１３０−１〜１３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは、有線インタフェースを介して電子装置１００に選択的に装着される。他の例として、多数個のイメージセンサ（１３０−１〜１３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは、ブルートゥース（登録商標）、無線ＬＡＮのような無線インタフェースを介して電子装置１００に選択的に装着される。

図２は、本発明の一実施形態によるプロセッサの詳細なブロック構成を示す図である。

図２を参照すると、プロセッサ１１０は、イメージ処理部２００、表示制御部２１０、及びイメージ生成制御部２２０を備える。

イメージ処理部２００は、それぞれのイメージセンサ（１３０−１〜１３０−Ｎ）から提供されたイメージデータに対するレベル調整、雑音除去、ガンマ補正、及び色相空間変換のうちの一つ又はそれ以上のイメージ処理を行う。イメージ処理部２００は、イメージ処理したイメージデータをメモリ１２０又は表示制御部２１０のうちの一つ以上に伝送する。この際、イメージ処理部２００は表示部１４０に表示されるイメージデータをメモリ１２０に一時保存するようにメモリ１２０に伝送する。

表示制御部２１０は、表示部１４０を介してグラフィックによりユーザインタフェースを提供するように制御する。表示制御部２１０は、イメージ処理部２００又はメモリ１２０から提供されたイメージデータを表示部１４０に表示するように制御する。この際、表示制御部２１０は、イメージ処理部２００を介してイメージセンサ（１３０−１〜１３０−Ｎ）から提供されたイメージデータを表示部１４０に一緒に表示するように制御する。

イメージ生成制御部２２０は、それぞれのイメージセンサ（１３０−１〜１３０−Ｎ）を介して獲得したイメージデータのうちの少なくとも２つのイメージデータを選択して合成する。

キャプチャイベントが発生した場合、イメージ生成制御部２２０は、メモリ１２０に保存されているイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。低画素の第１イメージセンサ（１３０−１）及び高画素の第Ｎイメージセンサ（１３０−Ｎ）を介して獲得した互いに異なるデータサイズのイメージデータを合成する場合、イメージ生成制御部２２０は、第１イメージセンサ（１３０−１）を介して獲得したイメージデータのうちのキャプチャイベント発生時点より前のイメージ獲得時点を含むいずれか一つの第１イメージデータを選択する。この際、イメージ生成制御部２２０は、第１イメージセンサ（１３０−１）のイメージデータ及び第Ｎイメージセンサ（１３０−Ｎ）のイメージデータに対する処理遅延の差を利用して、キャプチャイベント発生時点より前のイメージ獲得時点を含むイメージデータのうちのいずれか一つの第１イメージデータを選択する。イメージ生成制御部２２０は、第Ｎイメージセンサ（１３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、キャプチャイベント発生時点に最も近接した時点で獲得した第２イメージデータを選択して第１イメージデータと合成する。この際、イメージ生成制御部２２０は、合成イメージデータを表示部１４０に表示するようにメモリ１２０に保存された第１イメージデータと第２イメージデータを表示制御部２１０に伝送するように制御する。

図示していないが、プロセッサ１１０は、それぞれのイメージセンサ（１３０−１〜１３０−Ｎ）から提供された一つ又はそれ以上のイメージデータにイメージ獲得時点を設定する時間設定部を更に備える。時間設定部はそれぞれのイメージセンサ（１３０−１〜１３０−Ｎ）から提供されたそれぞれのイメージデータに対応する時刻をフレーム単位ごとに記録する。他の例として、イメージセンサ（１３０−１〜１３０−Ｎ）のうちで電子装置１００に選択的に装着される一つ又はそれ以上のイメージセンサが存在する場合、時間設定部は、電子装置１００に実装された一つ又はそれ以上のイメージセンサから提供された一つ又はそれ以上のイメージデータにイメージ獲得時点を設定する。この際、電子装置１００に選択的に実装される一つ又はそれ以上のイメージセンサを介して獲得したイメージデータには、それぞれのイメージセンサに含まれた別途のモジュールによってイメージ獲得時点が設定される。

上述した一実施形態において、プロセッサ１１０は、１つのイメージ処理部２００を介してそれぞれのイメージセンサ（１３０−１〜１３０−Ｎ）から提供されたイメージデータを処理する。他の例として、プロセッサ１１０は、多数個のイメージ処理部を含んでそれぞれのイメージセンサ（１３０−１又は１３０−Ｎ）から提供されたイメージデータを処理する。

図３は、本発明の他の実施形態による電子装置のブロック構成を示す図である。

図３を参照すると、電子装置３００は、プロセッサ３１０、メモリ３２０、第１乃至第Ｎイメージセンサ（３３０−１〜３３０−Ｎ）、第１乃至第（Ｎ−１）外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））、ユーザ入力部３５０、及び表示部３６０を備える。ここで、プロセッサ３１０は応用プロセッサを含む。

プロセッサ３１０は、電子装置３００が多様なサービスを提供するように制御する。

プロセッサ３１０は、電子装置３００に含まれる一つ以上の他の構成要素（例えば、メモリ３２０、第１イメージセンサ（３３０−１）、外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））、ユーザ入力部３５０、及び表示部３６０）から受信した命令を解読し、解読した命令による演算やデータ処理を行う。プロセッサ３１０は内部イメージ処理プロセッサを含み、第１イメージセンサ（３３０−１）から提供されたイメージに対するレベル調整、雑音除去、ガンマ補正、及び表示部３６０に表示可能なフォーマットへの変換のうちの一つ又はそれ以上のイメージ処理を行う。

プロセッサ３１０は、イメージ処理したイメージデータをメモリ３２０に保存するか又は表示部３６０に表示するように制御する。この際、プロセッサ３１０は、表示部３６０に表示されるイメージデータをメモリ３２０に一時保存するようにイメージ処理したイメージデータをメモリ３２０に伝送する。他の例として、プロセッサ３１０は、外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））を介してメモリ３２０に保存されているイメージデータを表示部３６０に表示可能なフォーマットに変換して表示部３６０に表示するように制御する。ここで、表示部３６０に表示可能なフォーマットに変換するイメージ処理は色相空間変換を含む。

プロセッサ３１０は、メモリ３２０に保存された一つ以上のプログラムを実行し、電子装置３００が多様なマルチメディアサービスを提供するように制御する。プロセッサ３１０は、メモリ３２０に保存されたプログラムを実行し、それぞれのイメージセンサ（３３０−１〜３３０−Ｎ）を介して獲得したイメージデータのうちの少なくとも２つのイメージデータを選択して合成する。プロセッサ３１０は、第１イメージセンサ（３３０−１）、又は第１イメージセンサ（３３０−１）及び外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））から提供されたイメージデータにイメージ獲得時点を設定する。

キャプチャイベントが発生した場合、プロセッサ３１０は、それぞれのイメージセンサ（３３０−１〜３３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。他の例として、キャプチャイベントが発生した場合、プロセッサ３１０は、それぞれのイメージセンサ（３３０−１〜３３０−Ｎ）を介して獲得したイメージデータに対する処理遅延時間及びイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。

メモリ３２０は、電子装置３００に含まれる一つ以上の構成要素から受信したか又は一つ以上の構成要素によって生成された命令若しくはデータを保存する。

イメージセンサ（３３０−１〜３３０−Ｎ）は、被写体を撮影して獲得したイメージデータをプロセッサ３１０に提供する。イメージセンサ（３３０−１〜３３０−Ｎ）は、ＭＩＰＩ、ＭＰＤＩのような直列インタフェース及び並列バスのような並列インタフェースを介してプロセッサ３１０又は外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））にイメージデータを伝送する。ここで、第１イメージセンサ（３３０−１）は電子装置３００の前面に位置し、第Ｎイメージセンサ（３３０−Ｎ）は電子装置３００の後面に位置する。

外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））はイメージ処理プロセッサ（ＩＳＰ）を含み、第２乃至第Ｎイメージセンサ（３３０−２〜３３０−Ｎ）から提供されたイメージデータに対するレベル調整、雑音除去、及びガンマ補正のようなイメージ処理を行ってプロセッサ３１０を介してメモリ３２０に保存するように制御する。

ユーザ入力部３５０は、ユーザの選択によって発生する命令若しくはデータをプロセッサ３１０又はメモリ３２０に伝送する。ユーザ入力部３５０は、タッチ入力部、ペンセンサ、キー、又は超音波入力装置を含む。

表示部３６０は、電子装置３００の状態情報、ユーザが入力する文字、動画像、及び静止画像のようなグラフィックによりユーザインタフェースを提供する。表示部３６０は、プロセッサ３１０から提供された一つ以上のイメージデータを表示する。他の例として、表示部３６０は、プロセッサ３１０でイメージ獲得時点、又はイメージ獲得時点及びイメージ処理遅延時間に基づいて選択した少なくとも２つのイメージデータを表示する。

図示していないが、電子装置３００は、音声通信又はデータ通信を介して他の電子装置又はサーバーとの通信を連結する通信部を更に備える。通信部はそれぞれ異なる通信ネットワークを支援する多数個の通信サブモジュールで区分される。

上述した他の実施形態において、電子装置３００は多数個のイメージセンサ（３３０−１〜３３０−Ｎ）を備える。この際、多数個のイメージセンサ（３３０−１〜３３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは電子装置３００に選択的に装着される。例えば、多数個のイメージセンサ（３３０−１〜３３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは有線インタフェースを介して電子装置３００に選択的に装着される。この際、電子装置３００に選択的に装着される一つ又はそれ以上のイメージセンサに連結される外部イメージ処理部は、電子装置３００に実装されるか、イメージセンサと共に電子装置３００に選択的に装着される。

他の例として、多数個のイメージセンサ（３３０−１〜３３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは、ブルートゥース（登録商標）、無線ＬＡＮのような無線インタフェースを介して電子装置３００に選択的に装着される。この場合、電子装置３００に選択的に連結される一つ又はそれ以上のイメージセンサに連結される外部イメージ処理部は、電子装置３００に実装されるか又はイメージセンサと共に電子装置３００に選択的に連結される。

図４は、本発明の他の実施形態によるプロセッサの詳細なブロック構成を示す図である。

図４を参照すると、プロセッサ３１０は、イメージ処理部４００、内部インタフェース４３０、表示制御部４１０、フォーマット変更部４２０、及びイメージ生成制御部４４０を備える。

イメージ処理部４００は、第１イメージセンサ（３３０−１）から提供されたイメージデータに対するレベル調整、雑音除去、ガンマ補正、及び色相空間変換のうちの一つ又はそれ以上のイメージ処理を行う。イメージ処理部４００は、イメージ処理したイメージデータをメモリ３２０又は表示制御部４１０のうちの一つ以上に伝送する。この際、イメージ処理部４００は表示部３６０に表示されるイメージデータをメモリ３２０に一時保存するようにイメージ処理したイメージデータをメモリ３２０に伝送する。

内部インタフェース４３０は、それぞれの外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））から提供されたイメージデータをメモリ３２０に伝送する。内部インタフェース４３０は、ＭＩＦＩ、ＣＡＭＩＦのうちの一つ以上を含む。

表示制御部４１０は、表示部３６０を介してグラフィックによりユーザインタフェースを提供するように制御する。

表示制御部４１０は、イメージ処理部４００又はメモリ３２０のうちの一つ以上から提供されたイメージデータを表示部３６０に表示するように制御する。この際、表示制御部４１０は、イメージ処理部４００を介して第１イメージセンサ（３３０−１）から提供されたイメージデータとメモリ３２０を介して第Ｎイメージセンサ（３３０−Ｎ）から提供されたイメージデータとを表示部３６０に一緒に表示するように制御する。また、表示制御部４１０は、フォーマット変更部４２０を介して表示部３６０に表示可能なデータフォーマットに変更されたイメージデータを、イメージ処理部４００を介して第１イメージセンサ（３３０−１）から提供されたイメージデータと一緒に表示するように制御する。

フォーマット変更部４２０は、メモリ３２０から提供されたイメージデータを表示部３６０に表示可能なデータフォーマットに変更する。また、フォーマット変更部４２０はメモリ３２０から提供されたイメージデータを色相空間変換して表示制御部４１０に伝送する。

イメージ生成制御部４４０は、それぞれのイメージセンサ（３３０−１〜３３０−Ｎ）を介して獲得したイメージデータのうちの少なくとも２つのイメージデータを選択して合成する。

キャプチャイベントが発生した場合、イメージ生成制御部４４０は、メモリ３２０に保存されているイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。低画素の第１イメージセンサ（３３０−１）及び高画素の第Ｎイメージセンサ（３３０−Ｎ）を介して獲得した互いに異なるデータサイズのイメージデータを合成する場合、イメージ生成制御部４４０は、第１イメージセンサ（３３０−１）を介して獲得したイメージデータのうちのキャプチャイベント発生時点より前のイメージ獲得時点を含むいずれか一つの第１イメージデータを選択する。この際、イメージ生成制御部４４０は、第１イメージセンサ（３３０−１）のイメージデータ及び第Ｎイメージセンサ（３３０−Ｎ）のイメージデータに対する処理遅延の差を利用して、キャプチャイベント発生時点より前のイメージ獲得時点を含むイメージデータのうちのいずれか一つの第１イメージデータを選択する。イメージ生成制御部４４０は、第Ｎイメージセンサ（３３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、キャプチャイベント発生時点に最も近接した時点で獲得した第２イメージデータを選択して第１イメージデータと合成する。この際、イメージ生成制御部４４０は合成イメージデータを表示部３６０に表示するようにメモリ３２０に保存された第１イメージデータと第２イメージデータを表示制御部４１０に伝送するように制御する。

図示していないが、プロセッサ３１０は、第１イメージセンサ（３３０−１）、又は第１イメージセンサ（３３０−１）及び外部イメージ処理部（３４０−１〜３４０−（Ｎ−１））から提供されたイメージデータにイメージ獲得時点を設定する時間設定部を更に備える。時間設定部は、第１イメージセンサ（３３０−１）から提供されたイメージデータと対応する時刻をフレーム単位ごとに記録する。この際、第２イメージセンサ（３３０−２）〜第Ｎイメージセンサ（３３０−Ｎ）を介して獲得したイメージデータは、それぞれのイメージセンサに連結された外部イメージ処理部によってイメージ獲得時点が設定される。

図５は、本発明の更に他の実施形態による電子装置のブロック構成を示す図である。

図５を参照すると、電子装置５００は、プロセッサ５１０、第１メモリ５２０、第２メモリ５５０、第１乃至第Ｎイメージセンサ（５３０−１〜５３０−Ｎ）、第１乃至第（Ｎ−１）外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））、表示部５６０、及びユーザ入力部５７０を備える。ここで、プロセッサ５１０は応用プロセッサを含む。

プロセッサ５１０は、電子装置５００が多様なサービスを提供するように制御する。

プロセッサ５１０は、電子装置５００に含まれる一つ以上の他の構成要素から受信した命令を解読し、解読した命令による演算やデータ処理を行う。プロセッサ５１０は内部イメージ処理プロセッサを含み、第１イメージセンサ（５３０−１）から提供されたイメージデータに対するレベル調整、雑音除去、ガンマ補正、及び表示部５６０に表示可能なフォーマットへの変換のうちの一つ又はそれ以上のイメージ処理を行う。プロセッサ５１０は、イメージ処理したイメージデータを第１メモリ５２０に保存するか又は表示部５６０に表示するように制御する。この際、プロセッサ５１０は表示部５６０に表示されるイメージデータを第１メモリ５２０に一時保存するようにイメージ処理したイメージデータを第１メモリ５２０に伝送する。他の例として、プロセッサ５１０は外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））を介して第１メモリ５２０に保存されているイメージデータを表示部５６０に表示可能なフォーマットに変換して表示部５６０に表示するように制御する。ここで、表示部５６０に表示可能なフォーマットに変換するイメージ処理は色相空間変換を含む。

プロセッサ５１０は、第１メモリ５２０に保存された一つ以上のプログラムを実行し、電子装置５００が多様なマルチメディアサービスを提供するように制御する。プロセッサ５１０は、メモリ５２０に保存されたプログラムを実行し、それぞれのイメージセンサ（５３０−１〜５３０−Ｎを）介して獲得したイメージデータのうちの少なくとも２つのイメージデータを選択して合成する。プロセッサ５１０は、第１イメージセンサ（５３０−１）、又は第１イメージセンサ（５３０−１）及び外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））から提供されたイメージデータにイメージ獲得時点を設定する。

キャプチャイベントが発生した場合、プロセッサ５１０は、それぞれのイメージセンサ（５３０−１〜５３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。他の例として、キャプチャイベントが発生した場合、プロセッサ５１０は、それぞれのイメージセンサ（５３０−１〜５３０−Ｎ）を介して獲得したイメージに対する処理遅延時間及びイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。

第１メモリ５２０は、電子装置５００に含まれる一つ以上の構成要素から受信したか又は一つ以上の構成要素によって生成された命令又はデータを保存する。

イメージセンサ（５３０−１〜５３０−Ｎ）は、被写体を撮影して獲得したイメージデータをプロセッサ５１０に提供する。この際、イメージセンサ（５３０−１〜５３０−Ｎ）は、ＭＩＰＩ、ＭＰＤＩのような直列インタフェース及び並列バスのような並列インタフェースを介してプロセッサ５１０又は外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））にイメージデータを伝送する。ここで、第１イメージセンサ（５３０−１）は電子装置５００の前面に位置し、第Ｎイメージセンサ（５３０−Ｎ）は電子装置５００の後面に位置する。

外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））はイメージ処理プロセッサ（ＩＳＰ）を含み、第２乃至第Ｎイメージセンサ（５３０−２〜５３０−Ｎ）から提供されたイメージデータに対するレベル調整、雑音除去、ガンマ補正、及び色相空間変換のようなイメージ処理を行い、第１メモリ５２０に保存するように制御する。また、外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））は第２乃至第Ｎイメージセンサ（５３０−２〜５３０−Ｎ）から提供されたイメージデータにイメージ獲得時点を設定し、第２メモリ５５０に保存するように制御する。

第２メモリ５５０は、外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））から提供されたイメージ処理されていないイメージデータを保存する。第２メモリ５５０は、外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））から提供されたローイメージデータ（ｒａｗ ｉｍａｇｅ ｄａｔａ）を保存する。この際、第２メモリ５５０は、それぞれの外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））別に存在する。

表示部５６０は、電子装置５００の状態情報、ユーザが入力する文字、動画像、及び静止画像のようなグラフィックによりユーザインタフェースを提供する。表示部５６０は、プロセッサ５１０から提供された一つ以上のイメージデータを表示する。他の例として、表示部５６０は、プロセッサ５１０でイメージ獲得時点、又はイメージ獲得時点及びイメージ処理遅延時間に基づいて選択した少なくとも２つのイメージデータを表示する。

ユーザ入力部５７０は、ユーザの選択によって発生する命令又はデータをプロセッサ５１０又は第１メモリ５２０に伝送する。ユーザ入力部５７０は、タッチ入力部、ペンセンサ、キー、又は超音波入力装置を含む。

図示していないが、電子装置５００は、音声通信又はデータ通信を介して他の電子装置又はサーバーとの通信を連結する通信部を更に備える。通信部はそれぞれに異なる通信ネットワークを支援する多数個の通信サブモジュールで区分される。

上述した更に他の実施形態において、電子装置５００は、多数個のイメージセンサ（５３０−１〜５３０−Ｎ）を備える。この際、多数個のイメージセンサ（５３０−１〜５３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは電子装置５００に選択的に装着される。多数個のイメージセンサ（５３０−１〜５３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは有線インタフェースを介して電子装置５００に選択的に装着される。この際、電子装置５００に選択的に装着される一つ又はそれ以上のイメージセンサに連結される外部イメージ処理部は、電子装置５００に実装されるか、イメージセンサと共に電子装置５００に選択的に装着される。

他の例として、多数個のイメージセンサ（５３０−１〜５３０−Ｎ）のうちの一つ又はそれ以上のイメージセンサは、ブルートゥース（登録商標）、無線ＬＡＮのような無線インタフェースを介して電子装置５００に選択的に装着される。この場合、電子装置５００に選択的に連結される一つ又はそれ以上のイメージセンサに連結される外部イメージ処理部は、電子装置５００に実装されるか、イメージセンサと共に電子装置５００に選択的に連結される。

図６は、本発明の更に他の実施形態によるプロセッサの詳細なブロック構成を示す図である。

図６を参照すると、プロセッサ５１０は、イメージ処理部６００、内部インタフェース６２０、表示制御部６１０、及びイメージ生成制御部６３０を備える。

イメージ処理部６００は、第１イメージセンサ（５３０−１）から提供されたイメージデータに対するレベル調整、雑音除去、ガンマ補正、及び色相空間変換のうちの一つ又はそれ以上のイメージ処理を行う。イメージ処理部６００は、イメージ処理したイメージデータを第１メモリ５２０又は表示制御部６１０のうちの一つ以上に伝送する。この際、イメージ処理部６００は、表示部５６０に表示されるイメージデータを第１メモリ５２０に一時保存するようにイメージ処理したイメージデータを第１メモリ５２０に伝送する。

内部インタフェース６２０は、それぞれのイメージ処理部（５４０−１〜５４０−（Ｎ−１））から提供されたイメージデータを第１メモリ５２０に伝送する。内部インタフェース６２０は、ＭＩＦＩ、ＣＡＭＩＦのうちの一つ以上及び外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））で表示部５６０に表示可能なフォーマットに変換したイメージデータを伝送するためのＲＤＩ（Ｒａｗ Ｄａｔａ ｄｕｍｐｉｎｇ Ｉｎｔｅｒｆａｃｅ）を含む。

表示制御部６１０は、表示部５６０を介してグラフィックによりユーザインタフェースを提供するように制御する。表示制御部６１０は、イメージ処理部６００又は第１メモリ５２０のうちの一つ以上から提供されたイメージデータを表示部５６０に表示するように制御する。この際、表示制御部６１０は、イメージ処理部６００を介して第１イメージセンサ（５３０−１）から提供されたイメージデータ及び第１メモリ５２０を介して第Ｎイメージセンサ（５３０−Ｎ）から提供されたイメージデータを表示部５６０に一緒に表示するように制御する。

イメージ生成制御部６３０は、それぞれのイメージセンサ（５３０−１〜５３０−Ｎ）を介して獲得したイメージデータのうちの少なくとも２つのイメージデータを選択して合成する。

キャプチャイベントが発生した場合、イメージ生成制御部６３０は、第１メモリ５２０及び第２メモリ５５０に保存されているイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。低画素の第１イメージセンサ（５３０−１）及び高画素の第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージを合成する場合、イメージ生成制御部６３０は、第１メモリ５２０に保存された第１イメージセンサ（５３０−１）を介して獲得したイメージデータのうちのキャプチャイベント発生時点より前のイメージ獲得時点を含むいずれか一つの第１イメージデータを選択する。この際、イメージ生成制御部６３０は、キャプチャイベント発生時点より前のイメージ獲得時点を含むイメージデータのうちのいずれか一つの第１イメージセンサ（５３０−１）のイメージデータ及び第Ｎイメージセンサ（５３０−Ｎ）のイメージデータに対する処理遅延の差を利用して、いずれか一つの第１イメージデータを選択する。

イメージ生成制御部６３０は、第２メモリ５５０に保存された第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、キャプチャイベント発生時点に最も近接した時点で獲得した第２イメージデータを選択して第１イメージデータと合成する。他の例として、低画素の第１イメージセンサ（５３０−１）及び高画素の第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータを合成する場合、イメージ生成制御部６３０は、第２メモリ５５０に保存された第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータのイメージ獲得時点に基づいて、キャプチャイベント発生時点に最も近接した時点で獲得した第２イメージデータを選択する。イメージ生成制御部６３０から選択された第２メモリ５５０に保存された第２イメージデータは、プロセッサ５１０を介して第１メモリ５２０に保存される。

イメージ生成制御部６３０は、第１メモリ５２０に保存された第１イメージセンサ（５３０−１）を介して獲得したイメージデータのイメージ獲得時点に基づいて、第２イメージデータがプロセッサ５１０に伝送され始めた時点又は第１メモリ５２０に保存された時点に最も近接した時点で獲得した第１イメージデータを選択して第２イメージデータと合成する。この際、イメージ生成制御部６３０は、合成イメージデータを表示部５６０に表示するように第１メモリ５２０に保存された第１イメージデータ及び第２イメージデータを表示制御部６１０に伝送するように制御する。

図示していないが、プロセッサ５１０は、第１イメージセンサ（５３０−１）、又は第１イメージセンサ（５３０−１）及び外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））から提供されたイメージデータにイメージ獲得時点を設定する時間設定部を更に備える。

時間設定部は、第１イメージセンサ（５３０−１）から提供されたイメージデータと対応する時刻をフレーム単位ごとに記録する。この際、第２イメージセンサ（５３０−２）〜第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータは、それぞれのイメージセンサに連結された外部イメージ処理部によってイメージ獲得時点が設定される。他の例として、時間設定部は、外部イメージ処理部（５４０−（Ｎ−１））から提供されたイメージデータと対応する時刻をフレーム単位ごとに記録する。この場合、イメージ生成制御部６３０は、第１メモリ５２０に保存されているイメージデータのイメージ獲得時点に基づいて、合成するための少なくとも２つのイメージデータを選択して合成する。

図７は、本発明の更に他の実施形態による外部イメージ処理部の詳細なブロック構成を示す図である。

図７を参照すると、外部イメージ処理部５４０は、イメージ処理制御部７００、時間設定部７１０を含む。

イメージ処理制御部７００は、イメージセンサ（５３０−２〜５３０−Ｎ）から提供されたイメージデータをレベル調整、雑音除去、ガンマ補正、又は表示部５６０に表示可能なフォーマットへの変換のうちの一つ又はそれ以上のイメージ処理を行う。例えば、イメージ処理制御部７００は、表示部５６０に表示可能なフォーマットに変換するためにイメージセンサ（５３０−２〜５３０−Ｎ）から提供されたＹＵＶ４２２のイメージデータをＹＵＶ４２０のイメージデータに色相空間変換する。

イメージ処理制御部７００は、第２メモリ５５０に保存された一つ以上のイメージデータを表示部５６０に表示可能なフォーマットに変換し、イメージ生成制御部６３０に伝送する。イメージ処理制御部７００は、図６のイメージ生成制御部６３０の制御に応じて第２メモリ５５０からイメージ合成のために選択されたイメージデータが提供され、表示部５６０に表示可能なフォーマットに変換してイメージ生成制御部６３０に伝送する。また、キャプチャイベントが発生した場合、第２メモリ５５０に保存されたイメージデータのうちの一つ以上のイメージデータを表示部５６０に表示可能なフォーマットに変換し、イメージ生成制御部６３０に伝送する。

時間設定部７１０は、イメージセンサ（５３０−２〜５３０−Ｎ）から提供されたイメージデータにイメージ獲得時点を設定する。
図示していないが、時間設定部７１０は、時間挿入部及びフレーム設定部を含んでそれぞれのイメージセンサ（５３０−２〜５３０−Ｎ）から提供されたイメージデータに対応する時刻をフレーム単位ごとに記録する。

他の例として、時間設定部７１０は外部イメージ処理部の外部に配置してもよい。

図８は、本発明の更に他の実施形態によるメモリの詳細なブロック構成を示す図である。

図８を参照すると、第１メモリ５２０は、論理的又は物理的に多数個のメモリブロック（８００〜８２０）及びその内部メモリブロック（８０２、８０４、８０６）に分けられてデータを保存する。例えば、プロセッサ５１０のイメージ処理部６００から提供されたイメージデータは、第１メモリ５２０の第３ブロック８２０に保存される。

外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））から提供されたイメージデータは、第１メモリ５２０の第１ブロック８００に保存される。この際、イメージデータはＹデータ、ＵＶデータ、メタデータで区分され、第１ブロック８００の内部メモリブロック（８０２、８０４、８０６）に保存される。ここで、メタデータは、イメージデータのフレーム識別子、イメージ獲得時点、焦点情報、イメージ設定情報（ＥＸＩＦ）のうちの一つ以上を含む。

キャプチャイベントが発生した場合、第２メモリ５５０に保存されていたイメージデータは、外部イメージ処理部（５４０−１〜５４０−（Ｎ−１））を介して第１メモリ５２０の第３ブロック８２０に保存される。

図５に示すように、電子装置５００は、イメージセンサ（５３０−Ｎ）を介して獲得したイメージデータを外部イメージ処理部（５４０−（Ｎ−１））で表示部５６０に表示可能なフォーマットに変換して第１メモリ５２０に保存するため、追加的なフォーマット変換による遅延を減らすことができる。

図９は、本発明の更に他の実施形態による電子装置で合成のためのイメージを選択するためのフローチャートである。

図９を参照すると、電子装置は、ステップＳ９０１で多数個のイメージセンサを介して獲得したイメージデータを表示部に表示する。この際、電子装置は、表示部に表示される一つ以上のイメージデータを一つ以上のメモリに保存する。例えば、図５を参照すると、電子装置５００は、第１イメージセンサ（５３０−１）を介して獲得したイメージデータをプロセッサ５１０のイメージ処理部６００を介してイメージ処理して第１メモリ５２０の第３ブロック８２０にフレーム単位で保存する。

電子装置５００は、第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータを外部イメージ処理部（５４０−（Ｎ−１））を介してイメージ処理して第１メモリ５２０の第１ブロック８００にフレーム単位で保存する。この際、プロセッサ５１０はイメージ処理部６００に入力されるイメージデータ又はイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定し、外部イメージ処理部（５４０−（Ｎ−１））から提供されたイメージにイメージ獲得時点を設定する。

他の例として、図５を参照すると、電子装置５００は、第１イメージセンサ（５３０−１）を介して獲得したイメージデータをプロセッサ５１０のイメージ処理部６００を介してイメージ処理し、第１メモリ５２０にフレーム単位で保存する。この際、プロセッサ５１０はイメージ処理部６００に入力されるイメージデータ又はイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定する。
電子装置５００は、第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータを外部イメージ処理部（５４０−（Ｎ−１））のイメージ処理制御部７００を介してイメージ処理する前に、第２メモリ５５０にフレーム単位で保存する。この際、外部イメージ処理部（５４０−（Ｎ−１））は時間設定部７１０を利用して第２メモリ５５０に保存するイメージデータにイメージ獲得時点を設定する。ここで、第１メモリ５２０又は第２メモリ５５０に保存されるイメージデータは、フレーム識別子、イメージ獲得時点、焦点情報、及びイメージ設定情報のうちの一つ又はそれ以上を含むメタデータを含む。

電子装置は、ステップＳ９０３で、メモリに保存されたイメージデータのイメージ獲得時点に基づいて、合成するための多数個のイメージデータを選択する。

キャプチャイベントが発生した場合、電子装置５００は、第１メモリ５２０の第１ブロック８００に保存されているイメージデータのうちのイメージ獲得時点がキャプチャイベント発生時点に最も近接する第１イメージを選択する。
また、電子装置５００は、第１メモリ５２０の第３ブロック８２０に保存されているイメージデータのうちのイメージ獲得時点がキャプチャイベント発生時点に最も近接する第２イメージデータを選択する。
そして、電子装置５００は、第１メモリ５２０で選択した第１イメージデータと第２イメージデータを一つのイメージデータとして合成する。

他の例として、キャプチャイベントが発生した場合、電子装置５００は第１メモリ５２０に保存されているイメージデータのうちのイメージ獲得時点がキャプチャイベント発生時点に最も近接する第１イメージデータを選択する。
また、電子装置５００は、第２メモリ５５０に保存されているイメージデータのうちのイメージ獲得時点がキャプチャイベント発生時点に最も近接する第２イメージデータを選択する。
そして、電子装置５００は、第１メモリ５２０で選択した第１イメージデータと第２メモリ５５０で選択した第２イメージデータを一つのイメージデータとして合成する。

多数個のイメージセンサを含む電子装置は、それぞれのイメージセンサの画素数、イメージセンサの感度、イメージセンサを介して獲得したイメージデータのデータサイズ、又はイメージ処理速度のうちの一つ又はそれ以上の差によって、それぞれのイメージセンサを介して獲得したイメージデータに対する処理遅延がそれぞれ異なり得る。それによって、電子装置は以下に示す図１０又は図１２のように、合成するためのイメージデータを同期化する。

図１０は、本発明の更に他の実施形態による電子装置で合成のためのイメージデータを選択するためのフローチャートの他の例である。以下の説明は、図１１に示すメモリのデータ構成を参照して、合成するためのイメージデータを選択するためのフローチャートを説明する。以下の説明において、電子装置は図５に示す低画素の第１イメージセンサ（５３０−１）及び高画素の第Ｎイメージセンサ（５３０−Ｎ）を含むと仮定して説明する。

図１０を参照すると、電子装置は、ステップＳ１００１で多数個のイメージセンサを介して獲得したイメージデータにイメージ獲得時点を設定する。図５を参照すると、電子装置５００のプロセッサ５１０は、イメージ処理部６００に入力されるイメージデータ又はイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定し、外部イメージ処理部（５４０−（Ｎ−１））から提供されたイメージデータにイメージ獲得時点を設定する。

他の例として、図５を参照すると、電子装置５００のプロセッサ５１０は、イメージ処理部６００に入力されるイメージデータ又はイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定する。また、電子装置５００の外部イメージ処理部（５４０−（Ｎ−１））は、時間設定部７１０を利用して第Ｎイメージセンサ（５３０−Ｎ）から提供されたイメージデータにイメージ獲得時点を設定する。

電子装置は、ステップＳ１００３でイメージセンサを介して獲得したイメージデータを表示部に表示する。この際、電子装置は表示部に表示される一つ以上のイメージデータを一つ以上のメモリに保存する。例えば、プロセッサ５１０を介してイメージ処理部６００に入力されるイメージデータにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータをプロセッサ５１０のイメージ処理部６００を介してイメージ処理し、第１メモリ５２０の第３ブロック８２０に保存する。

また、プロセッサ５１０を介してイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータを第１メモリ５２０の第３ブロック８２０に保存する。

他の例として、プロセッサ５１０を介して外部イメージ処理部（５４０−（Ｎ−１））から提供されたイメージにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータを第１メモリ５２０の第１ブロック８００に保存する。

更に他の例として、時間設定部７１０を利用して第Ｎイメージセンサ（５３０−Ｎ）から提供されたイメージデータにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータを第２メモリ５５０に保存する。この際、電子装置は、図１１を参照すると、第１メモリ５２０又は第２メモリ５５０にフレーム単位（１１００、１１１０）でイメージデータを保存する。ここで、第１メモリ５２０又は第２メモリ５５０に保存されるイメージデータは、フレーム識別子、イメージ獲得時点、焦点情報、及びイメージ設定情報のうちの一つ以上を含むメタデータを含む。

電子装置は、ステップＳ１００５でキャプチャイベントが発生したか否かを確認する。電子装置は、キャプチャイベントに対応するハードウェアボタンの入力が感知されたか否かを確認する。他の例として、電子装置はキャプチャイベントに対応するアイコンの選択が感知されたか否かを確認する。更に他の例として、電子装置はキャプチャイベントに対応するユーザのジェスチャが感知されたか否かを確認する。

キャプチャイベントが発生しない場合、電子装置はステップＳ１００１で多数個のイメージセンサを介して獲得されるイメージデータにイメージ獲得時点を設定する。

キャプチャイベントが発生した場合、電子装置は、ステップＳ１００７でメモリに保存された第１イメージセンサを介して獲得したイメージデータのうちのキャプチャイベント発生時点より前のイメージ獲得時点を含むいずれか一つのイメージデータを合成するために選択する。

図５を参照すると、電子装置５００は、第１メモリ５２０に順次に保存された第１イメージセンサ（５３０−１）を介して獲得したイメージデータ１１００のうちのキャプチャイベント発生時点１１２０より前のイメージ獲得時点を含むいずれか一つの第１イメージデータ１１３０を、合成するためのイメージデータとして選択する。この際、電子装置５００は第１イメージセンサ（５３０−１）を介して獲得したイメージデータに対する処理遅延と第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータに対する処理遅延の差を考慮し、キャプチャイベント発生時点１１２０より前のイメージ獲得時点を含むイメージデータのうちのいずれか一つの第１イメージデータ１１３０を選択する。

また、キャプチャイベントが発生した場合、電子装置は、ステップＳ１００９でメモリに保存された第Ｎイメージセンサを介して獲得したイメージデータのうちのキャプチャイベント発生時点に最も近接するイメージ獲得時点を含むイメージデータを、合成するために選択する。

図５を参照すると、電子装置５００は第１メモリ５２０又は第２メモリ５５０に順次に保存された第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータ１１１０のうちのキャプチャイベント発生時点１１２０に最も近接するイメージ獲得時点を含む第２イメージデータ１１４０を、合成するためのイメージデータとして選択する。

合成するためのイメージデータを選択した場合（ステップＳ１００７及びステップＳ１００９）、電子装置はステップＳ１０１１で第１イメージセンサから提供されたイメージデータで選択した第１イメージデータと第Ｎイメージセンサから提供されたイメージデータから選択した第２イメージデータとを一つのイメージデータとして合成する。

図１２は、本発明の更に他の実施形態による電子装置で合成のためのイメージデータを選択するためのフローチャートの更に他の例である。

以下、図１３に示したメモリのデータ構成の他の例を参照して、合成するためのイメージデータを選択するためのフローチャートを説明する。
以下の説明において、電子装置は、図５に示す低画素の第１イメージセンサ（５３０−１）及び高画素の第Ｎイメージセンサ（５３０−Ｎ）を含むと仮定して説明する。

図１２を参照すると、電子装置はステップＳ１２０１で多数個のイメージセンサを介して獲得されるイメージデータにイメージ獲得時点を設定する。

図５を参照すると、電子装置５００のプロセッサ５１０は、イメージ処理部６００に入力されるイメージデータ又はイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定する。また、電子装置５００の外部イメージ処理部（５４０−（Ｎ−１））は時間設定部７１０を利用して第Ｎイメージセンサ（５０３−Ｎ）から提供されたイメージデータにイメージ獲得時点を設定する。

電子装置は、ステップＳ１２０３でイメージセンサを介して獲得したイメージデータを表示部に表示する。この際、電子装置は表示部に表示される一つ以上のイメージデータを一つ以上のメモリに保存する。

例えば、図５を参照すると、プロセッサ５１０を介してイメージ処理部６００に入力されるイメージデータにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータをプロセッサ５１０のイメージ処理部６００を介してイメージ処理して第１メモリ５２０の第３ブロック８２０に保存する。

また、図５を参照すると、プロセッサ５１０を介してイメージ処理部６００から出力されるイメージデータにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータを第１メモリ５２０の第３ブロック８２０に保存する。

他の例として、図７を参照すると、時間設定部７１０を利用して第Ｎイメージセンサ（５３０−Ｎ）から提供されたイメージデータにイメージ獲得時点を設定した場合、電子装置５００はイメージ獲得時点が設定されたイメージデータを第２メモリ５５０に保存する。この際、電子装置は図１３に示したように第１メモリ５２０又は第２メモリ５５０にフレーム単位（１３００、１３１０）でイメージデータを保存する。ここで、第１メモリ５２０又は第２メモリ５５０に保存されるイメージデータは、フレーム識別子、イメージ獲得時点、焦点情報、及びイメージ設定情報のうちの一つ以上を含むメタデータを含む。

電子装置は、ステップＳ１２０５でキャプチャイベントが発生したか否かを確認する。電子装置はキャプチャイベントに対応するハードウェアボタンの入力が感知されたか否かを確認する。

他の例として、電子装置はキャプチャイベントに対応するアイコンの選択が感知されたか否かを確認する。更に他の例として、電子装置はキャプチャイベントに対応するユーザのジェスチャが感知されたか否かを確認する。

キャプチャイベントが発生しない場合、電子装置はステップＳ１２０１で多数個のイメージセンサを介して獲得されるイメージデータにイメージ獲得時点を設定する。

キャプチャイベントが発生した場合、電子装置はステップＳ１２０７でメモリに保存された第Ｎイメージセンサを介して獲得したイメージデータのうちのキャプチャイベント発生時点に最も近接するイメージ獲得時点を含むいずれか一つのイメージデータを、合成するために選択する。

図５を参照すると、電子装置５００は第２メモリ５５０に順次に保存された第Ｎイメージセンサ（５３０−Ｎ）を介して獲得したイメージデータ１３１０のうちのキャプチャイベント発生時点１３２０に最も近接するイメージ獲得時点を含む第２イメージデータ１３３０を、合成するためのイメージデータとして選択する。

電子装置は、ステップＳ１２０９でメモリに保存された第Ｎイメージセンサを介して獲得したイメージデータのうちの合成のために選択された第２イメージデータがプロセッサで処理される時点に最も近接するイメージ獲得時点を含むイメージデータを、合成するために選択する。

電子装置５００は、ステップ１２０７で合成のために外部イメージ処理部（５４０−（Ｎ−１））から選択された第２イメージデータがプロセッサ５１０に伝送され始めた時点に最も近接するイメージ獲得時点を含む第１イメージデータ１３４０を選択する。

電子装置５００は、ステップＳ１２０７で合成のために外部イメージ処理部（５４０−（Ｎ−１））から選択された第２イメージデータがプロセッサ５１０を介して第１メモリ５２０に保存される時点に最も近接したイメージ獲得時点を含む第１イメージデータ１３４０を選択する。

合成するためのイメージデータを選択した場合、電子装置は、ステップＳ１２１１で第１イメージセンサから提供されたイメージデータから選択した第１イメージと、第Ｎイメージセンサから提供されたイメージデータから選択した第２イメージデータとを一つのイメージデータとして合成する。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１００、３００、５００ 電子装置
１１０、３１０、５１０ プロセッサ
１２０、３２０ メモリ
１３０ イメージセンサ
１３０−１〜１３０−Ｎ （第１〜第Ｎ）イメージセンサ
１４０、３６０、５６０ 表示部
１５０、３５０、５７０ ユーザ入力部
２００、４００、６００ イメージ処理部
２１０、４１０、６１０ 表示制御部
２２０、４４０、６３０ イメージ生成制御部
３３０ イメージセンサ
３３０−１〜３３０−Ｎ （第１〜第Ｎ）イメージセンサ
３４０ 外部イメージ処理部
３４０−１〜３４０−（Ｎ−１） （第１〜第（Ｎ−１））外部イメージ処理部
４２０ フォーマット変更部
４３０、６２０ 内部インタフェース
５２０、５５０ （第１、第２）メモリ
５３０ イメージセンサ
５３０−１〜５３０−Ｎ （第１〜第Ｎ）イメージセンサ
５４０ 外部イメージ処理部
５４０−１〜５４０−（Ｎ−１） （第１〜第（Ｎ−１））外部イメージ処理部
７００ イメージ処理制御部
７１０ 時間設定部
８００、８１０、８２０ （第１、第２、第３）メモリブロック
８０２、８０４、８０６ 内部メモリブロック
１１００、１１１０、１１３０、１１４０ イメージデータ
１１２０ キャプチャイベント
１３００、１３１０、１３３０、１３４０ イメージデータ
１３２０ キャプチャイベント

Claims (14)

1. 電子装置であって、
   低画素の第１イメージデータを生成する第１イメージセンサと、
   高画素の第２イメージデータを生成する第２イメージセンサと、
   前記第１イメージセンサから受信した第１イメージデータを処理する第１プロセッサと、
   前記第２イメージセンサから受信した第２イメージデータを処理する第２プロセッサと、
   前記第１プロセッサによって処理された第１イメージデータ及び前記第２プロセッサによって処理された第２イメージデータのうちの一つ以上のイメージデータを表示する表示部を備え、
   前記第１プロセッサは、前記第１イメージデータにイメージ獲得時点（ｔｉｍｅ ｓｔａｍｐ）を設定し、
   前記第２プロセッサは、前記第２イメージデータにイメージ獲得時点を設定し、
   前記表示部は、前記イメージ獲得時点に基づいて一つ以上のイメージデータを表示し、
   前記第１プロセッサは、キャプチャイベントの発生に対する応答で、処理遅延の差に基づいて、前記第１イメージセンサを介して受信した多数個の第１イメージデータのうち、前記キャブチャイベントの発生時点より前のイメージ獲得時点を含む第１イメージデータを選択し、前記第２イメージセンサを介して受信した多数個の第２イメージデータのうち、前記キャブチャイベントの発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択し、前記選択した第１イメージデータと前記選択した第２イメージデータを利用して合成イメージを生成することを特徴とする電子装置。
2. 前記第１プロセッサは、応用プロセッサ（ＡＰ）を含み、
   前記第２プロセッサは、前記応用プロセッサの外部に位置するイメージ処理プロセッサ（ＩＳＰ）を含むことを特徴とする請求項１に記載の電子装置。
3. 第１メモリと、
   前記第１メモリと論理的又は物理的に分離された第２メモリを更に備え、
   前記第１プロセッサは、前記第１イメージデータを前記第１メモリに提供し、
   前記第２プロセッサは、前記第２イメージデータを前記第２メモリに提供することを特徴とする請求項２に記載の電子装置。
4. 前記第２プロセッサは、前記第２イメージデータを前記第１メモリに提供することを特徴とする請求項３に記載の電子装置。
5. 前記第１プロセッサは、前記第１メモリに保存された前記第１イメージデータのイメージ獲得時点及び前記第２イメージデータのイメージ獲得時点に基づき合成イメージを生成することを特徴とする請求項４に記載の電子装置。
6. 前記第２イメージデータは、前記第１イメージデータのデータサイズより大きいデータサイズを有することを特徴とする請求項１に記載の電子装置。
7. 前記第２プロセッサは、前記第２イメージセンサから受信した第２イメージデータを前記表示部に表示可能なフォーマットに変換することを特徴とする請求項６に記載の電子装置。
8. 電子装置の動作方法であって、
   多数個のイメージセンサを利用して多数個のイメージデータを生成するステップと、
   前記多数個のイメージセンサのそれぞれに接続される多数個のプロセッサを介して、前記多数個のイメージデータのそれぞれに対応するイメージ獲得時点を設定するステップと、
   前記イメージ獲得時点に基づいて多数個のプロセッサで処理された一つ以上のイメージデータを表示部に表示するステップを有し、
   前記表示部に表示するステップは、
   第１メモリに保存された一つ以上の低画素の第１イメージデータのうち、処理遅延の差に基づいてイメージ獲得時点がキャプチャイベント発生時点より前であるいずれか一つの第１イメージデータを選択するステップと、
   第２メモリに保存された一つ以上の高画素の第２イメージデータのうち、前記キャプチャイベント発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択するステップと、
   前記選択した第１イメージデータ及び前記選択した第２イメージデータを合成した合成イメージデータを前記表示部に表示するステップを含むことを特徴とする電子装置の動作方法。
9. 前記イメージデータを生成するステップは、
   前記電子装置に実装されるか又は有線インタフェース若しくは無線インタフェースを介して前記電子装置に連結される多数個のイメージセンサを利用して多数個のイメージデータを生成するステップを含むことを特徴とする請求項８に記載の電子装置の動作方法。
10. 前記イメージ獲得時点を設定した多数個のイメージデータを一つ以上のメモリに保存するステップを更に含むことを特徴とする請求項８に記載の電子装置の動作方法。
11. 前記多数個のイメージデータを一つ以上のメモリに保存するステップは、
    第１イメージセンサを利用して生成した一つ以上の第１イメージデータを第１メモリに保存するステップと、
    第２イメージセンサを利用して生成した一つ以上の第２イメージデータを第２メモリに保存するステップを含み、
    前記第２メモリは、前記第１メモリと論理的又は物理的に分離されたメモリを含むことを特徴とする請求項１０に記載の電子装置の動作方法。
12. 電子装置の動作方法であって、
    応用プロセッサによって第１イメージ獲得時点が追加された第１イメージデータ及び前記応用プロセッサの外部に位置するイメージ処理プロセッサによって第２イメージ獲得時点が追加された第２イメージデータを保存するステップと、
    前記イメージ獲得時点に基づいて前記応用プロセッサによって処理された前記第１イメージデータ及び前記イメージ処理プロセッサによって処理された前記第２イメージデータのうちの一つ以上のイメージデータを表示部に表示するステップを有し、
    前記表示部に表示するステップは、
    第１メモリに保存された一つ以上の低画素の第１イメージデータのうち、処理遅延の差に基づいてイメージ獲得時点がキャプチャイベント発生時点より前であるいずれか一つの第１イメージデータを選択するステップと、
    第２メモリに保存された一つ以上の高画素の第２イメージデータのうち、前記キャプチャイベント発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択するステップと、
    前記選択した第１イメージデータ及び前記選択した第２イメージデータを合成した合成イメージデータを前記表示部に表示するステップを含むことを特徴とする電子装置の動作方法。
13. 電子装置の動作方法であって、
    第１イメージセンサ及び第２イメージセンサを利用して低画素の第１イメージデータ及び高画素の第２イメージデータを生成するステップと、
    応用プロセッサによって第１イメージ獲得時点が追加された第１イメージデータ及び前記応用プロセッサの外部に位置するイメージ処理プロセッサによって第２イメージ獲得時点が追加された前記第２イメージデータを保存するステップと、
    前記イメージ獲得時点に基づいて前記応用プロセッサによって処理された前記第１イメージデータ及び前記イメージ処理プロセッサによって処理された前記第２イメージデータのうちの一つ以上のイメージデータを表示部に表示するステップを有し、
    前記表示部に表示するステップは、
    第１メモリに保存された一つ以上の第１イメージデータのうち、処理遅延の差に基づいてイメージ獲得時点がキャプチャイベント発生時点より前であるいずれか一つの第１イメージデータを選択するステップと、
    第２メモリに保存された一つ以上の第２イメージデータのうち、前記キャプチャイベント発生時点に最も近接したイメージ獲得時点を含む第２イメージデータを選択するステップと、
    前記選択した第１イメージデータ及び前記選択した第２イメージデータを合成した合成イメージデータを前記表示部に表示するステップを含むことを特徴とする電子装置の動作方法。
14. 前記第１イメージデータ及び前記第２イメージデータを保存するステップは、
    前記第１イメージデータを第１メモリに保存するステップと、
    前記第２イメージデータを第２メモリに保存するステップと、を含み、
    前記第２メモリは、前記第１メモリと論理的又は物理的に分離されたメモリを含むことを特徴とする請求項１２又は１３に記載の電子装置の動作方法。
    

Images