WO2023032484A1

WO2023032484A1 - 撮像システム、撮像端末及びサーバ

Info

Publication number: WO2023032484A1
Application number: PCT/JP2022/027790
Authority: WO
Inventors: 充史三沢
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2021-08-30
Filing date: 2022-07-15
Publication date: 2023-03-09
Anticipated expiration: 2024-02-29
Also published as: US20240195936A1; JPWO2023032484A1; CN117859336A

Abstract

撮像端末の低コスト化及び高機能化が可能な撮像システム、撮像端末及びサーバを提供する。撮像端末（１００－１）とサーバ（２００）とから構成され、撮像端末（１００－１）は、イメージセンサを含み、撮像データを出力する撮像部と、撮像部から出力される撮像データをサーバ（２００）に送信する第１通信部と、撮像部から出力される撮像データを画像処理する第１画像処理エンジン（１２２）と、第１画像処理エンジン（１２２）により画像処理された画像を保存するメモリと、を備え、サーバ（２００）は、撮像端末（１００－１）から送信された撮像データを受信する第２通信部と、受信した撮像データを画像処理し、記録用の画像を生成する第２画像処理エンジン（２１０）であって、撮像端末（１００－１）の第１画像処理エンジン（１２２）と異なる第２画像処理エンジン（２１０）と、を備える撮像システムである。

Description

撮像システム、撮像端末及びサーバ

　本発明は撮像システム、撮像端末及びサーバに係り、特に撮像端末により撮像して取得した未処理のデータをネットワーク上のサーバで画像処理する技術に関する。

　特許文献１に記載のデジタルカメラシステムは、デジタルカメラ（デジタルカメラ一体型携帯電話）と、デジタルカメラとインターネットを通じて通信するサーバセンタとから構成されている。

　デジタルカメラは、撮像部と、シャッタレリーズ手段に応答して撮像部から出力されるＲＡＷデータを記憶する一時記憶部と、一時記憶部のＲＡＷデータを圧縮することなく無線送信する通信手段とを持ち、サーバセンタは、ＲＡＷデータを受信する通信手段と、受信したＲＡＷデータを圧縮する圧縮手段と、圧縮された圧縮信号を記憶する記憶手段とを持つ。また、サーバセンタは、受信したＲＡＷデータを補間して色別のデジタル画像信号を作成する補間手段、及びホワイトバランス調整手段を有している。

　このデジタルカメラシステムにより、ＲＡＷデータに対する画像処理等をサーバセンタが担うことで、高性能のデジタルカメラを低コストで提供できるようにしている。

　一方、特許文献１に記載のデジタルカメラシステムは、ＲＡＷデータに対する画像処理を常にサーバセンタで行うため、カメラの使い勝手が悪くなるという課題がある。

　特許文献２には、上記の課題を解決する電子機器が提案されている。

　特許文献２に記載の電子機器は、撮像部が撮像した撮像信号を処理する処理部と、撮像部が撮像した撮像信号（ＲＡＷデータ）をサーバに送信可能な通信部と、撮像部の撮像の設定に応じて、ＲＡＷデータをサーバに送信するかどうかを決定する決定部と、を備える。

　決定部は、サーバとの間で無線通信が不能であり、かつ撮像素子の温度が規定値以下の場合には、ＲＡＷデータをサーバに送信せず、サーバとの間で無線通信が可能であり、動画を電子機器内の記録媒体に記録させる場合、あるいは撮像素子の温度が規定値を超える場合には、ＲＡＷデータをサーバに送信する決定を行う。

　電子機器内の第１ＡＳＩＣ（application specific integrated circuit）は、サーバにＲＡＷデータを送信しない場合、ＲＡＷデータに対して各種の画像処理を行う。一方、サーバは、電子機器からＲＡＷデータを受信すると、受信したＲＡＷデータに対してサーバの第２ＡＳＩＣにより画像処理を行い、記録用の動画（ライブビュー用の画像を兼ねる）を生成する。

　即ち、特許文献２に記載の電子機器は、サーバとの通信状況、撮像素子の発熱状態等によりＲＡＷデータをサーバに送信するかどうかを決定し、その決定に応じてＲＡＷデータに対する画像処理を、機器内の第１ＡＳＩＣにより行い、又はサーバの第２ＡＳＩＣにより行わせる。尚、サーバの第２ＡＳＩＣは、電子機器の第１ＡＳＩＣと同等のものが使用される。

特開２００３－８７６１８号公報特開２０１９－５４５３６号公報

　本開示の技術に係る一つの実施形態は、撮像端末の低コスト化及び高機能化が可能な撮像システム、撮像端末及びサーバを提供する。

　第１態様に係る発明は、少なくとも１つ以上の撮像端末とサーバとから構成される撮像システムであって、撮像端末は、イメージセンサを含み、撮像データを出力する撮像部と、撮像部から出力される撮像データを、サーバに送信する第１通信部と、撮像部から出力される撮像データを画像処理する第１画像処理エンジンと、第１画像処理エンジンにより画像処理された画像を保存するメモリと、を備え、サーバは、撮像端末の第１通信部から送信された撮像データを受信する第２通信部と、受信した撮像データを画像処理し、記録用の画像を生成する第２画像処理エンジンであって、撮像端末の第１画像処理エンジンと異なる第２画像処理エンジンと、を備える撮像システムである。

　本発明の第２態様に係る撮像システムにおいて、第２画像処理エンジンは、連続して受信した撮像データに基づいてライブビュー画像を生成することが好ましい。

　本発明の第３態様に係る撮像システムにおいて、サーバは、第２画像処理エンジンにより生成された記録用の画像を画像記録部に記録することが好ましい。

　本発明の第４態様に係る撮像システムにおいて、第２画像処理エンジンは、第１画像処理エンジンの技術的スペックを上回る技術的スペックを有することが好ましい。

　本発明の第５態様に係る撮像システムにおいて、第１画像処理エンジンと第２画像処理エンジンとは画像処理性能が異なることが好ましい。

　本発明の第６態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して画像処理の実施が可能なピクセル当たりの情報量が少ないことが好ましい。

　本発明の第７態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して諧調のビット数または処理ビット数が異なることが好ましい。

　本発明の第８態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して画像処理の実施が可能な機能のうちの一部の機能のみを有することが好ましい。

　本発明の第９態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して画像処理の実施が可能な画像のピクセル数が少ないことが好ましい。

　本発明の第１０態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して熱設計電力の小さい演算素子を有することが好ましい。

　本発明の第１１態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対してトランジスタ数が少ない演算素子を有することが好ましい。

　本発明の第１２態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対してプロセッサコアの数が少ないことが好ましい。

　本発明の第１３態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して動作クロック周波数が低い演算素子を有することが好ましい。

　本発明の第１４態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して定格動作電流値が低い演算素子を有することが好ましい。

　本発明の第１５態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対してキャッシュメモリ容量が小さいことが好ましい。

　本発明の第１６態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して実行可能な命令数が少ない構成であることが好ましい。

　本発明の第１７態様に係る撮像システムにおいて、第１画像処理エンジンは、第２画像処理エンジンに対して演算命令実行のための演算ユニット数が少ない構成であることが好ましい。

　本発明の第１８態様に係る撮像システムにおいて、第１画像処理エンジンは内蔵グラフィックス機能を有し、第２画像処理エンジンは拡張グラフィックス機能を有することが好ましい。

　本発明の第１９態様に係る撮像システムにおいて、撮像端末は、ユーザ操作による静止画の撮影指示を受け付けると、撮影指示情報を第１通信部からサーバに送信し、第２画像処理エンジンは、第２通信部を介して撮影指示情報を受信すると、連続する撮像データのうちの撮影指示情報に対応する撮像データを画像処理し、記録用の静止画を生成することが好ましい。

　本発明の第２０態様に係る撮像システムにおいて、撮像端末は、ユーザ操作による動画の記録指示又は記録終了指示を受け付けると、記録指示情報又は記録終了指示情報を第１通信部からサーバに送信し、第２画像処理エンジンは、第２通信部を介して記録指示情報又は記録終了指示情報を受信すると、連続する撮像データのうちの記録指示情報を受信してから記録終了指示情報を受信するまでの撮像データを画像処理し、記録用の動画を生成することが好ましい。

　本発明の第２１態様に係る撮像システムにおいて、撮像端末は、サーバとの通信開始時に撮像端末を示す端末情報をサーバに送信し、サーバは、端末情報を受信すると、受信した端末情報に対応するＲＡＷ現像情報を取得し、第２画像処理エンジンは、取得したＲＡＷ現像情報に基づいて撮像データをＲＡＷ現像する画像処理を行うことが好ましい。

　本発明の第２２態様に係る撮像システムにおいて、サーバは、第２画像処理エンジンにより生成されたライブビュー画像を、第２通信部を介して撮像端末に送信し、撮像端末は、サーバから第１通信部を介してライブビュー画像を受信すると、撮像端末のディスプレイにライブビュー画像を表示させることが好ましい。

　本発明の第２３態様に係る撮像システムにおいて、第１画像処理エンジンは、撮像端末とサーバとの間の通信が不能な期間に動作することが好ましい。

　本発明の第２４態様に係る撮像システムにおいて、第１画像処理エンジンは、撮像端末とサーバとの間の通信が不能な期間に、イメージセンサから連続して出力される撮像データに基づいてライブビュー画像を生成し、撮像端末は、撮像端末とサーバとの間の通信が不能な期間に、第１画像処理エンジンにより生成されたライブビュー画像をディスプレイに表示させることが好ましい。

　本発明の第２５態様に係る撮像システムにおいて、撮像端末は、サーバと通信し、画像記録部に記録された画像のうちのユーザ操作により指定した画像をサーバから受信し、受信した画像をディスプレイに表示させ、又はメモリに保存することが好ましい。

　第２６態様に係る発明は、少なくとも１つ以上の撮像端末とサーバとから構成される撮像システムであって、撮像端末は、イメージセンサを含み、撮像データを出力する撮像部と、撮像部から出力される撮像データを、サーバに送信する第１通信部と、を備え、サーバは、撮像端末の第１通信部から送信された撮像データを受信する第２通信部と、受信した撮像データを画像処理し、記録用の画像を生成する画像処理エンジンと、を備え、撮像データのイメージセンサの１画素に対応するデータは、アナログ－デジタル変換回路で変換された最大のビット数の階調を有し、画像処理エンジンは、連続して受信した撮像データに基づいてライブビュー画像を生成し、サーバは、生成されたライブビュー画像を、第２通信部を介して撮像端末に送信し、撮像端末は、サーバから第１通信部を介してライブビュー画像を受信すると、撮像端末のディスプレイにライブビュー画像を表示させる、撮像システムである。

　第２７態様に係る発明は、第１態様から第２５態様のいずれかに記載の撮像システムを構成する撮像端末である。

　第２８態様に係る発明は、第１態様から第２５態様のいずれかに記載の撮像システムを構成するサーバである。

図１は、本発明に係る撮像システムのシステム構成を示す図である。図２は、撮像システムを構成する撮像端末の実施形態を示すブロック図である。図３は、撮像システムを構成するサーバの実施形態を示すブロック図である。図４は、フロントエンドＬＳＩの１次画像処理回路の実施形態を示すブロック図である。図５は、フロントエンドＬＳＩの２次画像処理回路の実施形態を示すブロック図である。図６は、本発明に係る撮像システムの第１実施形態を示す概略図である。図７は、本発明に係る撮像システムの第２実施形態を示す概略図であり、撮像端末とサーバとの間の通信が正常な場合の図である。図８は、本発明に係る撮像システムの第２実施形態を示す概略図であり、撮像端末とサーバとの間の通信が不能な場合の図である。図９は、本発明に係る撮像システムの第３実施形態を示す概略図である。図１０は、本発明に係る撮像システムの第４実施形態を示す概略図である。図１１は、撮像システムにおける撮像端末の動作を示すフローチャートであり、撮影モード時の動作を示すフローチャートである。図１２は、撮像システムにおける撮像端末の動作を示すフローチャートであり、再生モード時の動作を示すフローチャートである。図１３は、撮像システムにおけるサーバの動作を示すフローチャートである。

　以下、添付図面に従って本発明に係る撮像システム、撮像端末及びサーバの好ましい実施形態について説明する。

　［撮像システムの概要］
　図１は、本発明に係る撮像システムのシステム構成を示す図である。

　図１に示すように撮像システム１は、少なくとも１つ以上の撮像端末１００とサーバ２００とから構成される。

　撮像端末１００は、通信機能付きのデジタルカメラ１００ａ、カメラ内蔵のスマートフォン１００ｂ、その他の各種カメラ付きガジェット（ドローン、屋上固定カメラ等）である。

　撮像端末１００は、起動中は無線アクセスポイント３１０及びネットワーク３００を介してサーバ２００と常時接続され、撮影時には撮像部から連続して出力される撮像データをサーバ２００に送信し、再生時にはサーバ２００に保存された画像のうちのユーザ所望の画像（再生画像）を受信し、再生画像をＬＣＤ（Liquid Crystal Display）に表示させる。尚、撮像部から出力される撮像データは、画像処理前のデータであり、以下、「ＲＡＷデータ」という。

　また、撮像端末１００は、撮影時には連続するＲＡＷデータから生成されたライブビュー画像をサーバ２００から受信し、受信したライブビュー画像を、ＥＶＦ（Electronic View Finder）又はＬＣＤに表示させる。

　更に、撮像端末１００は、サーバ２００との間で通信が不能や困難な場合（通信が不安定な場合を含む）に備えて、オフラインでも撮影を可能にする画像処理エンジン（第１画像処理エンジン）を備えている。

　撮像端末１００およびサーバ２００との間で通信が不能や困難な場合を識別する方法としては、電波強度などの通信環境の検出、データ送受信エラーチエック等の通信状況の確認でも、ユーザによる通信困難と判断した入力操作を検出する方法のいずれであっても、またはその組み合わせであってもかまわない。

　また、画像処理には欠陥補正や画素ごとの感度誤差の補正など撮像素子固有の特性補正のようにＲＡＷ現像時の前段階として行われる１次画像処理と、ＲＡＷ現像時またはＲＡＷ現像後に行われる２次画像処理に分けることができるが、本願の実施例の１つによれば、通常の動作状態においては、撮像システム１の撮像端末１００によってネットワーク３００に送信される撮像データは「１次画像処理が全く行われていない無加工のイメージセンサの出力データ」または「１次画像処理の１部が行われていないデータ」の状態で送信される。これにより、ネットワーク上のサーバ２００の画像処理エンジン（第２画像処理エンジン）が利用可能な状態では、より機能や性能の高い１次画像処理をネットワーク上の第２画像処理エンジンで行い、処理速度を上げることで連写速度を高めたり、より複雑で高精度な画像処理を施すことによって画質の向上を図るなど、ネットワーク上の第２画像処理エンジンの優位性を生かすことが出来る。

　１次画像処理として行われる画像処理の内容は、欠陥補正や画素ごとの感度誤差の補正などのほかに、色や明るさを画素ごと、またはエリアごとに処理して好ましい画質を得ようとするチューニング処理が行われているが、詳細の処理の内容はノウハウとしてメーカによって公表されていないものも含まれる。ここでは、ＲＡＷ現像前にデジタルデータに画質向上の処理を行っているもの全般を指す。

　サーバ２００は、撮像端末１００の第１画像処理エンジンとは異なる第２画像処理エンジン及び画像記録部を備え、ネットワーク３００及び無線アクセスポイント３１０を介して１乃至複数の撮像端末１００との間で双方向通信を行い、必要なデータのやり取りを行う。

　サーバ２００は、撮像端末１００から連続するＲＡＷデータを受信し、連続するＲＡＷデータからライブビュー画像や記録用の画像を第２画像処理エンジンにより生成し、生成したライブビュー画像を撮像端末１００に送信し、記録用の画像をサーバ２００の画像記録部に保存する。尚、画像記録部は、第２画像処理エンジンを有するサーバ２００とは、物理的に異なるサーバ（例えば、データサーバ）が備えていてもよい。

　本例のＲＡＷデータとは、ＲＡＷファイルフォーマットの静止画データに限定するものではなく、ＲＡＷ現像前の撮像データのことである。したがって、「連続するＲＡＷデータ」とは、ＲＡＷファイルフォーマットに収められたデータを連続的に送信するものでも実現可能だが、より広く、イメージセンサからの連続出力データを指す。したがって、静止画単位にファイル形式化されていないストリーミングデータやＡ／Ｄ（Analog-to-Digital）変換されたデータ列を含み「連続するＲＡＷデータ」と表現している。

　連続データとして送信された「連続するＲＡＷデータ」は、最も代表的な実施例によれば、静止画単位にファイル形式化されていないデータ列として第２画像処理エンジンに入力され、第１画像処理エンジンによって画像処理とＲＡＷ現像が行われ、ライブビュー表示用の動画データフォーマットに変換されたのちにライブビュー出力として送信される。また、記録用には事前にユーザが設定したファイルフォーマット形式に第２画像処理エンジンによって変換されたのち静止画や動画ファイルとして出力される。

　連続データは、例えば、１６ビットの動画ＲＡＷデータのように１次画像処理を行わずに、ビットレートのみ変換された連続データであってもよい。

　また、サーバ２００は、撮像端末１００からの要求に応じて画像記録部に保存した画像を再生画像として撮像端末１００に送信する。

　このようにサーバ２００の第２画像処理エンジンにより撮像端末１００のイメージセンサ出力を画像処理することで、撮像端末１００の小型化・軽量化・ローコスト化につながるだけでなく、消費電力も減り、長時間使用が可能になる、開発も容易になり撮像端末１００のバリエーションを展開しやすくなる、撮像端末１００を買い替えなくとも第２画像処理エンジンに対して最新のアップデートを反映させることができる（機械学習によりこれを行ないこともできる）、第２画像処理エンジンの入力（ＲＡＷデータ）と出力の関係をネットワーク上で取得でき、より良い画像処理エンジンの開発のための膨大な開発データ（機械学習に用いる学習データを含む）が得られる、ネットワーク上の画像処理エンジンをタイムシェアすることで無駄をなくし、低価格で高機能な画像処理エンジンの利用が可能になる、画像処理エンジンの周辺回路（特に使用頻度が低い連写用メモリなど）を共有できるので、効率の良いシェアリングを行えば事実上連写枚数の制限がなくなる、、、など多くのメリットが期待できる。

　＜撮像端末＞
　図２は、撮像システムを構成する撮像端末の実施形態を示すブロック図である。

　図２に示す撮像端末は、通信機能付きのデジタルカメラ１００ａである。

　図２に示すようにデジタルカメラ１００ａは、撮像部１０１、センサドライバ１０８、第１プロセッサ１１０、メモリ１１２、操作部１１４、表示制御部１１６、ＬＣＤ１１８、ＥＶＦ１２０、第１画像処理エンジン１２２、及び第１通信部１２４を備える。

　撮像部１０１は、撮影レンズ１０２、イメージセンサ１０４、及びＡＦＥ（Analog Front End）１０６を有する。

　撮影レンズ１０２は、カメラ本体と一体化されたレンズでもよいし、カメラ本体に対して着脱自在な交換レンズでもよい。

　イメージセンサ１０４は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成することができる。尚、イメージセンサ１０４は、ＣＭＯＳ型に限らず、ＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

　イメージセンサ１０４は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタが、周期的な配列（例えば、ベイヤ配列、Ｘ－Ｔｒａｎｓ（登録商標）等）で配設され、各フォトダイオード上にはマイクロレンズが配置されている。

　撮影レンズ１０２によってイメージセンサ１０４の受光面に結像された被写体の光学像は、イメージセンサ１０４によって電気信号に変換される。イメージセンサ１０４の各画素には、入射する光量に応じた電荷が蓄積され、イメージセンサ１０４からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。

　ＡＦＥ１０６は、イメージセンサ１０４から出力されるアナログの画像信号に対して各種のアナログ信号処理を施す。ＡＦＥ１０６は、相関二重サンプリング回路、ＡＧＣ（Automatic Gain Control）回路、アナログ－デジタル変換回路（Ａ／Ｄ変換回路）（いずれも図示省略）を含む。相関二重サンプリング回路は、イメージセンサ１０４からのアナログ信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。ＡＧＣ回路は、相関二重サンプリング回路によりノイズが除去されたアナログ信号を増幅し、アナログ信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換回路は、ＡＧＣ回路でゲイン調整された画像信号をデジタル信号に変換する。

　イメージセンサ１０４から読み出され、ＡＦＥ１０６から出力されるデジタル信号は、イメージセンサ１０４のカラーフィルタ配列に対応するＢ、Ｇ、Ｒの画素のデータ（Ｂ、Ｇ、Ｒデータ）であり、以下、「ＲＡＷデータ」という。ＲＡＷデータは、Ｂ、Ｇ、Ｒデータが、カラーフィルタ配列に対応して並んでいる点順次のモザイク画像データである。

　尚、イメージセンサ１０４がＣＭＯＳ型イメージセンサである場合、ＡＦＥ１０６は、イメージセンサ１０４内に内蔵されていることが多い。

　また、本明細書では、ＡＦＥ１０６によるアナログ信号処理は、画像処理とは言わず、Ａ／Ｄ変換回路によりデジタル信号に変換されたのちのデジタル信号に対する信号処理を画像処理と定義する。したがって、イメージセンサ１０４（ＡＦＥ１０６）から出力されるＲＡＷデータは、画像処理前のデータである。

　センサドライバ１０８は、第１プロセッサ１１０の指令にしたがってイメージセンサ１０４から画像信号の読み出し制御を行う。また、センサドライバ１０８は、第１プロセッサ１１０からの電子シャッタ制御信号により、イメージセンサ１０４の各画素に蓄積にされた電荷を排出させて（リセットして）、露光を開始させる電子シャッタ機能を有する。

　第１プロセッサ１１０は、ＣＰＵ（Central Processing Unit）等から構成され、操作部１１４を使用したユーザ操作にしたがって各部を統括制御するとともに、各種の処理を行う。

　また、第１プロセッサ１１０は、ＡＦ（Auto Focus）制御、及びＡＥ（Automatic Exposure）制御を行う。

　ＡＦ制御を行う場合、第１プロセッサ１１０は、デジタルの画像信号に基づいてＡＦ制御に必要な数値を算出する。いわゆるコントラストＡＦの場合、例えば、所定のＡＦエリア内におけるＧデータの高周波成分の積算値（焦点評価値）を算出する。第１プロセッサ１１０は、ＡＦ制御時に焦点評価値が最大となる位置（即ち、コントラストが最大になる位置）に撮影レンズ１０２に含まれるフォーカスレンズを移動させる。尚、ＡＦは、コントラストＡＦには限定されず、例えば、イメージセンサ１０４が位相差検出用画素を含む場合、位相差検出用画素の画素データに基づいてデフォーカス量を検出し、このデフォーカス量がゼロになるようにフォーカスレンズを移動させる位相差ＡＦを行うものでもよい。

　ＡＥ制御を行う場合、第１プロセッサ１１０は、被写体の明るさ（被写体輝度）を検出し、被写体輝度に対応するＡＥ制御に必要な数値（露出値（ＥＶ値（exposure value）））を算出する。第１プロセッサ１１０は、算出したＥＶ値に基づいて所定のプログラム線図からＦ値、シャッタスピード及びＩＳＯ感度を決定し、ＡＥ制御を行うことができる。

　尚、ＡＦ制御及びＡＥ制御は、それぞれ操作部１１４によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ制御及びＡＥ制御が行われないことは言うまでもない。

　メモリ１１２は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)等を含む。フラッシュメモリ及びＲＯＭは、ファームウエアを含む各種のプログラム、パラメータ等を記憶する不揮発性メモリである。

　ＲＡＭは、第１プロセッサ１１０による処理の作業領域として機能し、また、不揮発性メモリに格納されたファームウエア等を一時的に記憶する。尚、第１プロセッサ１１０が、メモリ１１２の一部（ＲＡＭ）を内蔵していてもよい。

　操作部１１４は、電源スイッチ、シャッタボタン、ＭＥＮＵ／ＯＫキー、十字キー、再生ボタン等を含む。

　ＬＣＤ１１８は、カメラ本体の背面に設けられ、撮影モード時にライブビュー画像を表示し、再生モード時に撮影済みの画像を再生表示する他、各種のメニュー画面を表示するディスプレイとして機能する。ＥＶＦ１２０もＬＣＤ１１８と同様の表示を行うことができる。尚、撮影モード時に、ＥＶＦ１２０に目を近づけると、アイセンサ（図示せず）の働きにより、自動的にＥＶＦ１２０の表示に切り替わり，目を離すとＬＣＤ１１８の表示に切り替わる。

　操作部１１４におけるＭＥＮＵ／ＯＫキーは、ＬＣＤ１１８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

　十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタンとして機能する。また、十字キーの上キー及び下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向及び逆方向送り）ボタンとして機能する。再生ボタンは、撮影記録された画像をＬＣＤ１１８に表示させる再生モードに切り替えるためのボタンである。

　第１画像処理エンジン１２２は、サーバ２００との通信が不能な場合に動作する。第１画像処理エンジン１２２は、撮像部１０１から連続して読み出されるＲＡＷデータをＲＡＷ現像処理等の画像処理を行い、ライブビュー画像及び記録用の画像を生成する。尚、第１画像処理エンジン１２２の詳細については後述する。また、第１画像処理エンジン１２２に代えて、又は第１画像処理エンジン１２２の画像処理機能の一部を、第１プロセッサ１１０が行うようにしてもよい。

　ここで、撮像部１０１（イメージセンサ１０４）から読み出されるＲＡＷデータは、設定されたフレームレート（例えば、３０ｆｐｓ，６０ｆｐｓ等）で連続して読み出される連続データである。尚、ＲＡＷデータにおけるＢ、Ｇ、Ｒデータは、それぞれＡＦＥ１０６内のＡ／Ｄ変換回路の最大のビット数（本例では、１４ビット）に応じた階調を有するデータである。

　第１通信部１２４は、デジタルカメラ１００ａの起動中は無線アクセスポイント３１０及びネットワーク３００を介してサーバ２００と常時接続され、サーバ２００との間で双方向通信を行う。第１通信部１２４は、撮影時には画像処理前の撮像データ（ＲＡＷデータ）を、フレームが連続する連続データの形式でサーバ２００に送信するとともに、サーバ２００によりＲＡＷ現像処理等の画像処理により生成された、連続データ（フレームが連続するＲＡＷデータ）に対応するライブビュー画像を受信する。また、第１通信部１２４は、再生時にはユーザ操作により指定された再生する画像に関する情報を送信し、サーバ２００からユーザ操作により指定した画像を受信する。尚、第１通信部１２４は、シャッタレリーズ信号（撮影指示情報）、デジタルカメラ１００ａを示す端末情報等をサーバ２００に送信するが、その詳細につては後述する。また、第１通信部１２４は、同時に送受信できる全二重無線通信が好ましいが、２以上の無線回線を使用して同時に送受信できるものでもよい。また、第１通信部１２４は、送信部と受信部とが別の構成（例えば上りは光、下りは電波など）でもよい。

　＜サーバ＞
　図３は、撮像システムを構成するサーバの実施形態を示すブロック図である。

　図３に示すサーバ２００は、ネットワーク３００及び無線アクセスポイント３１０を介して１乃至複数の撮像端末１００との間で双方向通信を行い、撮像端末１００に対する画像処理及び画像記録等の機能を担う。

　図３に示すサーバ２００は、第２通信部２０２、第２画像処理エンジン２１０、第２プロセッサ２５０、及び画像記録部２６０を備える。

　第２通信部２０２は、ネットワーク３００及び無線アクセスポイント３１０を介して撮像端末１００との間で双方向通信を行い、撮像端末１００から連続データを受信し、第２画像処理エンジン２１０により生成された連続データに対応するライブビュー画像を撮像端末１００に送信する。また、第２通信部２０２は、撮像端末１００での再生時に、ユーザ操作により指定された再生する画像に関する情報を受信し、その情報に対応する画像を撮像端末１００に送信する。その他、第２通信部２０２は、撮像端末１００からシャッタレリーズ信号、撮像端末１００を示す端末情報等を受信する。本例では、通信先の撮像端末１００は、通信機能付きのデジタルカメラ１００ａであるが、複数の撮像端末１００とタイムラグがなく通信できるように、第２通信部２０２は複数設けられていることが好ましい。

　第２画像処理エンジン２１０は、撮像端末１００の第１画像処理エンジン（本例では、通信機能付きのデジタルカメラ１００ａの第１画像処理エンジン１２２）とは異なる種類の画像処理エンジンであり、第１画像処理エンジン１２２の技術的スペックを上回る技術的スペックを有する。

　逆に、第１画像処理エンジン１２２の技術的スペックは、第２画像処理エンジン２１０の技術的スペックよりも低い。

　具体的には、第１画像処理エンジン１２２と第２画像処理エンジン２１０とを比較すると、以下に示す画像処理性能のうちの少なくとも１つ以上が異なる。

　（１）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して画像処理の実施が可能なピクセル当たりの情報量が少ない。

　（２）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して諧調のビット数または処理ビット数が異なる。例えば、第１画像処理エンジン１２２により処理されるデータの階調のビット数は８ビットとし、第２画像処理エンジン２１０により処理されるデータの階調のビット数は１４ビットとすることができる。また、第１画像処理エンジン１２２による画像処理は、８ビットの階調を有するデータに対する画像処理とし、第１画像処理エンジン１２２による画像処理は、１４ビットの階調を有するデータに対する画像処理を含むものとすることができる。

　（３）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して画像処理の実施が可能な機能のうちの一部の機能のみを有する。例えば、画像の圧縮処理機能等は設けられていない。

　（４）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して画像処理の実施が可能な画像のピクセル数が少ない。

　（５）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して熱設計電力の小さい演算素子を有する。即ち、第１画像処理エンジン１２２は、第２画像処理エンジン２１０よりも消費電力が小さく、発熱量も少ない。

　（６）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対してトランジスタ数が少ない演算素子を有する。

　（７）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対してプロセッサコアの数が少ない。

　（８）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して動作クロック周波数が低い演算素子を有する。

　（９）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して定格動作電流値が低い演算素子を有する。

　（１０）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対してキャッシュメモリ容量が小さい。

　（１１）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して実行可能な命令数が少ない構成である。

　（１２）第１画像処理エンジン１２２は、第２画像処理エンジン２１０に対して演算命令実行のための演算ユニット数が少ない構成である。

　（１３）第１画像処理エンジン１２２は内蔵グラフィックス機能を有し、第２画像処理エンジンは拡張グラフィックス機能を有する。

　技術的スペックの違いとしては、画像処理性能以外にも、プログラマブル領域が広く、内部処理のフレキシビリティが異なるもの、（画像処理性能自体の優劣とは異なる）や、アーキテクチャー、回路規模は同等でもプロセスルールが異なるもの、また、それにより消費電力が異なるもの、温度検知のセンシング機能など、熱対策の機能・性能が異なるもの、チップサイズが異なるり省スペースなもの等があるが、これに限定するものではない。

　さて、本例の第２画像処理エンジン２１０は、フロントエンドＬＳＩ（Large-Scale Integration：大規模集積回路）２３９と、その内部メモリである１次メモリ２４０とを備え、フロントエンドＬＳＩ２３９は、１次画像処理回路２２０及び２次画像処理回路２３０を含む。

　フロントエンドＬＳＩ２３９の１次画像処理回路２２０は、撮像端末１００から送信され、第２通信部２０２が受信したＲＡＷデータの連続データを入力し、順次入力する各フレームのＲＡＷデータに対して１次画像処理を実施し、ＲＡＷデータ記録に使用可能なＲＡＷデータを生成して２次画像処理回路２３０及び１次メモリ２４０に出力する。

　図４は、フロントエンドＬＳＩの１次画像処理回路の実施形態を示すブロック図である。

　図４に示す１次画像処理回路２２０は、オフセット処理回路２２１、画素欠陥補正回路２２２、色調補正回路２２３、及び個体差補正回路２２４を備える。

　第２通信部２０２が受信したＲＡＷデータは、１次画像処理回路２２０のオフセット処理回路２２１に加えられる。このＲＡＷデータにおけるＢ、Ｇ、Ｒデータは、それぞれ１４ビットの階調値を有するデータである。

　オフセット処理回路２２１は、入力するＲＡＷデータに対してオフセット処理を施す。オフセット処理回路２２１は、イメージセンサ１０４のセンサ出力の暗電流成分を補正する処理部であり、イメージセンサ１０４の遮光された複数の画素（オプティカルブラック画素）に対応する画素データの平均値を算出し、算出した平均値を入力するＲＡＷデータから減算する演算を行う。オフセット処理されたＲＡＷデータは、画素欠陥補正回路２２２に出力される。

　画素欠陥補正回路２２２は、イメージセンサ１０４の固有の画素欠陥（キズ）の補正を行う補正回路である。

　サーバ２００は、撮像端末１００の端末情報（例えば、製品名＋シリアル番号）に応じて、各種の補正情報及びＲＡＷ現像に必要な情報（ＲＡＷ現像情報）をメモリ（図示せず）に記憶しており、撮像端末１００との通信開始時に撮像端末１００から端末情報を受信することで、その撮像端末１００に対応する補正情報及びＲＡＷ現像情報をメモリから読み出して使用することができる。尚、撮像端末１００毎の補正情報及びＲＡＷ現像情報は、予め撮像端末１００から取得し、又は撮像端末１００のメーカのサーバから端末情報に基づいてダウンロードし、メモリに記憶させることができる。また、ＲＡＷ現像情報には、イメージセンサのカラーフィルタ配列、画素数、有効画素領域等の情報を含む。

　画素欠陥補正回路２２２は、撮像端末１００の端末情報に基づいて、イメージセンサ１０４の欠陥画素の情報（欠陥画素の位置情報）を取得し、欠陥画素に対応するＲ、Ｇ又はＢデータを入力すると、その欠陥画素の位置近傍の同じ色の画素データを補間演算し、この補間演算した画素データを欠陥画素に対応するデータに代えて出力する。尚、イメージセンサ１０４が位相差検出用画素を含む場合には、その位相差検出用画素の位置のデータも同様にして補間演算し、位相差検出用画素のデータに代えて出力する。

　色調補正回路２２３は、イメージセンサ１０４のＢ、Ｇ、Ｒの出力データの分光特性を補正する色補正を行うもので、入力するＲ、Ｇ、Ｂデータの３入力と、Ｂ、Ｇ、Ｒの３出力のマトリクス演算を行う。３×３の行列のマトリクス係数を与えると、入力するＲ、Ｇ、Ｂデータの３色のデータから色調補正したＢ、Ｇ、Ｒの３色のデータを求めることができる。この際に、撮像端末１００の端末識別情報に対応する、色再現性を高めるマトリクス係数を用いてリニアマトリクス変換を施す。

　個体差補正回路２２４は、イメージセンサ１０４の個体差に応じた補正を行う部分である。同じ製品である撮像端末１００の場合、基準となる撮像端末と同じ色再現や画質にするため、イメージセンサ１０４の個体毎の分光感度特性に応じた調整値を使用し、調整値をＢ、Ｇ、Ｒデータに乗算し、イメージセンサ１０４の個体差にかかわらず、同じ色再現や画質のＢ、Ｇ、Ｒデータを出力する。

　１次画像処理回路２２０により処理されたＲＡＷデータは、２次画像処理回路２３０及び１次メモリ２４０に出力される。尚、１次画像処理回路２２０によるＲＡＷデータに対する画像処理の内容及び処理の順序は、上記の実施形態に限定されない。また、１次画像処理回路２２０により処理されたＲＡＷデータは、ＲＡＷ現像処理前のデータであり、Ｂ、Ｇ、Ｒデータは、１４ビットの階調を有する。

　図５は、フロントエンドＬＳＩの２次画像処理回路の実施形態を示すブロック図である。

　図５に示す２次画像処理回路２３０は、ＷＢ（White Balance）補正回路２３１、ガンマ補正回路２３２、デモザイク処理回路２３３、輪郭強調回路２３５、色差マトリクス回路２３６、及び圧縮回路２３７を備える。

　１次画像処理回路２２０により処理されたＲＡＷデータは、２次画像処理回路２３０のＷＢ補正回路２３１に加えられる。

　ＷＢ補正回路２３１は、入力するＲＡＷデータのＢ、Ｇ、Ｒデータから、「晴れ」、「曇り」、「日陰」、「電球」、「蛍光灯」などの光源の種類や撮影シーンを自動判別し、光源の種類等に応じて予め設定されたＢ、Ｇ、Ｒデータ毎のＷＢゲインを使用してＢ、Ｇ、Ｒデータを増幅し、ホワイトバランス補正を行う。ホワイトバランス補正されたＢ、Ｇ、Ｒデータは、ガンマ補正回路２３２に出力される。

　ガンマ補正回路２３２は、例えば、Ｂ、Ｇ、Ｒデータ毎にガンマ補正テーブルを有し、入力するＢ、Ｇ、Ｒデータを、それぞれ対応するガンマ特性を有するガンマ補正テーブルにより、リニアデータの中間調が大きくなるようなガンマ特性に応じた階調補正（ガンマ補正）を行う。また、本例のガンマ補正回路２３２は、１４ビットのＢ、Ｇ、Ｒデータを８ビットのＢ、Ｇ、Ｒデータに変換する。ガンマ補正回路２３２によりガンマ補正された８ビットのＢ、Ｇ、Ｒデータは、デモザイク処理回路２３３に出力される。

　デモザイク処理回路２３３は、イメージセンサ１０４のカラーフィルタ配列に対応する、モザイク画像データである点順次のＢ、Ｇ、Ｒデータの各色データから、イメージセンサ１０４の各画素位置における不足する色データを補間により生成し、各画素位置のＢ、Ｇ、Ｒデータを同時に出力する。即ち、デモザイク処理回路２３３は、点順次のＢ、Ｇ、Ｒデータを同時式のＢ、Ｇ、Ｒデータに変換し、同時化したＢ、Ｇ、ＲデータをＹＣ変換回路２３４に出力する。

　ＹＣ変換回路２３４は、同時式のＢ、Ｇ、Ｒデータを輝度データ（Ｙ）と色差データ（Ｃr,Ｃｂ）に変換し、輝度データ（Ｙ）を輪郭強調回路２３５に出力し、色差データ（Ｃr,Ｃｂ）を色差マトリクス回路２３６に出力する。輪郭強調回路２３５は、輝度データ（Ｙ）の輪郭部（輝度変化の大きい部分）を強調する処理を行う。色差マトリクス回路２３６は、入力する色差データ（Ｃr,Ｃｂ）と、２行×２列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。

　このように２次画像処理回路２３０は、ＲＡＷデータに対して各種の画像処理（ＲＡＷ現像処理）を行うことで、ＲＡＷデータから表示可能な画像データを生成する。

　圧縮回路２３７は、輪郭強調回路２３５から出力される輝度データ（Ｙ）、及び色差マトリクス回路２３６から出力される色差データ（Ｃr,Ｃｂ）に対して圧縮処理を施す。静止画の場合には、例えばＪＰＥＧ(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばＨ．２６４形式で圧縮する。圧縮された画像データは、１次メモリ２４０に保持される。

　また、圧縮回路２３７には、１次画像処理回路２２０により処理されたＲＡＷデータが加えられており、圧縮回路２３７は、ＲＡＷデータを圧縮した後、１次メモリ２４０に出力する。ＲＡＷデータの圧縮は、可逆圧縮（ロスレス圧縮）することが好ましい。尚、ＲＡＷデータは、図３に示すように１次画像処理回路２２０から直接、１次メモリ２４０に出力し、圧縮せずに（非圧縮で）１次メモリ２４０に保持するようにしてもよい。

　図３に戻って、第２画像処理エンジン２１０は、撮像端末１００（本例では、デジタルカメラ１００ａ）からＲＡＷデータの連続データを受信し、第２画像処理エンジン２１０により生成された連続データに対応するライブビュー画像をデジタルカメラ１００ａに送信する。具体的には、連続データに対応する画像処理毎の各フレームの画像であって、図４に示した２次画像処理回路２３０の輪郭強調回路２３５から出力される輝度データ（Ｙ）と色差マトリクス回路２３６から出力される色差データ（Ｃr,Ｃｂ）、又は輝度データ（Ｙ）及び色差データ（Ｃr,Ｃｂ）から変換したＢ、Ｇ、Ｒデータからなる画像を、ライブビュー画像として第２通信部２０２に出力し、第２通信部２０２からネットワーク３００及び無線アクセスポイント３１０を介してデジタルカメラ１００ａに送信する。

　尚、デジタルカメラ１００ａから連続データが送信された後、サーバ２００で画像処理されてライブビュー画像が生成され、そのライブビュー画像がデジタルカメラ１００ａに送信されるまでの時間は、データの送受信に要する時間が大部分であるが、５Ｇ（５th Generation)移動通信システムにおいては、データが送信されてから受信されるまでの遅延時間を、１ミリ秒程度まで短縮される超低遅延を実現することができ、この部分の遅延は、人間が遅れを体感できないほど短かい。

　したがって、デジタルカメラ１００ａは、ライブビュー画像をほぼリアルタイムにＬＣＤ１１８又はＥＶＦ１２０に表示させることができる。尚、２０２７年以降は、更に高速の次世代の６Ｇ移動通信システムが導入されるが、このような通信速度が実現されると、現在の撮像端末内のバス転送速度に匹敵する通信速度が実現でき、撮像端末内とネットワーク上のサーバとは、更にタイムラグが無くなり、よりリアルタイムにライブビュー画像を表示することができる。

　また、デジタルカメラ１００ａにおいて、シャッタボタンが操作されると（ユーザ操作による静止画の撮影指示を受け付けると）、撮像端末１００は、静止画記録用のＡＦ制御及びＡＥ制御を行い、静止画記録用のＲＡＷデータを、連続データのうちの１フレームとして送信するとともに、連続データに割り込ませてシャッタレリーズ信号（撮影指示情報）を送信する。

　一方、第２プロセッサ２５０は、常時ユーザのシャッタボタンの操作によるシャッタレリーズ信号が、デジタルカメラ１００ａから送信されてくるのを待ち受けており、シャッタレリーズ信号を、第２通信部２０２を介して受信すると、第２プロセッサ２５０は、シャッタレリーズ信号により特定される静止画記録用のＲＡＷデータの、第２画像処理エンジン２１０により画像処理された画像データを第２画像処理エンジン２１０から取得し、これを画像記録部２６０に記録する。

　第２プロセッサ２５０は、静止画記録用のＲＡＷデータが、第２画像処理エンジン２１０によりＲＡＷ現像処理され、ＪＰＥＧ圧縮された画像データを有する画像ファイルであって、１次メモリ２４０に保持された静止画ファイルを画像記録部２６０に記録する。この場合、第２プロセッサ２５０は、デジタルカメラ１００ａの端末情報又はユーザ情報に基づき、端末情報等に関連付けられた画像フォルダ（画像記録部２６０内のフォルダ）に記録することが好ましい。

　また、第２プロセッサ２５０は、静止画記録用のＲＡＷデータが、第２画像処理エンジン２１０の１次画像処理回路２２０により画像処理されたＲＡＷデータのＲＡＷファイルであって、１次メモリ２４０に保持されたロスレス圧縮、又は非圧縮のＲＡＷデータを有するＲＡＷファイルを、撮像端末１００の端末情報又はユーザ情報に関連付けられた画像記録部２６０内のフォルダに記録する。

　尚、第２プロセッサ２５０は、上記静止画ファイル及びＲＡＷファイルの少なくとも一方を画像記録部２６０に記録するようにしてもよい。

　また、デジタルカメラ１００ａは、ブラケット撮影モード又は連写モードが設定されている場合、１回のシャッタボタンの操作で複数枚の静止画を連続して撮像するが、この場合には、サーバ２００は、画像処理後の複数枚の静止画ファイル及び／又はＲＡＷデータを画像記録部２６０に記録する。

　更に、デジタルカメラ１００ａは、動画モードが設定されている場合、シャッタボタンのユーザ操作により動画の記録指示又は記録終了指示を受け付けると、記録指示情報又は記録終了指示情報を第１通信部１２４からサーバ２００に送信する。サーバ２００（第２画像処理エンジン２１０）は、動画の記録指示情報を受信してから記録終了指示情報を受信するまでの期間に受信した連続データに対して動画記録用の画像処理を施し、画像処理により生成した動画データを有する動画ファイルを１次メモリ２４０に記憶させ、第２プロセッサ２５０は、１次メモリ２４０に記憶された動画ファイルを画像記録部２６０に記録する。

　一方、撮像端末１００は、再生モードで起動された場合、又は撮影モードから再生モードに切り替えられた場合もサーバ２００とは常時接続状態となり、ユーザが操作部１１４及びＬＣＤ１１８の表示内容にしたがって再生操作を行うと、その操作内容に対応する再生要求を第１通信部１２４からサーバ２００に出力する。

　サーバ２００（第２プロセッサ２５０）は、第２通信部２０２を介して再生要求を受信すると、再生要求に対応する画像ファイルを画像記録部２６０から読み出し、画像ファイル内の圧縮された画像データを伸張し、再生画像として第２通信部２０２から撮像端末１００に送信する。尚、再生要求に対応する画像ファイルがＲＡＷファイルの場合、ＲＡＷファイルのＲＡＷデータをＲＡＷ現像処理した後、再生画像として第２通信部２０２から撮像端末１００に送信する。

　例えば、撮像端末１００は、再生モードで起動された場合、又は撮影モードから再生モードに切り替えられた場合、最新の撮影画像の再生要求を送信し、サーバ２００は、撮像端末１００から最新の撮影画像の再生要求を受信すると、画像記録部２６０から対応する画像ファイルを読み出し、画像ファイル内の圧縮された画像データを伸張し、再生画像として第２通信部２０２から撮像端末１００に送信する。

　再生画像を受信した撮像端末１００は、表示制御部１１６を介して再生画像をＬＣＤ１１８に表示させる。その後、ユーザが操作部１１４を使用してコマ送り、コマ戻し等の再生操作を行うと、撮像端末１００は、その再生操作に対応する再生要求をサーバ２００に送信し、サーバ２００は受信した再生要求に対応しした画像ファイルを画像記録部２６０から読み出し、上記と同様にして再生画像を撮像端末１００に送信する。

　また、撮像端末１００は、画像記録部２６０に記録されたユーザの画像ファイル群のサムネイル画像の一覧を要求すると、サーバ２００は、要求に対応するサムネイル画像の一覧を撮像端末１００に送信する。そして、サムネイル画像の一覧を受信した撮像端末１００は、サムネイル画像の一覧をＬＣＤ１１８に表示させことができる。

　ユーザは、ＬＣＤ１１８に表示されたサムネイル画像の一覧を見ながら、操作部１１４を操作して所望のサムネイル画像を選択することで、撮像端末１００は、選択されたサムネイル画像に対応する画像の再生要求（画像ファイル名を伴う再生要求）をサーバ２００に送信することができる。サーバ２００は、撮像端末１００から画像ファイル名を伴う再生要求を受信すると、画像記録部２６０から画像ファイル名に対応する画像ファイルを読み出し、上記と同様にして再生画像を撮像端末１００に送信する。これにより、撮像端末１００のＬＣＤ１１８には、ユーザが選択したサムネイル画像に対応する再生画像が表示される。

　更に、ユーザは、再生画像又はサムネイル画像を使用してプリント注文する画像を特定し、撮像端末１００から特定した画像のプリント要求（画像ファイル名を伴うプリント要求）をサーバ２００に送信させることができる。サーバ２００は、撮像端末１００から画像ファイル名を伴うプリント要求を受信すると、画像記録部２６０から画像ファイル名に対応する画像ファイルを読み出し、図示しないプリントサーバに送信することで、プリントサービスを行うことができる。

　尚、上記の例では、静止画を再生させる場合について説明したが、動画を再生させる場合も同様に行うことができる。

　更にまた、ユーザは、サーバ２００内のユーティリティソフト（レタッチソフト）を使用し、フィルタ効果の追加などの画像編集（修正・補正・加工）を、編集した画像（再生画像）を、リアルタイムに確認しながらネットワークを介して行うことができる。

　［撮像システム］
　＜撮像システムの第１実施形態＞
　図６は、本発明に係る撮像システムの第１実施形態を示す概略図である。

　尚、図６において、実線の矢印は、撮像端末１００－１とサーバ２００との間の通信が正常な場合のデータの流れを示し、点線の矢印は、撮像端末１００－１とサーバ２００との間の通信が不能な場合（通信が不安定な場合を含む）のデータの流れを示す。また、図６では、撮像端末１００－１及びサーバ２００の通信部等は省略されている。

　以下、撮像端末１００－１とサーバ２００との間の通信が正常な場合について説明する。

　この場合、撮像端末１００－１は、起動中に無線アクセスポイント３１０及びネットワーク３００（図１）を介してサーバ２００と常時接続され、撮影モード時には画像処理前のＲＡＷデータを連続データの形式でサーバ２００に送信する。サーバ２００の第２画像処理エンジン２１０のフロントエンドＬＳＩ２３９は、受信したＲＡＷデータからなる連続データからライブビュー画像を生成し、サーバ２００は、フロントエンドＬＳＩ２３９により生成されたライブビュー画像を撮像端末１００－１に送信する。

　ライブビュー画像を受信した撮像端末１００－１は、ＬＣＤ１１８又はＥＶＦ１２０にライブビュー画像を表示する。

　これにより、ユーザは、ライブビュー画像を見ながら構図等を決定し、シャッタボタン１１５を押下して所望の被写体の撮影操作を行うことができる。撮像端末１００－１は、シャッタボタン１１５が押下されると（ユーザ操作による静止画の撮影指示を受け付けると）、イメージセンサ１０４から読み出した１４ビットの階調を有する静止画記録用のＲＡＷデータを、連続データのうちの１フレームとして送信するとともに、連続データに割り込ませてシャッタレリーズ信号をサーバ２００に送信する。

　サーバ２００の第２画像処理エンジン２１０（フロントエンドＬＳＩ２３９）は、シャッタレリーズ信号に対応して受信した静止画記録用のＲＡＷデータに画像処理を施す。即ち、フロントエンドＬＳＩ２３９は、受信した静止画記録用のＲＡＷデータをＲＡＷ現像処理し、８ビットの階調を有するＪＰＥＧ圧縮された画像データ（８ビット階調）を有する静止画ファイルを１次メモリ２４０に記憶させ、及び／又は、受信した静止画記録用のＲＡＷデータが１次画像処理回路２２０（図３）により画像処理された、ロスレス圧縮又は非圧縮のＲＡＷデータ（１４ビット階調）を有するＲＡＷファイルを１次メモリ２４０に記憶させる。

　サーバ２００の第２プロセッサ２５０は、１次メモリ２４０に記憶された８ビットの階調を有する静止画ファイル、及び／又は１４ビットの階調を有するＲＡＷファイルを画像記録部２６０に記録する。

　一方、撮像端末１００－１が再生モードで起動された場合、又は撮影モードから再生モードに切り替えられた場合、ユーザが操作部１１４及びＬＣＤ１１８の表示内容にしたがって再生操作を行うと、その操作内容に対応する再生要求を第１通信部１２４からサーバ２００に出力する。

　サーバ２００は、撮像端末１００－１から再生要求を受信すると、再生要求に対応する画像ファイルを画像記録部２６０から読み出し、画像ファイル内の圧縮された画像データを伸張し、再生画像として第２通信部２０２から撮像端末１００に送信する。尚、再生要求に対応する画像ファイルがＲＡＷファイルの場合、ＲＡＷファイルのＲＡＷデータをＲＡＷ現像処理した後、再生画像として撮像端末１００に送信する。

　再生画像を受信した撮像端末１００－１は、表示制御部１１６を介して再生画像をＬＣＤ１１８に表示させる。

　次に、撮像端末１００－１とサーバ２００との間の通信が不能な場合（オフライン時）について説明する。

　オフライン時には、撮像端末１００－１の第１画像処理エンジン１２２が動作し、撮像端末１００－１単独での撮影を可能にする。

　イメージセンサ１０４から所定のフレームレート（例えば、３０ｆｐｓ，６０ｆｐｓ）で読み出されるＲＡＷデータは、第１画像処理エンジン１２２に出力される。

　第１画像処理エンジン１２２は、前述したようにサーバ２００の第２画像処理エンジン２１０とは技術的スペックが異なり、第２画像処理エンジン２１０と比較して機能・性能が限定的であり、回路規模も小さく安価なものである。

　第１画像処理エンジン１２２は、イメージセンサ１０４からの１４ビットの階調を有するＲＡＷデータからなる連続データを、例えば、８ビットの階調を有するＲＡＷデータに変換し、その後、８ビットの階調を有するＲＡＷデータにＲＡＷ現像処理等の画像処理を施し、ライブビュー画像を生成する。このライブビュー画像は、通信が正常な場合に第２画像処理エンジン２１０により生成されるライブビュー画像と比較して画質（解像度、表示フレームレート）が低いものでもよい。

　その後、シャッタボタン１１５が押下されると、第１画像処理エンジン１２２は、シャッタボタン１１５の押下時にイメージセンサ１０４から読み出された静止画記録用のＲＡＷデータに画像処理を施し、静止画記録用の画像データを生成し、内部メモリ（図示せず）に記録する。

　尚、撮像端末１００－１は、撮像端末１００－１とサーバ２００との間の通信が正常になると、連続データの送信に先立って、第１画像処理エンジン１２２の内部メモリに記録された画像データをサーバ２００に送信する。第２画像処理エンジン２１０は、受信した画像データに対して画質向上のためのノイズ低減処理等に画像処理を施す。第２プロセッサ２５０は、第２画像処理エンジン２１０により画像処理が施された画像データであって、画像データがファイル化された画像ファイルを画像記録部２６０に記録する。

　撮像端末１００－１の第１画像処理エンジン１２２は、撮像端末１００－１とサーバ２００との間の通信が不能な場合に、緊急避難的に用いられる補助的な画像処理エンジンであるため、回路規模が格段に小さく、８ビットの階調を有するデータしか扱うことができないなど、最小限必要な機能に限定されており、画質向上のためのノイズ低減処理等の１次画像処理の部分も最新鋭ではなくてよい。このため回路規模としては、サーバ２００の第２画像処理エンジン２１０の１０～数１０分の１のコストとすることができる。また、撮像端末１００－１内の第１画像処理エンジン１２２が使われる頻度は、通信ネットワークが発達した地域ならほとんどなく、万が一のため、性能上のデメリットも生じにくい。一時的に通信が途切れた場合等に全く撮影ができないことが無いように、最低限の記録用の画像データを記録する。これにより、撮影に関する操作や表示（ライブビュー画像）や画像記録は行えるのでシャッタチャンスを逃すことが無い。連写機能を重視する場合は最小限の連写用メモリを備えても良く、この場合は通常の１００コマ連写等に対して５コマ連写等に機能は制限されるが、連写が可能となる。

　尚、撮像端末１００－１は、オフライン時には第１画像処理エンジン１２２の内部メモリに記録された画像のみを再生表示することができ、画像記録部２６０に記録された画像を再生表示することはできない。

　＜撮像システムの第２実施形態＞
　図７及び図８は、それぞれ本発明に係る撮像システムの第２実施形態を示す概略図であり、図７は、撮像端末とサーバとの間の通信が正常な場合に関して示し、図８は、撮像端末とサーバとの間の通信が不能な場合（オフラインの場合）に関して示している。

　尚、図７及び図８において、図６に示した撮像システムの第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図７及び図８に示す撮像システムの第２実施形態は、撮像端末１００－２が、図６に示した撮像システムの第１実施形態の撮像端末１００－１と相違し、特に第１画像処理エンジン１３０が相違する。

　撮像端末１００－２の第１画像処理エンジン１３０は、オフライン時に動作する。したがって、撮像端末１００－２とサーバ２００との間の通信が正常な場合には、図７及び図８に示す撮像システムの第２実施形態は、第６に示した撮像システムの第１実施形態と同様の動作を行う。

　以下、撮像端末１００－２がオフラインの場合について説明する。

　オフライン時に動作する撮像端末１００－２の第１画像処理エンジン１３０は、フロントエンドＬＳＩ１３２と、内部メモリである１次メモリ１３４とを備える。

　フロントエンドＬＳＩ１３２は、サーバ２００の第２画像処理エンジン２１０のフロントエンドＬＳＩ２３９と比較して技術的スペックが低く、機能・性能が限定的であり、回路規模も小さく安価なものである。

　フロントエンドＬＳＩ１３２は、イメージセンサ１０４からの１４ビットの階調を有するＲＡＷデータからなる連続データを、例えば、８ビットの階調を有するＲＡＷデータに変換し、その後、８ビットの階調を有するＲＡＷデータにＲＡＷ現像処理等の画像処理を施し、ライブビュー画像を生成する。このライブビュー画像は、通信が正常な場合に第２画像処理エンジン２１０のフロントエンドＬＳＩ２３９により生成されるライブビュー画像と比較して画質（解像度、表示フレームレート）が低いものでもよい。

　フロントエンドＬＳＩ１３２により生成されたライブビュー画像は、図８の実線の矢印で示すようにＬＣＤ１１８又はＥＶＦ１２０に出力され、表示される。

　その後、シャッタボタン１１５が押下されると、フロントエンドＬＳＩ１３２は、シャッタボタン１１５の押下時にイメージセンサ１０４から読み出された静止画記録用のＲＡＷデータにＲＡＷ現像処理、及びＪＰＥＧ圧縮を含む画像処理を施し、ＪＰＥＧ圧縮された画像データを有する画像ファイルを１次メモリ１３４に記録する。

　尚、フロントエンドＬＳＩ１３２により生成される静止画記録用の画像データは、サーバ２００のフロントエンドＬＳＩ２３９により生成される静止画記録用の画像データと比較して画質（画像サイズ、解像度、色再現性等の少なくとも１以上）が低い。フロントエンドＬＳＩ１３２を有する第１画像処理エンジン１３０は、フロントエンドＬＳＩ２３９を有する第２画像処理エンジン２１０と比較して、例えばノイズ処理、欠陥補正、及び高画質化等の画像処理を含まず、安価なものだからである。

　一方、撮像端末１００－２は、撮像端末１００－２とサーバ２００との間の通信が正常になると、連続データの送信に先立って、第１画像処理エンジン１３０の内部メモリである１次メモリ１３４に記録された画像ファイルをサーバ２００に送信する。

　サーバ２００（第２プロセッサ２５０）は、撮像端末１００－２から画像ファイルを受信すると、受信した画像ファイルを画像記録部２６０に記録する。尚、図６に示した第１実施形態の撮像システムと同様に、受信した画像ファイルの画像データを、第２画像処理エンジン２１０で再処理した後、画像記録部２６０に記録してもよい。

　＜撮像システムの第３実施形態＞
　図９は、本発明に係る撮像システムの第３実施形態を示す概略図である。

　尚、図９において、図６に示した撮像システムの第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図９に示す撮像システムの第３実施形態は、撮像端末１００－３が、図６に示した撮像システムの第１実施形態の撮像端末１００－１と相違し、特に第１画像処理エンジン１４０が相違する。

　撮像端末１００－３の第１画像処理エンジン１４０は、オフライン時に動作する。したがって、撮像端末１００－３とサーバ２００との間の通信が正常な場合には、図９に示す撮像システムの第３実施形態は、第６に示した撮像システムの第１実施形態と同様の動作を行う。

　以下、撮像端末１００－３がオフラインの場合について説明する。

　オフライン時に動作する撮像端末１００－３の第１画像処理エンジン１４０は、メモリコントローラ１４２と、内部メモリである１次メモリ１４４と、ライブビューエンジン１４６とを備える。

　この第１画像処理エンジン１４０は、オフライン時の最小限の画像処理機能を備えるものである。

　ライブビューエンジン１４６は、イメージセンサ１０４からの１４ビットの階調を有するＲＡＷデータからなる連続データを、例えば、８ビットの階調を有するＲＡＷデータに変換し、その後、８ビットの階調を有するＲＡＷデータにＲＡＷ現像処理等の画像処理を施し、ライブビュー画像を生成する。このライブビューエンジン１４６は、フレーミングに必要な最小限の画質のライブビュー画像を生成できればよく、例えば、ノイズ処理、欠陥補正、高画質化等の画像処理を省略することができ、第２画像処理エンジン２１０のフロントエンドＬＳＩ２３９により生成されるライブビュー画像と比較して画質（解像度、表示フレームレート）が低いものでもよい。

　オフライン時にライブビューエンジン１４６により生成されたライブビュー画像は、図９の点線の矢印で示すようにＬＣＤ１１８又はＥＶＦ１２０に出力され、表示される。

　その後、シャッタボタン１１５が押下されると、メモリコントローラ１４２は、シャッタボタン１１５の押下時にイメージセンサ１０４から読み出された静止画記録用の１４ビットの階調を有する１フレーム分のＲＡＷデータを１次メモリ１４４に一時的に記録する。尚、ブラケット撮影モード又は連写モードが設定されている場合には、メモリコントローラ１４２は、シャッタボタン１１５の１回のシャッタレリーズ操作により、イメージセンサ１０４から連続して読み出される静止画記録用の複数フレームのＲＡＷデータを１次メモリ１４４に一時的に記録する。また、ライブビューエンジン１４６は、シャッタボタン１１５のシャッタレリーズ操作に関われず、ライブビュー画像を連続して生成することができる。

　一方、撮像端末１００－３は、撮像端末１００－３とサーバ２００との間の通信が正常になると、連続データの送信に先立って、第１画像処理エンジン１４０の１次メモリ１４４に記録された１４ビットの階調を有する静止画記録用のＲＡＷデータをサーバ２００に送信する。

　サーバ２００（第２画像処理エンジン２１０のフロントエンドＬＳＩ２３９）は、撮像端末１００－２から、オフライン時に撮影された静止画記録用のＲＡＷデータを受信すると、受信したＲＡＷデータに対して静止画記録用の画像処理を施し、１次メモリ２４０に記憶させる。

　第２プロセッサ２５０は、１次メモリ２４０に記憶された８ビットの階調を有する静止画ファイル、及び／又は１４ビットの階調を有する１次画像処理したＲＡＷファイルを画像記録部２６０に記録する。

　尚、オフライン時に撮影された静止画記録用のＲＡＷデータに対するフロントエンドＬＳＩ２３９による画像処理は、撮像端末１００－３とサーバ２００との間の通信が正常な場合にシャッタレリーズ信号に対応して受信した静止画記録用のＲＡＷデータに対する画像処理と同様の画像処理を行うことができる。

　＜撮像システムの第４実施形態＞
　図１０は、本発明に係る撮像システムの第４実施形態を示す概略図である。

　尚、図１０において、図６に示した撮像システムの第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図１０に示す撮像システムの第４実施形態は、撮像端末１００－４が、図６に示した撮像システムの第１実施形態の撮像端末１００－１と相違し、特に第１画像処理エンジン１５０が相違する。

　撮像端末１００－４の第１画像処理エンジン１５０は、オフライン時に動作する。したがって、撮像端末１００－４とサーバ２００との間の通信が正常な場合には、図１０に示す撮像システムの第４実施形態は、第６に示した撮像システムの第１実施形態と同様の動作を行う。

　以下、撮像端末１００－４がオフラインの場合について説明する。

　オフライン時に動作する撮像端末１００－４の第１画像処理エンジン１５０は、フロントエンドＬＳＩ１５２と、内部メモリである１次メモリ１５４とを備える。

　第１画像処理エンジン１５０（フロントエンドＬＳＩ１５２）は、イメージセンサ１０４からの１４ビットの階調を有するＲＡＷデータからなる連続データを、例えば、８ビットの階調を有するＲＡＷデータに変換し、その後、８ビットの階調を有するＲＡＷデータにＲＡＷ現像処理等の画像処理を施し、ライブビュー画像を生成する。このライブビューエンジン１４６は、フレーミングに必要な最小限の画質のライブビュー画像を生成できればよい。

　オフライン時にライブビューエンジン１４６により生成されたライブビュー画像は、図１０の点線の矢印で示すようにＬＣＤ１１８又はＥＶＦ１２０に出力され、表示される。

　その後、シャッタボタン１１５が押下されると、フロントエンドＬＳＩ１５２は、シャッタボタン１１５の押下時にイメージセンサ１０４から読み出された静止画記録用の１４ビットの階調を有する１フレーム分のＲＡＷデータを画像処理する。

　フロントエンドＬＳＩ１５２は、入力するＲＡＷデータにＲＡＷ現像処理及びＪＰＥＧ圧縮を含む画像処理を施し、ＪＰＥＧ圧縮された画像データを有する画像ファイルを１次メモリ１３４に記録し、及び／又は入力するＲＡＷデータのデータ量（本例では、画像サイズ）を低減し、データ量を低減したＲＡＷデータを１次メモリ１３４に記録する。

　フロントエンドＬＳＩ１５２を含む第１画像処理エンジン１５０は、緊急避難的に用いる補助的な画像処理エンジンであるため、回路規模を格段に小さく、一定の画像サイズ（例えば、４Ｋサイズの画像サイズ）以下しか扱うことが出来ない最小限必要な機能に限定されており、画質向上のためのノイズ低減処理等の１次画像処理の部分も最新鋭ではなくてよい。このため回路規模としてはネットワーク上の第２画像処理エンジン２１０の１０分の１～数１０分の１の安価なものとすることができる。

　また、撮像端末１００－４の第１画像処理エンジン１５０が使われる頻度は通信ネットワークが発達した地域ならほとんどなく、万が一のため、ＳＮＳ（Social Networking Service）にアップする等の目的に絞って使用するためには性能上のデメリットも生じにくい。また、撮影に関する操作や表示（ライブビュー画像の表示）や画像記録は行えるので、シャッタチャンスを逃すことが無く、最小限の付加回路（第１画像処理エンジン）によって解決することが出来る。連写機能を重視する場合も最小限の連写用メモリを備えれば良く、この場合は通常の１００コマ連写等に対して５コマ連写等に機能は制限されるが、連写も可能となる。

　尚、フロントエンドＬＳＩ１５２は、入力するＲＡＷデータにＲＡＷ現像処理及びＪＰＥＧ圧縮を含む画像処理を施すが、ＪＰＥＧ圧縮を省略してもよい。また、１次メモリ１３４にデータ量を低減したＲＡＷデータを記録する場合、フロントエンドＬＳＩ１５２は、例えば２Ｋサイズの画像サイズを小さくする他に、１４ビットの階調を有するＲＡＷデータのビット数を１４ビット未満（例えば、８ビット）にし、データ量を低減することができる。

　一方、撮像端末１００－４は、撮像端末１００－４とサーバ２００との間の通信が正常になると、連続データの送信に先立って、第１画像処理エンジン１４０の１次メモリ１４４に記録されたデータをサーバ２００に送信する。

　サーバ２００（第２画像処理エンジン２１０のフロントエンドＬＳＩ２３９）は、撮像端末１００－４から、オフライン時に撮影された静止画記録用のデータを受信すると、受信したデータに対して静止画記録用の画像処理を施し、１次メモリ２４０に記憶させる。

　第２プロセッサ２５０は、１次メモリ２４０に記憶された画像を画像記録部２６０に記録する。

　［撮像システムの作用］
　図１１及び図１２は、撮像システムにおける撮像端末の動作を示すフローチャートであり、図１３は、撮像システムにおけるサーバの動作を示すフローチャートである。

　尚、図１１及び図１２に示すフローチャートは、図７及び図８に示した撮像システムの第２実施形態の撮像端末１００－２の動作手順を示す。また、撮像端末１００－２は、図１及び図２に示した通信機能付きのデジタルカメラ１００ａとする。

　＜撮像端末の動作＞
　図１１において、撮像端末１００－２（通信機能付きのデジタルカメラ１００ａ）は、電源スイッチがＯＮにされると、まず、サーバ２００と常時接続すべくネットワークの接続処理を行う（ステップＳ１０）。

　続いて、デジタルカメラ１００ａ（第１プロセッサ１１０）は、電源スイッチがＯＦＦにされたか否かを判別する（ステップＳ１２）、電源ＯＦＦの場合（「Yes」の場合）、デジタルカメラ１００ａの動作は終了し、電源ＯＮの場合（「No」の場合）には、ステップＳ１４に遷移する。

　ステップＳ１４では、デジタルカメラ１００ａの動作モードが、撮影モードか再生モードかが判別される（ステップＳ１４）。撮影モードと判別されると、ステップＳ１６に遷移し、撮影動作が行われ、再生モードと判別されると、図１２に示す画像の再生処理に遷移する。

　ステップＳ１６では、、撮像部１０１（イメージセンサ１０４）により所定のフレームレートで撮像が行われ、イメージセンサ１０４から画像処理前のＲＡＷデータが、所定のフレームレートの連続データとして読み出される。

　次に、デジタルカメラ１００ａ（第１プロセッサ１１０）は、ステップＳ１０で接続処理したネットワークの接続状態が安定しているか否かを判別する（ステップＳ１８）。ネットワーク接続が安定していると判別されると、デジタルカメラ１００ａは、イメージセンサ１０４から読み出される連続データを、第１通信部１２４を介してサーバ２００に送信する（ステップＳ２０）。

　後述するようにサーバ２００は、デジタルカメラ１００ａから受信した連続データにＲＡＷ現像処理等の画像処理を施してライブビュー画像を生成し、生成したライブビュー画像をデジタルカメラ１００ａに送信する。

　デジタルカメラ１００ａは、サーバ２００から送信されるライブビュー画像を、第１通信部１２４を介して受信し（ステップＳ２２）、受信したライブビュー画像をＬＣＤ１１８又はＥＶＦ１２０に表示させる（ステップＳ２４）。ここで、連続データの送信及びライブビュー画像の受信の遅延は、人間が遅れを体感できないほど短かいため、ライブビュー画像は、リアルタイムにＬＣＤ１１８又はＥＶＦ１２０に表示させることができる。

　続いて、デジタルカメラ１００ａ（第１プロセッサ１１０）は、ユーザによるシャッタボタン１１５のシャッタレリーズ操作が行われたか否かを判別する（ステップＳ２６）。ステップＳ２６において、シャッタレリーズ操作が無いと判別される（「No」の場合）、ステップＳ１２に遷移させる。これにより、ステップＳ１２からステップＳ２６の処理が繰り返され、ライブビュー画像が表示される。

　ステップＳ２６において、シャッタレリーズ操作が有ったと判別されると（「Yes」の場合）、ステップＳ２８に遷移させる。ステップＳ２５では、デジタルカメラ１００ａは、シャッタレリーズ信号を連続データに割り込ませて第１通信部１２４を介してサーバ２００に送信し、その後、ステップＳ１２に遷移させる。尚、シャッタレリーズ信号を受信したサーバ２００の動作については後述する。

　一方、ステップＳ１８において、ネットワーク接続が不安定（通信不可を含む）と判別されると、デジタルカメラ１００ａは、第１画像処理エンジン１３０を動作可能にし、イメージセンサ１０４から読み出される連続データを第１画像処理エンジン１３０に出力する。第１画像処理エンジン１３０は、入力する連続データにＲＡＷ現像処理等の画像処理を施してライブビュー画像を生成する（ステップＳ３０）。第１画像処理エンジン１３０は、生成したライブビュー画像をＬＣＤ１１８又はＥＶＦ１２０に出力し、表示させる（ステップＳ３２）。

　続いて、デジタルカメラ１００ａ（第１プロセッサ１１０）は、ユーザによるシャッタボタン１１５のシャッタレリーズ操作が行われたか否かを判別する（ステップＳ３２）。ステップＳ３２において、シャッタレリーズ操作が無いと判別される（「No」の場合）、ステップＳ１８に遷移させる。これにより、ステップＳ１８からステップＳ３４の処理が繰り返され、ライブビュー画像が表示される。

　ステップＳ３４において、シャッタレリーズ操作が有ったと判別されると（「Yes」の場合）、ステップＳ３６に遷移させる。ステップＳ３６では、第１画像処理エンジン１３０は、シャッタレリーズ信号に対応する静止画記録用の１４ビットの階調を有するＲＡＷデータにＲＡＷ現像処理、及びＪＰＥＧ圧縮を含む画像処理を施し、ＪＰＥＧ圧縮された画像データを有する画像ファイルを１次メモリ１３４に保存（記録）する。その後、デジタルカメラ１００ａは、ステップＳ１２に遷移する。

　一方、ステップＳ１４において、再生モードと判別されると、図１２に示すステップＳ５０に遷移する。ステップＳ５０において、デジタルカメラ１００ａは、再生モードへのモード変更指示を、第１通信部１２４を介してサーバ２００に送信する。尚、デジタルカメラ１００ａから連続データの送信が停止されることは言うまでもない。

　後述するようにサーバ２００は、再生モードへのモード変更指示を受信すると、モード変更指示を送信したデジタルカメラ１００ａに対してサムネイル画像の一覧を送信し、デジタルカメラ１００ａは、サムネイル画像の一覧を、第１通信部１２４を介して受信する（ステップＳ５２）。

　デジタルカメラ１００ａは、サーバ２００からサムネイル画像の一覧を受信すると、受信したサムネイル画像の一覧をＬＣＤ１１８に表示させる（ステップＳ５４）。

　ユーザは、ＬＣＤ１１８に表示されたサムネイル画像の一覧を見ながら、操作部１１４を操作して所望のサムネイル画像を、再生画像として選択することができる。デジタルカメラ１００ａは、操作部１１４でのユーザ操作による再生画像の選択指示入力を受け付けたか否かを判別する（ステップＳ５６）。

　ステップＳ５６において、再生画像の選択指示入力を受け付けたと判別されると、デジタルカメラ１００ａは、選択されたサムネイル画像に対応する画像の再生要求（画像ファイル名を伴う再生要求）を、第１通信部１２４を介してサーバ２００に送信する（ステップＳ５８）。サーバ２００は、デジタルカメラ１００ａから画像ファイル名を伴う再生要求を受信すると、画像記録部２６０から画像ファイル名に対応する再生画像を読み出し、デジタルカメラ１００ａに送信する。デジタルカメラ１００ａは、サーバ２００から再生要求に対応する再生画像を、第１通信部１２４を介して受信する（ステップＳ６０）。

　デジタルカメラ１００ａは、サーバ２００から受信した再生画像をＬＣＤ１１８に表示し（ステップＳ６２）、図１１のステップＳ１２に遷移させる。

　再生モードが維持される場合には、デジタルカメラ１００ａは、再生要求に対応する再生画像をＬＣＤ１１８に表示させることができる。また、デジタルカメラ１００ａは、インターフェースを介して接続された外部のディスプレイ（図示せず）に再生画像を表示させることができる。

　＜サーバの動作＞
　図１３において、サーバ２００とデジタルカメラ１００ａとの間でネットワークが接続されると（ステップＳ１０２）、デジタルカメラ１００ａは、サーバ２００との通信開始時にデジタルカメラ１００ａを示す端末情報をサーバ２００に送信し、サーバ２００は、デジタルカメラ１００ａの端末情報を、第２通信部２０２を介して受信し、端末情報を取得する（ステップＳ１０２）。

　続いて、サーバ２００は、ネットワーク接続されたデジタルカメラ１００ａの動作モードが、撮影モードか再生モードかを判別する（ステップＳ１０４）。撮影モードと判別されると、ステップＳ１０６に遷移し、再生モードと判別されると、ステップＳ１２０に遷移する。

　ステップＳ１０６では、デジタルカメラ１００ａから所定のフレームレートのＲＡＷデータを連続データとして受信する。サーバ２００の第２画像処理エンジン２１０は、所定のフレームレートのＲＡＷデータに対してＲＡＷ現像処理等の画像処理を施してライブビュー画像を生成する（ステップＳ１０８）。サーバ２００は、第２画像処理エンジン２１０により生成されたライブビュー画像を、第２通信部２０２を介してデジタルカメラ１００ａに送信する（ステップＳ１１０）。

　続いて、サーバ２００は、デジタルカメラ１００ａからシャッタレリーズ信号を受信したか否かを判別する（ステップＳ１１２）。シャッタレリーズ信号を受信すると（「Yes」の場合）、第２画像処理エンジン２１０は、連続するＲＡＷデータのうちのシャッタレリーズ信号（撮影指示情報）に対応するＲＡＷデータを画像処理し、記録用の画像（静止画）を生成する（ステップＳ１４４）。

　尚、第２画像処理エンジン２１０は、ＲＡＷデータにＲＡＷ現像処理を含む画像処理を施す場合、ステップＳ１０２で取得した端末情報に基づいて、デジタルカメラ１００ａで撮影されるＲＡＷデータをＲＡＷ現像するために必要な情報（イメージセンサ１０４のカラーフィルタ配列、画素数、画素欠陥情報、その他のパラメータ）を、デジタルカメラ１００ａのメーカのサーバから取得し、又は予めメーカのサーバから取得して記録部に記憶された情報の中から対応する情報を読み出して使用する。

　第２プロセッサ２５０は、第２画像処理エンジン２１０により生成された記録用の画像を画像記録部２６０に記録する（ステップＳ１１６）。

　続いて、サーバ２００は、デジタルカメラ１００ａとのネットワーク接続が終了したか否かを判別し（ステップＳ１１８）、ネットワーク接続が終了していない場合には、ステップＳ１０４に遷移し、ネットワーク接続が終了していない場合には、そのデジタルカメラ１００ａに対するサーバ２００での処理を終了する。

　一方、ステップＳ１０４において、デジタルカメラ１００ａの動作モードが再生モードであると判別されると、サーバ２００は、そのデジタルカメラ１００ａで撮影され、画像記録部２６０に記録された画像のサムネイル画像の一覧を生成し、サムネイル画像の一覧をデジタルカメラ１００ａに送信する（ステップＳ１２０）。尚、サーバ２００は、ステップＳ１０２で取得した端末情報を元に、画像記録部２６０のデジタルカメラ１００ａに対応する画像フォルダを特定し、特定した画像フォルダに保存された画像ファイルに基づいてデジタルカメラ１００ａに対応するサムネイル画像の一覧を作成することができる。

　続いて、サーバ２００は、デジタルカメラ１００ａから再生要求（画像ファイル名を伴う再生要求）を受信したか否かを判別し（ステップＳ１２２）、再生要求を受信すると、その再生要求に対応する再生画像を画像記録部２６０から読み出し、読み出した再生画像をデジタルカメラ１００ａに送信する（ステップＳ１２４）。

　［その他］
　撮像端末１００がカメラ内蔵のスマートフォン１００ｂの場合、操作部は、主にスマートフォン１００ｂの画面、画面上のタッチパネル、ＧＵＩ（Graphical User Interface）コントローラを含むＧＵＩであり、シャッタレリーズ操作は、シャッタボタンのアイコンをタッチすることで行うことができる。

　また、本実施形態では、撮像端末でのＡＦ制御及びＡＥ制御は、撮像端末単独で行うが、撮像端末から連続データを受信するサーバが、その連続データに基づいてＡＦ制御及びＡＥ制御に必要な制御情報を生成し、生成した制御情報を撮像端末に送信して撮像端末でのＡＦ制御及びＡＥ制御を行わせるようにしてもよい。

　サーバは、物理的に１つのサーバに限らず、サーバでの処理内容に応じて別々のサーバが行ってもよいし、同一の処理内容であっても複数のサーバが協動して行うようにしてもよい。

　また、本実施形態において、例えば、デジタルカメラ１００ａの第１プロセッサ１１０．第１画像処理エンジン１２２、サーバ２００の第２プロセッサ２５０、第２画像処理エンジン２１０のように各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１　撮像システム
１００　撮像端末
１００－１　撮像端末
１００－２　撮像端末
１００－３　撮像端末
１００－４　撮像端末
１００ａ　デジタルカメラ
１００ｂ　スマートフォン
１０１　撮像部
１０２　撮影レンズ
１０４　イメージセンサ
１０８　センサドライバ
１１０　第１プロセッサ
１１２　メモリ
１１４　操作部
１１５　シャッタボタン
１１６　表示制御部
１１８　ＬＣＤ
１２２　第１画像処理エンジン
１２４　第１通信部
１３０　第１画像処理エンジン
１３２　フロントエンドＬＳＩ
１３４　１次メモリ
１４０　第１画像処理エンジン
１４２　メモリコントローラ
１４４　１次メモリ
１４６　ライブビューエンジン
１５０　第１画像処理エンジン
１５２　フロントエンドＬＳＩ
１５４　１次メモリ
２００　サーバ
２０２　第２通信部
２１０　第２画像処理エンジン
２２０　１次画像処理回路
２２１　オフセット処理回路
２２２　画素欠陥補正回路
２２３　色調補正回路
２２４　個体差補正回路
２３０　２次画像処理回路
２３１　ＷＢ補正回路
２３２　ガンマ補正回路
２３３　デモザイク処理回路
２３４　ＹＣ変換回路
２３５　輪郭強調回路
２３６　色差マトリクス回路
２３７　圧縮回路
２３９　フロントエンドＬＳＩ
２４０　１次メモリ
２５０　第２プロセッサ
２６０　画像記録部
３００　ネットワーク
３１０　無線アクセスポイント
Ｓ１０～Ｓ３６、Ｓ５０～Ｓ６２、Ｓ１００～Ｓ１２４　ステップ

Claims

　少なくとも１つ以上の撮像端末とサーバとから構成される撮像システムであって、
　前記撮像端末は、
　イメージセンサを含み、撮像データを出力する撮像部と、
　前記撮像部から出力される前記撮像データを、前記サーバに送信する第１通信部と、
　前記撮像部から出力される前記撮像データを画像処理する第１画像処理エンジンと、
　前記第１画像処理エンジンにより画像処理された画像を保存するメモリと、を備え、
　前記サーバは、
　前記撮像端末の前記第１通信部から送信された前記撮像データを受信する第２通信部と、
　前記受信した前記撮像データを画像処理し、記録用の画像を生成する第２画像処理エンジンであって、前記撮像端末の前記第１画像処理エンジンと異なる第２画像処理エンジンと、を備える、
　撮像システム。
　前記第２画像処理エンジンは、連続して受信した前記撮像データに基づいてライブビュー画像を生成する、
　請求項１に記載の撮像システム。
　前記サーバは、前記第２画像処理エンジンにより生成された前記記録用の画像を画像記録部に記録する、
　請求項１又は２に記載の撮像システム。
　前記第２画像処理エンジンは、前記第１画像処理エンジンの技術的スペックを上回る技術的スペックを有する、
　請求項１から３のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンと前記第２画像処理エンジンとは画像処理性能が異なる、
　請求項４に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して画像処理の実施が可能なピクセル当たりの情報量が少ない、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して諧調のビット数または処理ビット数が異なる、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して画像処理の実施が可能な機能のうちの一部の機能のみを有する、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して画像処理の実施が可能な画像のピクセル数が少ない、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して熱設計電力の小さい演算素子を有する、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対してトランジスタ数が少ない演算素子を有する、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対してプロセッサコアの数が少ない、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して動作クロック周波数が低い演算素子を有する、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して定格動作電流値が低い演算素子を有する、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対してキャッシュメモリ容量が小さい、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して実行可能な命令数が少ない構成である、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記第２画像処理エンジンに対して演算命令実行のための演算ユニット数が少ない構成である、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは内蔵グラフィックス機能を有し、前記第２画像処理エンジンは拡張グラフィックス機能を有する、
　請求項１から５のいずれか１項に記載の撮像システム。
　前記撮像端末は、ユーザ操作による静止画の撮影指示を受け付けると、撮影指示情報を前記第１通信部から前記サーバに送信し、
　前記第２画像処理エンジンは、前記第２通信部を介して前記撮影指示情報を受信すると、連続する前記撮像データのうちの前記撮影指示情報に対応する撮像データを画像処理し、記録用の静止画を生成する、
　請求項１から１８のいずれか１項に記載の撮像システム。
　前記撮像端末は、ユーザ操作による動画の記録指示又は記録終了指示を受け付けると、記録指示情報又は記録終了指示情報を前記第１通信部から前記サーバに送信し、
　前記第２画像処理エンジンは、前記第２通信部を介して前記記録指示情報又は前記記録終了指示情報を受信すると、連続する前記撮像データのうちの前記記録指示情報を受信してから前記記録終了指示情報を受信するまでの撮像データを画像処理し、記録用の動画を生成する、
　請求項１から１９のいずれか１項に記載の撮像システム。
　前記撮像端末は、前記サーバとの通信開始時に前記撮像端末を示す端末情報を前記サーバに送信し、
　前記サーバは、前記端末情報を受信すると、前記受信した端末情報に対応するＲＡＷ現像情報を取得し、
　前記第２画像処理エンジンは、前記取得した前記ＲＡＷ現像情報に基づいて前記撮像データをＲＡＷ現像する画像処理を行う、
　請求項１から２０のいずれか１項に記載の撮像システム。
　前記サーバは、前記第２画像処理エンジンにより生成された前記ライブビュー画像を、第２通信部を介して前記撮像端末に送信し、
　前記撮像端末は、前記サーバから前記第１通信部を介して前記ライブビュー画像を受信すると、前記撮像端末のディスプレイに前記ライブビュー画像を表示させる、
　請求項２に記載の撮像システム。
　前記第１画像処理エンジンは、前記撮像端末と前記サーバとの間の通信が不能な期間に動作する、
　請求項１から２２のいずれか１項に記載の撮像システム。
　前記第１画像処理エンジンは、前記撮像端末と前記サーバとの間の通信が不能な期間に、前記イメージセンサから連続して出力される前記撮像データに基づいてライブビュー画像を生成し、
　前記撮像端末は、前記撮像端末と前記サーバとの間の通信が不能な期間に、前記第１画像処理エンジンにより生成された前記ライブビュー画像をディスプレイに表示させる、
　請求項１から２３のいずれか１項に記載の撮像システム。
　前記撮像端末は、前記サーバと通信し、前記画像記録部に記録された画像のうちのユーザ操作により指定した画像を前記サーバから受信し、前記受信した前記画像をディスプレイに表示させ、又は前記メモリに保存する、
　請求項３に記載の撮像システム。
　少なくとも１つ以上の撮像端末とサーバとから構成される撮像システムであって、
　前記撮像端末は、
　イメージセンサを含み、撮像データを出力する撮像部と、
　前記撮像部から出力される前記撮像データを、前記サーバに送信する第１通信部と、を備え、
　前記サーバは、
　前記撮像端末の前記第１通信部から送信された前記撮像データを受信する第２通信部と、
　前記受信した前記撮像データを画像処理し、記録用の画像を生成する画像処理エンジンと、を備え、
　前記撮像データの前記イメージセンサの１画素に対応するデータは、アナログ－デジタル変換回路で変換された最大のビット数の階調を有し、
　前記画像処理エンジンは、連続して受信した前記撮像データに基づいてライブビュー画像を生成し、
　前記サーバは、前記生成された前記ライブビュー画像を、前記第２通信部を介して前記撮像端末に送信し、
　前記撮像端末は、前記サーバから前記第１通信部を介して前記ライブビュー画像を受信すると、前記撮像端末のディスプレイに前記ライブビュー画像を表示させる、
　撮像システム。
　請求項１から２６のいずれか１項に記載の撮像システムを構成する撮像端末。
　請求項１から２６のいずれか１項に記載の撮像システムを構成するサーバ。