JP2003125361A - 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム - Google Patents

Abstract

(57)【要約】 【課題】 ライブ映像配信を行うような場合であっても
確実に所望の効果を付加することのできる情報処理シス
テム、情報処理装置等を提供する。 【解決手段】 本発明の情報処理装置は、内蔵カメラ又
は外付けカメラで撮像された動画像情報を取り込む画像
取込手段と、前記動画像情報に含まれる２次元コード情
報を抽出する抽出手段と、前記抽出手段で抽出された前
記２次元コード情報に応じて前記動画像情報を加工する
画像加工手段と、前記画像加工手段により加工された前
記動画像情報をストリーミング形式で送出する送出手段
とを有することを特徴とする。効果を付加するための情
報が２次元コード情報内に含まれており、この２次元コ
ード情報は撮像された動画像情報に含めることができる
ことから、例えば出演者と共に写すことができ、何ら煩
雑な操作を行うことなく自動的に所望の効果を合成する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はカメラ、カムコーダ
ーなどの撮像機器で撮影されライブ配信されるような動
画像情報に各種表示効果を付加できる情報処理装置、情
報処理方法、情報処理プログラム、及び情報処理システ
ムに関する。

【０００２】

【従来の技術】インターネットなどの情報通信網を用い
て、個人やグループで利用される映像をリアルタイムに
配信することが行われている。このリアルタイム配信の
際には、現在ではパーソナルコンピューターに小型カメ
ラを取り付けた構造や、カメラやカムコーダーの如き撮
像機器からの映像信号を無線や有線などの接続から送出
できる構造のものなど種々の映像機器が使用されてお
り、映像信号の送り先もインターネット上のサーバーな
どを介することで多様な視聴者に対するライブ配信が可
能となる。

【０００３】このようなライブ配信を行う場合に、単純
にカメラからの映像を転送して配信するだけではなく、
画像や音声などの予め用意されている効果を表示画像に
重ねることで、映像表現を豊かにすることができる。一
般に効果（エフェクト）の付加のためには、予め所望の
効果を作成しておいて、配信映像の撮影者や編集者がそ
の効果が重ね合わせられるように操作を行って、効果を
配信映像に重畳している。ユーザはリアルタイムで配信
されるカメラ映像などをモニターしながら、効果（エフ
ェクト）を選ぶためのユーザ・インターフェースから所
望の効果を選び、画像に視覚的な効果を出すことがで
き、更には音声データを重ねることで聴覚的な効果を得
ることができる。このような効果の中、画像に対する効
果としては、例えば、白黒、モザイク、セピア、ネガポ
ジ反転、ミラー、エンボスなどの画像データに対する演
算処理を実行するものや、フラワー、ハート、クラッカ
ー、メガネなどの比較的単純な画像を重ね合わせるもの
が一般的に用いられている。

【０００４】

【発明が解決しようとする課題】ユーザは、このような
効果を映像に対して付加することで、映像による表現を
豊富にすることができ、映像を見る者をより楽しませる
ことができる。ところが、インターネットなどの情報通
信網を用いて個人やグループで利用される映像をリアル
タイムに配信する場合、実際には、比較的に静的な動作
を行う被写体に対してしか有効な効果を付加することが
できない。すなわち、現状のライブ映像において配信側
のソフトウェアで映像に対して何らかの効果をかけよう
とする場合、効果はあらかじめ決められた領域に決めら
れた効果をかけることしか出来ないのである。例えば、
モザイクを動きまわる人物の顔の部分だけに重畳しよう
としても、動画像内でどの部分が人物の顔であるかがわ
からないので、そのようなことは難しい。

【０００５】それでも、敢えて人物の顔の上にモザイク
の効果を付加したいときは、ユーザは数ある効果の中か
らモザイクエフェクトを選択し、画像内で顔の位置を指
定するという面倒な編集作業が必要になる。カメラ画像
内で人物の顔が動き回る場合は、手動で顔の位置を随時
設定する必要があり、顔をモザイクが追従するのは不可
能に近い。このように現状の技術ではカメラ画像に応じ
た効果を面倒な手動で付加することで対応している。

【０００６】また、従来のライブ映像配信においては、
効果の選択、オン・オフは通常出演者ではないユーザが
手動で操作する。すなわち、通常、カメラに映っている
出演者自身は効果を選択することや効果のオン・オフを
することが出来ない。従って、操作するユーザが効果な
どの映像をコントロールする作業を全て行わなければな
らず、特に出演者自身がライブ配信の映像提供者である
場合には、効果を付加するにはリモートコントローラな
どの特別なデバイスが必要とされ、その操作は難しいも
のとなっている。

【０００７】そこで、本発明は、上述の技術的な課題に
鑑み、ライブ映像配信を行うような場合であっても確実
に所望の効果を付加することのできる情報処理装置、情
報処理方法、情報処理プログラム、及び情報処理システ
ムの提供を目的とする。

【０００８】

【課題を解決するための手段】本発明の情報処理装置
は、動画像情報を取り込む画像取込手段と、前記動画像
情報に含まれる２次元コード情報を抽出する抽出手段
と、前記抽出手段で抽出された前記２次元コード情報に
応じて前記動画像情報を加工する画像加工手段と、前記
画像加工手段により加工された前記動画像情報をストリ
ーミング形式で送出する送出手段とを有することを特徴
とする。

【０００９】本発明の情報処理装置によれば、効果を付
加するための情報が２次元コード情報内に含まれてお
り、この２次元コード情報は撮像された動画像情報に含
めることができ、換言すれば出演者と共に写すことがで
きるものである。この２次元コード情報には、例えば、
効果を指定するための効果選択情報、２次元コード情報
と効果表示位置の間の相対位置に関する相対位置情報、
付加すべき効果の表示範囲に関する効果付加範囲情報な
どの効果設定情報が含まれ、更には２次元コード情報に
は、座標情報が含まれる。このため２次元コード情報を
用いて効果の付加の制御を行うことができ、リアルタイ
ムな効果の制御を自動で行うことができ、更には出演者
による制御も可能である。

【００１０】また、本発明の情報処理方法は、動画像情
報を取り込む工程と、前記動画像情報に含まれる２次元
コード情報を抽出する工程と、抽出された前記２次元コ
ード情報に応じて前記動画像情報を加工する工程と、加
工された前記動画像情報をストリーミング形式で送出す
る工程とを有することを特徴とする。

【００１１】本発明の情報処理方法においても、効果を
付加するための情報を２次元コード情報内に含めること
ができることから、この２次元コード情報を撮像された
動画像情報に含めることで自動的な効果付加が可能とな
る。この２次元コード情報には、例えば、効果を指定す
るための効果選択情報、２次元コード情報と効果表示位
置の間の相対位置に関する相対位置情報、付加すべき効
果の表示範囲に関する効果付加範囲情報などの効果設定
情報が含まれ、更には２次元コード情報には、座標情報
が含まれる。このため２次元コード情報を用いて効果の
付加の制御を行うことができ、リアルタイムな効果の制
御を自動で行うことができ、更には出演者による制御も
可能である。

【００１２】更に、本発明の情報処理プログラムにおい
ては、動画像情報を取り込む手順と、前記動画像情報に
含まれる２次元コード情報を抽出する手順と、抽出され
た前記２次元コード情報に応じて前記動画像情報を加工
する手順と、加工された前記動画像情報をストリーミン
グ形式で送出する手順とを有することを特徴とする。

【００１３】本発明の情報処理プログラムによれば、動
画像情報には２次元コード情報を含めることができ、効
果を付加するための情報を２次元コード情報内に含めて
自動的な効果の付加が可能となる。このため２次元コー
ド情報を用いて効果の付加の制御を行うことができ、リ
アルタイムな効果の制御を自動で行うことができ、更に
は出演者による制御も可能である。

【００１４】また、本発明の他の情報処理装置は、撮像
された動画像情報をフレームを特定するためのタイムス
タンプを含んでストリーミング形式で送出可能とする画
像取込手段と、前記動画像情報に含まれる２次元コード
情報をフレーム単位で抽出する抽出手段と、抽出された
前記２次元コード情報に含まれる効果設定情報と共に前
記タイムスタンプを送出する送出手段を有することを特
徴とする。

【００１５】タイムスタンプは動画像情報のフレームを
時系列を以って特定するためのデータであり、このタイ
ムスタンプをストリーミング形式で送出される動画像情
報に含ませることで、動画像情報の送出先における効果
付加が実現されることになる。

【００１６】本発明の更に他の情報処理装置は、タイム
スタンプによって動画像情報をフレーム単位で特定する
と共に効果設定情報に応じて動画像情報を該フレーム単
位で加工する画像加工手段と、前記画像加工手段で加工
された動画像情報をストリーミング形式で送出する送出
手段とを有することを特徴とする。

【００１７】この情報処理装置においては、タイムスタ
ンプと効果設定情報が受信され、これらタイムスタンプ
と効果設定情報に応じてリアルタイムな効果の付加が画
像加工手段によって実現される。画像加工手段で加工さ
れた動画像情報はストリーミング形式で送出され、所要
の表示装置などによって視聴することができる。

【００１８】また、本発明にかかる情報処理システム
は、撮像された動画像情報をフレームを特定するための
タイムスタンプを含んでストリーミング形式で送出可能
とする画像取込手段と、前記動画像情報に含まれる２次
元コード情報をフレーム単位で抽出する抽出手段と、抽
出された前記２次元コード情報に含まれる効果設定情報
と共に前記タイムスタンプを送出する送出手段と、前記
送出手段から送られたタイムスタンプによって前記動画
像情報をフレーム単位で特定すると共に効果設定情報に
応じて動画像情報を該フレーム単位で加工する画像加工
手段と、前記画像加工手段で加工された動画像情報をス
トリーミング形式で配信する配信手段とを有することを
特徴とする。

【００１９】当該情報処理システムによれば、送出手段
によってインターネット等の情報通信網や通信回線を介
しての配信ができ、タイムスタンプによって前記動画像
情報をフレーム単位で特定することが可能であると共
に、画像加工手段では効果設定情報に応じて動画像情報
を該フレーム単位で加工することができる。

【００２０】

【発明の実施の形態】図面を参照しながら、本発明の情
報処理装置、情報処理方法、情報処理プログラム、及び
情報処理システムについて説明する。先ず、システムの
構成としては、大きく分けてエフェクトデータベースが
配信側のパーソナルコンピュータ内に設けられている場
合と、エフェクトデータベースがネットワーク上のエフ
ェクトサーバ内に設けられている場合とについて説明す
る。なお、これらのシステムは例示に過ぎず、本発明の
情報処理システム等については、各種の変形例が可能で
ある。

【００２１】図１は本実施形態のライブ配信システムの
概要を示す図であり、エフェクトデータベースが配信側
のパーソナルコンピュータ内に設けられている場合の構
成図である。本実施形態にかかるシステムにおける配信
元の構成については、通常のパーソナルコンピュータか
らなるローカルコンピュータ１１を有しており、そのロ
ーカルコンピュータ１１には内蔵若しくは外付けのハー
ドディスクなどに格納されるエフェクトデータベース１
２が設けられている。後述するように、２次元コード情
報である２Dコード１５が読み込まれた時には、エフェ
クトデータベース１２内で該当する項目が検索され、表
示すべきエフェクトが選択される。ローカルコンピュー
タ１１は、カメラを一体に備えた構造であっても良く、
カメラを接続して使用するものであっても良い。また、
ローカルコンピュータ１１はネットワーク機能を有する
カメラ自体やカムコーダーなどの機器自体であっても良
く、更には撮像機能を有する携帯電話や携帯情報端末な
ど種々の電子機器に置き換え可能である。ローカルコン
ピュータ１１は、一例としてノート型コンピュータであ
って、表示部の上端中央部分にはCCD(Charge Coupled D
evice)ビデオカメラが設けられている。２Ｄコード１５
は、ローカルコンピュータ１１のCCDビデオカメラによ
り撮像され、その結果得られた画像データから２Ｄコー
ド１５のパターンが認識されて、そのパターンに対応し
た所定の処理が実行される。

【００２２】ローカルコンピュータ１１の接続先はスト
リーミングサーバ１３とされ、ＬＡＮ内、ＷＡＮ内或い
はインターネット上などの情報通信網の一部に配設され
たサーバである。このストリーミングサーバ１３では、
ローカルコンピュータ１１から提供されたライブ映像を
単数若しくは複数の視聴者にストリーミング形式で配信
することができる。具体的には、視聴者がストリーミン
グサーバ１３に対して端末１４を介してアクセスし、そ
の端末１４に付属の表示デバイスを介して映像を見るこ
とができる。

【００２３】ローカルコンピュータ１１に設けられたエ
フェクトデータベース１２は、エフェクトについての効
果選択情報、２次元コード情報と効果表示位置の間の相
対位置に関する相対位置情報、付加すべき効果の表示範
囲に関する効果付加範囲情報などの効果設定情報をデー
タベース形成で保持するものである。エフェクトについ
ての効果選択情報は、２ＤデータのＩＤ（識別番号若し
くは２ＤコードＩＤ）を示すものであり、２Ｄデータの
１つのＩＤが１つのエフェクトに対応する。例えば、２
ＤデータのＩＤが「０００１００１」の場合には、３次
元で表現されるペット型アニメーション表示を指定する
ものとされ、メモリーの所定フォルダーに格納されてい
るデータを読み出して表示させることができる。この効
果選択情報は、表示させるコンテンツを指定するだけで
はなく、具体的にどのエフェクトを付加するのかを指定
するものである。例示すると、画像ファイルの重畳だけ
ではなく、背景の差替え、ある表示領域の演算処理、さ
らには重ねられる画像ファイルも２次元的な画像に限定
されず、時間軸方向で変化するアニメーション画像や、
影や明度がグラデーションで変化して立体的に把握され
る３次元画像、３次元コンピュータグラフィックスなど
種々のエフェクトに対応できる。

【００２４】効果設定情報のうちの相対位置情報は、撮
像された２Ｄコードの位置を原点として効果表示位置を
どこにするかを指定するデータであり、例えば、相対位
置情報は３次元ベクトル（ｘ、ｙ、ｚ）のデータを有す
る情報である。また、タイムスタンプ等を利用して時間
についての座標を含ませて、多少の遅延時間や表示切替
速度、アニメーションの進行速度を制御するようにして
も良い。この相対位置情報によって、エフェクトの位置
が全画面上の一部である場合でも、任意にエフェクトの
位置を指定できる。相対位置情報は３次元ベクトル
（ｘ、ｙ、ｚ）のデータに限らず、２次元ベクトルのデ
ータであっても良い。

【００２５】効果設定情報のうちの効果付加範囲情報
は、付加すべき効果の表示範囲に関する情報であり、指
定された相対位置の原点を基準にどの範囲にエフェクト
を付加するかを指定する情報である。例えば、エフェク
トがモザイクの場合には、縦方向に±５０ピクセルで横
方向に±１００ピクセルにモザイクをかけると言うよう
に縦方向と横方向のピクセル数を指定する。

【００２６】このようなエフェクトデータベース１２
は、ローカルコンピュータ１１のユーザがライブ配信を
開始する前に、任意に設定することができる。例えば、
良く使用するエフェクトやお気に入りのエフェクトを手
持ちの２Ｄコードに合わせたり、１つの２Ｄコードで複
数のエフェクトを同時に開始させるような制御も可能で
ある。また、1種類の２Ｄコードだけではなく、複数の
２Ｄコード群により制御するようにすることも可能であ
る。

【００２７】ここでいくつかのエフェクトの例について
説明する。ここで説明するエフェクトは例示に過ぎず、
ユーザが選択できる数多くのエフェクトのうちの数種に
過ぎない。本実施形態のシステムで利用できるエフェク
トのうちの１つは、モザイクである。このモザイクエフ
ェクトの場合には、２Ｄコードの位置が認識され、エフ
ェクトデータベース１２からエフェクトを付加する範囲
が読み出され、その範囲に画像加工手段によってモザイ
クをかける。このようなモザイクの利用法としては、顔
などの部分を明らかに示したくない時などに使用するこ
とができ、例えば、エフェクトデータベース１２の相対
位置情報や効果付加範囲情報を設定しておくことで、丁
度Ｔシャツを着たときに顔の位置にモザイクが付加され
るようにすることも可能である。このモザイクは画像に
対して演算処理をかけることで生成されるエフェクトで
あり、他にも白黒、セピア、ネガポジ反転、ミラー、エ
ンボス、水彩画、オールドフィルム、波形処理などの画
像データに対する演算処理もエフェクトとして選択でき
るようにすることも可能である。

【００２８】また、本実施形態の情報処理システムで利
用できるエフェクトには、更に２次元画像が挙げられ
る。これは画面内の２Ｄコードの位置を認識して、予め
エフェクトデータベース１２からリンクされたビットマ
ップ若しくはその他の画像ファイルを相対位置情報を利
用しながら貼り付ける。この場合において、２Ｄコード
の四隅の座標から２Ｄコードの大きさを認識し、その認
識した２Ｄコードの大きさに応じて画像ファイルのサイ
ズを変換する。ここで画面上に呼び出される画像ファイ
ルは、文字や記号などを含むようなものであっても良
く、逆に文字や記号からなるものであっても良い。この
場合には、２Dコードに対応してメッセージや広告など
を表示できることになる。

【００２９】更に、本実施形態の情報処理システムで利
用できる他のエフェクトには、３次元コンピュータグラ
フィックスが挙げられる。先ず、画面内の２Ｄコードの
位置と座標が認識され、その位置と座標に応じて予め用
意された３次元コンピュータグラフィックスが重ね合わ
される。座標とは、２Ｄコードの方向を示すものであ
り、例えば、画面内の２Ｄコードを向きを変えること
で、それに対応する３次元コンピュータグラフィックス
も同じように表示される方向を変えるように制御でき
る。特に、３次元コンピュータグラフィックスの場合で
は、画像ファイルによるエフェクトやモザイクなどの演
算処理エフェクトとは異なり、２Dコードによって撮像
した実世界の映像の3次元的な情報を考慮することにな
り、３次元コンピュータグラフィックスをキャラクター
で示す場合には、そのキャラクターがあたかも実世界に
存在するかのような効果を得ることが可能である。

【００３０】本実施形態の情報処理システムで利用でき
る更に他のエフェクトとしては背景差替えが可能であ
る。このエフェクトでは、人物などが被写体として認識
されている場合に、さらに背景部分が認識され、その背
景部分だけを予め用意した背景画像と差替えるものであ
る。エフェクトデータベース１２には、どの画像ファイ
ルを用いて背景画像に差替えるのかが予め指定或いは予
め対応づけられており、２Ｄコードの読み取りによって
背景画像を選ぶことができる。２Ｄコードを替えること
によって背景画像も差替えることができ、２Ｄコードを
カメラに映らないようにすることで、背景画像を差替え
ないようにすることができる。背景画像を差替える際に
は、背景画像を予め用意し、初期化処理として出演者が
いない状態で画像を撮影し、その出演者のいない初期化
画像と現在の画像の差分をとり、差のない部分を背景と
して認識して予め用意した背景画像と差し替えることで
行うことができる。このような背景差替え機能により、
番組配信側は背景画像を用意するだけで、例えば自分の
部屋にいながら、まるでビーチから放送しているような
動画像配信も可能である。

【００３１】次に２Ｄコードについて説明をする。２Ｄ
コードを使用することで、エフェクトについての効果選
択情報、２次元コード情報と効果表示位置の間の相対位
置に関する相対位置情報、付加すべき効果の表示範囲に
関する効果付加範囲情報などの効果設定情報を読み取っ
た機器に提供することができ、更に四隅の位置などに応
じて２Ｄコードの向きである座標情報や、大きさによる
遠近などの距離情報も提供できることになる。

【００３２】先ず、２Ｄコードには、図２に示すよう
に、１ブロックを１単位とし、縦方向が９．５ブロック
分の長さで、横方向が７ブロック分の長さの長方形の範
囲内に、セル部Ａとロゴ部Ｂが１ブロック分離して配置
されている。セル部Ａには、縦方向と横方向が共に、７
ブロック分の長さの正方形の範囲内に、方形のセルが２
次元的にパターン化され配置されている。ロゴ部Ｂに
は、縦方向が１．５ブロック分の長さで、横方向が７ブ
ロック分の長さの大きな長方形のセルが配置され、そこ
に、例えば、オブジェクトの名称、あるいは宣伝のため
のマーク（ロゴ）などが記載される。

【００３３】このような２Dコードは、Windows(登録商
標）、Mac、Linuxの如きＯＳ５６C上で展開されるアプ
リケーションソフトウエアによって読み取り可能とされ
る。アプリケーションソフトウエアは、ローカルコンピ
ュータ１１に内蔵されたハードディスクドライブ（HD
D）５６に格納されている。図３に示すように、ハード
ディスクドライブ（HDD）５６には、電子メールプログ
ラム５６Ａ、オートパイロットプログラム５６Ｂ、オペ
レーションシステムソフトウェア(OS)５６Ｃ、２次元バ
ーコードデータベース（以下、２Ｄコードデータベース
と略記する）５６Ｄ、ファインダアプリケーションプロ
グラム（以下、FAプログラムと略記する）５６Ｅ、２次
元バーコードアソシエートアプリケーションプログラム
（以下、２Ｄコードプログラムと略記する）５６Ｆ、お
よび管理ツールプログラム５６Ｇが記憶されている。前
述のエフェクトデータベース１２は、２Ｄコードデータ
ベース５６Dの一部に構築することができる。

【００３４】２Ｄコードデータベース５６Ｄには、２Ｄ
コードの効果選択情報（以下、２ＤコードIDと称する）
の他、２Ｄコードに関連して設定される、実行ファイル
（プログラム）（例えば、.exe、.comなどの拡張子を有
するファイル）またはドキュメントファイル（例え
ば、.txt、.html、.jpgなどの拡張子を有するファイ
ル）の名前が記憶されている。この実行ファイルは、２
Ｄコードが識別されたとき、それに対応して自動的に起
動されるように設定された実行ファイル（以下、２Ｄコ
ード関連実行ファイルと記述する）である。また、ドキ
ュメントファイルは、２Ｄコードが識別されたとき、そ
れに対応して自動的に開かれるように設定されたドキュ
メントファイル（以下、２Ｄコード関連ドキュメントフ
ァイルと記述する）である。なお、以下においては、２
Ｄコード関連実行ファイルと２Ｄコード関連ドキュメン
トファイルを特に区別する必要がない場合、両者をまと
めて、単に、２Ｄコード関連ファイルと記述する。２Ｄ
コードデータベース５６Ｄにはまた、２Ｄコード関連フ
ァイルの内容を説明する情報（以下、２Ｄコードメモ情
報と記述する）や２Ｄコード関連ファイルのタイトルな
ど、２Ｄコードに付随する情報が記憶されている。な
お、この例の場合、２Ｄコードデータベース５６Ｄは、
DLL(Dynamic Link Library)とされる。

【００３５】FAプログラム５６Ｅは、例えば、グラフィ
ックチップのVRAMに記憶されている画像データから２Ｄ
コードの部分の画像データを抽出し、抽出した２Ｄコー
ドに対応する２Ｄコード関連ファイルを自動的に実行さ
せるプログラムである。FAプログラム５６Ｅはまた、２
Ｄコードプログラム５６Ｆを開発するためのAPI(Applic
ation Programming Interface)を有している。

【００３６】２Ｄコードプログラム５６Ｆは、FAプログ
ラム５６ＥのAPIを介して、FAプログラム５６Ｅとデー
タの授受を行うことができる、２Ｄコード関連実行ファ
イルである。管理ツールプログラム５６Ｇは、FAプログ
ラム５６Ｅおよび２Ｄコードプログラム５６Ｆが実行さ
れる上において必要なデータを登録するためのプログラ
ムである。管理ツールプログラム５６Ｇまたは、所定の
GUI(Graphical User Interface)を備えている。ハード
ディスクドライブ５６内のＯＳ５６Ｃ、FAプログラム５
６Ｅ等は、例えば、電源スイッチが操作されＯＳ５６Ｃ
が起動（ブートアップ）され、さらにFAプログラム５６
Ｅが起動される処理の過程で、これらのプログラムがRA
M内に順次転送され、記憶される。

【００３７】次に、FAプログラム５６Ｅによる２Ｄコー
ド認識処理について、図４のフローチャートを参照して
説明する。この２Ｄコード認識処理は、ユーザによる所
定のプログラム起動操作に対応して、ハードディスクド
ライブ５６に記憶されているFAプログラム５６ＥがRAM
に転送されて記憶され、CPUにより実行されることによ
り開始される。

【００３８】ユーザがプログラム起動操作を実行した
後、オブジェクトの２Ｄコードが貼付されている面をCC
Dビデオカメラに向けると、その画像がCCDビデオカメラ
により撮像されて処理部で所定の処理が施される。ステ
ップＳ１において、FAプログラム５６Ｅは、処理部で処
理されて、グラフィックチップのVRAMに描画された画像
データの画像に、通常モードの画像（２Ｄコードの位置
を示す照準の画像）を重畳した画像をファインダウィン
ドウ（図６、ただし同図はハイパサーチモードを示して
いる）として、ＬＣＤ又はＣＲＴなどの表示部に表示さ
せる。

【００３９】ステップＳ２において、FAプログラム５６
Ｅは、ユーザにより所定のプログラム終了操作が実行さ
れたか否かを判定し、終了操作が実行されていないと判
定した場合、ステップＳ３に進む。ステップＳ３におい
て、FAプログラム５６Ｅは、ファインダウィンドウ（３
２０×２４０画素）全体（図５(A)）の画像データをキ
ャプチャする（画像データをVRAMからRAMに転送す
る）。

【００４０】ステップＳ４において、FAプログラム５６
Ｅは、撮像ボタンなどのカメラ作動ボタンが押下されて
いるか否か（ハイパサーチモードに設定されたか否か）
を判定し、撮像ボタンが押下されていると判定した場
合、ステップＳ５に進む。ステップＳ５において、FAプ
ログラム５６Ｅは、ファインダウィンドウにハイパサー
チモードに設定された旨を示す画像を表示する。すなわ
ち、FAプログラム５６Ｅは、図６に示すように、ファイ
ンダウィンドウの中央部分に、画像を拡大して２Ｄコー
ドを探知する範囲を示す矩形の枠（８０×６０画素、図
５(B)）と、右下部分に「Hyper Search」の文字を表示
する。このような矩形の枠を表示することにより、ユー
ザが２Ｄコードを適切な位置に調整することを容易とす
る。なお、ハイパサーチモードとせずに常時２Ｄコード
を探すように設定しても良い。

【００４１】ステップＳ６において、FAプログラム５６
Ｅは、ファインダウィンドウの中央部分（８０×６０画
素）の画像データを、縦横それぞれ４倍に拡大した画像
（３２０×２４０画素、図５(C)）を生成する。ステッ
プＳ７において、FAプログラム５６Ｅは、３２０×２４
０画素の画像（ステップＳ３でキャプチャした画像、ま
たはステップＳ６で拡大した画像）の中から２Ｄコード
を探知する。

【００４２】ステップＳ８において、FAプログラム５６
Ｅは、ステップＳ７で２Ｄコードを探知できたか否かを
判定し、探知できていないと判定した場合、その旨を表
示して、ユーザに２Ｄコードが貼付されたオブジェクト
のCCDビデオカメラに対する距離や角度を調整するよう
に促す。そして、ステップＳ１に戻り、それ以降の処理
を繰り返す。その後、２Ｄコードを探知できたと判定さ
れた場合、ステップＳ９に進む。

【００４３】ステップＳ９において、FAプログラム５６
Ｅは、２Ｄコードのパターンを識別し、パターンが示す
ID（２ＤコードID）と、ファインダウィンドウにおける
２Ｄコードの４つの頂点Ｐ_i（ｉ＝０，１，２，３）の
位置を示す２次元座標（Ｐ_ix，Ｐ_iy）とCCDビデオカメ
ラの焦点距離（以下、適宜、focalとも記述する）を取
得する。ただし、２Ｄコードの左上の頂点をＰ0とし、
右上の頂点をＰ1とし、左下の頂点をＰ2とし、右下の頂
点をＰ3とする。

【００４４】ステップＳ１０において、FAプログラム５
６Ｅは、取得した２ＤコードIDが、既に登録済みである
か否か（ハードディスクドライブ５６に格納されている
２Ｄコードデータベース５６Ｄに、ステップＳ９で取得
した２ＤコードIDがあるか否か）を判定し、既に登録済
みであると判定した場合、ステップＳ１１に進む。ステ
ップＳ１１において、FAプログラム５６Ｅは、登録され
ている処理を実行する。例えば、FAプログラム５６Ｅ
は、２ＤコードIDに対応する２Ｄコードプログラム５６
Ｆとしての３次元オブジェクト表示アプリケーションプ
ログラム（以下、３Ｄアプリケーションと略記する）を
起動する。

【００４５】なお、３Ｄアプリケーションは、ファイン
ダウィンドウ上に３次元オブジェクトを表示させるアプ
リケーションプログラムであり、引数として供給される
２ＤコードIDに対応付けて、表示する３次元オブジェク
トデータ（Microsoft Direct3Dで使用される標準的なフ
ァイルフォーマットであるＸファイルとして記述された
もの）、再生するサウンドデータ（WAVEファイル）、フ
ァインダウィンドウ上に３次元オブジェクトを表示させ
るXYZ座標（ファインダウィンドウ上の２Ｄコードの所
定の部分を原点とした座標系）、アニメーションの速度
等の情報を管理している。

【００４６】３Ｄアプリケーションの処理について、図
７のフローチャートを参照して説明する。ステップＳ２
１において、３Ｄアプリケーションは、FAプログラム５
６Ｅから供給される引数としての２ＤコードIDを受領す
る。ステップＳ２２において、３Ｄアプリケーション
は、ファインダウィンドウ上に３Ｄオブジェクト表示用
ウィンドウを生成する。ステップＳ２３において、３Ｄ
アプリケーションは、ステップＳ２１で供給された２Ｄ
コードIDに対応する３次元オブジェクトデータ等を読み
出す。ステップＳ２４において、３Ｄアプリケーション
は、FAプログラム５６Ｅから供給されるファインダウィ
ンドウ上の２Ｄコードの２次元座標（Ｐ_ix，Ｐ_iy）とCC
Dビデオカメラの焦点距離(focal)を受領する。

【００４７】ステップＳ２５において、３Ｄアプリケー
ションは、ステップＳ２４で受領した、ファインダウィ
ンドウ上の２Ｄコードの２次元座標を用いて、３Ｄオブ
ジェクトを表示させるファインダウィンドウ上の座標を
算出する。具体的には、実３次元座標系における２Ｄコ
ードの４つの頂点の座標をω_iとし、実３次元空間の−
Ｚ軸の方向を向くCCDビデオカメラのレンズ面を原点と
するカメラ座標系における２Ｄコードの４つの頂点の座
標をＣ_iとし、ファインダウィンドウ上における（以
下、ファインダウィンドウ座標系と記述する）２Ｄコー
ドの４つの頂点の座標をＰ_i（ｉ＝０，１，２，３）と
した場合、実３次元座標系の座標ω_iとカメラ座標系に
おける座標Ｃ_iは次式（１）のように関係付けられる。 Ｃ_i＝Ｒ*ω_i＋Ｔ ・・・（１） ここで、Ｒは実３次元座標系に対するカメラ座標系の回
転を表す回転行列であり、ＴはCCDビデオカメラの移動
ベクトル（実３次元座標系の原点とカメラ座標系の原点
の距離）である。まず、この回転行列Ｒと移動ベクトル
Ｔを演算する。

【００４８】ファインダウィンドウ座標系の座標Ｐiと
カメラ座標系における座標Ｃiは次式（２）に示す関係
である。

【００４９】ここで、ベクトルω₃₀，ω₂₀，ω₁₀を実３
次元座標系の座標ω_zを用い、次式（３）に示すように
定義する。

【００５０】なお、座標ω₀，ω₁，ω₂，ω₃は同一平面
上に存在するので、 ω₃₀＝ｓω₁₀＋ｔω₂₀ ・・・（４） となるｓおよびｔが存在する。ただし、いまの場合、座
標ω₀，ω₁，ω₂，ω₃は矩形の４頂点の座標であるので
ｓ＝ｔ＝１である。

【００５１】また、ベクトルω₃₀，ω₂₀，ω₁₀は、カメ
ラ座標系の座標Ｃi、およびベクトルＣ₃₀，Ｃ₂₀，Ｃ₁₀
を用いて表すことができる。

【００５２】ところで、カメラ座標系における座標Ｃ_i
は、次式（６）に示すように、ファインダウィンドウ座
標系の座標Ｐ_iのｋ_i（スカラ量）倍として表すことがで
きる。 Ｃ_i＝ｋ_i*Ｐ_i （ｉ＝０，１，２，３） ・・・（６）

【００５３】ここで、式（４）に式（５）を代入して次
式（７）を得る。 Ｃ₃−Ｃ₀＝ｓ（Ｃ₁−Ｃ₀）＋ｔ（Ｃ₂−Ｃ₀） ・・・（７）

【００５４】式（７）に式（６）を代入して次式（８）
を得る。 ｋ₃*Ｐ₃−ｋ₀*Ｐ₀＝ｓ（ｋ₁*Ｐ₁−ｋ₀*Ｐ₀）＋ｔ（ｋ₂*Ｐ₂−ｋ₀*Ｐ₀）・・・ （８）

【００５５】式（８）をＰ3について解けば、 Ｐ₀ｋ
₀（１−ｓ−ｔ）／ｋ₃＋Ｐ₁ｓ*ｋ₁／ｋ ₃＋Ｐ₂ｔ*ｋ₂／
ｋ₃＝Ｐ₃ ・・・（９）となる。

【００５６】式（９）を行列式で表記すると次式（１
０）となる。

【００５７】

【数１】 ここで、式（１０）の左辺の（Ｐ₀ Ｐ₁ Ｐ₂）をＶとお
き、その逆行列Ｖ^−１を式（１０）の両辺に左側から乗
算すれば、次式（１１）を得る。

【００５８】

【数２】 さらに、式（１１）の右辺のＶ^−１*Ｐ₃を（ａ₀ ａ₁ ａ
₂）とおけば、次式（１２）を得る。

【００５９】ところで、｜ω₃₀｜は、２Ｄコードの対角
線の長さであり、 ｜ω₃₀｜＝｜ｋ₃*Ｐ₃−ｋ₀*Ｐ₀｜ ・・・（１３）

【００６０】であるので、式（１３）の右辺のｋ₀に式
（１２）を適用すれば、 ｜ω₃₀｜＝｜ｋ₃*Ｐ₃−ａ₀*ｋ₃*Ｐ₀／（１−ｓ−ｔ）｜＝ｋ₃｜Ｐ₃−ａ₀*Ｐ₀ ／（１−ｓ−ｔ）｜ ・・・（１４） を得る。

【００６１】式（１４）の｜ω30｜および｜Ｐ3−ａ0*
Ｐ0／（１−ｓ−ｔ）｜の値は既知であるので、スカラ
量ｋ3を求めることができる。さらに、得られたスカラ
量ｋ3を式（１２）に代入して、スカラ量ｋ0，ｋ1，ｋ2
を得る。得られたスカラ量ｋi（ｉ＝０，１，２，３）
を式（６）に代入してカメラ座標系の座標Ｃi（ｉ＝
０，１，２，３）を得る。ここで、回転行列Ｒは、ベク
トルω₃₀，ω₁₀を、それぞれ、ベクトルＣ₃₀，Ｃ₁₀に変
換する行列として演算できる。また、移動ベクトルＴ
は、式（１）より、Ｔ＝Σ（Ｃｉ−Ｒ*ωｉ）／４とし
て演算できる。

【００６２】以上のようにして求めた回転行列Ｒおよび
移動ベクトルＴを用い、実３次元座標系における座標ω
iをカメラ座標系の３次元座標に変換し、さらに、ファ
インダウィンドウ座標系における座標Ｐiを算出して、
図７のステップＳ２６に進む。ステップＳ２６におい
て、３Ｄアプリケーションは、図８に示すように、ステ
ップＳ２５で算出したファインダウィンドウ座標系の座
標に、対応する３Ｄオブジェクトを表示する。このよう
な３Ｄアプリケーション処理により、あたかも３Ｄオブ
ジェクトがファインダウィンドウに表示されたカメラ映
像の中に存在するかのような合成画像を表示できる。

【００６３】また、表示させる３Ｄオブジェクトは、Mi
crisoft Direct3Dで使用される標準のファイルフォーマ
ット（Ｘファイル）であるので、ユーザが任意のソフト
ウェアを用いて作成することが可能である。また、３Ｄ
のアニメーションもサポートされている。さらに、同時
に、サウンドファイル（WAVEファイル）を指定して再生
することができるので、ファインダウィンドウ内の３Ｄ
オブジェクトが話をしているかのような表現を実現する
ことが可能となる。

【００６４】図４の説明に戻る。ステップＳ１０におい
て、取得した２ＤコードIDが、既に登録済みではないと
判定された場合、ステップＳ１２に進み、FAプログラム
５６Ｅは、その２ＤコードIDに所定の処理を対応付ける
設定の入力を受け付ける処理を実行して、ステップＳ１
に戻る。

【００６５】なお、ステップＳ２において、FAプログラ
ム５６Ｅは、ユーザにより終了操作が実行されたと判定
した場合、２Ｄコード認識処理を終了する。

【００６６】また、ステップＳ４において、FAプログラ
ム５６Ｅは、撮像ボタンが押下されていないと判定した
場合、ステップＳ５，Ｓ６をスキップする。この場合、
ステップＳ７においては、ステップＳ３でキャプチャさ
れた画像から２Ｄコードが探知される。

【００６７】なお、以上の説明では、ステップＳ４にお
ける撮像ボタンの押下が半押しであるか、または全押し
であるかについては言及していないが、例えば、撮像ボ
タン若しくはシャッタボタンが半押し状態とされたとき
にハイパサーチモードとし、全押しされたときに２Ｄコ
ードを探知するようにしてもよい。

【００６８】以上のように、キャプチャした画像の中央
部分を拡大して２Ｄコードを探知することで、２Ｄコー
ドを認識可能なCCDビデオカメラとの距離を、画像を拡
大しない場合の約１０cmから、２倍の約２０cmに向上さ
せることが可能となる。

【００６９】なお、本実施形態では、キャプチャした画
像を拡大する処理はCPUに大きな負担をかけるので、撮
像ボタンが押下されたときだけ拡大処理を実行するよう
にしている。これにより、必要なとき（通常モードでは
２Ｄコードを認識できないとき）だけ認識率を向上させ
ることが可能である。

【００７０】上述の如き２Ｄコードのコード認識と座標
認識のプログラムによって、本実施形態の情報処理シス
テムは、２次元のみならず３次元にも対応した効果の付
加が可能となる。なお、これら認識プログラムは、一例
に過ぎず他の計算方法や手順によってもコード認識と座
標認識が可能である。

【００７１】次に、図９から図１６までを参照してライ
ブ配信の作業について説明する。先ず、本実施形態にお
いては、ライブ配信前における準備段階と、ライブ配信
時における自動的な効果付加動作が実現される。

【００７２】先ず、ライブ配信前における準備段階にお
いては、図９に示す２Ｄコード１５に対応して各種効果
設定情報がエフェクトデータベース１２に入力される。
この各種効果設定情報としては、エフェクトについての
効果選択情報（ＩＤ）、２次元コード情報と効果表示位
置の間の相対位置に関する相対位置情報（位置）、付加
すべき効果の表示範囲に関する効果付加範囲情報（範
囲）などが入力されるものであり、エフェクトデータベ
ース１２は効果選択情報（ＩＤ）に対応した内容（コン
テンツ）、位置、範囲をテーブル１２Ｔの形式で保存す
ることになる。エフェクトデータベース１２は書き換え
可能であり、効果付加範囲を変えたい場合においては、
その範囲の変更情報を入力する。

【００７３】図１０はライブ配信前の準備段階における
流れ図である。ローカルコンピュータ１１を操作して、
初めにアプリケーションソフトウエアを起動させる。こ
の段階で、ローカルコンピュータ１１のＬＣＤ表示部に
は、２Ｄコードの数値入力画面となりキーボードやテン
キーの操作或いは直接２Ｄコードをカメラ前にかざして
効果選択情報（２ＤコードＩＤ）を入力する（手順Ｓ３
１）。

【００７４】この２ＤコードＩＤを入力したところで、
入力にかかる２ＤコードＩＤについてエフェクトが設定
されていないかどうかが判断され（手順Ｓ３２）、既に
エフェクトが設定されている場合（ＮＯ）には、上書き
ができるか否かが判断される（手順Ｓ３３）。もし上書
きができない場合には手順Ｓ３１に戻り再度２Ｄコード
ＩＤの入力となる。

【００７５】手順Ｓ３２でエフェクトが設定されていな
い場合（ＹＥＳ）及び上書きが可能な場合、手順３４に
進み、エフェクトの種類を設定する。このエフェクトの
種類の設定は、例えばモザイク、2次元画像（ビットマ
ップ画像）、３次元コンピュータグラフィックス（３Ｄ
ＣＧ），背景差替えなどを選ぶことで行われる。

【００７６】エフェクトの種類を設定した後、手順Ｓ３
５では対応するデータファイルのリンク付けや設定を行
う。エフェクトがモザイクの場合には、所要の演算処理
をするだけであるため、データファイルに対するリンク
付けは不要である。エフェクトがビットマップ画像の場
合には対応するビットマップ画像ファイルが設定され、
エフェクトが３次元コンピュータグラフィックス（３Ｄ
ＣＧ）の場合には対応する３次元コンピュータグラフィ
ックスが選ばれ、エフェクトが背景差替えの場合には、
選択される背景画像ファイルが選択される。

【００７７】次に、手順Ｓ３６ではエフェクトをかける
位置を設定する。この位置とは２次元コード情報と効果
表示位置の間の相対位置に関する相対位置情報を意味
し、２Ｄコードを読み取った場合の原点からの距離と方
向を３次元座標（或いは２次元座標）で与えるものであ
る。この設定によって、例えば出演者がＴシャツを着て
現れ、そのＴシャツに２Ｄコードがプリントされている
場合に、Ｔシャツと顔の概略的な相対位置から丁度顔を
分からなくするようにモザイクをかけることができるよ
うになる。

【００７８】この相対位置情報の入力の後、手順Ｓ３７
に示すように、エフェクトを付加する範囲が設定され
る。このエフェクトを付加する範囲の設定は、効果設定
情報のうちの効果付加範囲情報の入力に該当し、例えば
モザイクを付加する場合では、縦方向に±５０ピクセル
で横方向に±１００ピクセルにモザイクをかけると言う
ように縦方向と横方向のピクセル数を指定する。設定方
法としては、上述のようにピクセル数を指定することも
可能であるが、画面上の一部をプレヴュー画面上でトリ
ミングしたり、撮像した映像の色で分けたりすることも
可能である。また、画面上の面積の範囲ではなく、時間
的な範囲を予め設定しても良い。

【００７９】このような設定情報を配信前に設定するこ
とで、ライブ配信時には２Dコードをカメラにかざすこ
とで、そのかざした２Dコードに対応したリアルタイム
エフェクトをかけることができる。また、設定情報はデ
ータベースを構成するため、複数のコンピュータで共有
にすることもでき、各種メディアに格納することも可能
であり、送受信の対象や添付ファイルとすることも可能
である。

【００８０】次に、図９と図１１を参照しながらライブ
配信時の動作について説明する。図９に示すように、ラ
イブ配信を進める場合には、ローカルコンピュータ１１
をインターネットを介してストリーミングサーバ１３に
接続させる。このストリーミングサーバ１３への接続が
なされたところでローカルコンピュータ１１に付属若し
くは接続されたカメラを作動させ、カメラ画像１８Aを
取り込む。このカメラ画像１８Aにおいては、特にエフ
ェクトを付加しようとする場合に、出演者若しくは撮影
者が画面内に２Dコード１５が映るようにする。

【００８１】このようにカメラ画像１８Aの範囲に２Dコ
ード１５が映った場合、前述の如き起動しているファイ
ンダアプリケーションプログラムによって、２次元コー
ド情報の抽出が行われる。この画像１８Bにおける２次
元コード情報の抽出の際には、２Dコード１５の四隅の
パターンから２Dコード１５の位置や座標（向き若しく
は姿勢）、大きさなどが認識される。このパターン認識
作業は抽出手段による作業としてＣＰＵによる動作によ
って進められるものであり、前述の準備段階で設定され
たエフェクトデータベース１２のデータテーブル１２T
に従った処理が行われる。配信画面１８Cは画像加工手
段によって加工された画面を示しており、図９に示す例
では、「３Dモモ」と称されるペット型アニメーション
キャラクターが選択されて所定の位置に表示された場合
を図示している。この配信画面１８Cにかかる画像情報
がストリーミング形式でストリーミングサーバ１３に送
信され、このストリーミングサーバ１３から単数若しく
は複数の視聴者に対してのライブ配信が行われる。

【００８２】図１１はライブ配信時のローカルコンピュ
ータ１１におけるエフェクト付加作業の流れ図であり、
画像データの各フレームにおける処理を示すものであ
る。先ず、ソフトウエアを起動したところで、カメラに
写されている２Dコードを探索する（手順Ｓ４１）。こ
の探索の結果、２Ｄコードを認識することができたか否
かが判断され（手順Ｓ４２）、もし２Ｄコードを認識す
ることがなかった場合には手順４１に戻って次のフレー
ムに対して同様の動作を行う。

【００８３】手順Ｓ４２で２Ｄコードを認識することが
できた場合、手順Ｓ４３に進み、認識した２Ｄコードに
対応するエフェクト情報をローカルコンピュータ１１内
のエフェクトデータベース１２から検索する。すなわ
ち、２Ｄコードを認識することで、効果選択情報である
２ＤコードＩＤが読み出され、ここでエフェクト情報が
存在するか否かが手順Ｓ４４で判断される。エフェクト
情報が読み取った２Ｄコードに対しては存在しないと
き、換言すれば定義付けされていないエフェクトのＩＤ
が認識された場合では、手順４１に戻って次のフレーム
に対して同様の動作を行う。

【００８４】手順S４４でエフェクト情報が存在する場
合（ＹＥＳ）、その２ＤコードＩＤについてエフェクト
の種類、位置、範囲が設定どおりに読み出され、手順Ｓ
４５ではエフェクトの種類に応じたデータファイルの読
み出しが行われる。エフェクトがビットマップ画像の場
合には対応するビットマップ画像ファイルが読み込ま
れ、エフェクトが３次元コンピュータグラフィックス
（３ＤＣＧ）の場合には対応する３次元コンピュータグ
ラフィックスが読み込まれ、エフェクトが背景差替えの
場合には、選択される背景画像ファイルが読み込まれ
る。エフェクトの種類がモザイクなどの演算処理の場合
は、読み込むデータファイルは画面の一部若しくは全体
とされるが、ここでデータを読み込まずに手順Ｓ４９ま
でスキップすることも可能である。

【００８５】データファイルの読み出し動作によって手
順Ｓ４６では、対応したデータファイルが存在している
か否かが判断される。もしデータファイルが存在してい
ない場合（NO）には、手順４１に戻って次のフレームに
対して再度動作を行う。逆にデータファイルが存在して
いる場合（ＹＥＳ）には、認識した２Ｄコードの位置
（２Ｄ座標）を取得する（手順Ｓ４７）。ここで認識さ
れた２Ｄコードの位置は、図７のフローにおける手順Ｓ
２４の動作と同様に、FAプログラム５６Ｅから供給され
るファインダウィンドウ上の２Ｄコードの２次元座標
（Ｐ_ix，Ｐ_iy）である。

【００８６】次に、３次元表示効果が必要な３次元コン
ピュータグラフィックス（３ＤＣＧ）の場合には、手順
Ｓ４８で３次元座標の読み出しが行われる。この動作は
前述の図７のフローにおける手順Ｓ２５に対応し、具体
的には、回転行列Ｒおよび移動ベクトルＴを用い、実３
次元座標系における座標ωiをカメラ座標系の３次元座
標に変換し、さらに、ファインダウィンドウ座標系にお
ける座標Ｐiを算出して必要な３次元を取得する。

【００８７】続いて、手順Ｓ４９では２Ｄコードに基づ
く座標を基準に、エフェクト情報を反映したエフェクト
を描画する。このエフェクト情報を反映したエフェクト
の描画は、画像加工手段によって行われ、ローカルコン
ピュータ１１内のＣＰＵの制御によってVRAM内の表示用
データをエフェクトを含むデータに書き換えことで進め
られる。このエフェクトを伴う画像がインターネットを
介して配信される（手順Ｓ５０）。このような画像処理
は各フレームごとに進められ、各フレームごとに繰り返
して行われる。

【００８８】ここで、エフェクトの具体例について図１
２乃至図１６を参照しながら簡単に説明すると、図１２
はカメラ入力画像を示す図であり、ローカルコンピュー
タ１１に接続されたカメラに写された画像である。図１
２では出演者がＴシャツを着ており、そのＴシャツの表
で胸部から腹部にかけて２Ｄコードがプリントしてあ
る。この状態では、カメラが出演者とともに２Ｄコード
を写しており、効果付加用のプログラムでエフェクトの
付加が実現される。

【００８９】図１３はエフェクトとしてモザイクを付加
した図である。本実施形態の情報処理装置において、エ
フェクトデータベース１２を参照しながら、２次元コー
ド情報を読み出し、画像のエフェクト付加処理をするこ
とで、図１３のモザイクが出演者の顔にかけられた画像
が作成される。図１２の状態から図１３の状態には、プ
ログラムによって自動的に進められおり、２次元コード
情報と効果表示位置の間の相対位置に関する相対位置情
報が予め設定されていることから、図１２のように例え
ば出演者が、２ＤコードがプリントされているＴシャツ
を着て現れるだけで、Ｔシャツと顔の前記相対位置デー
タから容易に顔を分からなくするようにモザイクをかけ
ることができる。この図１３の状態で、出演者が画面内
を移動した場合でも、２Ｄコードがプリントされている
Ｔシャツも移動することになり、このため２Ｄコードが
提供する表示位置も同じように移動する。従って、モザ
イクの位置も自動的に移動することになり、カメラの操
作者がその都度エフェクトの範囲を変更しなくとも出演
者の動きに追従したエフェクトの表示が可能である。

【００９０】図１４は画像ファイルを貼り付ける例を示
しており、この図１４においても、出演者の顔の部分に
猫型ロボットの画像が上書きされるように表示される。
画像ファイルはライブ配信前に予め準備された画像ファ
イルのデータであり、図１４のように例えば出演者が、
２ＤコードがプリントされているＴシャツを着て現れる
だけで、Ｔシャツと顔の相対位置データから容易に顔の
部分に猫型ロボットの画像を重ねることができる。ま
た、２Ｄコードからは２Ｄコードの四隅の座標データに
基づき、２Ｄコードの距離が把握され、その距離から猫
型ロボットの画像のサイズも適当なサイズに拡大化若し
くは縮小化されて表示される。

【００９１】図１５は３次元コンピュータグラフィック
ス（３ＤＣＧ）の場合を示す図である。図１５において
は、出演者のＴシャツの部分にアニメ風の３Ｄ蛙の画像
が上書きされるように表示される。このアニメ風の３Ｄ
蛙の画像は、コンピュータグラフィックスにより作成さ
れたものであり、データから描画されたものである。ラ
イブ配信をする場合においては、出演者が移動したり、
上下や横方向を向いた場合などでは、２Ｄコードがプリ
ントされているＴシャツの位置やその法線ベクトル方向
が変わることになり、出演者の動きに忠実な３次元コン
ピュータグラフィックスの動きが表現されることにな
る。また、画像だけではなく、音声ファイルなどを追従
させることも可能であり、しかも出演者が設定の範囲で
自由に制御できることになる。

【００９２】図１６は背景の差替えを示す図である。図
１６においては、出演者の背景部分がビーチの風景に上
書きされるように表示される。このビーチの風景は、出
演者の着ているＴシャツのプリントされている２Ｄコー
ドの効果選択情報を抽出することで、描画された画像で
ある。出演者は予め背景部分と分離されて認識されてお
り、予め容易された背景画像と差替えることで図１６の
画像が作成される。出演者の着ているＴシャツの２Ｄコ
ードを隠すことで、背景画像を元の画像に戻すことも可
能であり、出演者が別の２Ｄコードがプリントされた着
物を着ることで、他の背景画像に切り替えることも自動
に行うことができる。

【００９３】次に、図１７乃至図１９を参照しながら、
第２の実施形態として、エフェクトデータベースがネッ
トワーク上のエフェクトサーバにある場合の情報処理シ
ステムについて説明する。図１７は、本実施形態の情報
処理システムの概要を示す図である。本実施形態のシス
テムでは、先ず、映像配信側の構成として、カメラのつ
いたコンピュータ２１、エフェクトデータベース２２を
具備するエフェクトサーバ２６、インターネットライブ
映像配信のためのストリーミングサーバ２３、ユーザの
使用したエフェクトの使用回数・時間を管理し、課金す
るための課金サーバ２７を有している。また、映像を受
信する側の構成として、ストリーミングサーバ２３にイ
ンターネットを介して接続するための端末２４があり、
視聴者は端末２４の表示部を介して配信された映像を見
ることができる。

【００９４】コンピュータ２１は、カメラを一体に備え
た構造であっても良く、カメラを接続して使用するもの
であっても良い。また、コンピュータ２１はネットワー
ク機能を有するカメラ自体やカムコーダーなどの機器自
体であっても良く、更には撮像機能を有する携帯電話や
携帯情報端末（ＰＤＡ）など種々の電子機器に置き換え
可能である。コンピュータ２１は、一例としてノート型
コンピュータであって、表示部の上端中央部分にはCCD
(Charge Coupled Device)ビデオカメラが設けられてい
る。２Ｄコード２５は、コンピュータ２１のCCDビデオ
カメラにより撮像され、その結果得られた画像データか
ら２Ｄコード２５のパターンが認識されて、そのパター
ンに対応した所定の処理が実行される。

【００９５】このコンピュータ２１からは、２Ｄコード
情報がインターネット上のエフェクトサーバ２６に送ら
れると共に、映像信号自体はインターネット上のストリ
ーミングサーバ２３に送られる。エフェクトサーバ２６
には、更にユーザを特定する情報であるユーザ情報も送
られる。エフェクトサーバ２６はエフェクトデータベー
ス２２を具備するサーバであり、例えば所要のクリエー
タが制作したキャラクタ、コンピュータグラフィク、写
真などを割り当てられた２ＤコードＩＤと共に保存し、
アクセスされた際には電子ファイルの形式で提供するよ
うに構成されている。

【００９６】エフェクトサーバ２６に設けられたエフェ
クトデータベース２２は、エフェクトについての効果選
択情報、２次元コード情報と効果表示位置の間の相対位
置に関する相対位置情報、付加すべき効果の表示範囲に
関する効果付加範囲情報などの効果設定情報をデータベ
ース形成で保持するものである。エフェクトについての
効果選択情報は、２ＤコードのＩＤ（識別番号若しくは
２ＤコードＩＤ）を示すものであり、２Ｄコードの１つ
のＩＤが１つのエフェクトに対応する。例えば、２Ｄコ
ードのＩＤが「０００１００１」の場合には、３次元で
表現されるペット型アニメーション表示を指定するもの
とされ、サーバの所定フォルダーに格納されているデー
タを読み出して表示させることができる。この効果選択
情報は、表示させるコンテンツを指定するだけではな
く、具体的にどのエフェクトを付加するのかを指定する
ものである。例示すると、画像ファイルの重畳だけでは
なく、背景の付け替え、ある表示領域の演算処理、さら
には重ねられる画像ファイルも２次元的な画像に限定さ
れず、時間軸方向で変化するアニメーション画像や、影
や明度がグラデーションで変化して立体的に把握される
３次元画像、３次元コンピュータグラフィックスなど種
々のエフェクトに対応できる。

【００９７】効果設定情報のうちの相対位置情報は、撮
像された２Ｄコードの位置を原点として効果表示位置を
どこにするかを指定するデータであり、例えば、相対位
置情報は３次元ベクトル（ｘ、ｙ、ｚ）のデータを有す
る情報である。また、タイムスタンプ等を利用して時間
についての座標を含ませて、多少の遅延時間や表示切替
速度、アニメーションの進行速度を制御するようにして
も良い。この相対位置情報によって、エフェクトの位置
が全画面上の一部である場合でも、任意にエフェクトの
位置を指定できる。相対位置情報は３次元ベクトル
（ｘ、ｙ、ｚ）のデータに限らず、２次元ベクトルのデ
ータであっても良い。

【００９８】効果設定情報のうちの効果付加範囲情報
は、付加すべき効果の表示範囲に関する情報であり、指
定された相対位置の原点を基準にどの範囲にエフェクト
を付加するかを指定する情報である。例えば、エフェク
トがモザイクの場合には、縦方向に±５０ピクセルで横
方向に±１００ピクセルにモザイクをかけると言うよう
に縦方向と横方向のピクセル数を指定する。

【００９９】このようなエフェクトデータベース２２
は、コンピュータ２１のユーザがライブ配信を開始する
前に、任意に設定することができ、ユーザが自分で作成
したものをエフェクトサーバ２６にアップロードしてお
くことも可能であるが、このようなエフェクトデータベ
ース２２をインターネット上に配設し、そこにクリエー
タが制作したキャラクタ、コンピュータグラフィク、写
真などの種々のコンテンツを割り当てられた２Ｄコード
ＩＤと共にアップロードできるようにすることで、ユー
ザは種々のエフェクトを利用でき、クリエータは作品発
表の場が与えられ、且つ次の課金サーバ２７によって使
用頻度に応じた料金の徴収なども実現できる。

【０１００】ストリーミングサーバ２３では、コンピュ
ータ２１から提供されたライブ映像を単数若しくは複数
の視聴者にストリーミング形式で配信することができ
る。具体的には、視聴者がストリーミングサーバ２３に
対して端末２４を介してアクセスし、その端末２４に付
属の表示デバイスを介して映像を見ることができる。ス
トリーミングサーバ２３からライブ配信する場合には、
エフェクトデータベース２２を有するエフェクトサーバ
２６からエフェクトについてのデータの提供を受ける。
この時、エフェクトサーバ２６と課金サーバ２７は連動
して、どのユーザがどの程度、どのエフェクトを利用し
たかを記録し、それを課金情報としてクリエータにフィ
ードバックすることができる。

【０１０１】図１８を参照しながら、本システムの動作
について説明する。本システムにおいても、ライブ配信
前における準備段階と、ライブ配信時における自動的な
効果付加動作が実現されるが、ライブ配信前における準
備段階では先の実施形態とは異なってユーザが行う手順
の一部がクリエータが行うようになっている。

【０１０２】先ず、ライブ配信前においては、ネットワ
ーク上のエフェクトサーバ２６に、２ＤコードＩＤとエ
フェクト情報を対応付けたエフェクトデータベース２２
が存在する。クリエータが作成した楽しいエフェクト・
コンテンツをエフェクトデータベース２２上に用意する
ことで、ユーザは自らエフェクトを作る手間が省け、ク
リエータの作った質の高いエフェクトを手軽にライブ映
像内に登場させることが可能になる。

【０１０３】クリエータが作成するエフェクトは第１の
実施形態におけるエフェクトとほぼ同様である。すなわ
ち、本実施形態のシステムで利用できるエフェクトとし
ては、モザイクなどの演算処理をするエフェクト、アニ
メーションやキャラクタなどの２次元画像、３次元（２
次元）コンピュータグラフィックス、背景差替え用画像
などが可能である。なお、音声エフェクトなどを組み合
わせることも可能である。エフェクトデータベース２２
へのエフェクトのアップロードはクリエータ自身が自分
の端末２８からインターネットを介して電子的なデータ
を送信することで行われる。この時、エフェクトデータ
ベース２２には、効果選択情報としての２ＤコードＩＤ
と共に２ＤコードＩＤと効果表示位置の間の相対位置に
関する相対位置情報、付加すべき効果の表示範囲に関す
る効果付加範囲情報などの各種効果設定情報が格納され
る。更に本実施形態においては、各コンテンツについて
誰がクリエータであるかも記録しており、その著作者情
報は課金サーバ２７と共有される。

【０１０４】次に、ライブ映像配信時においては、アプ
リケーション起動後、配信側のコンピュータ２１からエ
フェクトデータベース２２を有するエフェクトサーバ２
６とライブ配信用のストリーミングサーバ２３に接続
し、エフェクトサーバ２６を介してクリエータに対する
課金情報を保持する課金サーバ２７にも接続する。課金
サーバ２７にはユーザ識別情報が送信される。

【０１０５】ライブ映像配信時は、ユーザまたは出演者
が２Ｄコードをカメラにかざす。そうすると、配信側コ
ンピュータ２１内の２Ｄコード認識ソフトウェアが２Ｄ
コードＩＤ、位置(２Ｄ座標)、大きさを認識し、姿勢
(３Ｄ座標)を算出する。配信側コンピュータ２１は、２
ＤコードＩＤとカメラ画像をエフェクトサーバ２６に送
信する。エフェクトサーバ２６は受け取った２Ｄコード
ＩＤとサーバ２６内に持っているエフェクトデータベー
ス２２内の２ＤコードＩＤをマッチングし、一致するＩ
Ｄがあった場合には対応するエフェクト情報を取得す
る。

【０１０６】エフェクトサーバ２６は、エフェクト情報
が見つかったら、エフェクトの種類を読み出し、背景挿
替え、モザイク、ビットマップ画像、３ＤＣＧエフェク
トなどの処理を行う。背景画像、ビットマップ画像、３
ＤＣＧモードのときは、データベースからデータファイ
ルを読み出す。モザイク、ビットマップ画像、３ＤＣＧ
モードのときは、エフェクトをかける位置を読み出す。
また、モザイクモードのときはエフェクトをかける範囲
を読み出す。配信側コンピュータ２１は、続いて２Ｄコ
ードの画像中の位置(２Ｄ座標)、大きさ、姿勢(３Ｄ座
標)を取得し、エフェクトサーバ２６に送信する。これ
らの算出方法は先の実施形態の方法と同様である。

【０１０７】エフェクトサーバ２６は、これらの位置情
報を受け取りこの位置を基準にエフェクト設定情報を用
いて、エフェクトをカメラ映像に重ねあわせる。重ね合
わせる際には、配信側コンピュータ２１から受け取った
２ＤコードＩＤ認識時のタイムスタンプと映像のタイム
スタンプが対応するようにエフェクトが付加される。重
ね合わせた映像をストリーミングサーバ２３に送信す
る。ストリーミングサーバ２３は、これまでの個人配信
システムと同様に映像をライブ配信する。

【０１０８】これらの作業をカメラ映像の毎フレームご
とに繰り返すことによって、２ＤコードのＩＤや位置が
変わっても、それに応じたエフェクトの重なった映像を
ライブ配信することが可能になる。また、エフェクトデ
ータベース２２をネットワーク上のエフェクトサーバ２
６におくことで、ユーザは自らエフェクトを作る手間が
省けるだけでなく、クリエータの作成した質の高いエフ
ェクトを２Ｄコードをカメラにかざすだけで簡単にかけ
ることが出来る。

【０１０９】次に、このようなクリエータがエフェクト
を作りユーザが使用する際の課金システムについて説明
を行う。配信側のコンピュータ２１は、ソフトウェアが
起動するとエフェクトサーバ２６に接続し、ユーザ情報
を送信する。２Ｄコードを認識するとそのＩＤをエフェ
クトサーバ２６に送信するが、エフェクトサーバ２６
は、その２Ｄコードに対応するエフェクトがエフェクト
データベース２２内に存在するならば、課金サーバ２７
に、ユーザ情報と２ＤコードＩＤを送信し、そのエフェ
クトがそのユーザによって使われていることを通知す
る。

【０１１０】課金サーバ２７は、２ＤコードＩＤによっ
て使われているエフェクトを特定し、その使用回数・時
間を一括管理する。さらに、エフェクトサーバ２６から
送られてきたユーザ情報から、そのユーザのエフェクト
の使用回数・時間に応じて、エフェクト使用料金の課金
を行う。エフェクトはクリエータによって自由に作られ
るので、使用されたエフェクトはその利用回数・時間に
応じてクリエータに使用料金が還元される。本実施形態
においては２ＤコードＩＤとエフェクトの対応をエフェ
クトサーバ２６のエフェクトデータベース２２にもち、
その利用回数・時間を課金サーバ２７で管理すること
で、エフェクトの利用回数・時間に応じたユーザからの
課金とクリエータへの還元を行うことができ、その差額
で利益が発生することにもなる。

【０１１１】図１９はインターネットでライブ配信を行
う場合のシステムの動作を示すより具体的な流れ図であ
る。初めにユーザは配信側のコンピュータ２１を起動
し、ソフトウェアを起動する。次に手順Ｓ６１でユーザ
のコンピュータ２１をストリーミングサーバ２３に接続
する。手順Ｓ６２では、そのコンピュータ２１とストリ
ーミングサーバ２３の間の接続が成功したか否かが判断
され、不成功の場合には、手順Ｓ６３でエラーダイアロ
グをユーザのコンピュータ２１の表示部に表示して処理
を終了する。

【０１１２】手順Ｓ６２で、コンピュータ２１とストリ
ーミングサーバ２３の間の接続が成功したと判断される
場合（ＹＥＳ）には、手順Ｓ６４に進む。ここではユー
ザのコンピュータ２１をエフェクトデータベース２２を
有するエフェクトサーバ２６に接続する。次の手順Ｓ６
５では、そのコンピュータ２１とエフェクトサーバ２６
の間の接続が成功したか否かが判断され、不成功の場合
には、手順Ｓ６３でエラーダイアログをユーザのコンピ
ュータ２１の表示部に表示して処理を終了する。

【０１１３】手順Ｓ６５でコンピュータ２１とエフェク
トサーバ２６の間の接続が成功したと判断される場合
（ＹＥＳ）には、手順Ｓ６６に進む。ここではユーザの
コンピュータ２１を課金サーバ２７に接続する。次の手
順Ｓ６７では、そのコンピュータ２１と課金サーバ２７
の間の接続が成功したか否かが判断され、不成功の場合
には、手順Ｓ６３でエラーダイアログをユーザのコンピ
ュータ２１の表示部に表示して処理を終了する。

【０１１４】手順Ｓ６７でコンピュータ２１と課金サー
バ２７の間の接続が成功したと判断される場合（ＹＥ
Ｓ）には、手順Ｓ６８に進む。手順Ｓ６８では接続され
た課金サーバ２７にユーザ情報が送出され、接続状態と
共にエフェクトの使用回数や時間が記録される。

【０１１５】次の手順Ｓ６９で、映像信号をストリーミ
ングサーバ２３とエフェクトサーバ２６に送り、この状
態で映像のライブ配信が可能となる。以下、手順Ｓ７０
以降の手順により、エフェクトの付加と課金が行われ
る。タイムスタンプは画像をフレーム単位で特定し処理
するために使用され、エフェクトサーバ２６での画像の
重ね合わせに使用される。

【０１１６】先ず、手順Ｓ７０でカメラ撮影された画像
内に存在する２Ｄコードを探索する。この画像は１つの
フレーム単位で探索される。次に、手順Ｓ７１で２Ｄコ
ードを認識できたか否かが判断され、２Ｄコードが認識
できなかった場合（ＮＯ）には、手順Ｓ７０に戻り、次
の画像内に存在する２Ｄコードを探索する手順に移行す
る。手順Ｓ７１で２Ｄコードを認識できた場合（ＹＥ
Ｓ）には、手順Ｓ７２で認識した２ＤコードＩＤに対応
するエフェクト情報をエフェクトサーバ２６のエフェク
トデータベース２２に問い合わせる。このエフェクト情
報には、エフェクトについての効果選択情報すなわち２
ＤコードＩＤ、２次元コード情報と効果表示位置の間の
相対位置に関する相対位置情報（位置）、付加すべき効
果の表示範囲に関する効果付加範囲情報(範囲)などの効
果設定情報が含まれる。また、特定のユーザーに対する
効果付与禁止情報などが含まれていても良い。このエフ
ェクトデータベース２２への問い合わせに連動して、手
順Ｓ７３では画像のフレームのタイムスタンプがエフェ
クトサーバ２６に送信される。

【０１１７】次に、エフェクトサーバ２６では送信され
てきた２ＤコードＩＤに対応するエフェクト情報が存在
するか否かが判断される（手順Ｓ７６）。対応するエフ
ェクト情報が存在しない場合（ＮＯ）、コンピュータ２
１のその旨を通知し、手順Ｓ７０に戻り次の画像フレー
ムの処理に入る。

【０１１８】対応するエフェクト情報が存在する場合
（ＹＥＳ）、手順Ｓ７７で該当する２ＤコードＩＤに対
応する内容（例えば、エフェクトの種類、モザイク、ビ
ットマップ画像、３ＤＣＧ、背景差替え）、相対位置情
報、及び効果付加範囲情報をエフェクトデータベース２
２から取得する。次に、手順Ｓ７８では、課金サーバ２
７への使用された２ＤコードＩＤについてのデータ送信
が行われる。課金サーバ２７では、このデータ送信を受
け、手順Ｓ８３で使用された２ＤコードＩＤのエフェク
トの使用回数をインクリメントして保存する。

【０１１９】課金サーバ２７への使用された２Ｄコード
ＩＤについてのデータ送信の後、手順Ｓ７９では、エフ
ェクトの種類に応じてデータファイルの読み出しが行わ
れる。エフェクトがビットマップ画像の場合には対応す
るビットマップ画像ファイルが読み込まれ、エフェクト
が３次元コンピュータグラフィックス（３ＤＣＧ）の場
合には対応する３次元コンピュータグラフィックスが読
み込まれ、エフェクトが背景差替えの場合には、選択さ
れる背景画像ファイルが読み込まれる。

【０１２０】データファイルの読み出し動作によって手
順Ｓ８０では、対応したデータファイルが存在している
か否かが判断される。もしデータファイルが存在してい
ない場合（ＮＯ）には、手順７０に戻って次のフレーム
に対して再度動作を行う。

【０１２１】手順Ｓ８０でデータファイルが存在してい
る場合（ＹＥＳ）には、エフェクトサーバ２６に対する
２Ｄ座標と３Ｄ座標の取得がなされる。この時、ユーザ
のコンピュータ２１では、認識した２Ｄコードの位置
（２Ｄ座標）が取得される（手順Ｓ７４）。なお、ここ
で認識された２Ｄコードの位置は、図７のフローにおけ
る手順Ｓ２４の動作と同様に、FAプログラム５６Ｅから
供給されるファインダウィンドウ上の２Ｄコードの２次
元座標（Ｐ_ix，Ｐ_iy）である。更に３次元表示効果が必
要な３次元コンピュータグラフィックス（３ＤＣＧ）の
場合には、手順Ｓ７５で３次元座標の読み出しが行われ
る。この動作は前述の図７のフローにおける手順Ｓ２５
に対応し、具体的には、回転行列Ｒおよび移動ベクトル
Ｔを用い、実３次元座標系における座標ωiをカメラ座
標系の３次元座標に変換し、さらに、ファインダウィン
ドウ座標系における座標Ｐiを算出して必要な３次元座
標を取得する。

【０１２２】このように算出された２Ｄコードの位置
（２Ｄ座標）や３次元座標を用いて、エフェクトサーバ
２６では、手順Ｓ８１で２Ｄコードに基づく座標を基準
に、エフェクト情報を反映したエフェクトを描画する。
このエフェクト情報を反映したエフェクトの描画は、画
像加工手段によって行われ、例えばエフェクトサーバ２
６内のＣＰＵの制御によってVRAM内の表示用データをエ
フェクトを含むデータに書き換えことで進められる。こ
のとき、２Ｄコードを認識したフレームのタイムスタン
プが参照され、対応する画像フレームに２Ｄコードの座
標を基準にエフェクト情報を反映したエフェクトをカメ
ラ画像に付加する。タイムスタンプを利用することで、
遠隔地にあるサーバに対しても確実な処理が可能とな
る。次に、手順Ｓ８２で、エフェクトの重ねられた画像
がフレーム単位でストリーミングサーバ２３に送出され
る。ストリーミングサーバ２３では、タイムスタンプを
基準にした処理が進められており、エフェクトサーバ２
３からエフェクトの付加されたフレームが存在する場合
に、エフェクトサーバ２３からの画像を優先させたり、
或いは同じタイムスタンプのフレームを上書きさせてイ
ンターネットを介して配信する（手順Ｓ８７）。

【０１２３】課金サーバ２７の動作については、手順Ｓ
８３で使用された２ＤコードＩＤについてのデータ送信
を受けた後、手順Ｓ８４では、使用された２ＤコードＩ
Ｄについてのエフェクトの使用回数や使用時間が記録さ
れる。定期的に或いは必要に応じて、ユーザ情報から使
用時間に応じた課金を行う（手順Ｓ８５）。エフェクト
はエフェクト毎に利用単価を設定することもでき、ユー
ザ情報も管理することで正確な課金が可能となる。同様
に、手順Ｓ８６では定期的に或いは必要に応じて課金し
た金額に応じてエフェクトを提供したクリエータに著作
権料その他の料金が支払われる。このようなシステムに
よって、より優れたデザインのエフェクトを集めること
も可能となる。

【０１２４】なお、上述の実施形態では、２Ｄコードに
よるエフェクトの例として、モザイクやビットマップ画
像、３ＤＣＧ（３次元コンピュータグラフィックス）を
挙げたが、その他にもさまざまなエフェクトを追加可能
である。例えば、２ＤコードのＩＤをペンの色に対応さ
せれば、２Ｄコードを動かすと仮想的なキャンバスにお
絵かきが出来る。また、２ＤコードのＩＤを楽器や音色
に対応させ、２Ｄコードの位置や姿勢を音量や音階に対
応付けることによって仮想的に楽器を演奏して音楽番組
を作ることも出来る。

【０１２５】また、上述の実施形態では、インターネッ
トライブ映像配信について主に説明したが、インターネ
ットライブ映像配信だけでなく、通常のテレビ放送にも
応用可能である。すなわち、本発明の情報処理システム
は、特にインターネットライブ映像配信を想定したが、
２Ｄコードによるエフェクトは既存のテレビ放送にも応
用可能である。また、本発明の情報処理システムは、ラ
イブ映像配信を想定したが、画像認識によるグラフィク
スやエフェクトはライブ映像配信に限定されない。実世
界を画像認識してそこにグラフィクスを融合するという
考え方は普段の生活にも応用可能である。見慣れた壁に
鮮やかなグラフィクスが浮かび上がったり、3Dのキャラ
クターがあたかもそこにいるかのように現れたり、まる
で映画のようなびっくりするエフェクトが目の前に現れ
たりといったことが、画像認識から実世界の情報を獲得
し、そこにグラフィクスを重ね合わせることで可能にな
る。

【０１２６】また、上述の実施形態では、エフェクト情
報を埋め込み、画像認識する手段に２Ｄコードを用いた
が、これは２ＤコードがＩＤ、位置、姿勢、大きさとい
った情報を取得しやすいためであり、これらの情報が取
得できれば他の画像認識の手法でも代用が可能である。

【０１２７】さらに、本発明の応用範囲として、高度な
画像認識が出来れば出来るほど、多様なエフェクトをか
けることが可能になる。すなわち。上述の実施形態で
は、画像認識については背景の認識と２Ｄコードの認識
しか行っていないが、より高度な認識が出来れば、多様
なエフェクトをかけることが出来る。例えば、出演者の
表情やしぐさが認識できれば、出演者の動きに反応する
キャラクタを番組内に登場させることが出来るだろう。

【０１２８】また、上述の実施形態の情報処理装置、情
報処理システムでは、インターネットライブ映像配信を
想定しているので、入力装置としてカメラを用い、カメ
ラからの画像認識を行っている。しかし、入力装置とし
てカメラ以外のセンサーを用いることも出来る。例え
ば、磁気センサーや赤外線を用いて出演者の動きを取得
し、その動きに応じたエフェクトをかけることも出来
る。また、音声を認識してそれに応じたエフェクトをか
けることも出来る。この場合、エフェクトも画像にかけ
るだけでなく音声や音楽にかけることも出来る。また、
入力装置のある映像発信側はノートＰＣ等を例示した
が、原理上はカメラなどのセンサーがついた携帯電話、
ＰＤＡなどの装置でも可能であり、パーソナルコンピュ
ータに限定されない。更に、視聴者側の装置について
も、映像が配信される視聴者側の端末としてノートＰ
Ｃ、デスクトップＰＣに限定されず、携帯電話、ＰＤ
Ａ，テレビジョン受像機などでもライブ配信された映像
を見ることが出来る。また、カメラ内蔵型のノート型パ
ーソナルコンピュータに限らず、ディスクトップ型パー
ソナルコンピュータに外付けカメラを接続して実現して
も良い。また、カメラで撮影したライブ映像のみなら
ず、一旦ハードディスクドライブ（ＨＤＤ）などのメデ
ィアに録画した後、２Ｄコードを認識するようにしても
良い。

【０１２９】

【発明の効果】以上のように、ライブ映像配信に２Ｄコ
ード認識技術を組み合わせることによって、撮った映像
をそのまま配信するのではなく、実際にはその場に無い
仮想的なグラフィックスやエフェクトを重ね合わせたラ
イブ映像配信が実現される。その操作は２Ｄコード認識
技術を用いるために、ユーザに何ら煩雑な操作を強いる
ことなく自動的にエフェクトを画面に合成していくこと
ができ、撮影者だけではなく出演者によるエフェクトの
制御も容易に実現される。

【図面の簡単な説明】

【図１】本発明の情報処理システムの一例を示す概略図
である。

【図２】２Ｄコードの一例を示す模式図である。

【図３】本発明の情報処理システムの一例に用いられる
コンピュータのハードディスクドライブに格納されるプ
ログラムを示す概略図である。

【図４】本発明の情報処理システムの一例に用いられる
２Ｄコード認識処理の流れ図である。

【図５】２Ｄコード認識処理におけるウインドウを示す
模式図である。

【図６】２Ｄコード認識処理における画面状態を示す図
である。

【図７】本発明の情報処理システムの一例に用いられる
３Ｄアプリケーション処理の流れ図である。

【図８】前記３Ｄアプリケーション処理の結果、画面内
に仮想空間上のキャラクタを表示した場合の図である。

【図９】本発明の情報処理システムの一例を映像処理と
共に示す概略図である。

【図１０】本発明の情報処理システムの一例に用いられ
るライブ配信前のエフェクトデータベースの作成の流れ
図である。

【図１１】本発明の情報処理システムの一例に用いられ
るライブ配信時のエフェクトの付加処理を示す流れ図で
ある。

【図１２】本発明の情報処理システムの一例を用いた場
合のカメラ入力画面を示す図である。

【図１３】本発明の情報処理システムの一例を用いた場
合のモザイクエフェクトを付加した画面を示す図であ
る。

【図１４】本発明の情報処理システムの一例を用いた場
合のビットマップ画像を付加した画面を示す図である。

【図１５】本発明の情報処理システムの一例を用いた場
合の３次元コンピュータグラフィックスを付加した画面
を示す図である。

【図１６】本発明の情報処理システムの一例を用いた場
合の背景差替えをした画面を示す図である。

【図１７】本発明の情報処理システムの他の一例を示す
概略図である。

【図１８】本発明の情報処理システムの前記他の一例を
配信画面と共に示す概略図である。

【図１９】本発明の情報処理システムの前記他の一例に
用いられるライブ配信時のエフェクトの付加作業の流れ
図である。

【符号の説明】

１１ ローカルコンピュータ １２、２２ エフェクトデータベース １３、２３ ストリーミングサーバ １４、２４ 端末 １５、２５ ２Ｄコード ２１ コンピュータ ２６ エフェクトサーバ ２７ 課金サーバ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井原 圭吾 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 西村 孝則 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 宮島 靖 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C023 AA09 AA10 AA11 AA18 BA11 CA01 CA05 5C063 AB05 AC10 CA23 CA36 DA01 DA03 5C064 BA01 BB01 BC01 BC18 BC23 BD13

Claims (38)

【特許請求の範囲】
1. 【請求項１】 動画像情報を取り込む画像取込手段と、 前記動画像情報に含まれる２次元コード情報を抽出する
   抽出手段と、 前記抽出手段で抽出された前記２次元コード情報に応じ
   て前記動画像情報を加工する画像加工手段と、 前記画像加工手段により加工された前記動画像情報をス
   トリーミング形式で送出する送出手段とを有することを
   特徴とする情報処理装置。
2. 【請求項２】 前記２次元コード情報には効果設定情報
   が含まれることを特徴とする請求項１記載の情報処理装
   置。
3. 【請求項３】 前記効果設定情報には、付加すべき効果
   を指定する効果選択情報が含まれることを特徴とする請
   求項２記載の情報処理装置。
4. 【請求項４】 前記効果設定情報には、前記２次元コー
   ド情報と効果表示位置の間の相対位置に関する相対位置
   情報が含まれることを特徴とする請求項２記載の情報処
   理装置。
5. 【請求項５】 前記効果設定情報には、付加すべき効果
   の表示範囲に関する効果付加範囲情報が含まれることを
   特徴とする請求項２記載の情報処理装置。
6. 【請求項６】 前記２次元コード情報には、座標情報が
   含まれることを特徴とする請求項１記載の情報処理装
   置。
7. 【請求項７】 前記座標情報に所要の効果が連動するこ
   とを特徴とする請求項６記載の情報処理装置。
8. 【請求項８】 前記抽出手段は前記２次元コード情報に
   応じて前記動画像情報を加工するためのデータベースを
   具備することを特徴とする請求項１記載の情報処理装
   置。
9. 【請求項９】 前記２次元コード情報は前記動画像情報
   のフレーム単位で抽出され、前記画像加工手段は前記動
   画像情報をフレーム単位で加工することを特徴とする請
   求項１記載の情報処理装置。
10. 【請求項１０】 動画像情報を取り込む工程と、 前記動画像情報に含まれる２次元コード情報を抽出する
    工程と、 抽出された前記２次元コード情報に応じて前記動画像情
    報を加工する工程と、 加工された前記動画像情報をストリーミング形式で送出
    する工程とを有することを特徴とする情報処理方法。
11. 【請求項１１】 前記２次元コード情報には効果設定情
    報が含まれることを特徴とする請求項１０記載の情報処
    理方法。
12. 【請求項１２】 前記効果設定情報には、付加すべき効
    果を指定する効果選択情報が含まれることを特徴とする
    請求項１１記載の情報処理方法。
13. 【請求項１３】 前記効果設定情報には、前記２次元コ
    ード情報と効果表示位置の間の相対位置に関する相対位
    置情報が含まれることを特徴とする請求項１１記載の情
    報処理方法。
14. 【請求項１４】 前記効果設定情報には、付加すべき効
    果の表示範囲に関する効果付加範囲情報が含まれること
    を特徴とする請求項１１記載の情報処理方法。
15. 【請求項１５】 前記２次元コード情報には、座標情報
    が含まれることを特徴とする請求項１０記載の情報処理
    方法。
16. 【請求項１６】 前記座標情報に所要の効果が連動する
    ことを特徴とする請求項１５記載の情報処理方法。
17. 【請求項１７】 前記２次元コード情報の抽出は前記動
    画像情報を加工するためのデータベースに基づき行われ
    ることを特徴とする請求項１０記載の情報処理方法。
18. 【請求項１８】 前記２次元コード情報は前記動画像情
    報のフレーム単位で抽出され、前記動画像情報の加工は
    前記動画像情報をフレーム単位で加工することを特徴と
    する請求項１０記載の情報処理方法。
19. 【請求項１９】 動画像情報を取り込む手順と、 前記動画像情報に含まれる２次元コード情報を抽出する
    手順と、 抽出された前記２次元コード情報に応じて前記動画像情
    報を加工する手順と、 加工された前記動画像情報をストリーミング形式で送出
    する手順とを有することを特徴とする情報処理プログラ
    ム。
20. 【請求項２０】 前記２次元コード情報には効果設定情
    報が含まれることを特徴とする請求項１９記載の情報処
    理プログラム。
21. 【請求項２１】 前記効果設定情報には、付加すべき効
    果を指定する効果選択情報が含まれることを特徴とする
    請求項２０記載の情報処理プログラム。
22. 【請求項２２】 前記効果設定情報には、前記２次元コ
    ード情報と効果表示位置の間の相対位置に関する相対位
    置情報が含まれることを特徴とする請求項２０記載の情
    報処理プログラム。
23. 【請求項２３】 前記効果設定情報には、付加すべき効
    果の表示範囲に関する効果付加範囲情報が含まれること
    を特徴とする請求項２０記載の情報処理プログラム。
24. 【請求項２４】 前記２次元コード情報には、座標情報
    が含まれることを特徴とする請求項１９記載の情報処理
    プログラム。
25. 【請求項２５】 前記座標情報に所要の効果が連動する
    ことを特徴とする請求項２４記載の情報処理プログラ
    ム。
26. 【請求項２６】 前記２次元コード情報は前記動画像情
    報のフレーム単位で抽出され、前記動画像の加工は前記
    動画像情報をフレーム単位で加工することを特徴とする
    請求項１９記載の情報処理プログラム。
27. 【請求項２７】 撮像された動画像情報をフレームを特
    定するためのタイムスタンプを含んでストリーミング形
    式で送出可能とする画像取込手段と、 前記動画像情報に含まれる２次元コード情報をフレーム
    単位で抽出する抽出手段と、抽出された前記２次元コー
    ド情報に含まれる効果設定情報と共に前記タイムスタン
    プを送出する送出手段とを有することを特徴とする情報
    処理装置。
28. 【請求項２８】 撮像された動画像情報をフレームを特
    定するためのタイムスタンプを含んでストリーミング形
    式で送出可能とする工程と、 前記動画像情報に含まれる２次元コード情報をフレーム
    単位で抽出する工程と、抽出された前記２次元コード情
    報に含まれる効果設定情報と共に前記タイムスタンプを
    送出する工程とを有することを特徴とする情報処理方
    法。
29. 【請求項２９】 撮像された動画像情報をフレームを特
    定するためのタイムスタンプを含んでストリーミング形
    式で送出可能とする手順と、 前記動画像情報に含まれる２次元コード情報をフレーム
    単位で抽出する手順と、抽出された前記２次元コード情
    報に含まれる効果設定情報と共に前記タイムスタンプを
    送出する手順とを有することを特徴とする情報処理プロ
    グラム。
30. 【請求項３０】 タイムスタンプによって動画像情報を
    フレーム単位で特定すると共に効果設定情報に応じて動
    画像情報を該フレーム単位で加工する画像加工手段と、
    前記画像加工手段で加工された動画像情報をストリーミ
    ング形式で送出する送出手段とを有することを特徴とす
    る情報処理装置。
31. 【請求項３１】 前記画像加工手段は前記２次元コード
    情報に応じて前記動画像情報を加工するためのデータベ
    ースを具備することを特徴とする請求項３０記載の情報
    処理装置。
32. 【請求項３２】 前記効果設定情報に応じて前記動画像
    情報を前記フレーム単位で加工する際に効果付加状態に
    応じて課金処理するための課金手段を更に有することを
    特徴とする請求項３０記載の情報処理装置。
33. 【請求項３３】 タイムスタンプによって動画像情報を
    フレーム単位で特定すると共に効果設定情報に応じて前
    記動画像情報を該フレーム単位で加工する工程と、前記
    加工された動画像情報をストリーミング形式で送出する
    工程とを有することを特徴とする情報処理方法。
34. 【請求項３４】 前記効果設定情報に応じて前記動画像
    情報を前記フレーム単位で加工する際には、効果付加状
    態に応じて課金処理が行われることを特徴とする請求項
    ３３記載の情報処理方法。
35. 【請求項３５】 タイムスタンプによって動画像情報を
    フレーム単位で特定すると共に効果設定情報に応じて前
    記動画像情報を該フレーム単位で加工する手順と、前記
    加工された動画像情報をストリーミング形式で送出する
    手順とを有することを特徴とする情報処理プログラム。
36. 【請求項３６】 前記効果設定情報に応じて前記動画像
    情報を前記フレーム単位で加工する際には、効果付加状
    態に応じて課金処理が行われることを特徴とする請求項
    ３５記載の情報処理プログラム。
37. 【請求項３７】 撮像された動画像情報をフレームを特
    定するためのタイムスタンプを含んでストリーミング形
    式で送出可能とする画像取込手段と、 前記動画像情報に含まれる２次元コード情報をフレーム
    単位で抽出する抽出手段と、抽出された前記２次元コー
    ド情報に含まれる効果設定情報と共に前記タイムスタン
    プを送出する送出手段と、前記送出手段から送られたタ
    イムスタンプによって前記動画像情報をフレーム単位で
    特定すると共に効果設定情報に応じて動画像情報を該フ
    レーム単位で加工する画像加工手段と、前記画像加工手
    段で加工された動画像情報をストリーミング形式で配信
    する配信手段とを有することを特徴とする情報処理シス
    テム。
38. 【請求項３８】 前記効果設定情報に応じて前記動画像
    情報を前記フレーム単位で加工する際に効果付加状態に
    応じて課金処理するための課金手段を更に有することを
    特徴とする請求項３７記載の情報処理システム。