BRPI0920385A2

BRPI0920385A2 - aparelho e mÉtodo de processamento de imagem, e, programa

Info

Publication number: BRPI0920385A2
Application number: BRPI0920385-0A
Authority: BR
Inventors: Shingo Tsurumi
Original assignee: Sony Comp Entertainment Inc Sony Corp
Priority date: 2008-10-27
Filing date: 2009-10-23
Publication date: 2012-07-24
Also published as: EP2180446A1; US20100103290A1; CN101729785A; RU2009139435A; JP2010103877A; JP4623200B2; US8488904B2; CN101729785B

Abstract

APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA. Um aparelho de processamento de imagem inclui: uma unidade de cálculo de informação de transformação configurada para calcular, com base na informação de movimento de uma imagem convertida, constituindo uma imagem móvel convertida, informação de transformação relativa a diversas imagens alvo compostas, servindo como alvos de composição de uma imagem convertida constituindo a imagem móvel convertida; e uma unidade de determinação de imagem de decoração configurada para calcular uma quantidade de deslocamento entre uma primeira imagem alvo composta que é a imagem alvo composta, e uma segunda imagem alvo composta que é a imagem alvo composta após transformação de acordo com a informação de transformação, para determinar uma imagem de decoração a ser adicionada à periferia da segunda imagem alvo composta, com base na quantidade de deslocamento.

Description

"APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA"

FUNDAMENTOS DA INVENÇÃO

1. Campo da Invenção

A presente invenção relaciona-se a um aparelho de processamento de imagem e, especificamente, relaciona-se a um aparelho de processamento de imagem e um método de processamento de imagem que analisam uma imagem para executar processamento de imagem, e um programa que faz com que um computador execute o método deste.

2. Descrição da Técnica Relacionada

Nos anos recentes, aparelhos de geração de imagem tais como câmeras de vídeo (por exemplo, câmeras/gravadores integrados) tem se tornado de uso amplo. Por exemplo, um turista viajando por várias localidades turísticas freqüentemente captará imagens móveis de uma pessoa ou pessoas, usando um aparelho de geração de imagem, com um edifício ou cenário famoso ou similar em segundo plano.

A imagem móvel então obtida pode ser reproduzida, por exemplo, usando um reprodutor em casa. Entretanto, no caso de usar um reprodutor para reproduzir a imagem móvel, reproduzir a totalidade da imagem móvel do início pode significar que o tempo de reprodução é prolongado, e há uma possibilidade de que o interesse na imagem móvel possa diminuir. Também, reproduzir imagens móveis múltiplas obtidas em locais turísticos múltiplos pode significar que o tempo de reprodução é adicionalmente prolongado, e o interesse em visualizar todas as imagens móveis pode diminuir. Também, o tempo usado para visualização de uma imagem móvel é relativamente longo, e conseqüentemente um espectador está freqüentemente satisfeito ao visualizar uma imagem móvel que foi reproduzida e visualizada uma vez e, conseqüentemente, há pouca demanda para visualizar tal imagem móvel repetidamente. Portanto, por exemplo, tem sido proposto um reprodutor que exiba uma imagem do desenrolar de um filme em uma unidade de visualização (por exemplo, ver por exemplo, Publicação de Pedido de Patente Não Examinada Japonesa No. 2008-167155). Esta imagem de rolo de filme é, por exemplo, uma imagem onde as imagens em miniatura de imagens paradas que representam cenas constituindo uma imagem móvel são dispostas em ordem de ponto no tempo de reproduçao de cenas correspondentes a cada uma destas.

SUMÁRIO DA INVENÇÃO

De acordo com a técnica acima relatada, no caso de visualização de imagens móveis múltiplas obtidas em localidades turísticas múltiplas, por exemplo, um usuário pode entender prontamente o conteúdo global destas imagens móveis.

Entretanto, no caso da visualização de uma imagem de miniatura que representa cada cena compondo uma imagem móvel, a faixa de geração de imagem correspondente à imagem de miniatura desta é exibida, porém outros espaços de geração de imagem na cena correspondente à imagem de miniatura desta não são exibidas. Por exemplo, no caso em que uma pessoa está incluída na faixa de geração de imagem da cena desta, e o local em que a cena foi obtida, a atmosfera em torno, e assim por diante pode ser prontamente compreendida, pode ser concebido que o interesse na cena pode ser adicionado. Neste caso, é importante efetuar uma representação que seja atrativa para o usuário, por exemplo, adicionando deste modo interesse na imagem móvel.

Foi verificado ser desejável aumentar o interesse em uma imagem móvel. De acordo com uma realização da presente invenção, são providos um aparelho de processamento de imagem e um método de processamento de imagem e um programa fazendo com que um computador execute o método, o aparelho de processamento de imagem incluindo: uma unidade de cálculo de informaçao de transformação configurada para calcular, com base na informação de movimento de uma imagem constituindo uma imagem móvel convertida, informação de transformação relacionada a diversas imagens alvo compostas servindo como alvos compostos de uma imagem convertida constituindo a imagem móvel convertida; e uma unidade de determinação de imagem de decoração configurada para calcular uma quantidade de deslocamento entre uma primeira imagem alvo composta que é a imagem alvo composta, e uma segunda imagem alvo composta que é a imagem alvo composta após transformação de acordo com a informação de transformação para determinar uma imagem de decoração a ser adicionada à periferia da segunda imagem alvo composta, com base na quantidade de deslocamento. Então, é provido um efeito de que uma quantidade de deslocamento entre uma primeira imagem alvo composta servindo como a imagem alvo composta, e uma segunda imagem alvo composta servindo como a imagem alvo composta após transformação de acordo com a informação de transformação, é calculada para determinar uma imagem de decoração a ser adicionada à periferia da segunda imagem alvo composta com base na quantidade de deslocamento.

A unidade de cálculo de informação de transformação pode calcular a informação de transformação usada para transformar, com uma imagem alvo composta das imagens alvo compostas como uma imagem de referência, as outras imagens alvo compostas para cada uma das imagens alvo compostas, com a unidade de determinação de imagem de decoração calculando uma quantidade de deslocamento entre uma imagem composta transformada com a informação de transformação e composta a partir de pelo menos uma imagem alvo composta das imagens alvo compostas, e a segunda imagem alvo composta para determinar a imagem de decodificação com base na quantidade de deslocamento. Então, é provido um efeito de que uma quantidade de deslocamento entre uma imagem composta e a segunda imagem alvo composta, após transformação de acordo com a informaçao de transformação é calculada para determinar a imagem de decoração com base na quantidade de deslocamento.

A unidade de determinação de imagem de decoração pode determinar a densidade da imagem de decoração com base no tamanho da quantidade de deslocamento calculado. Então, é provido um efeito de que a densidade da imagem de decoração é determinada com base no tamanho da quantidade de deslocamento calculada.

A unidade de determinação de imagem de decoração pode calcular as quantidades de deslocamento relacionadas a todas as imagens alvo compostas das imagens alvo compostas, para determinar a mesma imagem de decoração a ser adicionada às periferias de todas as imagens alvo compostas, com base nas quantidades de deslocamento. Então, é provido um efeito de que as quantidades de deslocamento relacionadas a todas as imagens alvo compostas são calculadas para determinar a mesma imagem de decoração a ser adicionada às periferias de todas as imagens alvo compostas, com base nas quantidades de deslocamento.

O aparelho de processamento de imagem pode incluir adicionalmente: uma unidade de transformação de imagem configurada para transformar as imagens alvo compostas com base na informação de transformação, para gerar a segunda imagem alvo composta; a uma unidade de composição de imagem configurada para adicionar a imagem de decoração determinada à segunda imagem alvo composta, e compor a segunda imagem alvo composta à qual a imagem de decoração tenha sido adicionada, e a primeira imagem alvo composta para gerar uma imagem composta. Então, é provido um efeito pelo qual imagens alvo compostas são transformadas com base na informação de transformação, para gerar a segunda imagem alvo composta, a imagem de decoração determinada é adicionada à segunda imagem alvo composta, e a segunda imagem alvo composta à qual a imagem de decoração foi adicionada, e a primeira imagem alvo composta, são compostas para gerar uma imagem composta.

O aparelho de processamento de imagem pode adicionalmente incluir uma unidade de detecção de objeto configurada para detectar um objeto incluído nas imagens alvo compostas, com a unidade de determinação de imagem de decoração determinando a imagem de decoração, de modo a não superpor uma região de objeto incluindo o objeto com a região de uma imagem de decoração, no caso em que o objeto é incluído na segunda imagem alvo composta. Então, é provido um efeito pelo qual, no caso em que o objeto está incluído na segunda imagem alvo composta, a imagem de decoração é determinada de modo a não se superpor a uma região de objeto incluindo o objeto com a região de uma imagem de decoração.

Também, de acordo com uma realização da presente invenção, é provido um aparelho de processamento de imagem e um método de processamento de imagem, e um programa fazendo com que um computador execute o método, o aparelho de processamento de imagem incluindo: uma unidade de cálculo de informação de transformação configurada para calcular, com base na informação de movimento de uma imagem constituindo uma imagem móvel convertida, informação de transformação relacionada a uma imagem alvo composta servindo como um alvo composto de uma imagem convertida constituindo a imagem móvel convertida; e uma unidade de determinação de imagem de decoração configurada para determinar, com base na relação de posição relativa entre uma primeira imagem alvo composta que é a imagem alvo composta, e uma segunda imagem alvo composta que é a imagem alvo composta após transformação de acordo com a informação de transformação, uma imagem de decoração a ser adicionada à periferia da segunda imagem alvo composta. Então, é provido um efeito pelo qual, baseado em uma relação de posição relativa entre uma primeira imagem alvo composta e uma segunda imagem alvo composta após transformação de acordo com a informaçao de transformação, uma imagem de decoração a ser adicionada à periferia da segunda imagem alvo composta é determinada.

A unidade de determinação de imagem de decoração pode determinar a posição da imagem de decoração com base na transição de cada pico entre a primeira imagem alvo composta e a segunda imagem alvo composta. Então, é provido um efeito pelo qual, baseado na transição de cada pico entre a primeira imagem alvo composta e a segunda imagem alvo composta após transformação de acordo com a informação de transformação, a posição da imagem de decoração é determinada.

A unidade de determinação de imagem de decoração pode determinar a posição da imagem de decoração com base no tamanho e posição da porção de borda da segunda imagem alvo composta superposta à primeira imagem alvo composta. Então, é provido um efeito pelo qual, com base no tamanho e posição da porção de borda da segunda imagem alvo composta, após transformação, superposta à primeira imagem alvo composta, a posição da imagem de decoração é determinada.

A unidade de determinação de imagem de decoração pode calcular o tamanho e posição da porção de borda superposta observando todas as imagens alvo compostas das imagens alvo compostas, para determinar a mesma imagem de decoração a ser adicionada a todas as periferias das imagens alvo compostas, com base no tamanho e posição calculados. Então, é provido um efeito pelo qual, o tamanho e posição da porção de borda superposta são calculados observando todas as imagens alvo compostas e com base no tamanho e posição calculados, a mesma imagem de decoração a ser adicionada a todas as periferias da imagem alvo composta é determinada.

De acordo com as configurações acima, é provido um efeito excelente onde o interesse em uma imagem de miniatura pode ser aumentado.

BREVE DESCRIÇÃO DOS DESENHOS E ANEXOS

Figura 1 é um diagrama em blocos ilustrando um exemplo de configuraçao funcional de um aparelho de processamento de imagem de acordo com uma primeira realização da presente invenção;

Figura 2 é um diagrama em blocos ilustrando um exemplo de configuração funcional de uma unidade de detecção de trabalho de câmera de acordo com a primeira realização da presente invenção;

Figura 3 A e Anexo I são diagramas ilustrando esquematicamente arquivos armazenados em uma unidade de armazenagem de imagem móvel e uma unidade de armazenagem de metadados, de acordo com a primeira realização da presente invenção;

Anexo II é um diagrama ilustrando esquematicamente o conteúdo de armazenagem de uma unidade de armazenagem de metadados de imagem alvo composta de acordo com a primeira realização da presente invenção;

Anexos III-A a III-C são diagramas ilustrando um exemplo de uma imagem constituindo uma imagem móvel;

Figuras 6A a 6C são diagramas ilustrando uma imagem simplificada, omitindo o segundo plano, ou o mesmo é omitido observando uma imagem constituindo uma imagem móvel;

Figura 7 é um diagrama ilustrando um caso em que um retângulo é transformado usando parâmetros de transformação conectada;

Figura 8 é um diagrama ilustrando esquematicamente um método de detecção de face por uma unidade de detecção de face, de acordo com a primeira realização da presente invenção;

Figura 9 é um diagrama ilustrando conceitualmente informação de eixo discriminante usada para cálculo de um valor avaliado de expressão facial, e um fluxo no instante de geração desta informação de eixo discriminante;

Figura 10 é um diagrama ilustrando esquematicamente o processo de mascaramento para uma imagem simples a ser inserida no instante do processo PCA de acordo com a primeira realização da presente invenção;

Figura 11 é um diagrama ilustrando esquematicamente a relação entre um eixo determinante no espaço de pixel e no espaço PCA5 e uma imagem de face a ser avaliada;

Figura 12 é um diagrama ilustrando um exemplo de cálculo no caso em que o valor avaliado da expressão facial de acordo com a primeira realização da presente invenção é emitido como um valor numérico;

Figura 13 é um fluxograma ilustrando o procedimento de um processo de gravação de metadados pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 14 é um fluxograma ilustrando um procedimento de cálculo de parâmetro de transformação conectada incluído no procedimento do processo de gravação de metadados pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 15 é um diagrama ilustrando um exemplo da transição de uma imagem móvel convertida por uma câmera;

Figura 16 é um diagrama ilustrando esquematicamente o lócus de um assunto incluído em imagens selecionadas por uma unidade de seleção de imagem alvo composta de acordo uma primeira realização da presente invenção;

Figura 17 é um diagrama ilustrando um exemplo de composição de imagem no caso em que imagens são compostas por uma unidade de composição de imagem de acordo com a primeira realização da presente invenção;

Figura 18 é um diagrama ilustrando um exemplo da transição de uma imagem móvel convertida pela câmera;

Figura 19 é um diagrama ilustrando esquematicamente o lócus de um assunto incluído em imagens selecionadas por uma unidade de seleção de imagem alvo composta de acordo com uma realização da presente invenção;

Figura 20 é um diagrama ilustrando um exemplo de imagem composta no caso em que imagens são compostas pela unidade de composição de imagem de acordo com a primeira realização da presente invenção;

Figura 21 é um diagrama ilustrando um exemplo da transição de uma imagem móvel convertida pela câmera;

Figura 22 é um diagrama ilustrando esquematicamente o lócus de um assunto incluído em imagens selecionadas pela unidade de seleção de imagem alvo composta de acordo com uma realização da presente invenção;

Figura 23 é um diagrama ilustrando um exemplo de imagem composta no caso em que imagens são compostas pela unidade de composição de imagem de acordo com a primeira realização da presente invenção;

Figura 24 é um diagrama ilustrando uma pontuação de determinação de confiabilidade calculada pela unidade de detecção de trabalho de câmera de acordo com a primeira realização da presente invenção, de uma forma em série no tempo;

Figura 25 é um diagrama ilustrando um componente de aproximação integral calculado com um parâmetro de transformação conectada calculado pela unidade de detecção de trabalho de câmera de acordo com a primeira realização da presente invenção, de uma forma em série no tempo;

Figura 26 é um diagrama ilustrando um componente translacional integral calculado com um parâmetro de transformação conectada calculado pela unidade de detecção de trabalho de câmera de acordo com a primeira realização da presente invenção, de uma forma em série no tempo; Figuras 27A e 27B são diagramas ilustrando esquematicamente uma imagem incluída em uma seção alvo de composição de imagem selecionada por uma unidade de seleção de seção de acordo com a primeira realização da presente invenção, de uma forma em série no tempo;

Figura 28 é um diagrama ilustrando esquematicamente um método de seleção no caso em que uma imagem alvo composta é selecionada pela unidade de seleção de imagem alvo composta de acordo com a primeira realização da presente invenção;

Figura 29 é um diagrama ilustrando esquematicamente uma imagem móvel a ser determinada pela unidade de seleção de seção e unidade de seleção de imagem alvo composta, de acordo com a primeira realização da presente invenção, de uma forma em série no tempo;

Anexo IV é um diagrama ilustrando um exemplo de uma imagem alvo composta selecionada observando uma imagem móvel convertida pela câmera;

Anexo V é um diagrama ilustrando a transição de uma imagem composta criada pela unidade de composição de imagem de acordo com a primeira realização da presente invenção;

Anexo VI é um diagrama ilustrando a transição de uma imagem composta criada pela unidade de composição de imagem de acordo com a primeira realização da presente invenção;

Anexo VII é um outro exemplo de composição de uma imagem composta criada pela unidade de composição de imagem de acordo com a primeira realização da presente invenção;

Figura 34 é um fluxograma ilustrando o procedimento de um processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 35 é um fluxograma ilustrando um procedimento de extração de seção incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 36 é um fluxograma ilustrando um procedimento de seleção de quadro incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 37 é um fluxograma ilustrando o procedimento de um processo de visualização de imagem composta pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 38 é um fluxograma ilustrando um procedimento de composição de imagem incluído no procedimento do processo de visualização de imagem composta pelo aparelho de processamento de imagem de acordo com a primeira realização da presente invenção;

Figura 39 é um diagrama em blocos ilustrando um exemplo de configuração funcional de uma unidade de detecção de trabalho de câmera de acordo com uma segunda realização da presente invenção;

Figura 40 é um diagrama ilustrando uma visão geral de um método de cálculo no instante de calcular uma pontuação de determinação de confiabilidade por uma unidade de cálculo de pontuação de determinação de confiabilidade de acordo com a segunda realização da presente invenção;

Figura 41 é um diagrama em blocos ilustrando um exemplo de configuração funcional de uma unidade de detecção de trabalho de câmera de acordo com a segunda realização da presente invenção;

Figura 42 é um diagrama ilustrando uma visão geral de um método de cálculo no instante de calcular uma pontuação de determinação de confiabilidade por uma unidade de cálculo de pontuação de determinação de confiabilidade de acordo com a segunda realização da presente invenção; Figura 43 é um diagrama em blocos ilustrando um exemplo de configuração funcional de um aparelho de processamento de imagem de acordo com a terceira realização da presente invenção;

Figura 44A e Anexo VIII são diagramas ilustrando esquematicamente conteúdo armazenado em uma unidade de armazenagem de informação de referência e uma unidade de armazenagem de metadados, de acordo com a terceira realização da presente invenção;

Figura 45 é um diagrama ilustrando um exemplo de uma tela de seleção exibida em uma unidade de visualização de acordo com a terceira realização da presente invenção;

Anexo IX é um diagrama ilustrando um exemplo de pontuações usadas para cálculo de pontuação de determinação de seleção por uma unidade de seleção de imagem alvo composta de acordo com a terceira realização da presente invenção;

Figuras 47A e 47B são diagramas ilustrando uma visão geral de um método de seleção no caso em que a seleção de quadro é executada pela unidade de seleção de imagem alvo composta de acordo com a terceira realização da presente invenção;

Figuras 48A e 48B são diagramas ilustrando uma visão geral do método de seleção no caso em que a seleção de quadro é executada pela unidade de seleção de imagem alvo composta de acordo com a terceira realização da presente invenção;

Figura 49 é um fluxograma ilustrando o procedimento de um processo de seleção de quadro pelo aparelho de processamento de imagem de acordo com a terceira realização da presente invenção;

Figura 50 é um diagrama em blocos ilustrando um exemplo de configuração funcional de um aparelho de processamento de imagem de acordo com uma quarta realização da presente invenção;

Anexo X é um diagrama ilustrando esquematicamente o conteúdo de armazenagem de uma unidade de armazenagem de metadados de imagem alvo composta de acordo com uma quarta realização da presente invenção;

Figuras 52A a 52C são diagramas ilustrando uma visão geral de um método de determinação arranjado para determinar a densidade de um quadro branco por uma unidade de determinação de imagem de decoração de acordo com a quarta realização da presente invenção;

Figuras 53A a 53C são diagramas ilustrando um exemplo de uma imagem de decoração determinada pela unidade de determinação de imagem de decoração de acordo com uma quarta realização da presente invenção;

Figuras 54A a 54C são diagramas ilustrando um exemplo de um método de determinação para uma imagem de decoração pela unidade de determinação de imagem de decoração de acordo com uma quarta realização da presente invenção;

Figuras 55A e 55B são diagramas ilustrando um exemplo de um método de determinação para uma imagem de decoração pela unidade de determinação de imagem de decoração de acordo com uma quarta realização da presente invenção;

Anexos XI-A a XI-D são diagramas ilustrando um exemplo composto no qual imagens de decoração determinadas pela unidade de determinação de imagem de decoração de acordo com a quarta realização são compostas;

Anexo XII-A a XII-D são diagramas ilustrando um exemplo composto no qual imagens de decoração determinadas pela unidade de determinação de imagem de decoração de acordo com a quarta realização são compostas;

Anexos XIII-A a XIII-D são diagramas ilustrando um exemplo composto no qual imagens de decoração determinadas pela unidade de determinação de imagem de decoração de acordo com a quarta realização são compostas;

Figura 59 é um diagrama ilustrando um exemplo de um método de determinação de imagem de decoração pela unidade de determinação de imagem de decoração de acordo com a quarta realização que leva faces em consideração;

Figuras 60A a 60C são diagramas ilustrando um exemplo de uma sombra determinada para ser uma imagem de decoração a ser adicionada a uma imagem alvo composta, pela unidade de determinação de imagem de decoração de acordo com a quarta realização;

Figuras 61A e 6IB são diagramas ilustrando uma visão geral de um método de determinação arranjado para determinar a direção de uma sombra pela unidade de determinação de imagem de decoração de acordo com a quarta realização;

Figura 62 é um diagrama ilustrando um exemplo de um método de determinação de sombra pela unidade de determinação de imagem de decoração de acordo com a quarta realização, que leva faces em consideração;

Figura 63 é um fluxograma ilustrando o procedimento de um processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem de acordo com a quarta realização da presente invenção;

Figura 64 é um fluxograma ilustrando um procedimento de determinação de imagem de decoração incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem de acordo com a quarta realização da presente invenção;

Figura 65 é um fluxograma ilustrando um processo de determinação de imagem de decoração incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem de acordo com a quarta realização da presente invenção;

Figura 66 é um fluxograma ilustrando o procedimento de um processo de visualização de imagem composta pelo aparelho de processamento de imagem, de acordo com a quarta realização da presente invenção;

Figura 67 é um fluxograma ilustrando um procedimento de imagem composta incluído no procedimento do processo de visualização de imagem composta pelo aparelho de processamento de imagem, de acordo com a quarta realização da presente invenção;

Figura 68 é um diagrama ilustrando um exemplo de configuração de um processador de multinúcleos de acordo com uma quinta realização da presente invenção;

Figura 69 é um diagrama ilustrando um exemplo de configuração de um núcleo de processador de controle de acordo com a quinta realização da presente invenção;

Figura 70 é um diagrama ilustrando um exemplo de configuração de um núcleo de processador aritmético de acordo com a quinta realização da presente invenção;

Figura 71 é um diagrama ilustrando esquematicamente um método de computação do processador de multinúcleos de acordo com a quinta realização da presente invenção;

Figura 72 é um diagrama ilustrando esquematicamente os fluxos de um programa e dados no caso em que uma computação é executada pelo processador de multinúcleos de acordo com a quinta realização da presente invenção;

Figura 73 é um diagrama ilustrando esquematicamente uma visão geral de um método de computação arranjado para executar um processo como para diversos dados por cada comando correspondente, e uma visão geral de uma computação SIMD que é um método de computação arranjado para executar um processo como para diversos dados por um único comando;

Figura 74 é um diagrama ilustrando um exemplo de configuração de um programa executado pelo núcleo processador de controle ou núcleo processador aritmético, de acordo com a quinta realização da presente invenção;

Figura 75 é um diagrama ilustrando esquematicamente uma estrutura de dados e um fluxo de processamento no caso em que dados de imagem armazenados na memória principal de acordo com a quinta realização da presente invenção são submetidos a um processo de filtragem usando um filtro de Sobel;

Figura 76 é um diagrama ilustrando esquematicamente um fluxo de dados no caso em que o filtro de Sobel é usado para executar computação SIMD visando dados de imagem armazenados na memória principal, de acordo com a quinta realização da presente invenção;

Figura 77 é um diagrama ilustrando esquematicamente um método de criação de vetor arranjado para criar nove vetores a partir dos dados de imagem armazenados em um primeiro meio de armazenagem temporária no caso em que o processo de filtragem é executado usando o filtro de Sobel de acordo com a quinta realização da presente invenção;

Figura 78 é um diagrama ilustrando esquematicamente um método de computação de vetor arranjado para usar computação SIMD para executar uma computação de vetor visando dados de vetor no caso em que o processo de filtragem é executado usando o filtro de Sobel de acordo com a quinta realização da presente invenção;

Figura 79 é um diagrama ilustrando esquematicamente o fluxo de um processo de cálculo de parâmetro de trabalho de câmera de acordo com a quinta realização da presente invenção, de uma maneira em série no tempo; e

Figura 80 é um diagrama ilustrando esquematicamente um Disco Blu-ray que é um exemplo de um meio de gravação, dados gravados no Disco Blu-ray, e a configuração interna de um reprodutor Blu-ray capaz de reproduzir o Disco Blu-ray.

DESCRIÇÃO DETALHADA DAS REALIZAÇÕES PREFERIDAS

Será feita descrição abaixo visando realizações preferidas para realizar a presente invenção (posteriormente, referidas simplesmente como "realizações") na seguinte ordem.

1. Primeira Realização (controle de criação de imagem composta: um exemplo no qual imagens alvo compostas são selecionadas a partir de uma imagem móvel, e estas são usadas para criar uma imagem composta).

2. Segunda Realização (controle de seção alvo de imagem composta: uma modificação onde uma seção alvo de imagem composta para selecionar imagens alvo compostas é selecionada a partir de uma imagem móvel).

3. Terceira Realização (controle de seleção de imagem alvo composta: uma modificação em que imagens alvo compostas são selecionadas a partir de uma seção alvo de imagem composta).

4. Quarta Realização (controle de determinação de imagem de decoração: um exemplo no qual uma imagem de decoração a ser adicionada a uma imagem alvo composta é determinada).

5. Quinta Realização (processo de extração de ponto característico e processo de cálculo de fluxo óptico: um exemplo executado por um processador de multinúcleos).

1. Primeira Realização

Exemplo de Configuração de Aparelho de Processamento de Imagem

Figura 1 é um diagrama em blocos ilustrando um exemplo de configuração funcional de um aparelho de processamento de imagem 100 de acordo com uma primeira realização da presente invenção. O aparelho de processamento de imagem 100 inclui uma unidade de entrada de imagem móvel 110, uma unidade de detecção de trabalho de câmera 120, uma unidade de detecção de face 130, uma unidade de cálculo de valor avaliado de expressão facial 140, uma unidade de armazenagem de informação de eixo discriminante 141, uma unidade de controle de gravação 150, uma unidade de seleção de seção 160 e uma unidade de seleção de imagem alvo composta 170. Também, o aparelho de processamento de imagem 100 inclui uma unidade de obtenção de arquivo 180, uma unidade de transformação de imagem 190, uma unidade de armazenagem de imagem móvel 200, uma unidade de armazenagem de metadados 210, uma unidade de composição de imagem 220 e uma memória de imagem 230. Também, o aparelho de processamento de imagem 100 inclui uma unidade de controle de visualização 240, uma unidade de visualização 250, uma unidade de aceitação de operação 260 e uma unidade de armazenagem de metadados de imagem alvo composta 270. O aparelho de processamento de imagem 100 pode ser realizado por um computador pessoal que pode submeter uma imagem móvel convertida por um aparelho de geração de imagem, por exemplo, tal como uma câmera de vídeo digital ou similar, a análise de vídeo para extrair quantidade característica e para vários tipos de processo de imagem usando esta quantidade característica extraída.

A unidade de entrada de imagem móvel 110 é uma unidade de entrada de imagem móvel configurada para inserir uma imagem móvel convertida por um aparelho de geração de imagem, tal como uma câmera de vídeo digital ou similar (posteriormente, simplesmente referida como "câmera"). A unidade de entrada de imagem móvel 110 emite a imagem móvel inserida para a unidade de detecção de trabalho de câmera 120, unidade de detecção de face 130, unidade de cálculo de valor avaliado de expressão facial 140 e unidade de controle de gravação 150.

A unidade de detecção de trabalho de câmera 120 analisa a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 para detectar informação de movimento no instante de geração de imagem (também referida como "trabalho de câmera"), e calcula parâmetros de trabalho de câmera com base na informação de movimento da câmera. Também, ao calcular parâmetros de trabalho de câmera, a unidade de detecção de trabalho de câmera 120 calcula uma pontuação de determinação de confiabilidade que indica a probabilidade dos parâmetros de trabalho de câmera e emite os parâmetros de trabalho de câmera calculados e a pontuação de determinação de confiabilidade à unidade de controle de gravação 150. Especificamente, a unidade de detecção de trabalho de câmera 120 extrai um ponto de característica de cada imagem constituindo a imagem móvel e calcula um fluxo óptico (vetor de movimento) como para este ponto de característica. A unidade de detecção de trabalho de câmera 120 analisa o fluxo óptico calculado como para o ponto de característica para selecionar um ponto de característica que apresenta movimento dominante, e estima o movimento da câmera com base no fluxo óptico como para o ponto de característica que apresenta movimento dominante. Aqui, "movimento dominante" significa movimento regular que um número relativamente grande de fluxos ópticos apresenta além de fluxos ópticos múltiplos visualizando pontos de característica múltiplos. Também, dos pontos de característica dentro de uma imagem, uma pontuação de determinação de confiabilidade é calculada com base em uma taxa entre o ponto de característica que apresenta movimento dominante, e pontos de característica diferentes daquele ponto de característica. Notar que a configuração interna da unidade de detecção de trabalho de câmera 120 será descrita em detalhe com referência à Figura 2. Notar que a unidade de detecção de trabalho de câmera 120 é um exemplo da unidade de cálculo referida no Sumário da Invenção.

A unidade de detecção de face 130 detecta a face de uma pessoa incluída em uma imagem constituindo uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, e emite informação de detecção de face relativa à face detectada para a unidade de cálculo de valor avaliado de expressão facial 140, e unidade de controle de gravação 150. Exemplos deste métodos de detecção de face incluem um método de detecção de face coincidindo entre um modelo no qual a informação de distribuição de luminância facial é gravada e uma imagem real (por exemplo, ver Publicação de Pedido de Patente Não Examinada Japonesa No. 2004-133637) e um método de detecção de face baseado em uma porção de pele colorida e a quantidade de característica da face de uma pessoa, incluída em uma imagem. Também, um método de detecção de face pode ser empregado no qual, com relação a uma imagem de face que é uma imagem incluindo uma face, a diferença de luminância entre dois pixéis na imagem de face é aprendida, a quantidade de característica obtida deste aprendizado é armazenada como dados de referência de detecção de face de antemão, e a detecção de face é executada usando estes dados de referência de detecção de face. O método de detecção de face usando estes dados de referência de detecção de face será descrito em detalhe com referência à Figura 8. Também, a informação de detecção de face inclui a posição e tamanho da imagem de face detectada. Exemplos da posição de face incluídos na informação de detecção de face incluem a posição de uma janela de detecção de face retangular em torno da face detectada (por exemplo, as coordenadas do canto esquerdo superior da janela de detecção de face, posteriormente referida como "informação de posição de face"). Também, exemplos do tamanho de um face incluída na informação de detecção de face incluem o tamanho da janela de detecção de face desta (por exemplo, o número de pixéis na direção horizontal e direção vertical da janela de detecção de face. Notar que a informação de detecção de face pode incluir rolagem, passo e mudança de direção que indicam a orientação da face detectada.

A unidade de cálculo de valor avaliado de expressão facial 140 usa a informação de eixo discriminante armazenada na unidade de armazenagem de informação de eixo discriminante 141 para calcular um valor avaliado de expressão facial relativo à expressão facial da face detectada pela unidade de detecção de face 130, e emite o valor avaliado da expressão facial calculada para a unidade de controle de gravação 150. Por exemplo, com base na informação de detecção de face (a posição e tamanho de uma face) emitida a partir da unidade de detecção de face 130, uma imagem de face que é uma região retangular incluindo pelo menos uma porção da face detectada pela unidade de detecção de face 130 é extraída de uma imagem constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110. Esta imagem de face extraída é normalizada, e um valor avaliado de expressão facial relativo à imagem de face normalizada é calculado. Com base neste valor avaliado de expressão facial, pode ser feita determinação se a expressão facial na face a ser calculada é ou não uma expressão facial específica. Notar que, com a primeira realização da presente invenção, será descrito um exemplo em que uma face sorridente é determinada para ser uma expressão facial específica. Também, o cálculo do valor avaliado de expressão facial será descrito em detalhe com referência às Figuras 9 a 12. Também, a unidade de cálculo de valor avaliado de expressão facial 140 é um exemplo da unidade de determinação referida no Sumário da Invenção.

A unidade de armazenagem de informação de eixo discriminante 141 armazena informação de eixo discriminante usada para cálculo de um valor avaliado de expressão facial pela unidade de cálculo de valor avaliado de expressão facial 140, e fornece a informação de eixo discriminante armazenada à unidade de cálculo de valor avaliado de expressão facial 140. Notar que a informação de eixo discriminante será descrita em detalhe com referência à Figura 9 e assim por diante.

A unidade de controle de gravação 150 executa controle de gravação como para a unidade de armazenagem de imagem móvel 200, unidade de armazenagem de metadados 210 e unidade de armazenagem de metadados de imagem alvo composta 270. Quer dizer, a unidade de controle de gravação 150 grava a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 na unidade de armazenagem de imagem móvel 200, como um arquivo de imagem móvel. Também, a unidade de controle de gravação 150 grava o parâmetro de transformação conectada e a pontuação de determinação de confiabilidade emitida a partir da unidade de detecção de trabalho de câmera 120, unidade de detecção de face 130 e valor avaliado de expressão facial emitido a partir da unidade de cálculo de valor avaliado de expressão facial 140 na unidade de armazenagem de metadados 210 de uma maneira correlacionada a uma imagem móvel e um quadro (imagem) como um arquivo de metadados. Também, a unidade de controle de gravação 150 grava a informação de imagem de composição de alvo (informação de seleção de quadro) emitida a partir da unidade de seleção de imagem alvo composta 170 na unidade de armazenagem de metadados de imagem alvo composta 270 como metadados de imagem alvo composta.

A unidade de seleção de seção 160 usa os metadados armazenados na unidade de armazenagem de metadados 210 para selecionar uma seção alvo de imagem composta que é uma seção servindo como um alvo para criar uma imagem composta relacionada à imagem móvel armazenada na unidade de armazenagem de imagem móvel 200, e emite informação relacionada à seção alvo de imagem composta selecionada para a unidade de seleção de imagem alvo composta 170. Notar que a seleção de uma seção alvo de imagem composta será descrita em detalhe com referência às Figuras 24 a 26.

A unidade de seleção de imagem alvo composta 170 usa os metadados armazenados na unidade de armazenagem de metadados 210 para selecionar um quadro para criar uma imagem composta a partir de quadros incluídos na seção alvo de composição de imagem emitida a partir da unidade de seleção de seção 160, e emite informação de imagem alvo composta (informação de seleção de quadro) relacionada ao quadro selecionado para a unidade de controle de gravação 150. Especificamente, a unidade de seleção de imagem alvo composta 170 seleciona primeiro uma imagem mais frontal (quadro mais frontal) a ser superposta e composta do lado superior da imagem composta, e com a imagem mais frontal selecionada como uma imagem de referência, seleciona uma outra imagem alvo composta em ordem. Parâmetros de transformação conectada usados para submeter a imagem alvo composta selecionada a transformação conectada são calculados no instante desta seleção com a imagem mais frontal como uma imagem de referência. Notar que a seleção de imagem alvo composta será descrita em detalhe com referência às Figuras 27A a 29. Também, a unidade de seleção de seção 160 e a unidade de seleção de imagem alvo composta 170 são exemplos da unidade de seleção referida no Sumário da Invenção. Também, a unidade de seleção de imagem alvo composta 170 é um exemplo da unidade de seleção de imagem referida no Sumário da Invenção.

A unidade de armazenagem de imagem móvel 200 armazena a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 como um arquivo de imagem móvel baseado no controle da unidade de controle de gravação 150. Também, a unidade de armazenagem de imagem móvel 200 fornece o arquivo de imagem móvel à unidade de obtenção de arquivo 180 em resposta a uma requisição a partir da unidade de obtenção de arquivo 180, e fornece o arquivo de imagem móvel à unidade de controle de visualização 240, em resposta a uma requisição a partir da unidade de controle de visualização 240. Notar que o arquivo de imagem móvel a ser armazenado na unidade de armazenagem de imagem móvel 200 será descrito em detalhe com referência à Figuras 3 A e ao Anexo I.

A unidade de armazenagem de metadados 210 armazena cada peça de informação emitida a partir da unidade de detecção de trabalho de câmera 120, unidade de detecção de face 130 e unidade de cálculo de valor avaliado de expressão facial 140 de uma maneira correlacionada com uma imagem móvel e quadro como um arquivo de metadados com base no controle da unidade de controle de gravação 150. Também, a unidade de armazenagem de metadados 210 fornece o arquivo de metadados à unidade de seleção de seção 160 e unidade de seleção de imagem alvo composta 170. Notar que o arquivo de metadados a ser armazenado na unidade de armazenagem de metadados 210 será descrito em detalhe com referência à Figura 3A e ao Anexo I.

A unidade de armazenagem de metadados de imagem alvo composta 270 armazena a informação de imagem alvo composta emitida a partir da unidade de seleção de imagem alvo composta 170 como um arquivo de metadados de imagem alvo composta com base no controle da unidade de controle de gravação 150. Também, a unidade de armazenagem de metadados de imagem alvo composta 270 fornece o arquivo de metadados de imagem alvo composta à unidade de obtenção de arquivo 180 em resposta a uma requisição da unidade de obtenção de arquivo 180. Notar que o arquivo de metadados na unidade de armazenagem de metadados de imagem alvo composta 270 será descrito em detalhe com referência à Figura 4.

A unidade de obtenção de arquivo 180 obtém cada arquivo armazenado na unidade de armazenagem de imagem móvel 200 e a unidade de armazenagem de metadados 210, em resposta à operação de entrada aceita pela unidade de aceitação de operação 260, e fornece a informação de cada arquivo obtido à unidade de transformação de imagem 190. Especificamente, no caso em que uma operação de instrução usada para visualizar uma imagem composta tiver sido aceita pela unidade de aceitação de operação 260, a unidade de obtenção de arquivo 180 obtém o arquivo de imagem móvel da unidade de armazenagem de imagem móvel 200. Também, a unidade de obtenção de arquivo 180 obtém o arquivo de metadados de imagem alvo composta a partir da unidade de armazenagem de imagem móvel 200. Também, a unidade de obtenção de arquivo 180 obtém o arquivo de metadados de imagem alvo composta correspondente a este arquivo de imagem móvel da unidade de armazenagem de metadados de imagem alvo composta 270. Subseqüentemente, a unidade de obtenção de arquivo 180 usa o arquivo de metadados de imagem alvo composta para extrair uma imagem a ser composta a partir de cada imagem constituindo o arquivo de imagem móvel obtido, e emite esta imagem extraída, e os metadados de imagem alvo composta correspondentes a esta imagem, à unidade de transformação de imagem 190.

A unidade de transformação de imagem 190 submete a imagem emitida a partir da unidade de obtenção de arquivo 180 para transformação conectada usando os metadados de imagem alvo composta correspondendo a esta imagem, e emite a imagem submetida a transformação conectada à unidade de composição de imagem 220. Especificamente, a unidade de transformação de imagem 190 submete uma outra imagem a transformação conectada em ordem com a posição de uma única imagem (por exemplo, imagem mais frontal) como uma referência. Também, no caso em que uma operação de instrução usada para visualizar uma imagem composta tiver sido aceita pela unidade de aceitação de operação 260, a unidade de transformação de imagem 190 submete uma imagem a transformação conectada na ordem de visualização de acordo com a própria operação de instrução. Notar que tal transformação de imagem será descrita em detalhe com referência às Figuras 15 a 23, Anexos V e VI e assim por diante. A unidade de composição de imagem 220 compõe a imagem submetida a transformação conectada pela unidade de transformação de imagem 190, para criar uma imagem composta usando a memória de imagem 230, e emite a imagem composta criada para a unidade de controle de visualização 240, seqüencialmente. Também, ao compor a imagem submetida a transformação conectada pela unidade de transformação de imagem 190, a unidade de composição de imagem 220 compõe a imagem adicionando um quadro branco à periferia da imagem. Tal composição de imagem será descrita em detalhe com referência aos Anexos V e VI, e outros desenhos.

A memória de imagem 230 é um meio de armazenagem temporária de trabalho usado para criar uma imagem composta pela unidade de composição de imagem 220, mantém histórico de imagens incluindo a imagem submetida a transformação conectada pela unidade de transformação de imagem 190 e fornece o histórico de imagens mantido à unidade de composição de imagem 220. A memória de imagem 230 é também chamada "tela", equivalente a uma imagem equivalente de memória, onde dados de imagem são armazenados.

A unidade de controle de visualização 240 exibe a imagem composta emitida a partir da unidade de composição de imagem 220 na unidade de visualização 250, de acordo com o conteúdo da entrada de operação aceita pela unidade de aceitação de operação 260. Também, no caso em que uma operação de instrução usada para reproduzir uma imagem móvel tiver sido aceita pela unidade de aceitação de operação 260, a unidade de controle de visualização 240 obtém o arquivo de imagem móvel de acordo com esta operação de instrução a partir da unidade de armazenagem de imagem móvel 200, e controla a unidade de visualização 250 para exibir uma imagem constituindo este arquivo de imagem móvel.

A unidade de visualização 250 exibe cada imagem com base na unidade de controle de visualização 240. A unidade de visualização 250 pode ser realizada, por exemplo, com a visualização de um computador pessoal ou aparelho de televisão. Notar que um exemplo de visualização de uma imagem composta será descrito em detalhe com referência aos Anexos V a VII e assim por diante.

A unidade de aceitação de operação 260 aceita entrada de operação a partir de um teclado, composto de vários tipos de teclas, um mouse (dispositivo apontador) ou similar, e emite o conteúdo de entrada de operação aceita para a unidade de obtenção de arquivo 180, unidade de transformação de imagem 190 ou unidade de controle de visualização 240.

Figura 2 é um diagrama em blocos ilustrando um exemplo de configuração funcional da unidade de detecção de trabalho de câmera 120 de acordo com a primeira realização da presente invenção. A unidade de detecção de trabalho de câmera 120 inclui uma unidade de extração de ponto de característica 121, uma unidade de cálculo de fluxo óptico 122, uma unidade de cálculo de parâmetro de trabalho de câmera 123 e uma unidade de cálculo de pontuação de determinação de confiabilidade 124.

A unidade de extração de ponto de característica 121 extrai pontos de características de toda a imagem correspondendo a um quadro constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, e emite os pontos de característica extraídos para a unidade de cálculo de fluxo óptico 122 e unidade de cálculo de pontuação de determinação de confiabilidade 124. Aqui, a unidade de extração de ponto de característica 121 extrai pontos de característica de toda a imagem relacionados ao quadro superior e quadros constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110.

Também, a unidade de extração de ponto de característica 121 compara com a imagem correspondente ao quadro prévio para extrair pontos de característica de uma nova porção de região convertida em imagem relativa a um quadro diferente do quadro superior. Notar que, por exemplo, um ponto pode ser extraído como um ponto de característica onde o gradiente da borda é forte na direção vertical e na direção horizontal (em geral, referido como "ponto de canto", posteriormente referido como "ponto de canto". Este ponto de canto é um ponto de característica que é forte em relação a cálculo de fluxo óptico e pode ser obtido com detecção de borda. Notar que a extração de um ponto de canto será descrito em detalhe com referência aos Anexos III-A a III-C e Figuras 6A a 6C. Notar que, com este exemplo, a unidade de extração de ponto de característica 121 extrai pontos de característica de toda a imagem relativos ao quadro superior, e compara com a imagem correspondente ao quadro prévio, para extrair pontos de característica de uma nova porção de região convertida em imagem relativa a um quadro diferente do quadro superior. Entretanto, pontos de característica podem também ser extraídos de toda a imagem relativa a cada quadro diferente do quadro superior, de acordo com a capacidade de processamento.

A unidade de cálculo de fluxo óptico 122 calcula um fluxo óptico como para cada ponto de característica emitido a partir da unidade de extração de ponto de característica 121 e o fluxo óptico calculado para a unidade de cálculo de parâmetro de trabalho de câmera 123. Especificamente, a unidade de cálculo de fluxo óptico 122 compara cada imagem correspondente a dois quadros consecutivos (o quadro atual e o quadro imediatamente anterior) constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, calculando deste modo o fluxo óptico do quadro atual. Quer dizer, a unidade de cálculo de fluxo óptico 122 calculo um fluxo óptico como para a imagem correspondente ao quadro atual relativa a cada ponto de característica da imagem correspondente ao quadro imediatamente anterior. Este fluxo óptico é calculado para cada quadro constituindo a imagem móvel. Notar que um método de detecção tal como um método de gradiente, método de coincidência de bloco ou similares pode ser empregado como um método de detecção usado para detectar um fluxo óptico. Notar que esta computação de fluxo óptico será descrita em detalhe com referência aos Anexos III-A a III-C e Figuras 6A a 6C. Também, a unidade de cálculo de fluxo óptico 122 é um exemplo da unidade de cálculo da quantidade de movimento referida no Sumário da Invenção.

A unidade de cálculo de parâmetro de trabalho de câmera 123 executa um processo de cálculo de parâmetro de trabalho de câmera onde o fluxo óptico correspondente a cada ponto de característica emitido a partir da unidade de cálculo de fluxo óptico 122 é usado para calcular parâmetros de trabalho de câmera. Subseqüentemente, a unidade de cálculo de parâmetro de trabalho de câmera 123 emite os parâmetros de trabalho de câmera calculados para a unidade de controle de gravação 150, e emite informação relativa ao ponto de característica usada para cálculo dos parâmetros de trabalho de câmera para a unidade de cálculo de pontuação de determinação de confiabilidade 124. Os parâmetros de trabalho de câmera consistem de informação de transformação (a informação de movimento da câmera) relacionada a dois quadros consecutivos (o quadro atual e o quadro imediatamente anterior).

Agora, com a primeira realização da presente invenção, cada imagem alvo composta selecionada relativa à imagem móvel a ser reproduzida é transformada e composta de acordo com o movimento da câmera. No sentido de executar esta transformação de imagem, o movimento da câmera é extraído usando o fluxo óptico calculado pela unidade de cálculo de fluxo óptico 122, e parâmetros de trabalho de câmera (parâmetros de transformação) são calculados com base no movimento extraído.

Também, com a primeira realização da presente invenção, será feita descrição relativa a um exemplo usando transformação conectada como um método de transformação de imagem usado para transformar uma imagem alvo composta. Também, será feita descrição relativa a um exemplo usando parâmetros de transformação conectada calculados com base em um fluxo óptico como parâmetros de trabalho de câmera. Notar que um outro método de transformação de imagem pode ser empregado usando parâmetros de transformação projetivos ou similares como parâmetros de trabalho de câmera. Notar que um parâmetro de transformação conectada pode ser obtido por uma computação usando um vetor entre três pontos. Também, parâmetros de transformação projetiva podem ser obtidos por uma computação usando um vetor entre quatro pontos. Agora, parâmetros de trabalho de câmera consistem de informação de transformação para transformar uma outra imagem convertida com pelo menos uma imagem convertida de imagens convertidas constituindo uma imagem móvel convertida como uma referência, e incluem pelo menos informação de posição e informação de atitude descritas no sistemas de coordenadas da câmera. Quer dizer, parâmetros de trabalho de câmera incluem informação relativa à posição e atitude da câmera no caso de serem convertidos em imagem por um usuário. Também, o movimento da câmera de acordo com a operação por um usuário, por exemplo, tal como aproximação, afastamento, panorâmica, inclinação, rotação ou similares podem ser estimados com base nos parâmetros de transformação conectada calculados pela unidade de cálculo de parâmetro de trabalho de câmera 123. Notar que o cálculo de parâmetros de transformação conectada será descrito em detalhe com referência aos Anexos III-A a III-C e Figuras 6A a 6C. Quer dizer, com a primeira realização, no caso em que uma única imagem de imagens consecutivas é considerada como uma imagem de referência, é feita definição como parâmetros de transformação conectada correspondendo a uma matriz conectada que indica onde a próxima imagem desta imagem de referência se move. Notar que a unidade de cálculo de parâmetro de trabalho de câmera 123 é um exemplo da unidade de cálculo da informação de movimento referida no Sumário da Invenção.

A unidade de cálculo de pontuação de determinação de confiabilidade 124 calcula uma pontuação de determinação de confiabilidade com base em informação relacionada ao ponto de característica emitido a partir da unidade de extração de ponto de característica 121, e o ponto de característica emitido a partir da unidade de cálculo de parâmetro de trabalho de câmera 123, e emite a pontuação de determinação de confiabilidade calculada para a unidade de controle de gravação 150. Esta pontuação de determinação de confiabilidade é calculada com base em uma taxa entre o número de pontos de característica de toda a tela de uma imagem a ser submetida a cálculo de parâmetros de transformação conectada, e o número de pontos de característica que apresentam movimento dominante em toda a tela. O cálculo desta pontuação de determinação de confiabilidade será descrito em detalhe com referência aos Anexos III-A a III-C e Figuras 6A a 6C.

Figura 3A e Anexo I são diagramas ilustrando esquematicamente arquivos armazenados na unidade de armazenagem de imagem móvel 200 e a unidade de armazenagem de metadados 210, de acordo com a primeira realização da presente invenção. Figura 3A ilustra arquivos de imagem móvel 201 a 203 armazenados na unidade de armazenagem de imagem móvel 200, arquivos de metadados 211 a 213 armazenados na unidade de armazenagem de metadados 210 de uma forma correlacionada aos arquivos de imagem móvel 201 a 203. Agora, digamos que uma imagem móvel ID que é informação de identificação usada para identificar cada arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200 seja anexado a cada arquivo de imagem móvel. Por exemplo, "#1" é anexado ao arquivo de imagem móvel 201, "#2" é anexado ao arquivo de imagem móvel 202, "#n" é anexado ao arquivo de imagem móvel 203.

Anexo I ilustra esquematicamente o arquivo de imagem móvel 201 armazenado na unidade de armazenagem de imagem móvel 200, o arquivo de imagem móvel 201 armazenado na unidade de armazenagem de metadados 210 de uma maneira correlacionada ao arquivo de imagem móvel 201. Agora, o arquivo de imagem móvel 201 é uma arquivo de imagem móvel composto de m quadros, e estes m quadros são mostrados como quadros "1" 204 a "m" 207. Também, com o arquivo de metadados 211, um ID de imagem móvel 214, um número de quadro 215, parâmetros de transformação conectada 216, uma pontuação de determinação de confiabilidade 217, informação de detecção de face 218 e valor avaliado de expressão facial 219 são armazenados de uma forma correlacionada.

O ID de imagem móvel 214 é uma imagem móvel ID anexada ao arquivo de imagem móvel correspondente, e por exemplo, armazena "#1" anexado ao arquivo de imagem móvel 201.

O número de quadro 215 é um número serial de cada quadro constituindo o arquivo de imagem móvel correspondente, e por exemplo, armazena "1" a "m" correspondendo aos quadros "1" 204 a "m" 207 constituindo a imagem móvel do arquivo de imagem móvel 201.

Os parâmetros de transformação conectada 216 são parâmetros de transformação conectada calculados visualizando cada quadro da imagem móvel correspondendo ao número de quadro 215. Notar que os parâmetros de transformação conectada 216 "al, bl, cl, dl, el, fl" correspondendo ao "1" do número de quadro 215 são parâmetros de transformação conectada de uma matriz unitária. Também, por exemplo, os parâmetros de transformação conectada 216 de "ai, bi, ci, di, ei, fi" correspondendo ao "i (i é um inteiro de 2 ou mais)" do número de quadro 215 são os parâmetros de transformação conectada do quadro "i" como o quadro imediatamente anterior "i-1".

A pontuação de determinação de confiabilidade 217 é uma pontuação de determinação de confiabilidade calculada relativamente a cada quadro da imagem móvel correspondente ao número de quadro 215, e por exemplo, armazena um valor de 0 a 1.

A informação de detecção de face 218 é informação de detecção de face detectada em relação a cada quadro da imagem móvel correspondendo ao número de quadro 215, e armazena a informação de detecção de face emitida a partir da unidade de detecção de face 130. Notar que Anexo I ilustra a informação de detecção de face cujo conteúdo específico é omitido. No caso de que faces múltiplas tenham sido detectadas a partir da um quadro, tais diversas informações de detecção de face são armazenadas de uma maneira correlacionada ao quadro desta.

O valor avaliado de expressao facial 219 é um valor avaliado de expressão facial calculado em relação a uma face incluída em cada quadro da imagem móvel correspondente ao número de quadro 215, e armazena o valor avaliado de expressão facial emitido a partir da unidade de cálculo de valor avaliado de expressão facial 140. Notar que, no caso em que nenhuma face está incluída no quadro correspondente, o valor avaliado de expressão facial 219 armazena "0". Por exemplo, no caso em que nenhuma face tenha sido detectada a partir dos quadros correspondentes ao "1" e "m" do número de quadro 215, nenhum valor avaliado de expressão facial é calculado pela unidade de cálculo de valor avaliado de expressão facial 140, e conseqüentemente o valor avaliado de expressão facial 219 armazena "0". Por outro lado, no caso em que nenhuma face tenha sido detectada a partir dos quadros correspondentes ao "i" e "j" do número de quadro 215, o valor avaliado de expressão facial 219 armazena o valor avaliado de expressão facial calculado pela unidade de cálculo de valor avaliado de expressão facial 140. Por exemplo, o valor avaliado de expressão facial 219 correspondente ao "i" do número de quadro 215 armazena "124", e o valor avaliado de expressão facial 219 correspondendo ao "j" do número de quadro 215 armazena "405". Neste caso, por exemplo, pode ser feita determinação de que há uma alta possibilidade de que a face detectada visualizando o quadro "j" lembre uma face sorridente mais do que a face detectada visualizando o quadro "i". Notar que i e j são inteiros que satisfazem a l<i<j<m. Também, no caso em que faces múltiplas tenham sido detectadas a partir de um quadro, os valores avaliados de expressão facial calculados relativamente a estas faces múltiplas são armazenados de uma maneira correlacionada ao quadro desta.

Anexo II é um diagrama ilustrando esquematicamente o conteúdo de armazenagem da unidade de armazenagem de metadados de imagem alvo composta 270 de acordo com a primeira realização da presente invenção. Um ID de imagem móvel 271, um número de seção 272, um número de quadro 273, parâmetros de transformação conectada 274, um quadro mais frontal 275 e dados de face 276 são armazenados na unidade de armazenagem de metadados de imagem alvo composta 270 de uma maneira correlacionada.

O ID de imagem móvel 271 é um ID de imagem móvel anexado ao arquivo de imagem móvel correspondente e, por exemplo, armazena "#1", "2" e assim por diante anexados a cada arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200.

O número de seção 272 é um número serial usado para identificar uma seção alvo de imagem composta selecionada pela unidade de seleção de seção 160, e por exemplo, armazena "#101", "#102", "#103", e assim por diante na ordem selecionada em relação ao arquivo de imagem móvel 201. Por exemplo, no caso em que uma imagem composta é criada em relação ao arquivo de imagem móvel 201, uma imagem composta é criada para cada seção do número de seção 272 (por exemplo, "#101", "#102", "#103").

O número de quadro 273 é o número de quadro do quadro selecionado pela unidade de seleção de imagem alvo composta 170 com a seção alvo de imagem composta selecionada pela unidade de seleção de seção 160. Este número de quadro corresponde ao número de quadro 215 mostrado no Anexo I. Por exemplo, com "#101" do número de seção 272, no caso em que os quadros "1", "6", "9" e "17" tenham sido selecionados pela unidade de seleção de imagem alvo composta 170, os números de quadros "1", "6", "9" e "17" destes quadros são armazenados.

Os parâmetros de transformação conectada 274 são parâmetros de transformação conectada usados para submeter cada quadro selecionado pela unidade de seleção de imagem alvo composta 170 a transformação conectada. Aqui, parâmetros de transformação conectada a serem armazenados no parâmetros de transformação conectada 274 são parâmetros de transformação conectada usados para submeter um outro quadro a transformação conectada com um quadro dentro da mesma seção alvo de imagem composta como um quadro de referência. Este quadro de referência pode ser ajustado para, por exemplo, o quadro mais frontal. Também, parâmetros de transformação conectada a serem armazenados nos parâmetros de transformação conectada 274 de uma maneira correlacionada a este quadro de referência são os parâmetros de transformação conectada de uma matriz unitária.

O quadro mais frontal 275 consiste de informação que indica o quadro mais frontal selecionado pela unidade de seleção de imagem alvo composta 170. Por exemplo, no caso em que o quadro correspondente tenha sido selecionado como o quadro mais frontal, o quadro mais frontal 275 armazena "1" e no caso em que o quadro correspondente não tenha sido selecionado como o quadro mais frontal, o quadro mais frontal 275 armazena "0". Por exemplo, de cada quadro do número de seção 272 "#101" do ID de imagem móvel 271 "#1", no caso em que o quadro "9" tenha sido selecionado como o quadro mais frontal, o quadro mais frontal 275 do quadro "9" armazena "1". Neste caso, de cada quadro no número de seção 272 "#101" com relação a um quadro diferente do quadro "9", o quadro mais frontal 275 armazena "0".

Os dados de face 276 consistem de informação relativa a uma face incluída em cada quadro selecionado pela unidade de seleção de imagem alvo composta 170. Nesta informação, da informação detecção de face incluída na informação de detecção de face 218, por exemplo, a informação de posição e informação de tamanho de uma face são armazenadas. Com o exemplo mostrado na Figura 4, a informação de posição de uma face é mostrada com (xn, yn) e a informação de tamanho da face é mostrada com (Hn, Wn). Aqui, η é um valor numérico correspondente ao número de quadro 273. Notar que no caso em que faces múltiplas tenham sido detectadas a partir de um quadro, tais diversos dados de face são armazenados de uma maneira correlacionada ao quadro desta.

Exemplos de Cálculo de Parâmetros de Trabalho de Câmera e Pontuações de Determinação de Confiabilidade

A seguir, será feita uma descrição em detalhe, com relação a um método de cálculo usado para calcular parâmetros de trabalho de câmera (parâmetros de transformação conectada) e pontuações de determinação de confiabilidade a serem usadas para transformação de imagem, com referência aos desenhos.

Anexos III-A a III-C são diagramas ilustrando um exemplo de uma imagem constituindo uma imagem móvel. Figuras 6A a 6C são diagramas ilustrando uma imagem simplificada, omitindo o segundo plano, ou o mesmo relativo a uma imagem constituindo uma imagem móvel. Anexos III-A a III-C ilustram uma imagem 300 como um exemplo de uma imagem constituindo uma imagem móvel. Também, Figura 6A ilustra uma imagem 320 simplificada, omitindo o segundo plano ou o mesmo em relação à imagem correspondente ao quadro imediatamente anterior da imagem 300. Também, Figuras 6B e 6C ilustram uma imagem 330 simplificada omitindo o segundo plano ou o mesmo observando a imagem 300.

As imagens 300, 320 e 330 mostradas nos Anexos III-A a III- C e nas Figuras 6A a 6C incluem imagens 301, 321 e 331 de um cavalo no qual uma pessoa está montando, e imagens 302, 322 e 332 de uma cobra disposta diante das imagens do cavalo 301, 321 e 331. Também, conforme mostrado nos Anexos III-A a III-C, são providas uma bandeira, uma cadeira e assim por diante no segundo plano destas imagens, e esta bandeira está tremulando ao vento.

A imagem 320 mostrada na Figura 6A é uma imagem simplificada relativa à imagem correspondente ao quadro imediatamente anterior do quadro correspondente as imagens 300 e 330 mostradas nos Anexos III-A a III-C, e Figuras 6B e 6C. Também, as imagens 320 e 330 correspondendo a dois quadros consecutivos são imagens que indicam transição no caso em que o tamanho de um assunto dentro da tela aumenta gradualmente. Quer dizer, no instante desta geração de imagem uma operação de aproximação é efetuada onde uma operação usada para aumentar o tamanho de um assunto dentro da tela é aumentada gradualmente.

Com a primeira realização da presente invenção, será feita descrição relativa a um método como um exemplo onde um ponto de característica é detectado a partir de uma imagem constituindo uma imagem móvel, e parâmetros de transformação conectada são calculados usando o fluxo óptico correspondente a este ponto de característica. Também, com este exemplo, será feita descrição relativa a um caso em que um ponto de canto é usado como um ponto de característica.

Agora, com as Figuras 6A a 6C, será feita descrição relativa a um método como um exemplo onde parâmetros de transformação conectada são calculados usando os fluxos ópticos correspondentes a três pontos de canto detectados a partir das imagens 320 e 330.

Por exemplo, com a imagem 320 mostrada na Figura 6A, digamos que um ponto de canto 323 em torno da imagem da boca do cavalo 321, um ponto de canto 324 em torno do quadril da pessoa da imagem do cavalo 321, e um ponto de canto 325 em torno da boca da imagem da cobra 322 tenham sido detectados como pontos de característica. Neste caso, com a imagem 330 mostrada na Figura 6B, de acordo com o método de gradiente, método de coincidência de bloco ou similares, fluxos ópticos 337, 338 e 339 como para os pontos de canto 323, 324 e 325 da imagem 320 são detectados. Subseqüentemente, com base nos fluxos ópticos detectados 337, 338 e339, pontos de canto 333, 334 e 335 correspondendo aos pontos de canto 323, 324 e 325 da imagem 320 são detectados.

Agora, por exemplo, as imagens do cavalo 321 e 331 e imagens da cobra 322 e 332 incluídas nas imagens 320 e 330 mostradas nas Figuras 6A e 6B, são instaladas no solo, e conseqüentemente não se movem independentemente do movimento da câmera. Portanto, o movimento da câmera pode ser estimado precisamente com base nos fluxos ópticos obtidos como para os pontos de canto detectados observando as imagens do cavalo 321 e 331 e as imagens da cobra 322 e 332. Por exemplo, conforme mostrado na Figura 6C, com base nos três fluxos ópticos 337 a 339, detectados na imagem 330, pode ser estimado que a imagem 330 é um imagem aumentada a partir da imagem 320, com o ponto 336 no centro. Então pode ser feita determinação de que o movimento da câmera no instante de geração de imagem da imagem 330 é uma operação de aproximação com o ponto 336 no centro. Então, um ponto de canto é detectado em relação a um objeto que não se move independentemente do movimento da câmera, e baseado em um fluxo óptico obtido como parar este ponto de canto, o movimento da câmera possuindo uma regularidade particular pode ser detectado precisamente. Portanto, parâmetros de transformação conectada podem ser obtidos por cálculo usando os fluxos ópticos obtidos como para estes pontos de canto.

Entretanto, pode ser concebido um caso onde um objeto que se move independentemente do movimento da câmera é incluído em uma imagem, tal como uma bandeira tremulando ao vento ou similar. Por exemplo, a imagem 300 mostrada nos Anexos III-A a III-C inclui uma bandeira tremulando ao vento. No caso em que um ponto de canto é detectado em relação a um objeto que se move independentemente do movimento da câmera, e o movimento da câmera é estimado usando o fluxo óptico obtido como para este ponto de canto, é difícil estimar o movimento da câmera precisamente. Por exemplo, os fluxos ópticos detectados na imagem 300 mostrada no Anexo III-Β são indicados por uma seta e os pontos de canto detectados pelos fluxos ópticos são indicados por um círculo branco na ponta de uma seta. Aqui, pontos de canto 303 a 305 são pontos de canto correspondendo aos pontos de canto 333 a 335 mostrados nas Figuras 6B e 6C. Também, pontos de canto 306 a 311 são pontos de canto detectados em relação às bandeiras dispostas no segundo plano da imagem do cavalo 301. Estas bandeiras estão tremulando ao vento, e conseqüentemente, o movimento de cada uma das bandeiras devido à influência do vento foi detectado como um fluxo óptico. Quer dizer, fluxos ópticos correspondentes aos pontos de canto 306 a 311 são fluxos ópticos detectados em relação a bandeiras que se movem, independentemente do movimento da câmera. Portanto, no caso em que três fluxos ópticos usados no caso de calcular parâmetros de transformação conectada incluem um fluxo óptico correspondente a pelo menos um ponto de canto dentre os pontos de canto 306 a 311, é difícil detectar o movimento da câmera precisamente. Neste caso, é difícil calcular parâmetros de transformação conectada precisos.

Conforme mostrado acima, por exemplo, um fluxo óptico como para um objeto que se move independentemente do movimento da câmera (fluxos ópticos correspondentes aos pontos de canto 306 a 311 mostrados no Anexo III-B) é detectado a partir de uma imagem convertida em alguns casos. Também, um fluxo óptico possuindo uma regularidade particular em relação ao movimento da câmera (um fluxo óptico diferente dos fluxos ópticos correspondentes aos pontos de canto 306 a 311 mostrados no Anexo III-B) é detectado a partir de uma imagem convertida em alguns casos.

Portanto, com a primeira realização da presente invenção, um processo de cálculo de parâmetro de transformação conectada é executado múltiplas vezes, onde parâmetros de transformação conectada são calculados com base nos três fluxos ópticos, obtendo deste modo parâmetros de transformação conectada múltiplos. Será feita a descrição relativa a um exemplo onde os parâmetros de transformação conectada ótimos são selecionados a partir destes parâmetros de transformação conectada. Notar que, com este exemplo, diremos que o tamanho de um objeto móvel incluído em cada imagem constituindo uma imagem móvel é relativamente pequeno como para a área da imagem.

Agora, será feita uma descrição relativa a transformação conectada. No caso em que a posição de uma fonte móvel é ajustada para (x, y) e a posição de um destino móvel após transformação conectada é configurado para (x', y') nas coordenadas bidimensionais, a matriz expressão da transformação conectada pode ser representada pela Expressão 1. Notar que a matriz 3x3 do lado direito da Expressão 1 é uma matriz conectada.

<formula>formula see original document page 41</formula>

Expressão (1)

Aqui, a a f são parâmetros de transformação conectada. Também, os parâmetros de transformação conectada podem ser representados pela seguinte expressão com os parâmetros de transformação conectada como uma matriz AM. Notar que um componente de aproximação XZ na direção X, um componente de aproximação YZ na direção Y, um componente de translação XT na direção X, um componente de translação YT na direção Y, um componente rotacional θχ na direção X e um componente rotacional 6y na direção Y podem ser obtidos, respectivamente. Notar que, no caso de uma matriz unitária, a = e = 1, e b = c = d = f = 0. <formula>formula see original document page 42</formula>

Então, cada componente de trabalho de câmera (componentes de zoom nas direções X e Y, componentes de translação, componentes de rotação) podem ser obtidos a partir dos parâmetros de transformação conectada. Notar que os componentes de rotação serão descritos com referência à Figura 7.

Figura 7 é um diagrama ilustrando um caso em que um retângulo 340 é transformado usando parâmetros de transformação conectada. Conforme mostrado na Figura 7, digamos que um pico do retângulo 340 é a origem, e com as coordenadas x-y onde os dois lados do retângulo 340 adjacentes ao pico correspondente à origem são considerados como o eixo χ e o eixo y, um retângulo após o retângulo 340 é transformado usando parâmetros de transformação conectada pré-determinados é considerado como um retângulo 341. Neste caso, digamos que um ângulo formado pelos lados no lado do eixo χ dos retângulos 340 e 341 é um componente rotacional θχ e um ângulo formado pelos lados no lado do eixo y dos retângulos 340 e 341 é um componente rotacional Өy.

A seguir, um método para calcular o valor de adição dos componentes de trabalho de câmera será descrito. O valor de adição dos componentes de trabalho de câmera é um valor obtido adicionando cada componente do trabalho de câmera correspondendo a cada quadro a partir do quadro superior da seção alvo de composição de imagem, servindo como um alvo de cálculo para o quadro atual servindo como um alvo de cálculo. Por exemplo, digamos que os quadros a partir do quadro de topo para o quadro atual sejam considerados como quadros 1 a 5, e os componentes de translação na direção χ dos componentes de trabalho de câmera podem ser calculados por "XT1 + XT2 + XT3 + XT4 + XT5". Também, o valor de adição para cada componente de um outro trabalho de câmera pode ser calculado do mesmo modo.

A seguir, um método para calcular parâmetros de transformação conectada será descrito. Primeiramente, com a página correspondente ao quadro atual que é um quadro dentre quadros constituindo uma imagem móvel, três pontos de característica são selecionados a partir de pontos de características cujos fluxos ópticos tenham sido detectados. Por exemplo, três pontos de canto são selecionados a partir dos pontos de canto detectados na imagem 300 (indicados com um círculo branco) mostrados no Anexo III-B de forma randômica. Notar que, no caso em que parâmetros de transformação projetiva são usados como parâmetros de trabalho de câmera, quatro pontos de característica são selecionados randomicamente.

Subseqüentemente, parâmetros de transformação conectada são calculados usando os três fluxos ópticos correspondentes aos três pontos de característica. Por exemplo, parâmetros de transformação conectada são calculados usando os fluxos ópticos (indicados por uma seta conectada a um círculo branco) correspondendo aos três pontos de canto selecionados a partir dos pontos de canto (indicados por um círculo branco) na imagem 300 mostrada no Anexo III-B. Os parâmetros de transformação conectada podem ser obtidos usando a Expressão 1.

Subseqüentemente, com base nos parâmetros de transformação conectada obtidos, as pontuações dos parâmetros de transformação conectada são calculadas. Especificamente, as posições dos destinos de movimento de todos os pontos de característica na imagem correspondente ao quadro imediatamente anterior ao quadro atual são obtidas usando os parâmetros de transformação conectada obtidos. Subseqüentemente, a posição do ponto de característica obtida usando os parâmetros de transformação conectada, e a posição do ponto de característica detectada no quadro atual são comparadas, e o valor de diferença das posições dos dois pontos de característica correspondendo um ao outro é calculado para cada ponto de característica. Por exemplo, diferença absoluta entre as posições dos dois pontos de característica correspondendo um ao outro é calculada como um valor de diferença. Subseqüentemente, o valor de diferença calculado, e um limiar pre- determinado são comparados para cada ponto de característica, e o número de pontos de característica cujo valor de diferença é menor que o limite é obtido como as pontuações dos parâmetros de transformação conectada. Então, três pontos de característica são selecionados de forma randômica a partir dos pontos de característica cujos fluxos ópticos tenham sido detectados. Subseqüentemente, um processo é repetido um número pré-determinado de vezes, no qual as pontuações dos parâmetros de transformação conectada são calculadas com base nos fluxos ópticos correspondentes a estes pontos de característica, calculando deste modo as pontuações múltiplas dos parâmetros de transformação conectada. Este número pré-determinado de vezes pode ser configurado como apropriado de acordo com os tipos de imagens a serem comparados, a capacidade de processamento do aparelho de processamento de imagem 100, ou similar, ou um valor fixo podem ser usados. Por exemplo, vinte vezes ou equivalente podem ser configuradas como este número pré- determinado de vezes, considerando a capacidade de processamento do aparelho de processamento de imagem 100 em consideração.

Por exemplo, consideremos um caso em que três pontos de canto diferentes dos pontos de canto 306 a 311 tenham sido selecionados a partir dos pontos de canto detectados a partir da imagem 300 mostrada no Anexo III-B. No caso em que parâmetros de transformação conectada são calculados usando os três fluxos ópticos correspondentes aos três pontos de canto selecionados, conforme descrito acima, estes três fluxos ópticos possuem uma regularidade particular. Portanto, parâmetros de transformação conectada usados para transformar a imagem correspondente ao quadro imediatamente anterior de acordo com uma certa regra são obtidos. Também, um valor relativamente pequeno é calculado como o valor de diferença entre a posição do ponto de canto obtida usando parâmetros de transformação conectada e a posição do ponto de canto detectado no quadro atual, obtida visualizando um ponto de canto diferente dos pontos de canto 306 a 311. Portanto, as pontuações dos parâmetros de transformação conectada tornam- se maiores em valor.

Por outro lado, consideremos um caso em que três pontos de canto incluindo pelo menos um dos pontos de canto 306 a 311 tenham sido selecionados a partir dos pontos de canto detectados a partir da imagem 300 mostrada no Anexo III-B. No caso em que parâmetros de transformação conectada são calculados usando os três fluxos ópticos correspondendo aos três pontos de canto então selecionados, conforme descrito acima, estes três fluxos ópticos incluem um fluxo óptico não possuindo regularidade particular. Portanto, parâmetros de transformação conectada não usados para transformar a imagem correspondente ao quadro imediatamente anterior, de acordo com uma certa regra, são obtidos. Também, um valor relativamente grande é calculado em um ponto de canto arbitrário como o valor de diferença obtido visualizando a posição do ponto de canto obtida usando os parâmetros de transformação conectada, e a posição do ponto de canto detectada no quadro atual. Portanto, as pontuações dos parâmetros de transformação conectada tornar-se-ão pequenas em valor.

Subseqüentemente, dentre as pontuações obtidas dos parâmetros de transformação conectada múltiplos, o parâmetro de transformação conectada possuindo o maior valor de pontuação é selecionado como um parâmetro de transformação conectada representativo. Subseqüentemente, o parâmetro de transformação conectada representativo selecionado é usado para calcular parâmetros de transformação conectada usados para submeter o quadro atual a transformação conectada com o quadro imediatamente anterior como quadro de referência, e os parâmetros de transformação conectada são gravados na unidade de armazenagem de metadados 210 de uma maneira correlacionada com o quadro atual. Então, no caso em que uma imagem constituindo uma imagem móvel é submetida a transformação conectada, a imagem pode ser submetida a transformação conectada usando os parâmetros de transformação conectada ótimos.

Também, com a primeira realização da presente invenção, uma pontuação de determinação de confiabilidade é calculada usando a pontuação do parâmetro de transformação conectada representativo então selecionado. Por exemplo, no caso em que o número de pontos de característica detectados em toda a tela de uma imagem servindo como um alvo de cálculo de parâmetro de transformação conectada representativo é considerado como N, e a pontuação do parâmetro de transformação conectada representativo é considerada como Nm 1, uma pontuação de determinação de confiabilidade SHS pode ser calculada pela seguinte expressão.

SHS = Nml/N

Aqui, a pontuação do parâmetro de transformação conectada representativo Nml é o número de pontos de característica que apresentam movimento dominante em toda a tela de uma imagem a ser detectada. Também, o número de pontos de característica N torna-se um valor total do número de pontos de característica Nml que apresentam movimento dominante, e o número de outros pontos de característica (pontos de característica que apresentam movimento tipo ruído) Nm2 (isto é, N = Nml +Nm2). Também o valor de 0 a 1 é calculado como a pontuação de determinação de confiabilidade SHS.

A pontuação de determinação de confiabilidade então calculada é gravada na unidade de armazenagem de metadados 210 de uma maneira correlacionada ao quando. Uma seção alvo de composição de imagem é selecionada a partir de uma imagem móvel usando esta pontuação de determinação de confiabilidade.

Conforme mostrado acima, mesmo no caso em que um objeto (objeto móvel) que está se movendo, tal como uma pessoa ou carro ou similar, é incluído em cada imagem constituindo uma imagem móvel, no caso em que o tamanho do objeto móvel desta é relativamente pequeno, como para a área da imagem, o movimento da câmera pode ser extraído sem influência do objeto móvel.

Também, o movimento da câmera é extraído, pelo qual o movimento visualizado como um movimento intencional do usuário, tal como aproximação, afastamento, panorâmica, inclinação, rotação ou similar pode ser estimado. Notar que, com a Expressão 1, parâmetros de transformação conectada podem ser calculados com base em dois fluxos ópticos com a = e e d = -b. Por exemplo, no caso em que uma imagem é submetida a transformação conectada usando parâmetros de transformação conectada calculados com base nos três fluxos ópticos, uma imagem retangular é transformada em paralelogramo em alguns casos. Por outro lado, no caso em que uma imagem é submetida a transformação conectada usando parâmetros de transformação conectada calculados com base em dois fluxos ópticos, pelo menos uma transformação do movimento de transformação, rotação e zoom (as relações de aproximações nas direções χ e y são as mesmas) podem ser executados em um estado de imagem retangular. Com a primeira realização da presente invenção, será feita descrição relativa a um exemplo onde uma imagem é transformada usando parâmetros de transformação conectada calculados com base nos três fluxos ópticos. Entretanto, a primeira realização da presente invenção pode ser aplicada similarmente a um caso em que uma imagem é transformada usando parâmetros de transformação conectada calculados com base em dois fluxos ópticos.

Exemplo de Cálculo de Valores Avaliados de Expressão Facial

A seguir, um método de cálculo de valor avaliado de expressão facial será descrito em detalhe com referência aos desenhos, onde um valor avaliado de expressão facial relativo a uma face detectada a partir de uma imagem é calculado.

Figura 8 é um diagrama ilustrando esquematicamente um método de detecção de face pela unidade de detecção de face 130, de acordo com a primeira realização da presente invenção. Na Figura 8, (a) e (b) ilustram uma imagem 450 constituindo uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110. Também, digamos que a face 452 de uma pessoa 451 está incluída na imagem 450. Então, no caso em que a face 452 está incluída na imagem 450, a face 452 é detectada a partir da imagem 450 pela unidade de detecção de face 130. Notar que, na Figura 8, será feita descrição como um exemplo relativo a um caso em que a detecção de face é executada usando os dados de referência de detecção de face.

Por exemplo, conforme mostrado em (a) na Figura 8, uma janela de detecção de face 453 possuindo um certo tamanho é disposta no canto superior esquerdo da imagem 450, e uma estimativa usada para determinar se uma face está incluída ou não na imagem dentro da janela de detecção de face 453 é calculada com base nos dados de referência de detecção de face. Subseqüentemente, a janela de detecção de face é deslocada na direção do lado direito (direção indicada com uma seta 454) por um pixel, e similarmente uma estimativa é calculada. Posteriormente, do mesmo modo, a janela de detecção de face é deslocada seqüencialmente na direção do lado direito por um pixel de cada vez, calculando deste modo uma estimativa seqüencialmente. Subseqüentemente, ao ser deslocada a janela de detecção de face para a posição da borda direita da imagem 450, e uma estimativa sendo calculada, a janela de detecção de face é deslocada para um lado inferior de um pixel e é movida para a borda esquerda da imagem 450. Subseqüentemente, após uma estimativa imediatamente após o movimento da borda esquerda da imagem 450 ser calculada, a janela de detecção de face é deslocada seqüencialmente na direção do lado direito de um pixel de cada vez, calculando deste modo uma estimativa seqüencialmente. Posteriormente, do mesmo modo, uma estimativa é calculada seqüencialmente. A janela de detecção de face sendo deslocada para as posições de borda direita e borda inferior da imagem 450, e uma estimativa sendo calculada, a janela de detecção de face é reduzida por um fator de escala pré-determinado, e o mesmo processo é executado seqüencialmente. Então, a janela de detecção de face possuindo um certo tamanho é usada para executar cálculo de uma estimativa relativa seqüencialmente à imagem 450 a ser reduzida seqüencialmente. Subseqüentemente, uma face é detectada com base em cada estimativa calculada, e uma região de face que é uma região retangular incluindo pelo menos uma porção desta face é obtida. Por exemplo, conforme mostrado em (b) na Figura 8, a face 452 da pessoa 451 incluída na imagem 450 é detectada, e uma região de face 455 incluindo a face 452 é obtida. Também, informação de detecção de face relativa à face detectada (posição, tamanho e assim por diante da face) é obtida. Por exemplo, conforme mostrado em (c) na Figura 8, ajustemos coordenadas x-y onde o canto superior esquerdo da imagem 450 é considerado como a origem, a direção horizontal é considerada como o eixo χ e a direção vertical é considerada como eixo y. Com as coordenadas x-y, as coordenadas (x, y) de um pico 456 com o canto superior esquerdo da região de face 455 como a origem é calculada como a posição da face. Similarmente, com as coordenadas x-y, a extensão W na direção horizontal da região de face 455, e a extensão H na direção vertical da região de face 455 são calculadas como o tamanho da face. A unidade de detecção de face 130 emite tal informação de detecção de face para a unidade de cálculo de valor avaliado de expressão facial 140 e unidade de controle de gravação 150.

Subseqüentemente, a unidade de cálculo de valor avaliado de expressão facial 140 extrai a imagem (dados de imagem) da região de face 455 a partir da imagem 450 baseada na informação de detecção de face emitida a partir da unidade de detecção de face 130. Quer dizer, a unidade de cálculo de valor avaliado de expressão facial 140 acessa a memória (RAN) na qual os dados de imagem servindo como um alvo de detecção de face são temporariamente armazenados, e lê somente os dados de imagem dentro da região de face correspondente à informação de detecção de face emitida a partir da unidade de detecção de face 130.

Subseqüentemente, a unidade de cálculo de valor avaliado de expressão facial 140 transforma a imagem extraída em uma imagem de um certo tamanho, e normaliza isto para gerar uma imagem de face normalizada. Quer dizer, a imagem extraída é submetida a conversão de resolução como uma imagem de um certo tamanho (certa resolução) gerando deste modo uma imagem de face normalizada. Digamos que o tamanho de imagem após normalização é um tamanho servindo como uma unidade de processamento quando a unidade de cálculo de valor avaliado de expressão facial 140 calcula um valor avaliado de expressão facial relativo a uma face. Com a primeira realização da presente invenção, por exemplo, digamos que um certo tamanho para normalização seja um tamanho de 48 pixéis χ 48 pixéis.

Subseqüentemente, a unidade de cálculo de valor avaliado de expressão facial 140 calcula um valor avaliado de expressão facial que indica o grau de expressão facial incluído em uma imagem de face normalizada, com base na imagem de face normalizada, e a informação de eixo discriminante armazenada na unidade de armazenagem de informação de eixo discriminante 141. O valor avaliado de expressão facial calculado é emitido para a unidade de controle de gravação 150. Este valor avaliado de expressão facial é um valor que indica um grau em que a expressão facial a ser determinada é ou não similar a qual das duas expressões faciais diferentes. Com a primeira realização da presente invenção, será feita descrição relativa a um exemplo em que as duas expressões faciais diferentes são "face sorridente" e "expressão facial normal" e é feita avaliação de que um grau no qual a expressão facial a ser determinada é "face sorridente" é forte à medida que o valor avaliado de expressão facial calculado aumenta. Por outro lado, é feita avaliação de que um grau em que a expressão facial a ser determinada é "expressão facial normal" é forte à medida que o valor avaliado de expressão facial calculado diminui. Notar que este método de cálculo de valor avaliado de expressão facial será descrito em detalhe com referência às Figuras 9 a 12.

Figura 9 é um diagrama ilustrando conceitualmente informação de eixo discriminante usada para cálculo de um valor avaliado de expressão facial, e um fluxo no instante de geração desta informação de eixo discriminante.

Com a primeira realização da presente invenção, será feita uma descrição como um exemplo relativo a método de cálculo de valor avaliado de expressão facial usando análise discriminante linear de Fisher. Com este método de cálculo de valor avaliado de expressão facial, um grande número de imagens de amostra incluindo uma das duas expressões faciais é preparado de antemão. Subseqüentemente, consideremos como um problema de duas classes entre duas expressões faciais diferentes, análise discriminante linear (LDA) é executada com base nos dados destas imagens de amostra. Então, um eixo discriminante 466 (mostrado em (c) na Figura 9) é formado onde estas duas expressões faciais diferentes são igualmente discriminadas. Subseqüentemente, este eixo discriminante 466 é armazenado na unidade de armazenagem de informação de eixo discriminante 141. Também, no instante de uma avaliação de expressão facial, um valor avaliado de expressão facial é calculado obtendo um produto interno entre os dados de uma imagem de face a ser avaliada e o eixo discriminante 466. A descrição será feita abaixo especificamente abaixo em relação aos desenhos.

Com a primeira realização da presente invenção, no sentido de usar "face sorridente" como uma expressão facial específica, será descrição como um exemplo relativo a um caso onde imagens de amostra de face sorridente e imagens de amostra de expressão facial normal são usada como imagens de amostra relacionadas a duas expressões faciais diferentes. Na Figura 9, (a) ilustra um grupo de imagens de amostra de face sorridente como um grupo de imagem de amostra de face sorridente 461 e ilustra um grupo de amostra de expressão facial normal como um grupo de imagem de amostra de expressão facial normal 462. Digamos que cada imagem de amostra incluída nos grupos de imagens de amostra 461 e 462 seja uma imagem normalizada de tal modo que uma face se torna de um certo tamanho dentro de uma imagem retangular de um certo tamanho, por exemplo, de 48 pixéis χ 48 pixéis. Os dados de cada imagem de amostra incluídos nos grupos de imagens de amostra 461 e 462 são processados como dados de vetor de dimensão 48 χ 48, executando deste modo o processo LDA.

Aqui, espaço de vetor no qual os dados de vetor de dimensão 48 χ 48 são processados é um espaço dimensional extremamente alto incluindo 48 χ 48 eixos de coordenadas. Portanto, antes do processo LDA ser executado, análise de componente principal (PCA é executado relativamente aos dados de vetor de dimensão 48 χ 48). Subseqüentemente, os dados de vetor de dimensão 48 χ 48 são convertidos (comprimidos dimensionalmente) em dados de espaço de baixa dimensão que representam somente as características de uma face efetivamente.

Com este processo PCA, consideremos obter M eixos de tal modo que irregularidades (dispersão) entre M (por exemplo, M = 300) grupos de imagem de amostra de entrada de N dimensões (N = 48 χ 48) tornam-se máximas. Tais eixos podem ser obtidos como a solução (auto vetor) de um problema de auto valor relativo à matriz de covariância dos grupos de imagem de amostra. Subseqüentemente, somente componentes de vetor possuindo um coeficiente relativamente grande são extraídos como componentes principais, onde os dados de vetor de dimensão 48 χ 48 podem ser comprimidos dimensionalmente para dados de dimensão N' (N > N') incluindo somente os componentes de vetor adequados para representar as características de uma face. Por exemplo, foi entendido manter precisão suficiente relativa a discriminação de expressão facial, configurando N' = 40 ou equivalente. Notar que, dentre os componentes principais obtidos no processo PCA, vários componentes principais são eliminados na seqüência descendente de coeficientes, onde o número de dimensões é adicionalmente reduzido, enquanto se mantém precisão de discriminante de expressão facial, e conseqüentemente, a carga do próximo processo PCA pode ser reduzida.

Agora, um processo de mascaramento para uma imagem de amostra a ser inserida no instante do processo PCA será descrito em detalhe com referência à Figura 10.

Figura 10 é um diagrama ilustrando esquematicamente o processo de mascaramento para uma imagem de amostra a ser inserida no instante do processo PCA de acordo com a primeira realização da presente invenção. Na Figura 10, (a) ilustra uma imagem de amostra 470 que pertence ao grupo de imagem de amostra de face sorridente 461. Uma face sorridente 475 está incluída na imagem de amostra 470. Notar que, conforme descrito acima, a imagem de amostra 470 é uma imagem normalizada em uma forma retangular de tal modo que a face 475 torna-se de um certo tamanho.

Agora, conforme mostrado (a) na Figura 10, no caso em que a imagem de amostra 470 é usada do modo que é para executar o processo PCA, seleção de um componente principal adequado é evitada, devido à influência tal como o segundo plano, e cabelo e similar da face 475, em alguns casos. Portanto, conforme mostrado em (b) na Figura 10, uma região diferente da porção de pele da face 475 é sobreposta com uma máscara 472, onde a imagem de amostra 470 é convertida de tal modo que somente a região de face da porção de pelo permanece. Notar que, com (b) e (c) na Figura 10, as regiões das máscaras 472 e 474 são indicadas com uma região sombreada. A imagem de amostra 471 após a conversão mostrada em (b) na Figura 10 é submetida ao processo PCA em um estado no qual a densidade de informação da face é reforçada, onde compressão dimensional de alta precisão adicional pode ser executada. Notar que, na região de face, a boca é grandemente modificada de acordo com a expressão facial, e conseqüentemente, a boca freqüentemente se torna um fator de perturbação. Portanto, conforme mostrado em (c) na Figura 10, a região em torno da boca da face 475 é também sobreposta por uma máscara 474, pela qual a imagem de amostra 470 é convertida de tal modo que somente a região de face da porção de pele excluindo ao região em volta da boca permanece. A imagem de amostra 473 após conversão mostrada em (c) na Figura 10 é usada para executar o processo PCA, onde a precisão da compressão dimensional pode ser reforçada. Portanto, com a primeira realização da presente invenção, será feita descrição como um exemplo relativo a um caso em que uma imagem de amostra a ser inserida no instante do processo PCA é submetida a um processo de mascaramento mostrado em (c) na Figura 10.

Agora, digamos que o espaço PCA 465 mostrado em (b) e (c) na Figura 9 é espaço parcial incluindo somente um eixo de coordenadas que representa efetivamente as características de uma face incluída em uma imagem de amostra.

Cada imagem de amostra que pertence ao grupo de imagem de amostra de face sorridente 461 ou grupo de imagem de amostra de expressão facial normal 462 que tenha sido dimensionalmente comprimida pelo processo PCA acima, é convertida em dados de vetor no espaço PCA 465, tal como mostrado em (b) na Figura 9, que ilustra esquematicamente um estado no qual cada imagem de amostra que pertence ao grupo de imagem de amostra de face sorridente 461 ou grupo de imagem de amostra de expressão facial normal 462 é projetada no espaço PCA 465. Conforme mostrado em (b) na Figura 9, no caso em que a amostra de imagem que pertence ao mesmo grupo de imagens de amostra são projetadas no espaço PCA 465, a distância entre as imagens de amostra é uma distância relativamente próxima. Portanto, após as imagens de amostra que pertencem ao grupo de imagem de amostra de face sorridente 461 serem projetadas no espaço PCA 465, um agrupamento formado por imagens de amostra destes são consideradas como um agrupamento 463. Também, após as imagens de amostra que pertencem ao grupo de imagem de amostra de expressão facial normal 462 serem projetadas no espaço PCA 465, um agrupamento formado pelas imagens de amostra deste é obtido como um agrupamento 464. Um eixo projetivo (eixo discriminante 466) que separa os agrupamento 463 e 464 apropriadamente é formado pelo processo LDA. Tal eixo discriminante 466 é referido como um "eixo projetivo de Fisher".

Em geral, de acordo com o processo LDA, é obtido um eixo discriminante de tal modo que a dispersão dentro de um agrupamento e entre agrupamentos projetados sobre um auto vetor de dimensão N' torna-se máxima. Quer dizer, um auto vetor correspondendo ao auto valor máximo de cada matriz de covariância dentro de um agrupamento e entre agrupamentos é obtido, e isto é considerado como um vetor (vetor de Fisher) no eixo discriminante 466. A relação entre cada matriz de covariância e um auto valor/auto vetor é mostrada nas Expressões 11 e 12.

<formula>formula see original document page 55</formula> ... Expressão 11

<formula>formula see original document page 55</formula> ... Expressão 12 Aqui, Rw representa uma matriz de covariância intra agrupamento, Rb representa uma matriz de covariância inter agrupamento e λ representa um auto valor. Também, com relação ao cálculo da matriz inversa, auto valor e auto vetor da Expressão 12, método de decomposição inferior- superior (LU), método de decomposição QR (Q: matriz ortogonal, R: matriz triangular superior), e eliminação Gaussiana podem ser empregadas, respectivamente. Informação tal como o coeficiente de cada componente do vetor de Fisher e assim por diante é armazenada na unidade de armazenagem de informação de eixo discriminante 141 como a informação do eixo discriminante 466 então calculada. Quer dizer, a informação do eixo discriminante 466 é informação incluindo o coeficiente de um vetor que indica o eixo discriminante de uma expressão facial obtida executando análise discriminante linear com base em um componente de sinal obtido por análise de componente principal a partir dos dados de imagem de um grande número de imagens de amostra de face relacionadas a duas expressões faciais diferentes, e assim por diante.

Figura 11 é um diagrama ilustrando esquematicamente a relação entre um eixo determinante no espaço de pixel e no espaço PCA, e uma imagem de face a ser avaliada.

No caso de calcular um valor avaliado de expressão facial usando o eixo discriminante 466 mostrado em (c) na Figura 9, primeiramente, os dados de imagem de uma face (imagem de face) detectados a partir de uma imagem convertida são submetidos ao processo PCA para extrair um componente principal. A expressão facial da imagem de face correspondente aos dados de imagem desta é avaliada como um componente projetivo como para o eixo discriminante 466 (vetor Ad) do vetor de imagem de face submetido ao processo PCA (vetor de imagem de face de entrada), tal como mostrado no espaço PCA 465 na Figura 11. Quer dizer, conforme mostrado na Expressão 15, um valor avaliado de expressão facial Eexp pode ser calculado pelo produto interno entre o vetor de imagem de face de entrada e o vetor de Fisher.

<formula>formula see original document page 57</formula> Expressão (13)

<formula>formula see original document page 57</formula> Expressão (14)

<formula>formula see original document page 57</formula> Expressão (15)

<formula>formula see original document page 57</formula> Expressão (16)

A informação do vetor de Fisher pode ser convertida em informação no espaço de pixel Spxi (o espaço dimensional que os dados de imagem originais possuíam antes do processo PCA). Expressões 13 e 14 são expressões que representam o vetor de imagem de face de entrada e vetor de Fisher como um vetor no espaço de pixel Spx1. Figura 11 ilustra conceitualmente a relação representada com Expressões 13 e 14. Conforme mostrado nas Expressões 13, 14 e 11, um componente de vetor diferente dos componentes principais μ1 a μΝ obtidos pelo processo PCA pode ser aproximado por uma constante C como o valor médio de todas as imagens de entrada. Portanto, uma computação de produto linear tal como mostrado na Expressão 15 pode ser representada equivalentemente como uma computação de produto interno de vetor no espaço de pixel Spx i, conforme mostrado na Expressão 16.

Conforme mostrado na Expressão 16, um resultado de subtração entre um componente de vetor de Fisher e a constante C no espaço de pixel Spxi pode ser calculado de antemão. Portanto, este resultado de subtração e a constante C são armazenados na unidade de armazenagem de informação de eixo discriminante 141 como informação de eixo discriminante. Subseqüentemente, a unidade de cálculo de valor avaliado de expressão facial 140 calcula o vetor da imagem de face detectada a partir da imagem convertida, em seguida a que executa a computação de produto interno da Expressão 16 sem submeter este vetor ao processo PCA. Aqui, com relação a computações de valores avaliados de expressão facial como para uma face pela Expressão 16, subtração, multiplicação e adição são executadas 48 χ 48 vezes no máximo, e realmente apenas computações de coeficientes correspondentes a cerca de 40 componentes principais μ1 a μΝ são executadas. Portanto, a quantidade de computação pode ser reduzida extremamente, sem degradar a precisão da avaliação de expressão facial se comparada ao caso de executar uma computação de produto interno de vetor no espaço PCA 465, e um valor avaliado de expressão facial Eexp pode ser prontamente calculado em um estado de coincidência de ângulo de campo antes da imagem convertida ser gravada.

Tal método de cálculo de valor avaliado de expressão facial é empregado, onde avaliação de expressão facial pode ser executada com alta precisão, enquanto se reduz a carga de processamento, por exemplo, se comparada a um método de avaliação de expressão facial onde uma expressão facial é avaliada por coincidência entre um grande número de modelos de imagem de face e a imagem de face detectada. Por exemplo, no caso de executar coincidência usando um modelo, usualmente partes tais como os olhos, boca e assim por diante tem que ser extraídas da imagem de face detectada para executar um processo de coincidência para cada parte. Por outro lado, com o método de cálculo de valor avaliado de expressão facial usado para a primeira realização da presente invenção, após a face detectada ser normalizada para um certo tamanho, a imagem de face desta é substituída por informação de vetor, onde isto pode ser aplicado a uma computação de produto interno conforme está (ou parcialmente mascarada). A computação do produto interno desta pode ser simplificada como uma computação simples composta de cerca de subtração, multiplicação e adição de 40 dimensões.

Figura 12 é um diagrama ilustrando um exemplo de cálculo no caso em que o valor avaliado da expressão facial de acordo com a primeira realização da presente invenção é emitido como um valor numérico.

Com a primeira realização da presente invenção, por exemplo, com base nos resultados do processo PCA de uma imagem de amostra, a média 482 da distribuição 481 de uma imagem de face sorridente no espaço PCA, e a média 484 da distribuição 483 de uma imagem de face de expressão facial normal no espaço PCA são obtidas. Subseqüentemente, um ponto projetivo como para o eixo discriminante 466 das médias 482 e 484 é determinado. Subseqüentemente, o valor avaliado de expressão facial Eexp é convertido em um valor numérico com um ponto médio 485 dos pontos projetivos das médias 482 e 484 como uma referência. Quer dizer, conforme mostrado na Figura 12, a distância entre um ponto projetivo 486 como para o eixo discriminante 466 da imagem de face, e o ponto médio 485 dos pontos projetivos das médias 482 e 484 é tomado como o valor avaliado de expressão facial Eexp, e um lado em que a imagem de amostra de face sorridente é distribuída é tomado como um valor numérico positivo. Então, se a imagem de face detectada é similar a uma face sorridente ou uma expressão facial normal, pode ser emitida como um valor numérico consecutivo. Neste caso, o grau de uma face sorridente é avaliado como alto de acordo com o aumento no valor avaliado de expressão facial Eexp. Também, no caso de faces múltiplas terem sido detectadas a partir de uma imagem unidade de detecção de face 130, o cálculo de um valor avaliado de expressão facial é executado em relação a cada face destas pela unidade de cálculo de valor avaliado de expressão facial 140. Subseqüentemente, o valor avaliado de expressão facial calculado visualizando cada face destas é armazenado na unidade de armazenagem de metadados 210.

Exemplo de Operação do Aparelho de Processamento de Imagem

A seguir, a operação do aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção será descrito com referência aos desenhos. Figura 13 é um fluxograma ilustrando o procedimento de um processo de gravação de metadados pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção.

Primeiramente, um arquivo de imagem móvel é inserido na unidade de entrada de imagem móvel 110 (etapa S901). Subseqüentemente, a entrada de arquivo de imagem móvel para a unidade de entrada de imagem móvel 110 é decodificada, a imagem de um quadro na seqüência em série no tempo é obtida (etapa S902). A unidade de detecção de face 130 executa um processo de detecção de face relativo ao quadro obtido (etapa S903). A unidade de cálculo de valor avaliado de expressão facial 140 executa um processo de cálculo de valor avaliado de expressão facial relativo à face detectada pelo processo de detecção de face (etapa S904).

Subseqüentemente, é feita determinação de se o quadro obtido está no quadro superior do arquivo de imagem móvel inserido na unidade de entrada de imagem móvel 110 (etapa S905). No caso em que o quadro obtido é o quadro superior (etapa S905), os pontos de característica são extraídos da totalidade da imagem correspondente a este quadro superior (etapa S906). Subseqüentemente, os parâmetros de transformação conectada de uma matriz unitária são selecionados como parâmetros de transformação conectada (etapa S907), "1,0" é calculado como uma pontuação de determinação de confiabilidade, e o fluxo avança para a etapa S913.

Por outro lado, no caso em que o quadro obtido é o quadro superior (etapa S905), pontos de característica são extraídos de uma nova região convertida em imagem com a imagem correspondente ao quadro imediatamente anterior como uma referência (etapa S905). Quer dizer, um ponto de característica que já tenha sido extraído com a imagem correspondente ao quadro imediatamente anterior, pode ser obtido pelo fluxo óptico correspondente a este ponto de característica, e conseqüentemente, este ponto de característica não é extraído com a imagem correspondente ao quadro atual. Subseqüentemente, o número de pontos de característica com a imagem total correspondendo ao quadro imediatamente anterior é mantido (etapa S910).

Subseqüentemente, o fluxo óptico como para cada ponto de característica extraído da imagem correspondente ao quadro imediatamente anterior é calculado (etapa S911). A unidade de cálculo de parâmetro de trabalho de câmera 123 executa um processo de cálculo de parâmetro de transformação conectada (etapa S920). Este processo de cálculo de parâmetro de transformação conectada será descrito em detalhe com referência à Figura 14. Notar que a etapa S920 é um exemplo do procedimento de cálculo referido no Sumário da Invenção.

Subseqüentemente, uma pontuação de determinação de confiabilidade é calculada com base no número de pontos de característica na imagem total mantida, e a pontuação do parâmetro de transformação conectada representativo selecionado (etapa S912). Cada peça de metadados obtida relativamente ao quadro atual é gravada na unidade de armazenagem de metadados 210 de uma maneira correlacionada ao quadro atual (etapa S913). Notar que no caso em que o quadro atual é o quadro superior, os parâmetros de transformação conectada da matriz unitária selecionada são gravados na unidade de armazenagem de metadados 210 de uma maneira correlacionada ao quadro superior. Subseqüentemente, a imagem correspondente ao quadro atual e os pontos de característica desta imagem são armazenados de uma maneira sobrescrita (etapa S914).

Subseqüentemente, é feita determinação de se o quadro atual é ou não o último quadro do arquivo de imagem móvel inserido na unidade de entrada de imagem móvel 110 (etapa S915). No caso em que o quadro atual não é o último quadro (etapa S915) o fluxo retorna à etapa S902, onde o processo de gravação de metadados é repetido (etapas S902 a S914 e S920). Por outro lado, no caso em que o quadro atual é o último quadro (etapa S915), o processo de gravação de metadados é finalizado.

Figura 14 é um fluxograma ilustrando um procedimento de cálculo de parâmetro de transformação conectada (o procedimento na etapa S920 mostrado na Figura 13) incluído no procedimento do processo de gravação de metadados pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção.

Primeiramente, uma variável i é inicializada para "1" (etapa S921). Subseqüentemente, M pontos de característica são selecionados a partir dos pontos de característica cujos fluxos ópticos tenham sido detectados (etapa S922). Por exemplo, no caso em quem parâmetros de transformação conectada são empregados como parâmetros de trabalho de câmera, três pontos de característica são selecionados de forma randômica. Também, no caso em que parâmetros de transformação projetivos são empregados como parâmetros de trabalho de câmera, quatro pontos de característica são selecionados randomicamente. Subseqüentemente, parâmetros de transformação conectada são calculados com base em M fluxos ópticos calculados correspondendo aos M pontos de característica selecionados (etapa S923).

Subseqüentemente, com base nos parâmetros de transformação conectada calculados, as pontuações dos parâmetros de transformação conectada são calculadas (etapa S924). Especificamente, os parâmetros de transformação conectada calculados são usados para obter as posições dos destinos de movimento de todos os pontos de característica da imagem correspondente ao quadro imediatamente anterior. Subseqüentemente, as posições dos pontos de característica obtidos com os parâmetros de transformação conectada, e as posições dos pontos de característica da imagem correspondente ao quadro atual obtido no instante de calcular um fluxo óptico na etapa S911 são comparadas. Um valor de diferença entre as posições de dois pontos de característica correspondentes um ao outro é calculado para cada ponto de característica. Por exemplo, a distância absoluta entre duas posições correspondentes uma a cada outra é calculada como um valor de diferença. Subseqüentemente, o valor de diferença calculado e um limiar pré-determinado são comparados para cada ponto de característica, e o número de pontos de característica cujo valor de diferença é menor que o limite é obtido como as pontuações dos parâmetros de transformação conectada.

Subseqüentemente, "1" é adicionado à variável i (etapa S925) e é feita determinação de se a variável i é maior que uma constante N (etapa S926). No caso em que a variável i é igual ou menor que a constante N (etapa S926), o fluxo retorna à etapa S922, onde o processo de cálculo de pontuação para parâmetros de transformação conectada é repetido (etapas S922 a S926). Por exemplo, 20 pode ser empregado como a constante N.

Por outro lado, no caso em que a variável i é maior que a constante N (etapa S926) dentre as pontuações obtidas para parâmetros de transformação conectada, o parâmetro de transformação conectada possuindo o valor de pontuação mais alto é selecionado como o parâmetro de transformação conectada representativo (etapa S297).

Com a primeira realização da presente invenção, foi feita descrição relativa a um exemplo onde parâmetros de transformação conectada são detectados como parâmetros de trabalho de câmera com base no fluxo óptico detectado a partir de uma imagem constituindo uma imagem móvel. Entretanto, por exemplo, um sensor tal como um sensor de aceleração ou giro sensor ou similar, uma tecla de zoom usada no instante de executar uma operação de zoom são providos à câmera, e a quantidade de movimento da câmera no instante da geração de imagem é detectada por este sensor e tecla de zoom. Subseqüentemente, parâmetros de trabalho de câmera podem ser obtidos com base na quantidade de movimento da câmera. Alternativamente, um arranjo pode ser feito onde parâmetros de trabalho de câmera múltiplos são detectados pela unidade de cálculo de parâmetro de trabalho de câmera 123 de antemão, e com base na quantidade de movimento da câmera detectada no instante da geração de imagem, um parâmetro de trabalho de câmera é selecionado a partir dos parâmetros de trabalho de câmera múltiplos.

Exemplo de Transformação Conectada de Imagem

A seguir, será feita descrição em detalhe relativa a um caso em que os parâmetros de transformação conectada calculados pela unidade de detecção de trabalho de câmera 120 são usados para submeter uma imagem constituindo uma imagem móvel, a transferência conectada, com referência aos desenhos. Agora, digamos que cada imagem mostrada nas Figuras 15 a 23 é simplificada para conveniência de explicação, e uma imagem constituindo uma imagem móvel, imagens cuja quantidade de movimento entre imagens é comparativamente pequena, são ilustradas. Também, digamos que cada imagem mostrada número de seqüência Figuras 15 a 23 seja uma imagem selecionada pela unidade de seleção de imagem alvo composta 170. Também, um caso em que um quadro subseqüente é sobrescrito em um quadro anterior no eixo dos tempos, é mostrado como um exemplo.

Primeiramente, será feita descrição relativa a um caso em que no instante da geração de imagem pela câmera, a direção da lente da câmera é movida em uma das quatro direções com a posição da câmera como centro, embora o zoom não seja mudado.

Figura 15 é um diagrama ilustrando um exemplo da transição de uma imagem móvel convertida pela câmera. Figura 15 ilustra imagens 401 a 403 constituindo uma imagem móvel no caso de geração de imagem de uma pessoa 400 com uma montanha como segundo plano. Também, este exemplo ilustra um caso em que um usuário está disparando nas imagens enquanto se move na direção da lente da câmera para o usuário do lado direito e superior. Neste exemplo, a pessoa 400 incluída na imagem móvel a ser convertida pela câmera se move do lado direito para o lado esquerdo na imagem constituindo a imagem móvel desta.

Figura 16 é um diagrama ilustrando esquematicamente o lócus de um assunto incluído nas imagens 401 a 403 selecionadas pela unidade de seleção de imagem alvo composta de acordo uma primeira realização da presente invenção. Notar que, com as imagens 402 e 403 mostradas em (b) e (c) na Figura 16, à imagem correspondente ao quadro anterior é mostrada com uma linha tracejada. A imagem 401 mostrada em (a) na Figura 16 é a mesma da imagem 40lmostrada em (a) na Figura 15. Também, uma porção de linha sólida da imagem 402 mostrada em (b) na Figura 16 é a mesma que a imagem 402 mostrada em (b) na Figura 15, e uma porção de linha tracejada da imagem 402 mostrada em (b) na Figura 16 é a mesma que a porção de linha sólida da imagem 401 mostrada em (a) na Figura 16. Também, setas 404 a 406 da imagem 402 mostrada em (b) na Figura 16 são setas que indicam o lócus de um assunto incluído nas imagens 401 e 402. Também, uma porção de linha sólida da imagem 403 mostrada em (c) na Figura 16 é a mesma que a imagem 403 mostrada em (c) na Figura 15, e uma porção de linha tracejada da imagem 403 mostrada em (c) na Figura 16 é a mesma que a porção de linha sólida da imagem 402 mostrada em (b) na Figura 16. Também, setas 407 a 409 da imagem 403 mostrada em (c) na Figura 16 são setas que indicam o lócus de um assunto incluído nas imagens 402 e 403.

Conforme mostrado em (b) e (c) na Figura 16, a pessoa 400 e a montanha do segundo plano incluído na imagem são movidos juntamente com o movimento da câmera. Com base em cada fluxo óptico detectado por este movimento, parâmetros de transformação conectada entre imagens podem ser obtidos. Por exemplo, no caso em que a imagem 401 é considerada como uma imagem de referência, a matriz conectada dos parâmetros de transformação conectada calculados com relação a cada imagem das imagens 401 e 402 é multiplicada, de modo que parâmetros de transformação conectada usados para submeter a imagem 402 a transferência conectada podem ser obtidos. Também, a matriz conectada dos parâmetros de transformação conectada calculados com relação a cada imagem das imagens 401 a 403 é multiplicada, de modo que parâmetros de transformação conectada usados para submeter a imagem 403 a transformação conectada podem ser obtidos. Agora, digamos que os parâmetros de transformação conectada da imagem de referência são os parâmetros de transformação conectada de uma matriz unidade.

Figura 17 é um diagrama ilustrando um exemplo de composição de imagem no caso em que imagens são compostas por uma unidade de composição de imagem 220 de acordo com a primeira realização da presente invenção. Com este exemplo, será feita descrição relativa a um caso em que as imagens 402 e 403 estão submetidas a transformação conectada usando os parâmetros de transformação conectada armazenados na unidade de armazenagem de metadados de imagem alvo composta 270 com a imagem 401 como uma imagem de referência.

Por exemplo, no caso em que a matriz conectada dos parâmetros de transformação conectada correlacionados à imagem 401 são considerados como Al, a unidade de transformação de imagem 190 submete a imagem 401 a transformação conectada pela matriz de Al, com a posição e tamanho da imagem 401 do quadro superior como referência. Aqui, a imagem 401 é uma imagem de referência, e conseqüentemente, Al é uma matriz unitária. Portanto, a posição e tamanho da imagem 401 não são transformados.

Subseqüentemente, no caso em que a imagem 402 correspondente ao próximo quadro é composta, a unidade de transformação de imagem 190 submete a imagem 402 a transformação conectada usando os parâmetros de transformação conectada correlacionados à imagem 402. Por exemplo, digamos que a matriz dos parâmetros de transformação conectada correlacionada à imagem 402 é A2. Neste caso, a unidade de transformação de imagem 190 submete a imagem 402 a transformação conectada pela matriz de A2 com a posição e tamanho da imagem 401 do quadro superior como referência. Notar que, com o exemplo mostrado em (b) na Figura 17, conforme mostrado nas setas 415e416, a posição isolada da imagem 402 é transformada. Subseqüentemente, a unidade de composição de imagem 220 sobrescreve a imagem 402 submetida a transformação conectada pela unidade de transformação de imagem 190 na imagem 401 correspondente ao quadro anterior, de modo a ser superposta a ela e ambas serem compostas. Especificamente, da região da imagem 401, uma região 410 superposta à imagem 402 é sobrescrita pela imagem da imagem 402. Também, da região da imagem 401, uma região 411 não superposta à imagem 402 não é sobrescrita pela imagem da imagem 402. Quer dizer, no caso em que a imagem 402 correspondente ao segundo quadro é composta, conforme mostrado em (b) na Figura 17, uma imagem criada onde a posição total da imagem 402, e a posição correspondente à região 411 da imagem 401 são compostas. Subseqüentemente, no caso em que a imagem 403 correspondente ao segundo quadro é exibida, a unidade de transformação de imagem 190 submete a imagem 403 a transformação conectada usando os parâmetros de transformação conectada correlacionados à imagem 403. Por exemplo, digamos que a matriz dos parâmetros de transformação conectada correspondentes à imagem 403 seja A3. Neste caso, a unidade de transformação de imagem 190 submete a imagem 403 a transformação conectada pela matriz A3 com a posição e tamanho da imagem 401 como referência. Notar que, com a imagem mostrada em (c) na Figura 17, conforme mostrado nas setas 417 e 418, a posição isolada da imagem 403 é transformada. Subseqüentemente, a unidade de composição de imagem 220 sobrescreve a imagem 403 submetida a transformação conectada pela unidade de transformação de imagem 190 na imagem compostas das imagens 401 e 402 correspondente ao quadro anterior, de modo a ser superposta a ela e ambas serem compostas. Especificamente, da região da imagem composta das imagens 401 e 402, regiões 413 e 414 superpostas com a imagem 403 são sobrescritas pela imagem na imagem 403. Também, da região da imagem composta das imagens 401 e 402, regiões 411 e 412 não superpostas com a imagem 403, são compostas com a imagem composta das imagens 401 e 402. Quer dizer, no caso em que a imagem 403 correspondente ao terceiro quadro é composta, conforme mostrado em (c) na Figura 17, uma imagem é criada onde a posição total da imagem 403, e a porção correspondente à região 411 da imagem 401,e a porção correspondente à região 412 da imagem 402 são compostas.

A seguir, será feita descrição relativa a um caso em que, no instante de geração de imagem pela câmera, o zoom tenha sido mudado, embora a direção da lente da câmera não tenha sido alterada.

Figura 18 é um diagrama ilustrando um exemplo da transição de uma imagem móvel convertida pela câmera. Figura 18 ilustra imagens 412 a 423 correspondendo a quadros consecutivos incluídos em uma imagem móvel no caso de geração de imagem de uma pessoa 420 com uma montanha no segundo plano. Este exemplo ilustra um caso em que um usuário está convertendo imagens enquanto efetua zoom com elas. Neste caso, o tamanho da pessoa 420 incluída na imagem móvel convertida pela câmera está crescendo gradualmente em uma imagem constituindo a imagem móvel desta. Notar que, embora a posição da câmera seja um pouco movida no instante do zoom em alguns casos, com este exemplo, será feita descrição sem levar em consideração o movimento da posição da câmera.

Figura 19 é um diagrama ilustrando esquematicamente o lócus de um assunto incluído nas imagens 421 a 423 selecionadas pela unidade de seleção de imagem alvo composta 170 de acordo com uma realização da presente invenção. Notar que um exemplo de cálculo de parâmetro de transformação conectada mostrado na Figura 19 é o mesmo que o exemplo de cálculo de parâmetro de transformação conectada na Figura 16, e conseqüentemente, a descrição desta será omitida aqui.

Figura 20 é um diagrama ilustrando um exemplo de imagem composta no caso em que imagens são compostas pela unidade de composição de imagem 220 de acordo com a primeira realização da presente invenção. Notar que um exemplo de composição de imagem mostrado na Figura 20 é o mesmo que o exemplo de composição de imagem mostrado na Figura 17, e conseqüentemente, a descrição deste será omitida aqui.

A seguir, será feita descrição a um caso em que, no instante de geração de imagem pela câmera, a câmera foi girada com o eixo óptico como centro de rotação, embora a direção e zoom da lente da câmera não tenha sido modificado.

Figura 21 é um diagrama ilustrando um exemplo da transição de uma imagem móvel convertida pela câmera. Figura 21 ilustra imagens 441 a 443 correspondentes a quadros consecutivos incluídos em uma imagem móvel no caso de geração de imagem de uma pessoa 440 com uma montanha em segundo plano. Este exemplo ilustra um caso em que um usuário está executando geração de imagem enquanto gira a câmera com a direção do eixo óptico como o centro de rotação. Neste caso, a pessoa 440 incluída na imagem móvel convertida pela câmera está girando gradualmente em uma imagem constituindo a imagem móvel desta. Notar que, embora a posição da câmera seja um pouco movida devido à rotação da câmera em alguns casos, com este exemplo será feita descrição sem levar o movimento da posição da câmera em consideração.

Figura 22 é um diagrama ilustrando esquematicamente o lócus de um assunto incluído nas imagens 441 a 443 selecionadas pela unidade de seleção de imagem alvo composta 170 de acordo com uma realização da presente invenção. Notar que um exemplo de cálculo de parâmetro de transformação conectada mostrado na Figura 22 é o mesmo do exemplo de cálculo de parâmetro de transformação conectada mostrado na Figura 16, e conseqüentemente, a descrição deste será omitida aqui.

Figura 23 é um diagrama ilustrando um exemplo de imagem composta no caso em que imagens são compostas pela unidade de composição de imagem 220 de acordo com a primeira realização da presente invenção. Notar que um exemplo de composição de imagem mostrado na Figura 23 é o mesmo do mesmo de composição de imagem mostrado na Figura 17, e conseqüentemente, a descrição deste será omitida aqui.

Exemplo de Seleção de Seção Alvo de Composição de Imagem

A seguir, será feita descrição em detalhe relativa a um método de seleção de seção para selecionar uma seção usada para selecionar uma imagem alvo composta a partir de uma imagem móvel (seção alvo de imagem móvel) com referência aos desenhos. Com a primeira realização da presente invenção, será feita descrição relativa a um exemplo em que uma seção que satisfaz as seguintes condições (1) a (4) é selecionada como uma seção alvo de composição de imagem.

(1)A confiabilidade da detecção de trabalho de câmera é alta.

(2) A taxa de zoom é pequena, isto é, a mudança de zoom é pequena.

(3) A quantidade de movimento na direção horizontal ou direção vertical é igual ou maior que um certo número de pixéis.

(4) A extensão da seção alvo de composição de imagem é a extensão dentro de uma certa faixa (por exemplo, dentro de uma faixa de 3 segundos a 20 segundos).

Também, com a primeira realização da presente invenção, no caso em que as seguintes condições (a) e (b) são satisfeitas, é feita determinação da condição acima (1) a confiabilidade da detecção de trabalho de câmera é alta.

(a) Dentre os pontos de característica de toda a tela de uma imagem, um valor que indica a taxa de pontos de característica que apresenta movimento dominante excede um limite.

(b) Uma taxa de mudança entre quadros está dentro de uma certa faixa.

A taxa de mudança entre quadros é um valor que indica cada componente de trabalho de câmera calculado por parâmetros de transformação conectada relacionados entre quadros.

Figura 24 é um diagrama ilustrando uma pontuação de determinação de confiabilidade calculada pela unidade de detecção de trabalho de câmera 120 de acordo com a primeira realização da presente invenção, de uma forma em série no tempo. Na Figura 24, (a) ilustra esquematicamente um quadro servindo como alvo de cálculo de pontuação de determinação de confiabilidade usando um retângulo. Notar que, em (a) na Figura 24, um número serial de quadro é anexado ao interior de um retângulo que indica cada quadro.

Na Figura 24, (b) ilustra um gráfico que representa uma pontuação de determinação de confiabilidade calculada relativa a quadros 1 a 15 mostrados em (a) na Figura 24 para cada quadro. Com o gráfico mostrado em (b) na Figura 24, o eixo horizontal é um eixo que indica o instante de geração de imagem, e o eixo vertical é um eixo que indica o valor de uma pontuação de determinação de confiabilidade calculada relativamente a cada quadro. Também, com o eixo vertical, digamos que o limiar da condição acima (1) é um limiar THl. Aqui, por exemplo, um valor de 0,5 a 0,8 pode ser configurado como o limiar TH1. Notar que, com o eixo horizontal do gráfico mostrado em (b) na Figura 24, cada número de quadro correspondente a geração de imagem em ponto no tempo é mostrado. Aqui, uma pontuação de determinação de confiabilidade SHS é um valor calculado pela unidade de cálculo de pontuação de determinação de confiabilidade 124 e é armazenado na unidade de armazenagem de metadados 210 de uma maneira correlacionada a cada quadro constituindo o arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200.

Com este exemplo, para conveniência explicativa, conforme mostrado em (a) na Figura 24, digamos que certa faixa na condição acima (4) seja uma faixa entre Kl e K2. Também, com o gráfico mostrado em (b) na Figura 24, uma pontuação de determinação de confiabilidade calculada em relação a cada quadro é representada por um círculo branco. Dos círculos brancos que representam uma pontuação de determinação de confiabilidade, uma pontuação excedendo o limiar THl é representada por um círculo de linha grossa.

Conforme mostrado em (b) na Figura 24, por exemplo, a pontuação de determinação de confiabilidade dos quadros 1 e 3 está abaixo do limite THl e conseqüentemente, os quadros 1 e 3 não são determinados para constituir uma seção alvo de composição de imagem candidata. Também, a pontuação de determinação de confiabilidade de um quadro 2 excede o limite TH1, mas as pontuações de confiabilidade dos quadros adjacentes 1 e 3 estão abaixo do limite THl e conseqüentemente, a condição acima (4) não é satisfeita. Portanto, o quadro 2 não é determinado para ser uma seção alvo de composição de imagem candidata. Por outro lado, por exemplo, as pontuações de determinação de confiabilidade dos quadros 4 a 14 excedem o limite THl. Entretanto, a extensão do quadro 14 excede uma certa faixa (faixa ente Kl e K2) da condição acima (4). Portanto, dentre os quadros 4 a 14, os quadros 4 a 13 dentro de certa faixa da condição acima (4) são determinados para constituírem seções alvo de composição de imagem candidatas 500 pela unidade de seleção de seção 160. Quer dizer, a unidade de seleção de seção 160 extrai quadros consecutivos, incluídos dentro de certa faixa da condição acima (4), dos quais a pontuação de determinação de confiabilidade SHS excede o limite TH1, como seção alvo de composição de imagem candidata.

Subseqüentemente, a unidade de seleção de seção 160 determina se a taxa de mudança de cada quadro (cada componente de trabalho de câmera) incluída nas candidatas a seção alvo de composição de imagem satisfaz ou não as condições a seguir (11) a (17).

(11) XZthl < XZ < XZth2

(12) YZthl < YZ < YZth2

(13) XT < XTth

(14) YT < YTth

(15) XR < XRth

(16) YR < YRth

(17) |XR-YR| - ADRth

Aqui, XZ representa um componente de zoom na direção X no trabalho de câmera, e YZ representa um componente de zoom na direção Y do trabalho de câmera. Também, XT representa um componente de translação na direção X do trabalho de câmera, e YT representa um componente de translação na direção Y no trabalho de câmera. Também, XR representa um componente de rotação na direção X do trabalho de câmera, e YR representa um componente de rotação na direção Y do trabalho de câmera. Também, XZthl, XZth2, YZthl, YZth2, XTth, YTth, XRth, YRth e ADRth representam um limite.

Por exemplo, um valor de 0,7 a 0,9 pode ser ajustado como os limites XZthl e YZth 1. Também, por exemplo, um valor de 1,1 a 1,3 pode ser ajustado como os limites XZth2 e YZth2. Também, por exemplo, um valor de W/20 a W/5 pode ser configurado como o limite XTth. Notar que W é um valor que indica o número de pixéis na direção horizontal de uma imagem a ser processada. Também, por exemplo, um valor de H/20 a H/5 pode ser configurado como o limite YTth. Notar que H é um valor que indica o número de pixéis na direção vertical de uma imagem a ser processada. Também, por exemplo, 3 graus a 5 graus podem ser configurados como os limites XRth e YRth. Também, por exemplo, 0,5 graus a 1,0 graus podem ser configurados como o limite ADRth.

No caso em que cada componente de trabalho de câmera de cada quadro incluído nas candidatas a seção alvo de composição de imagem extraído com base nas pontuações de determinação de confiabilidade satisfaz às condições (11) a (17), é feita determinação quanto as condições (2) e (3) serem ou não satisfeitas. Por outro lado, no caso em que cada componente do trabalho de câmera de cada quadro incluído nas candidatas a seção alvo de composição de imagem não satisfaz às condições (11) a (17), as candidatas de seção alvo de composição de imagem destes não são determinadas como sendo seções alvo de composição de imagem.

Figura 25 é um diagrama ilustrando um componente de aproximação integral calculado com um parâmetro de transformação conectada calculado pela unidade de detecção de trabalho de câmera 120 de acordo com a primeira realização da presente invenção, de uma forma em série no tempo. Na Figura 25, (a) ilustra esquematicamente um quadro servindo como um alvo de cálculo de componente de zoom integral usando um retângulo. Notar que quadros 1 a 15 mostrados em (a) na Figura 25 são os mesmos daqueles mostrados em (a) na Figura 24.

Na Figura 25, (b) ilustra um gráfico que representa um componente de zoom integral na direção horizontal (direção X) calculado em relação aos quadros 1 a 15 mostrados em (a) na Figura 25 para cada quadro. Com o gráfico mostrado em (b) na Figura 25, o eixo horizontal é um eixo que indica geração de imagem em ponto no tempo, e o eixo vertical é o eixo que indica o valor do componente de zoom integral calculado em relação a cada quadro. Este componente de zoom integral é o valor de um componente de zoom de uma matriz conectada calculada pela multiplicação da matriz conectada dos parâmetros de transformação conectada correlacionados a cada quadro a partir do quadro de referência para o quadro alvo. Agora, digamos que os parâmetros de transformação conectada correlacionados ao quadro de referência sejam os valores de uma matriz unidade. Especificamente, o valor do componente de zoom integral do quadro de referência é 1,0, e o valor do componente de zoom integral do quadro alvo é um valor relativo como para o quadro de referência. Também, este componente de zoom integral é calculado em relação a um componente de zoom na direção X e um componente de zoom na direção Y do trabalho de câmera. Notar que, com o exemplo mostrado na Figura 25, o componente de zoom integral calculado em relação aos componentes de zoom na direção X é ilustrado como um exemplo.

Com o gráfico mostrado em (b) na Figura 25, o componente de zoom integral calculado em relação a cada quadro é ilustrado por um círculo branco. Também, dentre os círculos brancos que indicam componentes de zoom integral calculados em relação a cada um dos quadros incluídos nas seções alvo de composição de imagem candidatas 500, o círculo branco correspondente ao quadro superior é ilustrado como um componente de zoom integral 501. Também, dentre os círculo brancos que indicam os componentes de zoom integral calculados em relação a cada um dos quadros incluídos nas seções alvo de composição de imagem candidatas 500, o círculo branco que indica o valor máximo é ilustrado como um componente de zoom integral 502, e o círculo branco que indica o valor mínimo é ilustrado como um componente de zoom integral 503. Notar que o eixo horizontal do gráfico mostrado em (b) na Figura 25 indica cada número de quadro de acordo com a geração de imagem de ponto no tempo. Também, com o eixo vertical do gráfico mostrado em (b) na Figura 25, o valor do componente de zoom integral 502 que indica o valor máximo é ilustrado como M2, e o valor do componente de zoom integral 503 que indica o valor mínimo é ilustrado como Ml.

Agora, a taxa de zoom usada para condição (2) é um valor que indica uma relação entre o valor máximo e o valor mínimo dos componentes de zoom integral. Esta condição (2) é determinada com base na taxa de zoom para cada quadro incluído nas seções alvo de composição de imagem candidatas estar incluída ou não em uma certa faixa. Esta certa faixa pode ser, por exemplo, uma faixa abaixo do limite XZth2 tal como mostrado a seguir.

XZml / XZm2 < XZth2

Aqui, XZml é o valor máximo dos componentes de zoom integral na direção X calculados em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas, e XZm2 é o valor mínimo dos componentes de zoom integral destas. Notar que, por exemplo, um valor de 1,5 a 3,0 pode ser configurado como o limite XZth2. Também, a taxa de zoom calculada em relação aos componentes de zoom na direção Y pode ser determinada com base na seguinte expressão ser satisfeita ou não.

YZml / YZm2 < YZth2

Aqui, YZml é o valor máximo dos componentes de zoom integral na direção Y, calculados em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas e YXm2 é o valor mínimo dos componentes de zoom integral destas. Notar que, por exemplo, um valor de 1,5 a 3,0 pode ser ajustado como o limite YZth2.

No caso em que as taxas de zoom na direção X e na direção Y calculadas em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas que satisfazem as condições (11) a (17) satisfazem a condição (2), é feita determinação se a condição (3) é satisfeita ou não. Por outro lado, as taxas de zoom na direção X e na direção Y calculadas em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas não satisfazem a condição (2), a seção alvo de composição de imagem candidata portanto, não é determinada para ser uma seção alvo de imagem composta.

Figura 26 é um diagrama ilustrando um componente translacional integral calculado com um parâmetro de transformação conectada calculado pela unidade de detecção de trabalho de câmera 120 de acordo com a primeira realização da presente invenção, de uma forma em série no tempo. Na Figura 26, (a) ilustra esquematicamente um quadro servindo como um alvo de cálculo de componente translacional integral usando um retângulo. Notar que os quadros 1 a 15 mostrados em (a) na Figura 26 são os mesmos daqueles mostrados em (a) na Figura 24.

Na Figura 26, (b) ilustra um gráfico que representa um componente translacional integral na direção horizontal (direção X) calculado em relação aos quadros 1 a 15 mostrados em (a) na Figura 26 para cada quadro. Com o gráfico mostrado em (b) na Figura 26, o eixo horizontal é um eixo que indica geração de imagem no ponto no tempo, e o eixo vertical é um eixo que indica um valor de um componente translacional integral calculado em relação a cada quadro. Este componente translacional integral é o valor de um componente translacional de uma matriz conectada calculada pela multiplicação da matriz conectada dos parâmetros de transformação conectada correlacionados a cada quadro a partir do quadro de referência para o quadro alvo. Agora, digamos que os parâmetros de transformação conectada correlacionados ao quadro de referência consiste no valor de uma matriz unitária. Especificamente, o valor do componente translacional integral do quadro de referência é 0,0 e o valor do componente translacional integral do quadro alvo é um valor relativo como para o quadro de referência. Também, este componente translacional integral é calculado em relação a um componente translacional na direção X e um componente translacional na direção Y do trabalho de câmera. Notar que, com o exemplo mostrado na Figura 26, o componente translacional integral calculado em relação aos componente translacionais na direção X é ilustrado como um exemplo.

Com o gráfico mostrado em (b) na Figura 26, o componente translacional integral calculado em relação a cada quadro é ilustrado com um círculo branco. Também, um círculo branco que indica um componente translacional integral calculado em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas 500 é ilustrado com uma linha grossa. Notar que o eixo horizontal do gráfico mostrado em (b) na Figura 26 indica cada número de quadro de acordo com geração de imagem de ponto no tempo. Também, com o eixo vertical do gráfico mostrado em (b) na Figura 26, os limites XTth2 e XTth2 usados para a condição (2) são indicados.

Aqui, a condição (3) é determinada com base na quantidade de movimento na direção horizontal ou direção vertical ser ou não igual ou maior que um certo número de pixéis. Especificamente, é feita determinação com base em pelo menos uma dentre panorâmica e inclinação ser relativamente grande ou não. Por exemplo, tal como mostrado a seguir, é feita determinação com base no valor absoluto do componente translacional integral XTl exceder ou não o limite XTth2.

|XT1| > XTth2

Aqui, por exemplo, um valor de 3W a IOW pode ser configurado como o limite XTth2. Notar que W é um valor que indica o número de pixéis na direção horizontal de uma imagem. Também, com relação ao componente translacional integral YTl na direção Y, pode ser feita determinação baseada na expressão a seguir ser satisfeita ou não.

|YTl| > YTth2

Aqui, por exemplo, um valor de 3H a 10H pode ser configurado como o limite YTth2. Notar que H é um valor que indica o número de pixéis na direção vertical de uma imagem.

Por exemplo, com o exemplo mostrado na Figura 25, os valores dos componentes translacionais integrais na direção X calculados em relação aos quadros 12 e 13 incluídos nas seções alvo de composição de imagem candidatas 500 excedem o limite XTth2. Quer dizer, com o exemplo mostrado na Figura 26, o valor absoluto de um componente translacional integral na direção X calculado em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas 500 excede o limite XTth2, e conseqüentemente, é feita determinação de que a condição (3) é satisfeita. Também, mesmo no caso em que o valor absoluto de um componente translacional integral na direção Y calculado em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas 500 excede o limite XTth2, é feita determinação de que a condição (3) é satisfeita. Então, as seções alvo de composição de imagem candidatas determinadas para satisfazer a condição (3) são selecionadas pela unidade de seleção de seção 160 como seções alvo de composição de imagem. Por outro lado, no caso em que nem o componente translacional integral na direção X nem o componente translacional integral na direção Y calculados em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas destes não satisfazem a condição (3), as seções alvo de composição de imagem candidatas destes não são determinadas para serem seções alvo de composição de imagem. Com o exemplo acima, é feita determinação se as condições (11) a (17) são satisfeitas ou não, em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas que satisfazem às condições (1) e (4). Subseqüentemente, é feita determinação se as condições (2) e (3) são satisfeitas ou não em relação a cada quadro incluído nas seções alvo de composição de imagem candidatas que satisfazem às condições (11) e (17). Entretanto, estas determinações podem ser feitas em uma seqüência diferente. Também, das condições (1) a (4), e as condições (11) a (17), uma das condições de determinação pode ser omitida. Também, por exemplo, uma seção alvo de composição de imagem pode ser omitida. Também, por exemplo, uma seção alvo de composição de imagem pode ser selecionada usando uma outra condição de determinação relativa a cada quadro incluído nas seções alvo de composição de imagem candidatas. Por exemplo, pode ser configurado como uma condição de determinação que uma taxa rotacional seja pequena, usando um componente rotacional integral.

Todos os quadros incluídos na seção alvo de composição de imagem então selecionados são usados para criar uma imagem composta. Entretanto, por exemplo, pode ser concebido que uma experiência, que não é experimentada por simples reprodução de uma imagem móvel pode ser provida a um usuário, criando uma imagem composta, onde imagens paradas múltiplas convertidas através do espaço de um alcance relativamente amplo no mesmo local da geração de imagem são unidas. Quer dizer, uma imagem composta em estilo panorama composta de imagens paradas que não são experimentadas a partir da reprodução de uma imagem móvel (por exemplo, tal imagem na qual fotos são unidas) pode ser provida ao usuário. Portanto, com a primeira realização da presente invenção, quadros usados para criação de uma imagem composta são adicionalmente selecionados a partir de cada quadro incluído na seção alvo de imagem composta. Agora, com a primeira realização da presente invenção, será descrito um exemplo onde uma imagem incluindo uma face é selecionada preferencialmente na seção alvo de composição de imagem, esta imagem é selecionada um quadro mais frontal um outro quadro é selecionado com base na taxa de superposição com este quadro mais frontal. Também, no caso em que há imagens múltiplas incluindo uma face, dentre as faces múltiplas, uma imagem possuindo o valor avaliado de expressão facial mais alto (pontuação de face sorridente) que indica o grau de uma face sorridente pode ser selecionado como u m quadro mais frontal. Notar que um valor avaliado de condição de borrão ou similar diferente de um valor avaliado de expressão facial pode ser empregada para determinação.

Figuras 27A e 27B são diagramas ilustrando esquematicamente uma imagem incluída na seção alvo de composição de imagem selecionada pela unidade de seleção de seção 160 de acordo com a primeira realização da presente invenção, de uma forma em série no tempo. Figura 27A ilustra a transição de uma imagem no caso em que um usuário tenha estado convertendo imagens enquanto se movia na direção da lente da câmera, na direção horizontal com um cão parado, pessoa e carro como assuntos. Figura 27B ilustra a transição de uma imagem no caso em que um usuário tenha estado convertendo imagens enquanto se movia na direção da lente da câmera, na direção horizontal com uma árvore e uma montanha como assuntos. Notar que as imagens mostradas nas Figuras 27A a 27B são simplificadas para conveniência da explicação, e a quantidade de movimento entre dois quadros consecutivos é grandemente ilustrada.

Dentre as imagens 511 a 518 mostradas na Figura 27A, as imagens 512 a 515 incluem uma face de uma pessoa. Também, digamos que nas faces incluídas nas imagens 512 a 515, o valor avaliado de expressão facial calculado em relação à face incluída na imagem 513 é o valor mais alto. No caso em que uma imagem incluída na seção alvo de composição de imagem selecionada pela unidade de seleção de seção 160 inclui uma face, a unidade de seleção de imagem alvo composta 170 seleciona a imagem incluindo uma face como o quadro mais frontal. Também, conforme mostrado na Figura 27A, no caso em que imagens múltiplas incluem uma face, a imagem incluindo uma face possuindo o valor mais alto de valor avaliado de expressão facial calculado em relação a estas faces, é selecionado como o quadro mais frontal. Com a amostra mostrada na Figura 27A, a imagem 513 é selecionada.

Também, imagens 521 a 528 mostradas na Figura 27B não incluem uma face da pessoa. Então, no caso em que uma imagem incluída na seção alvo de composição de imagem selecionada pela unidade de seleção de seção 160 não inclui um face, a unidade de seleção de imagem alvo composta 170 seleciona a imagem superior no eixo de tempo das imagens incluídas na seção alvo de composição de imagem como o quadro mais frontal. Como o exemplo mostrado na Figura 27B, a imagem 521 correspondente ao quadro superior incluído na seção alvo de composição de imagem é seletivamente.

O quadro mais frontal então selecionado a partir da seção alvo de composição de imagem é considerado como um quadro de referência, e um outro quadro é selecionado neste quadro de referência. Com a primeira realização da presente invenção, será feita descrição relativa a um exemplo onde o quadro é selecionado com base em regiões de superposição entre imagens, incluídas na seção alvo de composição de imagem.

Figura 28 é um diagrama ilustrando esquematicamente um método de seleção no caso em que uma imagem alvo composta é selecionada pela unidade de seleção de imagem alvo composta 170 de acordo com a primeira realização da presente invenção. Com este exemplo, será feita descrição relativa a um caso em que dois meios de armazenagem temporária de trabalho são usados para selecionar um outro quadro como o quadro mais frontal.

Um primeiro meio de armazenagem temporária de trabalho 531 e um segundo meio de armazenagem temporária de trabalho 532 são meios de armazenagem temporária de trabalho que representam cada pixel constituindo uma imagem por um bit. Quer dizer, no caso em que uma imagem é "colada" no primeiro meio de armazenagem temporária de trabalho 531 e no segundo meio de armazenagem temporária de trabalho 532, um bit na posição de colagem é ajustado para ligado. Também, uma imagem selecionada é colada no primeiro meio de armazenagem temporária de trabalho 531 como uma imagem composta, e uma imagem servindo como um alvo de determinação de seleção é submetida a transformação conectada e colada no segundo meio de armazenagem temporária de trabalho 532. Subseqüentemente, uma porção superposta entre a imagem composta colada no primeiro meio de armazenagem temporária de trabalho 531 e a imagem colada no segundo meio de armazenagem temporária de trabalho 532 é calculada. Agora, digamos que a área da região na posição superposta calculada seja uma área C, a área da imagem composta colada no primeiro meio de armazenagem temporária de trabalho 531 é uma área A, e a área da imagem colada no segundo meio de armazenagem temporária de trabalho 532 é uma área B. Neste caso, um valor da área C / a área A, e um valor da área C / a área B são calculados, e destes dois valores o maior valor é calculado como uma taxa de superposição.

Subseqüentemente, no caso em que a taxa de superposição calculada está abaixo de um limite, a imagem desta é selecionada. Por exemplo, 60% pode ser configurado como este limite. A imagem onde a taxa de superposição calculada estiver abaixo do limite é selecionada como um imagem alvo composta, e é também colada no primeiro meio de armazenagem temporária de trabalho 531. Subseqüentemente, o mesmo processo de determinação é executado em relação ao próximo quadro.

Por exemplo, digamos que uma imagem composta entre uma imagem 534 selecionada como o quadro mais frontal e uma imagem 535 selecionada a seguir tenha sido colada no primeiro meio de armazenagem temporária de trabalho 531 mostrado em (a) na Figura 28. Também, a região da imagem composta criada a partir das imagens 534 e 535 é ilustrado por uma linha sólida. Também, digamos que uma imagem 536 servindo como um alvo de determinação tenha sido colada no segundo meio de armazenagem temporária de trabalho 532 mostrado em (a) na Figura 28. Também, a região da imagem 536 é ilustrada por um retângulo em linha sólida. Agora, a imagem servindo como um alvo de determinação é submetida a transformação conectada com a posição do quadro mais frontal (imagem 534) colada no primeiro meio de armazenagem temporária de trabalho 531 mostrado em (a) na Figura 28 como uma referência, e é então colada no segundo meio de armazenagem temporária de trabalho 532. Esta transformação conectada é executada utilizando os parâmetros de transformação conectada na unidade de armazenagem de metadados 210. Notar que o exemplo mostrado na Figura 28 é um exemplo onde, da imagem 536, somente a posição foi transformada, e o ângulo e tamanho não foram transformados.

Subseqüentemente, conforme mostrado em (b) na Figura 28, uma porção superposta 538 entre a imagem composta (imagem composta das imagens 534 e 535) colada no primeiro meio de armazenagem temporária de trabalho 531, e a imagem 536 colada no segundo meio de armazenagem temporária de trabalho 532, é calculada. Notar que uma faixa de meio de armazenagem temporária de trabalho 533 mostrada em (b) na Figura 28 é uma faixa que indica o tamanho correspondente ao primeiro meio de armazenagem temporária de trabalho 531 e segundo meio de armazenagem temporária de trabalho 532. Com esta faixa de meio de armazenagem temporária de trabalho 533, a porção superposta calculada 538 é representada por um retângulo sombreado internamente, e outras porções de imagens são representadas por uma linha pontilhada. Agora, digamos que a área da porção superposta calculada 538 seja uma área Cl, a área da imagem composta (imagem composta das imagens 534 e 535) colada no primeiro meio de armazenagem temporária de trabalho 531 é uma área Al, e a área da imagem 536 colada no segundo meio de armazenagem temporária de trabalho 532 é uma área B1. Neste caso, o valor da área Al é maior que o valor da área B1, e conseqüentemente, um valor da área Cl / a área Bl é maior que um valor da área Cl / a área Al. Portanto, o valor da área Cl / a área Bl é calculado como um taxa de superposição.

Subseqüentemente, no caso em que a taxa de superposição calculada (o valor da área Cl / a área B1) está abaixo do limita, a imagem 536 é selecionada como uma imagem alvo composta. Então, no caso em que a imagem alvo composta tenha sido selecionada, os valores de uma matriz são calculados, onde as matrizes conectadas dos parâmetros de transformação conectada a partir do quadro mais frontal para o quadro atual são multiplicadas. Aqui, com relação aos parâmetros de transformação conectada do quadro mais frontal, os valores de uma matriz unitária são usados. Subseqüentemente, os parâmetros de transformação conectada da matriz calculada e o número de quadro e dados de face da imagem alvo composta selecionada são gravados na unidade de armazenagem de metadados de imagem alvo composta 270. Notar que, com relação à imagem alvo composta selecionada como a imagem mais frontal, informação que indica o quadro mais frontal é gravada na unidade de armazenagem de metadados de imagem alvo composta 270 juntamente com tal informação.

Também, no caso em que a imagem 536 tiver sido selecionada como uma imagem alvo composta, conforme mostrado em (c) na Figura 28, a imagem 536 é colada no primeiro meio de armazenagem temporária de trabalho 531. Especificamente, a imagem composta das imagens 534 a 536 é colada no primeiro meio de armazenagem temporária de trabalho 531. Subseqüentemente, conforme mostrado em (d) na Figura 28, um processo de determinação é executado em relação à próxima imagem 537, do mesmo modo. Por outro lado, no caso em que a taxa de superposição calculada não estiver abaixo do limite, a imagem 536 não é colada no primeiro meio de armazenagem temporária de trabalho 531. Neste caso, o processo de determinação é executado entre a próxima imagem, as imagens 534 e 535.

Notar que, com este exemplo, uma imagem alvo composta é selecionada calculando a taxa de superposição seqüencialmente, usando os dois meios de armazenagem temporária de trabalho, porém uma imagem alvo composta pode ser selecionada calculando uma taxa de superposição usando os parâmetros de transformação conectada isoladamente, armazenados na unidade de armazenagem de metadados 210.

Figura 29 é um diagrama ilustrando esquematicamente uma imagem móvel a ser determinada pela unidade de seleção de seção 160 e unidade de seleção de imagem alvo composta 170, de acordo com a primeira realização da presente invenção, de uma forma em série no tempo. Na Figura 29, (a) ilustra esquematicamente um quadro constituindo um arquivo de imagem móvel 540 que é um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200. Na Figura 29, (b) ilustra um grupo de seção alvo de composição de imagem 541 que é um grupo de seções alvo de composição de imagem selecionadas em relação ao arquivo de imagem móvel 540. Na Figura 29, (c) ilustra um grupo de seção de detecção de face 544 que é um grupo de seções de detecção de face que indicam uma seção onde uma face foi detectada em relação a cada quadro constituindo o arquivo de imagem móvel 540. Na Figura 29, (d) ilustra um grupo de seção de detecção de face sorridente 546 que é um grupo de seções de detecção de face sorridente que indicam uma seção onde uma face detectada em relação a cada quadro constituindo o arquivo de imagem móvel 540 tenha sido determinada para ser uma face sorridente. Na Figura 29, (e) ilustra o quadro mais frontal selecionado na seção alvo de composição de imagem, e uma direção de busca 548 que é uma direção onde um outro quadro é buscado com o quadro mais frontal como um quadro de referência. Na Figura 29, (f) ilustra um grupo de quadro de seleção 554 que é um grupo de quadros (imagens alvo compostas) selecionado em relação ao arquivo de imagem móvel 540. Notar que cada quadro constituindo o arquivo de imagem móvel 540 é ilustrado por um retângulo ao qual um número de quadro é anexado internamente. Também, cada seção é ilustrada com um retângulo sombreado internamente. Também, em (e) na Figura 29, o quadro mais frontal é representado por um círculo branco, e a direção de busca a partir do quadro mais frontal é representada por uma seta.

Por exemplo, digamos que as seções alvo de composição de imagem 542 e 543 tenham sido selecionadas pela unidade de seleção de seção 160 em relação ao arquivo de imagem móvel 540. Adicionalmente, digamos que tenha sido detectado uma face na seção de detecção de face 545, dentre quadros incluídos na seção alvo de composição de imagem 542. Também, digamos que dentre os quadros incluídos na seção de detecção de face 545, um valor avaliado de expressão facial tenha sido um certo valor ou mais na seção de detecção de face sorridente 547, e tenha sido determinado para ser uma face sorridente. Com este exemplo, digamos que dentre quadros incluídos na seção de detecção de face sorridente 547, um quadro possuindo o valor avaliado de expressão facial mais alto seja um quadro h. Neste caso, o quadro h é selecionado como o quadro mais frontal 549 na seção alvo de composição de imagem 542. Subseqüentemente, um processo de seleção de quadro é executado no sentido de uma direção de busca 550 que é uma direção de busca de lado frontal no eixo temporal, e uma direção de busca 551 que é uma direção de busca de lado posterior no eixo temporal. Este método de seleção é o mesmo do método de seleção mostrado na Figura 28. Neste caso, por exemplo, digamos que quadros g+2,..., h,..., h+m,..., i tenham sido selecionados.

Também, digamos que nenhuma face tenha sido detectada com cada face incluído na seção alvo de composição de imagem 543. Neste caso, dos quadros incluídos na seção alvo de composição de imagem 543, o quadro j+1 no lado mais frontal no eixo temporal é selecionado como um quadro mais frontal 552. Subseqüentemente, um quadro é selecionado no sentido de uma direção de busca 553 que é uma direção de busca no lado posteriormente no eixo temporal. Este método de seleção é o mesmo método de seleção mostrado na Figura 28. Neste caso, por exemplo, digamos que quadros j+1,.... j+n,..., k-3 tenham sido selecionados.

Então, uma única ou múltiplas seções alvo de composição de imagem são selecionadas em relação a um único arquivo de imagem móvel, e quadros múltiplos são selecionados das seções alvo de composição de imagem deste. Uma imagem composta é criada usando os quadros múltiplos então selecionados.

Então, o número de identificação da seção alvo de composição de imagem selecionada, e cada número de quadro selecionado, são gravados na unidade de armazenagem de metadados de imagem alvo composta 270 de uma maneira correlacionada. Simultaneamente, os parâmetros de transformação conectada, informação de quadro mais frontal que indica o quadro mais frontal, e dados de face que são dados relativos a uma face detectada relativa a um quadro, são gravados na unidade de armazenagem de metadados de imagem alvo composta 270 de uma maneira correlacionada. Uma imagem composta pode ser exibida pelas operações do usuário usando cada peça de informação armazenada na unidade de armazenagem de metadados de imagem alvo composta 270. Por exemplo, uma imagem composta dos quadros g+2,..., h,..., h+m,..., i selecionados na seção alvo de composição de imagem 542 pode ser exibida. Também, uma imagem composta dos quadros j+1,.... j+n,..., k-3 selecionados na seção alvo de composição de imagem 543 pode ser exibido.

Agora, por exemplo, no caso em que uma face é incluída em quadros múltiplos constituindo uma imagem móvel, e no caso em que cada valor avaliado de expressão facial calculado em relação a cada face é menor que um certo valor, o quadro mais frontal selecionado usando a posição e tamanho incluídos em uma informação de detecção de face. Por exemplo, uma imagem pode ser selecionada como o quadro mais frontal, onde a posição da face detectada é deslocada para o centro, e o tamanho deste é relativamente grande.

Exemplo de Composição de Imagem

A seguir, uma imagem alvo de composição selecionada relativa a uma imagem móvel realmente convertida pela câmera, e um exemplo de composição da imagem alvo de composição são mostrados.

Anexo IV é um diagrama ilustrando um exemplo de uma imagem alvo composta selecionada observando uma imagem móvel convertida pela câmera. Anexo IV ilustra imagens 561 a 568 selecionadas em relação a uma imagem móvel no caso em que uma senhora de pé com a subida de uma montanha incluindo pedras como segundo plano é convertida enquanto se move a câmera. Digamos que esta imagem móvel tenha sido convertida em série no tempo, juntamente com uma direção de seta com a imagem correspondente ao quadro no lado frontal no eixo temporal, como uma imagem 561. Também, digamos que a posição da senhora servindo como assunto está geralmente no centro da imagem, e a imagem 566 servindo como uma face sorridente foi selecionada como o quadro mais frontal.

Anexos V e VI são diagramas ilustrando a transição de uma imagem composta criada pela unidade de composição de imagem 220 de acordo com a primeira realização da presente invenção. Imagens 571 a 578 mostradas nos Anexos V e VI são imagens onde um quadro branco é adicionado às periferias das imagens 561 a 568 mostradas no Anexo IV, e são as mesmas das imagens 561 a 568, exceto que um quadro branco é anexado a elas. Por exemplo, com a imagem 576 selecionada como a imagem mais frontal como referência, o tamanho de uma imagem composta para ser criada em relação às imagens 571 a 578 é calculado usando os parâmetros de transformação conectada correlacionados a outras imagens 561a575, 577 e 568. Com base no tamanho de uma imagem composta então calculada, a posição e tamanho do quadro mais frontal são calculados. Subseqüentemente, com base na posição e tamanho do quadro mais frontal, outras imagens são submetidas a transformação conectada seqüencialmente, e são compostas na memória de imagem 230. Por exemplo, conforme mostrado em (a) a (d) no Anexo V, e (a) no Anexo VI, os quadros selecionados na mesma seção alvo de composição de imagem, o quadro superior até o quadro imediatamente anterior da imagem mais frontal são compostos seqüencialmente em série no tempo. Quer dizer, as imagens 571 a 575 são compostas seqüencialmente. Subseqüentemente, por exemplo, conforme mostrado em (b) e (c) no Anexo VI, dentre os quadros selecionados na mesma seção alvo de composição de imagem, o último quadro até o quadro imediatamente anterior da imagem mais frontal são compostos seqüencialmente em série no tempo. Quer dizer, as imagens 577 e 578 são compostas seqüencialmente. Subseqüentemente, por exemplo, conforme mostrado em (d) no Anexo VI, a imagem mais frontal 576 selecionada na mesma seção alvo de composição de imagem é composta. Então, as imagens são superpostas a partir de cada um dentre o quadro superior e o último quadro relativos a cada quadro selecionado na mesma seção alvo de composição de imagem, e finalmente a imagem selecionada como o quadro mais frontal é sobrescrita a elas. Então, a imagem selecionada como o quadro mais frontal é exibida do lado superior, por meio da qual uma imagem composta limpa pode ser criada.

Então, um arquivo de metadados armazenado na unidade de armazenagem de metadados de imagem alvo composta 270 é usado para compor imagens parciais constituindo a imagem móvel, por meio do qual uma imagem composta no estilo panorâmico que representa uma cena incluída na imagem móvel desta pode ser criada. Neste caso, um quadro branco é adicionado a quadros que satisfazem a uma certa condição par compor os quadros sem usar todos os quadros consecutivos constituindo a imagem móvel, onde uma imagem móvel pode ser exibida de tal modo que fotos são adicionadas juntamente. Neste caso, uma imagem interessante que difere completamente de uma imagem visualizada no instante de reprodução de imagem móvel comum, pode ser provida. Também, uma imagem composta estilo panorâmico pode ser exibida automaticamente em relação a cada cena incluída na imagem móvel, onde o usuário pode entender prontamente se a imagem móvel desta é constituída ou não de quais tipos de cenas. Também, uma cena convertida em imagem pode ser exibida seletivamente, onde uma imagem significativa pode ser provida ao usuário. Também, uma imagem de face sorridente de uma pessoa é considerada como a imagem mais frontal, e com base nesta imagem, uma outra imagem servindo como alvo de composição é selecionada, onde uma imagem composta panorâmica pode ser provida de tal modo que é dada acentuação à pessoa de uma face sorridente desta.

Tem sido mostrado até então um exemplo onde a imagem selecionada como o quadro mais frontal é composta no topo de uma maneira sobrescrita, mas por exemplo, conforme mostrado no próximo desenho, pode ser composta de uma maneira sobrescrita na ordem de ponto no tempo, por seleção do usuário.

Anexo VII é um outro exemplo de composição de uma imagem composta criada pela unidade de composição de imagem 220 de acordo com a primeira realização da presente invenção. No Anexo VII, (a) ilustra uma tela de seleção de método de visualização 580 para selecionar um método de visualização para uma imagem composta criada pela unidade de composição de imagem 220 e exibida na unidade de visualização 250. Campos de verificação 581 e 582, uma tecla de "visualização de imagem composta estilo panorâmico" 583 e uma tecla de "cancelar" 584 são providas à tela de seleção de método de visualização 580.

O campo de verificação 581 é, conforme mostrado nos Anexos V e VI, um campo de verificação usado para selecionar um método de visualização onde o quadro mais frontal é superposto e composto no lado superior e exibido. O campo de verificação 582 é, conforme mostrado em (b) no Anexo VII, um campo de verificação usado para selecionar um método de exibição onde cada quadro é composto e exibido enquanto é superposto na seqüência em série no tempo. A e de operação para adicionar uma marcação de verificação a estes campos de verificação é executada usando um cursor 585.

A tecla de "visualização de imagem composta estilo panorâmico" 583 é uma tecla para ser pressionada no instante de visualizar uma imagem composta na unidade de visualização 250. Quer dizer, após uma marcação de verificação ser adicionada a um dos campos de verificação 581 e 582, a tecla de "visualização de imagem composta estilo panorâmico" 583 é pressionada usando o cursor 585, onde imagens compostas pelo método de composição ao qual uma marcação de verificação foi adicionada são exibidas seqüencialmente.

A tecla de "cancelar" 584 é uma tecla a ser pressionada no caso de eliminar a marcação de verificação adicionada a um dos campos de verificação 581 e 582.

Por exemplo, no caso em que a tecla de "visualização de imagem composta estilo panorâmico" 583 tenha sido pressionada em um estado no qual uma marcação de verificação é adicionada ao campo de verificação 581, conforme mostrado nos Anexos VI e VII, os quadros de ambos os lados do quadro mais frontal são compostos seqüencialmente, e o quadro mais frontal é superposto e composto no lado superior. Também, no caso em que a tecla de "visualização de imagem composta estilo panorâmico" 583 tiver sido pressionada em um estado no qual uma marcação de verificação é adicionada ao campo de verificação 582, conforme mostrado em (b) no Anexo VII, cada quadro é composto e visualizado sendo superposto na seqüência em série de tempo.

No Anexo VII, (b) ilustra as imagens 571 a 578 tendo sido compostas na seqüência de série no tempo. Notar que as imagens 571 a 578 são as mesmas das imagens 571 a 578 mostradas nos Anexos V e VI. Então, no caso em que as imagens são compostas na seqüência em série de tempo, o tempo de geração de imagem pode ser claramente entendido com referência à imagem composta visualizada. Entretanto, por exemplo, a próxima imagem é sobrescrita até uma região próxima de uma pessoa incluída na imagem 576, selecionada como o quadro mais frontal, há uma possibilidade de que a pessoa possa estar oculta. Portanto, por exemplo, dados de face armazenados na unidade de armazenagem de metadados de imagem alvo composta 270 em correlação com a imagem 576 são usados, por meio dos quais outras imagens podem ser evitadas de se superporem em uma certa faixa a partir da região de face.

No Anexo VII, (c) ilustra esquematicamente um caso em que uma imagem sobrescrita dentro de uma certa faixa (por exemplo, distância LI) de uma região de face 586 incluída na imagem 576 correspondente ao quadro mais frontal. Por exemplo, conforme mostrado em (c) no Anexo VII, no caso em que as imagens 571 a 578 são compostas normalmente em série de tempo, a imagem 577 é sobrescrita dentro da distância Ll a partir da região de face 586 incluída na imagem 576. Portanto, conforme mostrado em (c) no Anexo VII, a imagem 577 é movida em uma direção de seta 587 de modo a ser afastada da distância Ll ou mais da região de face 586 incluída na imagem 576. Portanto, no caso em que a imagem superposta do lado superior da imagem mais frontal é movida, as imagens após a imagem movida são também movidas pela mesma distância. Quer dizer, a imagem 578 é movida pela mesma distância que a imagem 577. Então, por exemplo, conforme mostrado em (c) no Anexo VII, os contornos da face de uma pessoa incluída na imagem 576 são vistos, onde uma imagem composta pode ser adicionalmente desfrutada.

Também, um arranjo pode ser feito onde imagens compostas relacionadas a imagens móveis simples ou múltiplas são criadas e armazenadas antecipadamente, cada imagem composta então armazenada é exibida com base na operação do usuário. Alternativamente, pode ser feito um arranjo onde a transição de composição de uma imagem composta é armazenada seqüencialmente para cada imagem de antemão, tal transição é exibida seqüencialmente.

Exemplo de Operação de Aparelho de Processamento de Imagem

A seguir, a operação do aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção será descrita com referência aos desenhos.

Figura 34 é um fluxograma ilustrando o procedimento de um processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção.

Primeiramente, a unidade de seleção de seção 160 executa um processo de extração de seção (etapa S930). Este processo de seleção de seção será descrito em detalhe com referência à Figura 35. Subseqüentemente, a unidade de seleção de imagem alvo composta 170 executa um processo de seleção de quadro (etapa S950). Este processo de seleção de quadro será descrito em detalhe com referência à Figura 36. Notar que etapas S930 e S950 são exemplos do procedimento de seleção referido no Sumário da Invenção.

Figura 35 é um fluxograma ilustrando um procedimento de extração de seção (o procedimento na etapa S930 mostrado na Figura 34) incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção.

Primeiramente, uma variável t é inicializada para "1" (etapa S931), e um quadro t constituindo um arquivo de imagem móvel é configurado como um quadro de referência (etapa S932). Subseqüentemente, o parâmetro de transformação conectada e pontuação de determinação de confiabilidade correspondentes ao quadro t são obtidos a partir de um arquivo de metadados armazenado na unidade de armazenagem de metadados 210 (etapa S933).

Subseqüentemente, o tempo decorrido T do quadro de referência para o quadro t é calculado (etapa S934) e é feita determinação se o tempo decorrido T excede ou não um limite TMl (etapa S935). No caso em que o tempo decorrido T excede o limite TMl (etapa S935), o fluxo avança para a etapa S946. Por outro lado, no caso em que o tempo decorrido T não excede o limite TMl (etapa S935), é feita determinação se a pontuação de determinação de confiabilidade SHS correspondente ao quadro t excede ou não o limite THl (etapa S936). No caso em que a pontuação de determinação de confiabilidade SHS correspondente ao quadro t excede o limite THl (etapa 5936), cada componente do trabalho de câmera é calculado a partir dos parâmetros de transformação conectada correspondentes ao quadro t (etapa 5937). Subseqüentemente, é feita determinação se todos os valores dos componentes de trabalho de câmera estão ou não incluídos na faixa de um limite (etapa S938). No caso em que todos os valores dos componentes de trabalho de câmera estão incluídos na faixa de um limite (etapa S938), a taxa de zoom correspondente a cada quadro a partir do quadro de referência para o quadro t é calculada (etapa S939).

Subseqüentemente, é feita determinação se a taxa de zoom calculada está ou não incluída na faixa de um limite (etapa S940). No caso em que a taxa de zoom calculada está incluída na faixa de um limite (etapa S940), a quantidade de movimento correspondente a cada quadro a partir do quadro de referência para o quadro t (componente translacional integral) é calculada (etapa S941). Subseqüentemente, é feita determinação se a quantidade de movimento calculada está ou não incluída na faixa de um limite (etapa S942). No caso em que a quantidade de movimento calculada está incluída no alcance de um limite (etapa S942), é feita determinação se o quadro t é ou não o último quadro, dentre quadros constituindo uma imagem móvel a ser processada (etapa S943), "1" é adicionado à variável t (etapa S944), e o fluxo retorna à etapa S933 onde o processo de seleção de seção é repetido. Por outro lado, no caso em que o quadro t é o último quadro (etapa S943), o processo de seleção de seção é terminado.

Também, no caso em que a pontuação de determinação de confiabilidade SHS correspondente ao quadro t não excede o limite THl (etapa S946) ou no caso em que todos os valores dos componentes de trabalho de câmera não estão incluídos na faixa de um limite (etapa S938), o fluxo avança para a etapa S945. Também, no caso em que a taxa de zoom calculada não está incluída na faixa de um limite (etapa S940), ou no caso em que a quantidade de movimento calculada não está incluída na faixa de um limite (etapa S942), o fluxo avança para a etapa S945.

Subseqüentemente, é feita determinação se o tempo decorrido T está abaixo ou não de uma faixa de seção alvo de composição de imagem TM2 (etapa S945). No caso em que o tempo decorrido T não está abaixo da faixa de seção alvo de composição de imagem TM2 (etapa S945), a seção a partir do quadro de referência para o quadro t é selecionada como uma seção alvo de composição de imagem (etapa S946). Por outro lado, no caso em que o tempo decorrido T está abaixo da faixa da seção alvo de composição de imagem TM2 (etapa S945), "1" é adicionado à variável t (etapa S947) e o fluxo retorna à etapa S932, onde o processo de seleção de seção é repetido.

Figura 36 é um fluxograma ilustrando um procedimento de seleção de quadro (o procedimento na etapa S950 mostrado na Figura 34) incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção.

Primeiramente, os parâmetros de transformação conectada, informação de detecção de face e valor avaliado de expressão facial correspondendo a cada quadro incluído em uma seção alvo de composição de imagem selecionada pela unidade de seleção de seção 160 são obtidos a partir de um arquivo de metadados armazenados na unidade de armazenagem de metadados 210 (etapa S951). Subseqüentemente, o tamanho para compor a imagem correspondente a cada quadro é calculado usando os parâmetros de transformação conectada correspondentes a cada quadro incluído na seção alvo de composição de imagem obtida, e dois meios de armazenagem temporária de trabalho possuindo este tamanho são seguros (etapa S952).

Subseqüentemente, é feita determinação com base na informação de detecção de face obtida, se uma face está ou não incluída na imagem correspondente a cada quadro incluído na seção alvo de composição de imagem servindo como um alvo de seleção (etapa S953). No caso em que uma face está incluída na imagem correspondente a cada quadro (etapa S953), a imagem possuindo o valor mais alto do valor avaliado de expressão facial correspondente a cada imagem incluindo uma face é selecionado como o quadro mais frontal (etapa S954). Por outro lado, no caso em que nenhuma face está incluída na imagem correspondente a cada quadro (etapa S953), o quadro superior dentre os quadros incluídos na seção alvo de composição de imagem é selecionado como o quadro mais frontal (etapa S955).

Subseqüentemente, o quadro mais frontal selecionado é colado no primeiro meio de armazenagem temporária de trabalho (etapa S956), e cada peça de metadados relacionada ao quadro mais frontal selecionado é gravada na unidade de armazenagem de metadados de imagem alvo composta 270 (etapa S957). Subseqüentemente, uma taxa de superposição entre o quadro mais frontal selecionado, e o quadro adjacente a uma das direções do quadro mais frontal é calculado (etapa S958). Quer dizer, o quando servindo como um alvo de cálculo de taxa de superposição é colado não segundo meio de armazenagem temporária de trabalho e uma taxa de superposição como para o quadro mais frontal colado no primeiro meio de armazenagem temporária de trabalho é calculada.

Subseqüentemente, é feita determinação se a taxa de superposição calculada está ou não abaixo de um limite (etapa S959). No caso em que a taxa de superposição calculada está abaixo de um limite (etapa S959), o quadro servindo como o alvo de cálculo de taxa de superposição é selecionado, e o quadro selecionado é colado no primeiro meio de armazenagem temporária de trabalho (etapa S960). Subseqüentemente, cada peça de metadados relacionada ao quadro selecionado é gravada na unidade de armazenagem de metadados de imagem alvo composta 270 (etapa S961) e o fluxo avança para a etapa S962.

Por outro lado, no caso em que a taxa de superposição calculada não está abaixo de um limite (etapa S959), é feita determinação se o cálculo de uma taxa de superposição relativa a cada quadro incluído na seção alvo de composição de imagem servindo como um alvo de seleção foi completado ou não (etapa S962). No caso em que o cálculo de uma taxa de superposição relativa a cada quadro não tiver sido completado (etapa S962) a taxa de superposição de um quadro adjacente ao quadro cuja taxa de superposição tenha sido calculada imediatamente antes, é calculada (etapa S964). Quer dizer, o quadro servindo como um alvo de cálculo de taxa de superposição é colado no segundo meio de armazenagem temporária de trabalho, e uma taxa de superposição como para a imagem composta colada no primeiro meio de armazenagem temporária de trabalho é calculada. Notar que, no caso em que o quadro cuja taxa de superposição não tenha sido calculada imediatamente antes é o quadro superior ou o último quadro da seção alvo de composição de imagem, a taxa de superposição do quadro adjacente à outra direção do quadro mais frontal é calculada.

No caso em que o cálculo de uma taxa de superposição relativo a cada quadro incluído na seção alvo de composição de imagem servindo como um alvo de seleção tenha sido completado (etapa S962), é feita determinação se o processo de seleção de quadro foi completado ou não em relação a todas as seções alvo de composição de imagem pela unidade de seleção de seção 160 (etapa S963). No caso em que o processo de seleção de quadro não tiver sido completado em relação a todas as seções alvo de composição de imagem (etapa S963), o fluxo retorna à etapa S951, onde o processo de seleção de quadro é repetido (etapas S951 a S964). Por outro lado, no caso em que o processo de seleção de quadro tiver sido completado em relação a todas as seções alvo de composição de imagem (etapa S963) a operação do processo de seleção de quadro é terminada.

Figura 37 é um fluxograma ilustrando o procedimento de um processo de visualização de imagem composta pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção. Com este exemplo, o quadro mais frontal é superposto e composto sobre o lado superior. Também, com este exemplo, será feita descrição relativa a um exemplo onde imagens compostas relativas a um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200 são exibidos seqüencialmente.

Primeiramente, a unidade de obtenção de arquivo 180 obtém cada peça de metadados armazenados na unidade de armazenagem de metadados de imagem alvo composta 270 (etapa S970). Subseqüentemente, a unidade de obtenção de arquivo 180 decodifica o arquivo de imagem móvel correspondente a cada peça de metadados obtida, e obtém cada quadro constituindo o arquivo de imagem móvel (etapa S971). Subseqüentemente, o tamanho para compor a imagem correspondente a cada quadro é calculado usando cada um dos parâmetros de transformação conectada incluídos nos metadados de uma das seções alvo de composição de imagem obtidas servindo como um alvo composto, e meio de armazenagem temporária de trabalho possuindo este tamanho é mantido na memória de imagem 230 (etapa S972). Também, com base no tamanho da imagem composta então calculada, a posição e tamanho do quadro mais frontal são calculados.

Subseqüentemente, é feita determinação com base na informação de quadro mais frontal incluída nos metadados obtidos, se o quadro mais frontal é ou não o quadro superior na seção alvo de composição de imagem (etapa S973). No caso em que o quadro mais frontal é o quadro superior na seção alvo de composição de imagem (etapa S973), de cada quadro incluído nos metadados obtidos, imagens são extraídas na ordem ascendente dos números de quadros (etapa S974).

Subseqüentemente, a unidade de transformação de imagem 190 usa os parâmetros de transformação conectada correlacionados com a imagem extraída para submeter a imagem desta a transformação conectada (etapa S975). Subseqüentemente, a unidade de composição de imagem 220 adiciona um quadro branco à periferia da imagem submetida a transformação conectada, e mantém a imagem à qual o quadro branco foi adicionado na memória de imagem 230 (etapa S976). Quer dizer, a imagem submetida a transformação conectada à qual o quadro branco foi adicionada, é composta como uma imagem histórica armazenada na memória de imagem 230. Notar que, no caso da primeira imagem, somente a imagem desta é mantida na memória de imagem 230. Subseqüentemente, a unidade de controle de visualização 240 controla a unidade de visualização 250 para exibir a imagem composta mantida na memória de imagem 230 (etapa S977). Subseqüentemente, é feita determinação se a imagem mantida na memória de imagem 230 é ou não o último quadro na seção alvo de composição de imagem servindo como um alvo de composição (etapa S978). No caso em que a imagem mantida na memória de imagem 230 é o último quadro (etapa S978), é feita determinação se o processo de visualização de imagem composta foi ou não completado em relação a todas as seções alvo de composição de imagem (etapa S979). No caso em que o processo de visualização de imagem composta não tiver sido completado em relação a todas as seções alvo de composição de imagem (etapa S979), o fluxo retorna à etapa S972, onde o processo de visualização de imagem composta é repetido (etapas S972 a S978 e S980). Por outro lado, no caso em que o processo de visualização de imagem composta tiver sido completado em relação a todas as seções alvo de composição de imagem (etapa S979), a operação do processo de visualização de imagem composta é terminado.

Também, no caso em que o quadro mais frontal não é o quadro superior na seção alvo de composição de imagem (etapa S973), um processo de composição de imagem é executado (etapa S980). Este processo de composição de imagem será descrito em detalhe com referência à Figura 38.

Figura 38 é um fluxograma ilustrando um procedimento de composição de imagem (o procedimento na etapa S980 mostrado na Figura 37) incluído no procedimento do processo de visualização de imagem composta pelo aparelho de processamento de imagem 100 de acordo com a primeira realização da presente invenção. Com este exemplo, após composição de imagem ser executada na direção do quadro mais frontal a partir do quadro superior na seção alvo de composição de imagem, composição de imagem é executada na direção do quadro mais frontal a partir do último quadro, e finalmente o quadro mais frontal é composto.

Primeiramente, de cada quadro incluído nos metadados obtidos, imagens são extraídas na ordem ascendente de números de quadro (etapa S981). Subseqüentemente, a unidade de transformação de imagem 190 usa os parâmetros de transformação conectada correlacionados à imagem extraída para submeter a imagem desta a transformação conectada (etapa S982). Subseqüentemente, a u22 adiciona um quadro branco à periferia da imagem submetida a transformação conectada, e mantém a imagem à qual o quadro branco foi adicionado na memória de imagem 230 (etapa S983). Quer dizer, a imagem submetida a transformação conectada à qual o quadro branco foi adicionado é composta como para uma imagem histórica armazenada na memória de imagem 230. Notar que, no caso da primeira imagem, somente a imagem desta é mantida na memória de imagem 230. Subseqüentemente, a unidade de controle de visualização 240 controla a unidade de visualização 250 para exibir a imagem composta mantida na memória de imagem 230 (etapa S984). Subseqüentemente, é feita determinação se a imagem mantida na memória de imagem 230 é ou não o quadro imediatamente antes do quadro mais frontal na seção alvo de composição de imagem servindo como um alvo de composição (etapa S985). No caso em que a imagem mantida na memória de imagem 230 não é o quadro imediatamente antes do quadro mais frontal (etapa S985), o fluxo retorna à etapa S981, onde o processo de composição de imagem é repetido do quadro superior para o quadro imediatamente anterior ao quadro mais frontal (etapas S981 a S984).

Por outro lado, no caso em que a imagem mantida na memória de imagem 230 é o quadro imediatamente antes do quadro mais frontal (etapa S985), de cada quadro incluído nos metadados obtidos, imagens são extraídas seqüencialmente na ordem descendente de números de quadros (etapa S986). Subseqüentemente, a unidade de transformação de imagem 190 usa os parâmetros de transformação conectada correlacionados à imagem extraída para submeter a imagem desta a transformação conectada (etapa S987). Subseqüentemente, a unidade de composição de imagem 220 adiciona um quadro branco à periferia da imagem submetida a transformação conectada, e mantém esta imagem à qual o quadro branco foi adicionado na memória de imagem 230 (etapa S988). Quer dizer, a imagem submetida a transformação conectada à qual o quadro branco foi adicionado é composta como para a imagem histórica mantida na memória de imagem 230. Subseqüentemente, a unidade de controle de visualização 240 controla a unidade de visualização 250 para exibir a imagem composta mantida na memória de imagem 230 (etapa S989). Subseqüentemente, é feita determinação se a imagem mantida na memória de imagem 230 é ou não o quadro imediatamente anterior ao quadro mais frontal na seção alvo de composição de imagem servindo como um alvo de composição (etapa S990). No caso em que a imagem mantida na memória de imagem 230 não é o quadro imediatamente após o quadro mais frontal (etapa S990) o fluxo retorna à etapa S986, onde o processo de composição de imagem é repetido do último quadro para o quadro imediatamente anterior ao quadro mais frontal (etapas S986 a S989).

Por outro lado, no caso em que a imagem mantida na memória de imagem 230 é o quadro imediatamente antes do quadro mais frontal (etapa S990), a imagem do quadro mais frontal é extraída (etapa S991). Subseqüentemente, a unidade de transformação de imagem 190 usa os parâmetros de transformação conectada correlacionados à imagem extraída do quadro mais frontal para submeter a imagem do quadro mais frontal a transformação conectada (etapa S992). Notar que os parâmetros de transformação conectada correlacionados ao quadro mais frontal consistem dos valores de uma matriz unidade, e conseqüentemente, a imagem do quadro mais frontal não é transformada realmente. Subseqüentemente, a unidade de composição de imagem 220 adiciona um quadro branco à periferia da imagem do quadro mais frontal submetido a transformação conectada, e mantém a imagem à qual o quadro branco foi adicionado na memória de imagem 230 (etapa S993). Quer dizer, a imagem submetida a transformação conectada à qual o quadro branco foi adicionado é composta como para a imagem histórica mantida na memória de imagem 230. Subseqüentemente, a unidade de controle de visualização 240 controla a unidade de visualização 250 para exibir a imagem composta mantida na memória de imagem 230 (etapa S994).

2. Segunda Realização

Exemplo de Configuração do Aparelho de Processamento de Imagem

Com a primeira realização da presente invenção, um exemplo foi descrito onde no instante de calcular parâmetros de transformação conectada relacionados entre quadros, a taxa de um ponto de característica que apresenta movimento dominante é calculada como uma pontuação de determinação de confiabilidade. Será feita descrição em detalhe abaixo relativa a um exemplo onde uma pontuação de determinação de confiabilidade é calculada usando um outro método de cálculo, com referência aos desenhos. Aqui, a configuração funcional de acordo com a segunda realização da presente invenção é geralmente a mesma do aparelho de processamento de imagem 100, exceto que a unidade de detecção de trabalho de câmera 120 incluída no aparelho de processamento de imagem 100 mostrado na Figura 1 difere. Portanto, a configuração diferente da unidade de detecção de trabalho de câmera 120 será indicada pelos mesmos numerais de referência que os da primeira realização da presente invenção, e somente a configuração tendo função diferente será descrita, e outra descrição será omitida.

Figura 39 é um diagrama em blocos ilustrando um exemplo de configuração funcional de uma unidade de detecção de trabalho de câmera 125 de acordo com a segunda realização da presente invenção. A unidade de detecção de trabalho de câmera 125 inclui uma unidade de extração de ponto de característica 121, uma unidade de cálculo de fluxo óptico 122, uma unidade de cálculo de parâmetro de trabalho de câmera 123 e uma unidade de cálculo de pontuação de determinação de confiabilidade 126. Aqui, a unidade de extração de ponto de característica 121, unidade de cálculo de fluxo óptico 122 e unidade de cálculo de parâmetro de trabalho de câmera 123 são as mesmas daquelas na unidade de detecção de trabalho de câmera 120 mostrada na Figura 2. Portanto, será feita descrição com a unidade de cálculo de pontuação de determinação de confiabilidade 126 como centro. Também, com este exemplo, será feita descrição relativa a um exemplo onde uma pontuação de determinação de confiabilidade é calculada usando o valor de diferença de luminância entre pixéis incluídos em uma região superpostas dos dois quadros consecutivos.

A unidade de cálculo de pontuação de determinação de confiabilidade 126 usa os parâmetros de trabalho de câmera emitidos a partir da unidade de cálculo de parâmetro de trabalho de câmera 123 para calcular uma pontuação de determinação de confiabilidade relativa a dois quadros consecutivos constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, e emite a pontuação de determinação de confiabilidade calculada para a unidade de controle de gravação 150. Notar que o cálculo de pontuação de determinação de confiabilidade será descrito em detalhe com referência à Figura 40.

Exemplo de Cálculo de Pontuação de Determinação de Confiabilidade

Figura 40 é um diagrama ilustrando uma visão geral de um método de cálculo no instante de calcular uma pontuação de determinação de confiabilidade pela unidade de cálculo de pontuação de determinação de confiabilidade 126 de acordo com a segunda realização da presente invenção. Figura 40 ilustra um quadro prévio 590 e um quadro subseqüente no eixo temporal como dois quadros consecutivos constituindo a imagem móvel. Também, (a) na Figura 40 ilustra um caso em que o quadro 591 é submetido a transformação conectada com o quadro 590 como uma referência, e o quadro 591 após transformação conectada é superposto como para o quadro 590. Também, a faixa de uma região superposta 592 entre os quadros 590 e 591 é indicada por uma linha grossa. Na Figura 40, (b) ilustra o quadro 590 mostrado em (a) na Figura 40, e (c) na Figura 40 ilustra o quadro 591 mostrado em (a) na Figura 40. Também, digamos que um quadrado incluídos nos quadros 590 e 591 indica um pixel constituindo cada quadro. Notar que (b) e (c) na Figura 40 ilustra somente os pixéis incluídos na região superposta 592 usando um quadrado.

No caso em que a unidade de cálculo de pontuação de determinação de confiabilidade 126 calcula uma pontuação de determinação de confiabilidade, primeiramente, com vista aos dois quadros consecutivos constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, o quadro subseqüente é submetido a transformação conectada com o quadro prévio no eixo temporal de um quadro de referência. Esta transformação conectada é executada usando os parâmetros de trabalho de câmera emitidos a partir da unidade de cálculo de parâmetro de trabalho de câmera 123 (parâmetros de transformação conectada relativos ao quadro anterior (quadro de referência) e ao quadro subseqüente). Subseqüentemente, a unidade de cálculo de pontuação de determinação de confiabilidade 126 calcula o valor absoluto do valor de diferença de luminância entre pixéis incluídos na região superposta após transformação conectada. Subseqüentemente, a unidade de cálculo de pontuação de determinação de confiabilidade 126 calcula o valor total do valor absoluto do valor de diferente calculado para cada pixel, e calcula como uma pontuação de determinação de confiabilidade um valor obtido dividindo o valor total calculado pelo número de pixéis servindo como alvos de cálculo.

Por exemplo, conforme mostrado e (a) a (c) na Figura 40, suponhamos coordenadas x-y onde o canto esquerdo superior do quadro 590 é considerado como origem, o lado do lado superior do quadro 590 é considerado como o eixo χ e o lado do lado esquerdo do quadro 590 é considerado como o eixo x, e o lado do lado esquerdo do quadro 590 é considerado como o eixo y. Com estas coordenadas x-y, por exemplo, digamos que o valor de luminância nas coordenadas (i, j) da região superposta do quadro 590 é II (i, j) e o valor de luminância nas coordenadas (i, j) da região superposta do quadro 591 é 12 (i, j). Também, se dissermos que o número de pixéis usado para cálculo de um valor de diferença é Pnum, uma pontuação de determinação de confiabilidade SHSl pode ser obtida com a seguinte expressão.

<formula>formula see original document page 107</formula>

Aqui, R representa a região superposta entre os quadros 590 e 591. Quer dizer, tais como setas 593 a 595 mostradas em (b) e (c) na Figura 40, dos pixéis incluídos na região superposta entre os quadros 590 e 501, o valor absoluto do valor de diferença de luminância dos dois pixéis dispostos nas posições correspondentes é calculado seqüencialmente. Subseqüentemente, a pontuação de determinação de confiabilidade SHSl é calculada usando os valores absolutos destes valores de diferença.

Então, a pontuação de determinação de confiabilidade calculada pela unidade de cálculo de pontuação de determinação de confiabilidade 126 é emitida para a unidade de controle de gravação 150, e é gravada na unidade de armazenagem de metadados 210. Especificamente, a pontuação de determinação de confiabilidade é gravada na pontuação de determinação de confiabilidade 217 do arquivo de metadados 211 mostrado no Anexo I. Notar que o conteúdo gravado da pontuação de determinação de confiabilidade 217 tem um valor numérico diferente do caso mostrado no Anexo I. Também, a unidade de seleção de seção 160 usa esta pontuação de determinação de confiabilidade para executar seleção de uma seção alvo de composição de imagem com base na pontuação de determinação de confiabilidade exceder ou não um limite. Por exemplo, no caso em que a pontuação de determinação de confiabilidade estiver abaixo de um certo limite, a confiabilidade pode ser determinada como alta.

Foi feita até agora descrição relativa ao caso em que uma pontuação de determinação de confiabilidade é calculada usando todos os pixéis incluídos na região de superposição de dois quadros consecutivos. Entretanto, por exemplo, uma pontuação de determinação de confiabilidade pode ser calculada usando informação relativa a um ponto de característica servindo como um alvo de cálculo de parâmetro de transformação conectada pela unidade de cálculo de parâmetro de trabalho de câmera 123.

Exemplo de Configuração de Aparelho de Processamento de Imagem

Figura 41 é um diagrama em blocos ilustrando um exemplo de configuração funcional de uma unidade de detecção de trabalho de câmera 127 de acordo com a segunda realização da presente invenção. A unidade de detecção de trabalho de câmera 127 inclui uma unidade de extração de ponto de característica 121, uma unidade de cálculo de fluxo óptico 122, uma unidade de cálculo de parâmetro de trabalho de câmera 123 e uma unidade de cálculo de pontuação de determinação de confiabilidade 128. Aqui, a unidade de extração de ponto de característica 121, unidade de cálculo de fluxo óptico 122 e unidade de cálculo de parâmetro de trabalho de câmera 123 são as mesmas da unidade de detecção de trabalho de câmera 120 mostrada na Figura 2. Portanto, será feita descrição abaixo com a unidade de cálculo de pontuação de determinação de confiabilidade 128 como centro. Também, com este exemplo, será feita descrição relativa a um exemplo onde, dentre os pixéis incluídos na região superposta de dois quadros consecutivos, uma pontuação de determinação de confiabilidade é calculada usando o valor de diferença de luminância de pixéis dispostos em torno de um ponto de característica que apresenta movimento dominante.

A unidade de cálculo de pontuação de determinação de confiabilidade 128 calcula uma pontuação de determinação de confiabilidade relativa aos dois quadros consecutivos constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, e emite a pontuação de determinação de confiabilidade calculada para a unidade de controle de gravação 150. Com este cálculo de pontuação de determinação de confiabilidade, os parâmetros de trabalho de câmera calculados pela unidade de cálculo de parâmetro de trabalho de câmera 123, e os pontos de característica usados para este cálculo de parâmetro de trabalho de câmera são usados. Notar que o cálculo de pontuação de determinação de confiabilidade será descrito em detalhe com referência à Figura 42.

Cálculo de Pontuação de Determinação de Confiabilidade

Figura 42 é um diagrama ilustrando uma visão geral de um método de cálculo no instante de calcular uma pontuação de determinação de confiabilidade pela unidade de cálculo de pontuação de determinação de confiabilidade 128 de acordo com a segunda realização da presente invenção. Agora, a relação entre os quadros 590 e 591 mostrada na Figura 42, e a região superposta 592 entre os quadros 590 e 591 são as mesmas daquelas na Figura 40, e conseqüentemente, a descrição destas será omitida aqui. Notar que (b) e (c) na Figura 42 ilustram a faixa da região superposta 592 usando uma linha tracejada. Também, com cada pixel (indicado por um quadrado) incluído na região superposta 592 mostrado em (a) a (c) na Figura 42, um ponto de característica que apresenta movimento dominante é representado por um único círculo com um quadrado, e os outros pontos de característica são representados por um círculo duplo dentro de um quadrado. Por exemplo, a região superposta 592 mostrada em (a) a (c) na Figura 40 inclui quatro pontos de característica que apresentam movimento dominante, e o outro ponto de característica único. Com este exemplo, será feita descrição relativa a um exemplo no qual, dos pixéis incluídos na região superposta 592, pixéis (por exemplo, 8 pixéis vizinhos) em torno de quatro pontos de característica que apresentam movimento dominante, são usados para calcular um valor de diferença de luminância. Aqui, dos pixéis incluídos na região superposta 592, pixéis em torno de outro ponto de característica único não são usados. Também, por exemplo, no caso em que os pixéis em torno dos quatro pontos de característica que apresentam movimento dominante, e os pixéis em torno de outro ponto de característica único são comuns, é dada prioridade a um ponto de característica, e estes pixéis não são usados para cálculo. Quer dizer, com o exemplo mostrado na Figura 42, cada pixel incluído nas regiões 601 a 608 é usado como um alvo de cálculo de pontuação de determinação de confiabilidade.

No caso em que a unidade de cálculo de pontuação de determinação de confiabilidade 128 calcula uma pontuação de determinação de confiabilidade, primeiramente, dos dois quadros consecutivos constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, o quadro prévio é tomado como um quadro de referência no eixo dos tempos, e o quadro subseqüente é submetido à transformação conectada. Esta transformação conectada é a mesma do exemplo mostrado na Figura 40. Subseqüentemente, a unidade de cálculo de pontuação de determinação de confiabilidade 128 calcula, dois pixéis incluídos nos dois quadros consecutivos, o valor absoluto do valor de diferença de luminância de pixéis em torno de um ponto de característica que apresenta movimento dominante incluído na região de superposição, após transformação conectada. Subseqüentemente, a unidade de cálculo de pontuação de determinação de confiabilidade 128 calcula o valor total do valor absoluto do valor de diferença calculado para cada pixel em torno de um ponto de característica que apresenta movimento dominante, e calcula como uma pontuação de determinação de confiabilidade um valor obtido dividindo o valor total calculado pelo número de pixéis servindo como alvos de cálculo.

Por exemplo, suponhamos coordenadas x-y onde o canto superior esquerdo do quadro 590 é tomado como a origem, o lado do lado superior do quadro 590 é tomado como eixo χ e o lado do lado esquerdo do quadro 590 é considerado como o eixo y. Com estas coordenadas x-y, por exemplo, digamos que o valor de luminância nas coordenadas (i, j) da região de superposição do quadro 590 é III (i, j) e o valor de luminância nas coordenadas (i, j) da região de superposição do quadro 591 é 112 (i, j). Também, se dizemos que o número de pixéis usado para cálculo de um valor de diferença é Pl num, uma pontuação de determinação de confiabilidade SHS2 é obtida com a seguinte expressão:

<formula>formula see original document page 111</formula>

Aqui, Rl representa as regiões (por exemplo, 8 regiões vizinhas) em torno de um ponto de característica que apresenta movimento dominante, da região de superposição entre os quadros 590 e 591. Notar que, no caso em que os pixéis em torno de um ponto de característica que apresenta movimento dominante, e os pixéis em torno do outro ponto de característica são comuns, digamos que Rl é tomada como uma região na qual tais pixéis não estão incluídos. Quer dizer, o valor absoluto do valor de diferença de luminância de dois pixéis dispostos nas posições correspondentes é calculado em relação às regiões 601 a 608 mostradas em (b) e (c) na Figura 42. Subseqüentemente, os valores absolutos destes valores de diferença são usados para calcular a pontuação de determinação de confiabilidade SHS2. Então, a pontuação de determinação de confiabilidade calculada pela unidade de cálculo de pontuação de determinação de confiabilidade 128 é emitida para a unidade de controle de gravação 150, e é gravada na unidade de armazenagem de metadados 210. Especificamente, a pontuação de determinação de confiabilidade é gravada na pontuação de determinação de confiabilidade 217 do arquivo de metadados 211 mostrado no Anexo I. Notar que o conteúdo gravado da pontuação de determinação de confiabilidade 217 possui um valor numérico do caso mostrado no Anexo I. Também, a unidade de seleção de seção 160 usa esta pontuação de determinação de confiabilidade para efetuar seleção de uma seção alvo de composição de imagem com base na pontuação de determinação de confiabilidade exceder ou não um limite. Por exemplo, no caso em que a pontuação de determinação de confiabilidade está abaixo de um certo limite, a confiabilidade pode ser determinada como alta.

Até então foi descrito um exemplo onde um valor de diferença de luminância é usado para calcular uma pontuação de determinação de confiabilidade. Entretanto, um arranjo pode ser feito onde, ao invés de um valor de diferença de luminância, por exemplo, um valor de diferença é calculado em relação a cada um dentre G (verde), R (vermelho) e B (azul), e baseado neste valor de diferença uma pontuação de determinação de confiabilidade é calculada.

Também, por exemplo, pode ser feito um arranjo onde um filtro Gaussiano é aplicado às imagens correspondentes a dois quadros consecutivos, para suavizar as imagens, as imagens suavizadas são reduzidas e os pixéis das imagens reduzidas são usados para calcular uma pontuação de determinação de confiabilidade do mesmo modo que acima.

Também, foi descrito um exemplo até então onde as imagens correspondentes aos dois quadros consecutivos são usadas para calcular uma pontuação de determinação de confiabilidade, mas por exemplo, informação de sensor de câmera pode ser usada para calcular uma pontuação de determinação de confiabilidade. Por exemplo, no caso em que uma imagem móvel é gravada por uma câmera incluindo um sensor de aceleração triaxial e um giro sensor triaxial, a informação de sensor emitida a partir destes sensores é gravada de uma maneira correlacionada à imagem móvel como informação de movimento de câmera. Subseqüentemente, a imagem móvel correlacionada à informação de sensor é inserida na unidade de entrada de imagem móvel 110, e o valor de diferença entre a informação de movimento calculada em relação a cada quadro constituindo esta imagem móvel, e a informação de movimento especificada com a informação de sensor é calculada. Subseqüentemente, este valor de diferença pode ser usado como uma pontuação de determinação de confiabilidade. Neste caso, no caso em que a pontuação de determinação de confiabilidade não excede um limite, a confiabilidade pode ser determinada como sendo alta. Quer dizer, um método pode ser empregado no qual, no caso em que o grau de coincidência entre movimento de imagem estimado usando a informação de sensor emitida a partir da câmera, e movimento de imagem calculado a partir de uma imagem constituindo uma imagem móvel é grande, a confiabilidade é determinada como alta.

3. Terceira Realização

Exemplo de Operação do Aparelho de Processamento de Imagem

Com a primeira realização da presente invenção, foi feita descrição relativa a um exemplo onde uma face ou face sorridente incluídas em uma imagem são usadas para selecionar um quadro mais frontal. Com a terceira realização da presente invenção, será feita descrição em detalhe relativa a um exemplo onde atributos de face ou um estado de face diferente de uma face sorridente relativos a uma face, é usado para selecionar um quadro mais frontal, com referência aos desenhos.

Figura 43 é um diagrama em blocos ilustrando um exemplo de configuração funcional de um aparelho de processamento de imagem 101 de acordo com a terceira realização da presente invenção. O aparelho de processamento de imagem 101 inclui uma unidade de seleção de imagem alvo de composição 171, uma unidade de determinação de estado de atributo de face 280, uma unidade de armazenagem de informação de referência 281 e uma unidade de armazenagem de metadados 290. Notar que a outra configuração funcional é geralmente a mesma daquela no aparelho de processamento de imagem 100 mostrado na Figura 1, e conseqüentemente, os mesmos numerais de referência dos numerais de referência do aparelho de processamento de imagem 100 são denotados para eles, será feita descrição com componentes possuindo uma função diferente como o centro, e outra descrição será omitida.

A unidade de seleção de imagem alvo de composição 171 usa metadados armazenados na unidade de armazenagem de metadados 290 para selecionar um quadro usado para criar uma imagem composta a partir da quadro incluídos na seção alvo de composição de imagem emitida a partir da unidade de seleção de seção 160, e emite informação de imagem alvo composta relacionada ao quadro selecionado (informação de seleção de quadro) à unidade de controle de gravação 150. Notar que a seleção de imagem alvo composta será descrita em detalhe com referência a Figuras 45 a 48.

A unidade de determinação de estado de atributo de face 280 usa a informação de referência armazenada na unidade de armazenagem de informação de referência 281 para determinar os atributos e estado da face detectada pela unidade de detecção de face 130, e emite resultados de determinação para a unidade de controle de gravação 150. Especificamente, a unidade de determinação de estado de atributo de face 280 calcula um valor de correlação que indica correlatividade entre uma imagem de face extraída de uma imagem constituindo a imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 e normalizada, e vários tipos de dados armazenados na unidade de armazenagem de informação de referência 281, determina a altura de correlatividade com base no valor de correlação calculado e extrai vários tipos de dados relativos à imagem de face normalizada. Tal processo de extração é executado repetidamente, e baseado em vários tipos de dados extraídos, a expressão facial e assim por diante da imagem de face normalizada são determinadas. Então, no sentido de reconhecer a face de uma pessoa, uma técnica pode ser empregada para executar coincidência de modelo com uma base de dados na qual um grande número de dados de face é integrado (por exemplo, ver Publicação de Pedido de Patente Não Examinada Japonesa No. 2003-271933, Publicação de Pedido de Patente Não Examinada Japonesa No. 2004-30629, etc.). Por exemplo, uma base de dados de face sorridente é estabelecida a partir de um grande número de amostras de face sorridente antecipadamente, esta e uma imagem de face extraída parcialmente da imagem são submetidas a um processo de coincidência de modelo, onde pode ser feita determinação se a face é uma face sorridente ou uma face não sorridente. Similarmente, pode também ser feita determinação relativa a outros atributos ou estados. Notar que pode ser feita determinação usando o valor avaliado mostrado na primeira realização da presente invenção. Também, a unidade de determinação de estado de atributo de face 280 é um exemplo da unidade de determinação referida no Sumário da Invenção.

A unidade de armazenagem de informação de referência 281 armazena informação de referência tal como várias porções de uma face usada para determinação de gênero, e fornece a informação de referência armazenada à unidade de determinação de estado de atributo de face 280. Notar que a informação de referência armazenada na unidade de armazenagem de informação de referência 281 será descrita em detalhe com referência à Figura 44A e ao Anexo VIII.

A unidade de armazenagem de metadados 290 armazena vários tipos de informação emitida a partir da unidade de detecção de trabalho de câmera 120, unidade de detecção de face 130 e unidade de determinação de estado de atributo de face 280, de uma maneira correlacionada a uma imagem móvel e um quadro como um arquivo de metadados baseado no controle da unidade de controle de gravação 150. Também, a unidade de armazenagem de metadados 290 fornece um arquivo de metadados à unidade de seleção de seção 160 e unidade de seleção de imagem alvo de composição 171. Notar que o arquivo de metadados armazenado na unidade de armazenagem de metadados 290 será descrito em detalhe com referência à Figura 44A e ao Anexo VIII.

Figura 44A e Anexo VIII são diagramas ilustrando esquematicamente conteúdo armazenado na unidade de armazenagem de informação de referência 281 e na unidade de armazenagem de metadados 290, de acordo com a terceira realização da presente invenção. Figura 44A ilustra informação de referência armazena na unidade de armazenagem de informação de referência 281. Esta informação de referência é, por exemplo, uma própria imagem tal como os olhos, boca ou similar, isto é, uma base de dados de característica servindo como uma face de uma pessoa, uma base de dados de característica relacionada a uma face de pessoa específica, ou similar. Por exemplo, conforme mostrado na Figura 44A, uma base de dados de gênero 282, uma base de dados de idade 283, uma base de dados de face sorridente 284, uma base de dados de fechamento de olho 285 e uma base de dados de caracteres 286, são armazenadas na unidade de armazenagem de informação de referência 281. A base de dados de gênero 282 é uma base de dados usada para determinar o gênero de uma imagem de face, e a base de dados de idade 283 é uma base de dados usada para determinar a idade da imagem de face. Também, a base de dados de face sorridente 284 é uma base de dados usada para determinar a face sorridente de uma imagem de face, e a base de dados de fechamento de olho 285 é uma base de dados usada para determinar fechamento de olho de uma imagem de face. Também, a base de dados de caracteres 286 é uma base de dados usada para determinar uma pessoa determinada pelo usuário como caracteres. Em geral, de acordo com dados de característica, um grande número de vários tipos de base de dados pode ser mantido com relativamente pouca capacidade de armazenagem, se comparada à própria imagem.

Anexo VIII ilustra esquematicamente um arquivo de metadados 291 armazenado na unidade de armazenagem de metadados 290 correlacionado ao arquivo de imagem móvel 201 armazenado na unidade de armazenagem de imagem móvel 200. Notar que a relação de correspondência entre o arquivo de imagem móvel 201 e o arquivo de metadados 291 é a mesma que no exemplo mostrado no Anexo I e conseqüentemente, a descrição desta será aqui omitida. Um ID de imagem móvel 292, um número de quadro 293, um parâmetro de transformação conectada 294, uma pontuação de determinação de confiabilidade 295, informação de detecção de face 296, gênero 297, idade 298, face sorridente 299, fechamento de olho 287 e caracteres 288 são armazenados no arquivo de metadados 291 de uma maneira correlacionada. Notar que o ID de imagem móvel 292, número de quadro 293, parâmetro de transformação conectada 294, pontuação de determinação de confiabilidade 295 e informação de detecção de face 296 são os mesmos daqueles mostrados no Anexo I e conseqüentemente, a descrição destes será omitida aqui.

O gênero 297 é o gênero determinado em relação à face incluída em cada quadro da imagem correspondente ao número de quadro 293, onde o resultado de determinação emitido a partir da unidade de determinação de estado de atributo de face 280 é armazenado. Por exemplo, no caso em que nenhuma face está incluída no quadro correspondente, nada é armazenado. Por exemplo, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser um homem, "1" é armazenado no gênero 297. Por outro lado, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser uma mulher, "0" é armazenado no gênero 297.

A idade 298 é uma idade determinada em relação à face incluída em cada quadro da imagem móvel correspondente ao número de quadro 293, onde o resultado da determinação emitido a partir da unidade de determinação de estado de atributo de face 280 é armazenado. Por exemplo, no caso em que nenhuma face está incluída no quadro correspondente, nada é armazenado. Por exemplo, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser um adulto, "1" é armazenado na idade 298. Por outro lado, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser uma criança, "0" é armazenado na idade 298.

A face sorridente 299 ocorre se há uma face sorridente determinada em relação a uma face incluída em cada quadro da imagem móvel correspondente ao número de quadro 293, onde o resultado de determinação emitido a partir da unidade de determinação de estado de atributo de face 280 é armazenado. Por exemplo, no caso em que nenhuma face está incluída no caso correspondente, nada é armazenado. Por exemplo, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser uma face sorridente, "1" é armazenado na face sorridente 299. Por outro lado, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser uma face não sorridente, "0" é armazenado na face sorridente 299.

O fechamento de olho 287 ocorre se há uma face de olho fechado determinada em relação a uma face incluída em cada quadro da imagem móvel correspondente ao número de quadro 293, onde o resultado de determinação emitido a partir da unidade de determinação de estado de atributo de face 280 é armazenado. Por exemplo, no caso em que nenhuma face está incluída no quadro correspondente, nada é armazenado. Por exemplo, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser uma face de olho fechado, "1" é armazenado no fechamento de olho 287. Por outro lado, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser uma face de olho não fechado, "0" é armazenado no fechamento de olho 287.

Os caracteres 288 ocorrem se há um caractere determinado em relação a uma face incluída em cada quadro da imagem móvel correspondente ao número de quadro 293, onde o resultado de determinação emitido a partir da unidade de determinação de estado de atributo de face 280 é armazenado. Por exemplo, no caso em que nenhuma face está incluída no quadro correspondente, nada é armazenado. Por exemplo, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser Sr. A, "A" é armazenado nos caracteres 288. Por outro lado, no caso em que a face incluída no quadro correspondente tenha sido determinada para ser Sr. Β, "B" é armazenado nos caracteres 288.

Exemplo de Seleção de Imagem Alvo Composta

Figura 45 é um diagrama ilustrando um exemplo de uma tela de seleção exibida na unidade de visualização 250 de acordo com a terceira realização da presente invenção. Uma tela de seleção 610 é uma tela de seleção onde o usuário efetua uma operação de seleção para exibir uma imagem composta desejada. A tela de seleção 610 inclui por exemplo, campos de verificação usados para selecionar um gênero 611, idade 612, caracteres 613 e expressão facial 614 como atributos faciais. Também, a tela de seleção 610 inclui uma seqüência de composição 615 usada para selecionar uma seqüência de composição, e uma tecla de pressão 617 usada para selecionar uma taxa de superposição 616. Também, a tela de seleção 610 inclui uma tecla de "visualização de imagem composta estilo panorâmico" 619 e uma tecla de "cancelamento" 620.

Por exemplo, digamos que, com a tela de seleção 610, um cursor 618 é usado para adicionar uma verificação ao campo feminino do gênero de 616, e adicionar uma verificação ao campo adulto da idade 612, para adicionar uma verificação para o campo de caracteres da idade 612, e adicionar uma verificação ao campo de caracteres dos caracteres 613, e adicionar uma verificação ao campo de face sorridente da expressão facial 614. Também, no caso de adicionar uma verificação ao campo de caracteres dos caracteres 613, os nomes dos caracteres registrados na base de dados de caracteres 286 (por exemplo, SR. A, SR. B e SR. C) são visualizados, é adicionado uma verificação ao campo de um nome desejado a partir destes caracteres. Por exemplo, é adicionado uma verificação a SR. B. Também, com a tela de seleção 610, o cursor 618 é usado para adicionar uma verificação ao campo ascendente da seqüência composta 615. Também, o cursor 618 é usado para pressionar a tecla de pressão 617 onde uma lista de taxa de superposição de "alta", "média", e "baixa" são exibidas conforme mostrado na Figura 45. Uma taxa de superposição desejada pode ser selecionada desta lista de taxa de superposição. Aqui, por exemplo, no caso em que "alta" foi selecionada, uma taxa de superposição de 60% a 70% é selecionada e no caso em que "média" foi selecionada, uma taxa de superposição de 60% a 40% é selecionada, e no caso em que "baixa" foi selecionada, uma taxa de superposição de 40% a 35% é selecionada. Notar que, com este exemplo, o usuário seleciona uma taxa de superposição desejada a partir da lista de taxa de superposição, porém o usuário pode inserir diretamente uma taxa de superposição. Notar que um item que o usuário não deseja especificamente pode não ser selecionado.

Também, no caso em que as operações de seleção pelo usuário, relativas a cada um destes itens tenham sido completadas, o usuário usa o cursor 618 par pressionar a tecla de "visualização de imagem composta estilo panorâmico" 619. Então, a informação de seleção de cada item selecionado no instante de pressionar a tecla de "visualização de imagem composta estilo panorâmico" 619 é emitida a partir da unidade de aceitação de operação 260 para a unidade de seleção de imagem alvo de composição 171. Com base nesta informação de seleção, a unidade de seleção de imagem alvo de composição 171 executa um processo de seleção de quadro. Notar que, ao ser pressionada a tecla de "cancelamento" 620, o estado de seleção de cada item é liberado.

Anexo IX é um diagrama ilustrando um exemplo de pontuações usadas para cálculo de uma pontuação de determinação de seleção pela unidade de seleção de imagem alvo composta 171 de acordo com a terceira realização da presente invenção. A pontuação de determinação de seleção é um valor usado para selecionar um quadro e é calculada com base em cada peça de informação relativa a uma face incluída em um quadro. Também, no caso em que faces múltiplas estão incluídas em um quadro, pontuações relacionadas a estas faces são calculadas para cada face, e o valor ao qual a pontuação para cada face é adicionado é calculado como a pontuação de determinação de seleção. Também, a pontuação de determinação de seleção é calculada, por exemplo, com base no item selecionado na tela de seleção 610 mostrado na Figura 45, a pontuação mostrada no Anexo IX e os atributos e estado relacionados a uma face. Como os atributos e estado relacionados a uma face, os metadados armazenados na unidade de armazenagem de metadados 290 são usados.

Especificamente, um valor de atributo Zl que indica o atributo de face determinado, um valor de estado Jl que indica o estado da face determinada são calculados, e o valor de atributo Zl, o valor de estado Jl são adicionados, por meio dos quais a pontuação de determinação de seleção é calculada. Aqui, o valor de atributo Zl é, por exemplo, um valor determinado com um gênero 621, idade 622 e se há uma pessoa específica 623 ou não, como atributos de face. Também, o valor de estado Jl é, por exemplo, um valor determinado com uma face sorridente 624, fechamento de olho 625, uma posição de face dentro da imagem (distância 626 a partir do centro da imagem), um tamanho de face 627 dentro da imagem, como estados de face.

Por exemplo, com relação ao gênero 621, idade 622 e pessoa específica 623, é feita determinação se o item selecionado na tela de seleção 610 mostrado na Figura 45 e o atributo de face incluído na imagem servindo como um alvo de cálculo de pontuação de determinação de seleção são coincidentes ou não. A pontuação mostrada no Anexo IX relativa ao item de coincidência é adicionada ao valor de atributo Zl. Também, com relação à face sorridente 624, no caso em que o item selecionado como a tela de seleção 610 mostrada na Figura 45, e o estado de uma face (face sorridente) incluída na imagem servindo como um alvo de cálculo de pontuação de determinação de seleção são coincidentes, a pontuação mostrada no Anexo EX é adicionada ao valor de estado Jl. Também, com relação ao fechamento de olho 625, a distância 626 do centro da imagem, e tamanho de face 627, cada pontuação correspondente aos metadados armazenados na unidade de armazenagem de metadados 290 é adicionada ao valor de estado Jl. Subseqüentemente, o valor de atributo calculado Zl e o valor de estado Jl são adicionados, onde a pontuação de determinação de seleção é calculada.

Também, no caso em que faces múltiplas são incluídas em um quadro, o valor de atributo Zleo valor de estado Jl são calculados para cada face, e um valor obtido adicionando o valor de atributo Zl e o valor de estado Jl é calculado como a pontuação de determinação de seleção da imagem deste. Notar que, com este exemplo, cada valor é adicionado no instante de calcular cada pontuação, mas por exemplo, cada pontuação pode ser calculada multiplicando cada valor. Também, um arranjo pode ser feito onde o coeficiente de ponderação correspondente a um atributo facial e estado é usado ao invés de cada pontuação mostrada no Anexo IX, onde cada pontuação é calculada.

Uma imagem mais frontal (quadro mais frontal) é selecionada usando a pontuação de determinação de seleção então calculada. Quer dizer, a pontuação de determinação de seleção é calculada em relação a cada imagem incluída na seção alvo de composição de imagem pela unidade de seleção de seção 160, e das pontuações de determinação de seleção calculadas, uma imagem tendo o valor calculado mais alto é selecionada como uma imagem mais frontal. Subseqüentemente, os outros quadros diferentes do quadro mais frontal são selecionados. Este método de seleção será descrito em detalhe com referência às Figuras 47A a 48B.

Figuras 47A e 47B são diagramas ilustrando uma visão geral de um método de seleção no caso em que a seleção de quadro é executada pela unidade de seleção de imagem alvo composta 171 de acordo com a terceira realização da presente invenção. Figura 47A ilustra um exemplo no caso de calcular a pontuação de determinação de seleção de um quadro a ser superposto com o lado inferior do quadro já selecionado. Por exemplo, digamos que um quadro 640 é um quadro selecionado como o quadro mais frontal. No caso em que um outro quadro é selecionado com o quadro 640 como um quadro de referência, as pontuações relacionadas a uma face incluída na região a ser sobrescrita com o quadro 640 são excluídas. Por exemplo, digamos que no caso em que as faces 643 a 646 estão incluídas em um quadro 641, pelo menos uma parte da imagem 643 e 644 é incluída em uma região de superposição 642 como para o quadro mais frontal 640. Neste caso, por exemplo, no caso em que a necessidade de seleção é determinada em relação ao quadro 641, é feita determinação se a região de superposição 642 possui ou não uma taxa de superposição dentro de uma faixa pre- determinada. Digamos que a faixa de configuração desta taxa de superposição seja o conteúdo selecionado na tela de seleção 610 mostrada na Figura 45. Subseqüentemente, no caso em que a região de superposição 642 não possui uma taxa de superposição dentro de uma faixa pré-determinada, o quadro 641 não é selecionado. No caso em que a região de superposição 642 possui uma taxa de superposição dentro de uma faixa pré-determinada, a pontuação de determinação de seleção é calculada em relação ao quadro 641. Neste caso, a pontuação de determinação de seleção do quadro 641 é calculada usando um valor relativo às faces 645 e 646 não incluídas na região de superposição 642 das faces 643 a 646 incluídas no quadro 641.

Figura 47B ilustra um exemplo no caso de calcular a pontuação de determinação de seleção de um quadro a ser superposto ao lado inferior do quadro já selecionado. Por exemplo, um quadro 660 é um quadro servindo como um alvo de composição de sobrescrita como para um quadro 650. Então, no caso em que um outro quadro servindo como um alvo de composição de sobrescrita, como para o quadro 650 é selecionado com o quadro 650 como um quadro de referência, a pontuação relacionada a uma face incluída em uma região diferente da região a ser sobrescrita como para o quadro 650, é adicionada. Por exemplo, digamos que faces 651 a 653 são incluídas no quadro 650, e pelo menos uma parte da face 653 está incluída em uma região de superposição 655 como para o quadro 660. Também, digamos que faces 661 a 664 estão incluídas no quadro 660. Neste caso, por exemplo, no caso em que a necessidade de seleção é determinada em relação ao quadro 660, é feita determinação se a região de superposição 655 possui ou não uma taxa de superposição dentro de uma faixa pré-determinada. No caso em que a região de superposição 655 não possui uma taxa de superposição dentro de uma faixa pré-determinada, o quadro 660 não é selecionado. Por outro lado, no caso em que a região de superposição 655 possui uma taxa de superposição dentro de uma faixa pré-determinada, a pontuação de determinação de seleção é calculada em relação ao quadro 660. Neste caso, a pontuação de determinação de seleção do quadro 660 é calculada usando valores relativos às faces 651, 652 e 661 a 664, não incluídas na região de superposição 655 do quadro 650, das faces 651 a 653 e 663 e 664, incluídas nos quadros 650 e 660. Quer dizer, no caso em que duas imagens são compostas, um valor relacionado a uma face incluída em uma região servindo como um alvo de visualização, é calculado como a pontuação de determinação de seleção.

Figuras 48A e 48B são diagramas ilustrando uma visão geral do método de seleção no caso em que a seleção de quadro é executada pela unidade de seleção de imagem alvo composta 171 de acordo com a terceira realização da presente invenção. Como o exemplo mostrado nas Figuras 48A e 48B, será feita descrição em relação a um quadro em que a seqüência de superposição é especificada de antemão pela operação do usuário. Com este exemplo, um método de seleção no caso de composição de sobrescrita na direção de uma nova imagem a partir de uma imagem antiga na geração de imagem de ponto no tempo (no caso de sobrescrita-composição na ordem ascendente) é mostrado como um exemplo. Entretanto, digamos que a imagem selecionada como o quadro mais frontal é sobrescrita-composta no lado superior.

Figura 48A ilustra um exemplo onde uma imagem é selecionada para uma direção de busca 671 com um quadro mais frontal 670 como quadro de referência. Neste caso, a busca é executada em uma direção que retorna a série de tempo a partir de uma imagem mais frontal 676 e conseqüentemente, as imagens já selecionadas são superpostas na imagem servindo como um alvo de seleção. Portanto, a pontuação é calculada enquanto leva em consideração uma região superposta, e de imagens incluídas em uma faixa da taxa de superposição especificada, uma imagem possuindo a pontuação mais alta é selecionada. Por exemplo, digamos que imagens 675 e 674 tenham sido selecionadas com uma imagem 676 como uma imagem de referência correspondente ao quadro de referência 670. No caso em que a necessidade de seleção da próxima imagem 673 é determinada com a imagem 674 como uma imagem de referência, após determinação da taxa de superposição de uma região de superposição 677 entre as imagens 673 e 674 é executada, a pontuação de determinação de seleção calculada em relação a uma face incluída na imagem 673 é calculada. Aqui, com relação a uma face 678 de quatro faces incluídas na imagem 673, uma porção desta é incluída na região de superposição 677. Portanto, no caso em que a pontuação de determinação de seleção relativa a uma face incluída na imagem 673 é calculada, a pontuação de determinação de seleção é calculada usando três faces diferentes da face 678 incluída na imagem 673.

Figura 48B ilustra um exemplo onde uma imagem é selecionada para uma direção de busca 682 com um quadro mais frontal 680 como um quadro de referência. Neste caso, a busca é executada na direção em série no tempo a partir de uma imagem mais frontal 683, e conseqüentemente, uma imagem servindo como um alvo de seleção é superposta acima das imagens já selecionadas. Entretanto, a imagem mais frontal 683 isoladamente é superposta acima de todas as imagens. Portanto, com relação à imagem 684, do mesmo modo que o caso mostrado na Figura 48A, a pontuação é calculada enquanto leva em consideração uma região de superposição como para a imagem mais frontal 683 e, das imagens incluídas em uma faixa da taxa de superposição especificada, uma imagem possuindo a pontuação mais alta é selecionada. Por outro lado, com relação a imagens após a imagem 685, uma imagem é selecionada onde uma pontuação total entre uma imagem servindo como um alvo de seleção e uma imagem superposta à imagem acima não é reduzida tanto quanto possível dentro de uma faixa da taxa de superposição especificada, e uma pontuação na imagem atual é alta. Quer dizer, uma imagem é selecionada onde uma pontuação total na imagem composta já selecionada, e uma pontuação na imagem atual são as mais altas.

Por exemplo, digamos que imagens 684 e 685 tenham sido selecionadas com a imagem mais frontal 683 correspondente ao quadro de referência 680 como uma imagem de referência. No caso em que a necessidade de seleção da próxima imagem 686 é determinada com a imagem 685 como uma imagem de referência, a determinação da taxa de superposição de uma região de superposição 687 entre as imagens 685 e 686 é executada. Subseqüentemente, a pontuação de determinação de seleção calculada em relação a cada face incluída em uma imagem composta entre as imagens 683 a 685, e a imagem 686 é calculada. Aqui, três faces incluídas na imagem 686 tornam-se alvos de cálculo independentemente das três faces estarem incluídas ou não na região de superposição 687.

Também, por exemplo, no caso em que a composição por sobrescrita é executada na direção de uma imagem antiga a partir de uma nova imagem na geração de imagem de ponto no tempo (no caso de composição por sobrescrita na ordem descendente) um processo de seleção é executado na direção oposta do caso da ordem ascendente. Notar que, no caso em que a ordem de composição não é especificada, a busca é executada em uma direção que retorna a série de tempo a partir da imagem mais frontal, e em uma direção para a série de tempo a partir da imagem mais frontal. Então, no caso em que a ordem de composição não é especificada, mesmo no caso em que a busca é executada em qualquer direção, o processo de seleção do mesmo modo que com a Figura 48A é executado. Tal ordem de composição é usada como ordem de composição no instante da composição de imagem, e conseqüentemente, tal ordem de composição é armazenada em correlação com a seção alvo de composição de imagem da unidade de armazenagem de metadados de imagem alvo composta 270.

Notar que, com a terceira realização da presente invenção, foi feita descrição relativa a um exemplo onde um atributo único relacionado a uma face incluída em uma imagem é considerado como um atributo facial, um atributo relacionado a um estado facial é considerado como um estado, e uma pontuação de determinação de seleção é calculada usando cada peça de informação relativa a tal face. Entretanto, uma pontuação de determinação de seleção pode ser calculada usando cada peça de informação relacionada a um outro objeto. Por exemplo, uma pontuação de determinação de seleção pode ser calculada usando cada peça de informação relativa a vários tipos de objeto, tais como um animal de estimação tal como um gato ou um cão, um animal, uma casa, um veículo ou similar. Por exemplo, no caso de reconhecer um animal de estimação individualmente, um animal de estimação pode ser prontamente reconhecido de acordo com diferença tal como uma cor, uma configuração, a forma das orelhas ou similar, se comparado ao caso de reconhecer uma pessoa individualmente. Também, uma pontuação de determinação de seleção pode ser calculada usando um mapa de ênfase. Este mapa de ênfase representa uma região que uma pessoa observará por uma pontuação para cada pixel. Por exemplo, no caso em que a pontuação de determinação de seleção de uma imagem é calculada usando este mapa de ênfase, um valor obtido integrando a pontuação para cada pixel de uma região diferente de uma região de superposta, pode ser calculado como a pontuação de determinação de seleção da imagem. Também, por exemplo, um valor obtido adicionando a pontuação calculada usando o mapa de ênfase e uma pontuação relativa a um objeto usando o mapa de ênfase, e uma pontuação relativa a um objeto pode ser calculada como uma pontuação de determinação de seleção.

Exemplo de Operação do Aparelho de Processamento de Imagem

A seguir, a operação do aparelho de processamento de imagem 101 de acordo com a terceira realização da presente invenção será descrita com referência aos desenhos.

Figura 49 é um fluxograma ilustrando o procedimento de um processo de seleção de quadro pelo aparelho de processamento de imagem 101 de acordo com a terceira realização da presente invenção. Este procedimento é uma modificação do procedimento na etapa S950 mostrada na Figura 34. Também, este exemplo ilustra um exemplo onde os parâmetros de transformação conectada isolados armazenados na unidade de armazenagem de metadados 210 são usados para calcular uma taxa de superposição. Também, este exemplo ilustra um caso em que a ordem de composição não foi especificada. Primeiramente, os metadados correspondentes a cada quadro incluído em uma seção alvo de composição de imagem selecionada pela unidade de seleção de seção 160 são obtidos a partir do arquivo de metadados armazenados na unidade de armazenagem de metadados 210 (etapa S1001). Subseqüentemente, a informação de seleção de cada item aceito pela unidade de aceitação de operação 260 é obtida (etapa S1002).

Subseqüentemente, com base nos metadados obtidos, uma pontuação de determinação de seleção é calculada em relação a cada quadro incluído na seção alvo de composição de imagem servindo como um alvo de seleção, e das pontuações de determinação de seleção calculadas, um quadro possuindo o valor mais alto é selecionado como o quadro mais frontal (etapa S1003). Também, o quadro mais frontal selecionado é selecionado como um quadro representativo. Subseqüentemente, cada peça de metadados relativa ao quadro mais frontal selecionado é gravada na unidade de armazenagem de metadados de imagem alvo composta 270 (etapa S1004).

Subseqüentemente, a busca é executada na ordem descendente do quadro representativo selecionado, quadros dentro de uma faixa da taxa de superposição especificada são extraídos e uma pontuação de determinação de seleção é calculada em relação a estes quadros (etapa S1005). Das pontuações de determinação de seleção calculadas em relação a quadros dentro de uma faixa da taxa de superposição especificada, um quadro possuindo o valor mais alto é selecionado como um novo quadro representativo (etapa S1006). Cada peça de metadados relativa ao novo quadro representativo selecionado é gravada na unidade de armazenagem de metadados de imagem alvo composta 270 (etapa S1007). E feita determinação se o cálculo de uma pontuação de determinação de seleção foi ou não executado até o quadro de topo da seção alvo de composição de imagem servindo como um alvo de seleção (etapa S1008). No caso em que o cálculo de uma pontuação de determinação de seleção não tiver sido executado até o quadro de topo da seção alvo de composição de imagem servindo como um alvo de seleção (etapa S1008), o fluxo retorna à etapa S1005, onde um processo de seleção de quadro representativo é repetido (etapas S1005 a S1007).

Por outro lado, no caso em que o cálculo de uma pontuação de determinação de seleção tenha sido executado até o quadro de topo da seção alvo de composição de imagem servindo como um alvo de seleção (etapa S1008), o quadro mais frontal já selecionado é selecionado como um quadro representativo (etapa S1009). Subseqüentemente, a busca é executada na ordem ascendente a partir do quadro representativo selecionado, quadros dentro de uma faixa da taxa de superposição especificada são extraídos e uma pontuação de determinação de seleção é calculada em relação a estes quadros (etapa S1010). Das pontuações de determinação de seleção calculadas em relação aos quadros dentro de uma faixa da taxa de superposição especificada, um quadro possuindo o valor mais alto é selecionado como um novo representante (etapa S1011). Cada peça de metadados relativa ao novo quadro representativo selecionado é gravada na unidade de armazenagem de metadados de imagem alvo composta 270 (etapa S1012). É feita determinação se o cálculo de uma pontuação de determinação de seleção foi ou não executado até o último quadro da seção alvo de composição de imagem servindo como um alvo de seleção (etapa S1013). No caso em que o cálculo de uma pontuação de determinação de seleção não tiver sido executado até o último quadro da seção alvo de composição de imagem servindo como um alvo de seleção (etapa S1013), o fluxo retorna à etapa S1010, onde o processo de seleção de quadro representativo é repetido (etapas SlOlO a SlOl2).

Por outro lado, no caso em que o cálculo de uma pontuação de determinação de seleção tiver sido executado até o último quadro da seção alvo de composição de imagem servindo como um alvo de seleção (etapa S1013), é feita determinação se o processo de seleção de quadro foi ou não completado em relação a todas as seções alvo de composição de imagem selecionadas pela unidade de seleção de seção 160 (etapa S1014). No caso em que o processo de seleção de quadro não tenha sido completado em relação a todas as seções alvo de composição de imagem (etapa SlO 14), o fluxo retorna para a etapa S1001, onde o processo de seleção de quadro é repetido (etapas Sl001 a S1013). Por outro lado, no caso em que o processo de seleção de quadro tenha sido completado em relação a todas as seções alvo de composição de imagem (etapa S1014), a operação do processo de seleção de quadro é terminada.

Então, o atributo e estado e similares relativos a uma face incluída em uma imagem são usados para selecionar a imagem mais frontal e a imagem alvo de composição, por meio da qual uma imagem interessante relativa a uma pessoa incluída em uma imagem móvel pode ser provida. Também, cada item tal como o atributo e estado e similar relativos a uma face podem ser configurados e exibidos de acordo com a preferência do usuário, onde uma imagem composta de acordo com a preferência do usuário pode ser provida.

4. Quarta Realização

Exemplo de Configuração do Aparelho de Processamento de Imagem

Com a primeira realização da presente invenção, foi descrito um exemplo onde imagens às quais é adicionado um quadro branco de certa densidade na periferia, são compostas para criar uma imagem composta estilo panorâmico. Com uma quarta realização da presente invenção, será feita descrição em detalhe relativa a um exemplo onde uma imagem de decoração diferente de um quadro branco de uma certa densidade é adicionada à periferia de uma imagem, com referência aos desenhos.

Figura 50 é um diagrama em blocos ilustrando um exemplo de configuração funcional de um aparelho de processamento de imagem 102 de acordo com a quarta realização da presente invenção. O aparelho de processamento de imagem 102 inclui uma unidade de composição de imagem 221, uma unidade de armazenagem de metadados de imagem alvo de composição 277 e uma unidade de determinação de imagem de decoração 700. Notar que a outra configuração funcional é geralmente a mesma daquela no aparelho de processamento de imagem 100 mostrada na Figura 1 e conseqüentemente, os mesmos numerais de referência dos numerais de referência do aparelho de processamento de imagem 100 são aqui denotados, e será feita descrição com componentes possuindo uma função diferente como o centro, e a outra descrição será omitida. Notar que a unidade de detecção de face 130 é um exemplo da unidade de detecção de objeto referida no Sumário da Invenção.

A unidade de controle de gravação 150 grava informação relativa à imagem de decoração emitida a partir da unidade de determinação de imagem de decoração 700, na unidade de armazenagem de metadados de imagem alvo de composição 277 como metadados de imagem alvo composta.

A unidade de seleção de imagem alvo composta 170 seleciona uma imagem composta a partir de quadros incluídos em uma seção alvo de composição de imagem e emite informação de imagem alvo composta relacionada à imagem alvo composta selecionada para a unidade de controle de gravação 150 e unidade de determinação de imagem de decoração 700. Notar que a unidade de seleção de imagem alvo composta 170 é um exemplo da unidade de cálculo de informação de transformação referida no Sumário da Invenção.

A unidade de determinação de imagem de decoração 700 determina uma imagem de decoração a ser adicionada a cada quadro correspondente à informação de imagem alvo composta emitida a partir da unidade de seleção de imagem alvo composta 170, e emite a informação de imagem de decoração relacionada à imagem de decoração determinada à unidade de controle de gravação 150. Por exemplo, a unidade de determinação de imagem de decoração 700 determina uma imagem de decoração com base nos metadados armazenados na unidade de armazenagem de metadados 210. Também, a unidade de determinação de imagem de decoração 700 determina uma imagem de decoração com base nos metadados armazenados na unidade de armazenagem de metadados 210, e cada quadro correspondente à informação de imagem alvo composta. Notar que um método de determinação de imagem de decoração será descrito em detalhe com referência às Figuras 52A a 62.

A unidade de armazenagem de metadados de imagem alvo de composição 277 armazena a informação de imagem alvo composta emitida a partir da unidade de seleção de imagem alvo composta 170 como um arquivo de metadados de imagem alvo composta com base no controle do sinal 150. Também, a unidade de armazenagem de metadados de imagem alvo de composição 277 armazena a informação de imagem de decoração emitida a partir da unidade de determinação de imagem de decoração 700 como um arquivo de metadados de imagem alvo composta. Também, a unidade de armazenagem de metadados de imagem alvo de composição 277 fornece o arquivo de metadados de imagem alvo composta à unidade de obtenção de arquivo 180, em resposta a uma requisição da unidade de obtenção de arquivo 180. Notar que o arquivo de metadados armazenado na unidade de armazenagem de metadados de imagem alvo de composição 277 será descrito em detalhe com referência ao Anexo X.

No caso em que uma operação de instrução usada para visualizar u ma imagem composta tiver sido aceita pela unidade de aceitação de operação 260, a unidade de obtenção de arquivo 180 emite os metadados de imagem alvo composta obtidos a partir da unidade de armazenagem de metadados de imagem alvo de composição 277 para a unidade de composição de imagem 221.

A unidade de composição de imagem 221 usa a memória de imagem 230 para adicionar uma imagem de decoração de acordo com o conteúdo dos metadados de imagem alvo composta para as imagens submetidas a transformação conectada pela unidade de transformação de imagem 190, compõe as imagens às quais a imagem de decoração foi adicionada para criar uma imagem composta.

Anexo X é um diagrama ilustrando esquematicamente o conteúdo de armazenagem da unidade de armazenagem de metadados de imagem alvo composta 277 de acordo com uma quarta realização da presente invenção. Um ID de imagem móvel 271, um número de seção 272, um número de quadro 273, parâmetros de transformação conectada 274, um quadro mais frontal 275, dados de face 276 e dados de imagem de decoração 278 são armazenados na unidade de armazenagem de metadados de imagem alvo de composição 277 de uma maneira correlacionada. O ID de imagem móvel 271, número de seção 272, número de quadro 273, parâmetros de transformação conectada 274, quadro mais frontal 275 e dados de face 276 são os mesmos daqueles no exemplo mostrado na Figura 4, e a descrição destes será aqui omitida.

Os dados de imagem de decoração 278 consistem de informação relativa a uma imagem de decoração a ser adicionada à imagem alvo composta determinada pela unidade de determinação de imagem de decoração 700. Como esta informação, por exemplo, a posição, tamanho, configuração, cor, tipo e similar de uma imagem de decoração a ser adicionada a uma imagem alvo composta são armazenados. Com base no conteúdo dos dados de imagem de decoração 278, uma imagem de decoração é adicionada à periferia do quadro correspondente. Notar que o exemplo mostrado no Anexo X ilustra informação relativa a uma imagem de decoração de uma maneira omitida.

Exemplo de Determinação do Quadro Branco

Primeiramente, será feita descrição relativa a um exemplo onde uma imagem servindo como um alvo ao qual a imagem de decoração é adicionada, é submetida a transformação conectada, superposta sobre a imagem composta prévia e a análise de imagem é executada usando a informação de uma região superposta como para a imagem após transformação conectada, deste modo determinando uma imagem de decoração. Com este exemplo, um quadro branco será descrito como uma imagem de decoração.

Figuras 52A a 52C são diagramas ilustrando uma visão geral de um método de determinação arranjado para determinar a densidade de um quadro branco pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização da presente invenção. Figura 52A ilustra três quadros consecutivos 711 a 713 em série no tempo, dos quadros selecionados pela unidade de seleção de imagem alvo composta 170. Uma imagem composta 714 indica uma imagem onde os três quadros consecutivos 711 a 713 em série no tempo são submetidos a transformação conectada, e então compostos. Também, o quadro 713 é um quadro adjacente ao quadro 712 em série no tempo, e indica um estado após transformação conectada. A unidade de determinação de imagem de decoração 700 obtém cada um destes quadros a partir do arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200, com base na informação relacionada ao quadros selecionados pela unidade de seleção de imagem alvo composta 170. Também, a unidade de determinação de imagem de decoração 700 inclui um meio de armazenagem temporária de trabalho usado para manter uma imagem composta.

Conforme mostrado na Figura 52A, um quadro 714 que é o próximo quadro após transformação conectada é superposto acima da imagem composta 714 onde até o quadro imediatamente anterior dos quadros selecionados são compostos. Neste instante, com relação a uma região de superposição 715 entre a imagem composta 714 e a imagem correspondente ao quadro 713, do mesmo modo que com o método mostrado na primeira realização da presente invenção, um ponto de característica é extraído da imagem composta 714, e um fluxo óptico é calculado em relação a este ponto de característica. Subseqüentemente, parâmetros de trabalho de câmera e confiabilidade são calculados. Então, no caso em que parâmetros de trabalho de câmera e confiabilidade tenham sido calculados não em relação a imagem total, porém a uma região local de uma região superposta isoladamente, o cálculo resulta diferente dos parâmetros de trabalho de câmera e confiabilidade calculados em relação à imagem total em alguns casos. Também, os quadros selecionados pela unidade de seleção de imagem alvo composta 170 não são quadros consecutivos constituindo uma imagem móvel e conseqüentemente há uma possibilidade de que deslocamento inter quadro possa ser causado, devido à multiplicação de parâmetros de transformação conectada múltiplos. Notar que, da região de superposição 715, uma região 716 é uma região de superposição entre os quadros 711e713,eda região de superposição 715 a região diferente da região 716 é uma região de superposição entre os quadros 712 e 713. Figura 52 A ilustra esquematicamente os pontos de característica extraídos da região de superposição 715 usando círculos pretos e círculos brancos. Também, fluxos ópticos calculados em relação a estes pontos de característica são representados por setas com pontos de característica como origens. Aqui, digamos que os pontos de característica indicados com círculos pretos da região de superposição 715 são pontos de característica que apresentam movimento dominante, e os círculos brancos são os outros pontos de característica.

Figura 52B ilustra um caso em que os parâmetros de transformação conectada calculados em relação à região de superposição 715 mostrada na Figura 52A são usados para submeter a região de superposição 715 a transformação conectada. Figura 52B usa quatro setas para ilustrar a transição de movimento com os parâmetros de transformação conectada, e ilustra a região após a região de superposição 715 ser submetida a parâmetro de transformação conectada como uma região de superposição 717 após transformação conectada. Também, Figura 52C ilustra somente a região de superposição 715, e a região de superposição 717 após transformação conectada.

Então, no caso em que parâmetros de transformação conectada calculados em relação a quadros consecutivos constituindo uma imagem móvel são usados para compor os quadros selecionados, há uma possibilidade de que possa ser causado deslocamento. Portanto, com este exemplo, a densidade de um quadro branco é determinada com base no tamanho do deslocamento.

Agora, como quantidade de deslocamento, duas taxas de sobre extensão DRl e DR2 serão calculadas usando as seguintes expressões.

Taxa de sobre extensão DRl = (1 - (C / A))

Taxa de sobre extensão DR2 = (1 - (C / B))

Aqui, C representa a área de uma região onde uma região de superposição de imagens alvo e uma região após transformação conectada desta região de superposição são compostas. Também, A representa a área da região de superposição de imagens alvo após transformação conectada. Por exemplo, com o exemplo mostrado na Figura 52C, digamos que a área de uma região onde a região de superposição 715 e a região de superposição 717 após transformação conectada são compostas é considerada como uma área C, a área da região de superposição 715 é tomada como uma área A, e a área da região de superposição 717 após transformação conectada é considerada como uma área B. Subseqüentemente, as duas taxas de sobre extensão DRl e DR2 são calculadas.

Com as duas taxas de sobre extensão DRl e DR2, então calculadas, um valor maior é selecionado. Subseqüentemente, digamos que esta taxa de sobre extensão selecionada é considerada como DR, a densidade de um quadro branco servindo como uma imagem de decoração é calculada usando as seguintes expressões.

A densidade de um quadro branco SHl a ser adicionada aos lados de ambas extremidades na direção horizontal = Wx DR

A densidade de um quadro branco SH2 a ser adicionada aos lados de ambas extremidades na direção vertical = Hx DR

Um limite superior e um limite inferior podem ser providos a uma taxa de sobre extensão de modo a evitar que um quadro branco se torne muito denso ou para uma imagem servindo como um alvo de provisão. Como uma faixa de um limite superior e um limite inferior de uma taxa de sobre extensão, por exemplo, 0,1 a 0,03 pode ser ajustado.

As densidades SHl e SH2 a serem adicionadas aos lados de ambas extremidades na direção horizontal e na direção vertical então calculadas são emitidas para a unidade de controle de gravação 150, e são gravadas nos dados de imagem de decoração 278 da unidade de armazenagem de metadados de imagem alvo de composição 277.

Por exemplo, no caso em que a taxa de sobre extensão é pequena, o deslocamento entre uma imagem alvo servindo como um objeto ao qual um quadro branco é adicionado, uma imagem composta a ser superposta abaixo daquela imagem é pequena. Portanto, mesmo no caso em que a densidade de um quadro branco a ser adicionado à imagem alvo desta é afinada, pode ser concebido para formar uma imagem natural entre a imagem alvo e a imagem composta. Por outro lado, no caso em que a taxa de sobre extensão é grande, o deslocamento entre a imagem alvo e uma imagem composta a ser superposta abaixo daquela imagem é grande. Portanto, a densidade de um quadro branco a ser adicionado à imagem alvo deste é aumentada, onde o deslocamento deste pode ser obscurecido. Também, de acordo com um quadro branco a ser adicionado à imagem, a não naturalidade devida ao deslocamento pode ser eliminada. Notar que a posição à qual um quadro branco é adicionado pode ser uma dentre o lado externo, lado interno e acima da borda da imagem alvo. Exemplos para adicionar tal quadro branco são mostrados nos Anexos XI-A a XIII-D.

Figuras 53A a 53C são diagramas ilustrando um exemplo de uma imagem de decoração determinada pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização da presente invenção. Figura 53A ilustra um exemplo onde uma imagem de quadro branco 721 é adicionada ao lado externo da periferia de um quadro 720, Figura 53B ilustra um exemplo onde uma imagem de quadro branco 722 é adicionada de modo a incluir a periferia do quadro 720, e Figura 53C ilustra um exemplo onde uma imagem de quadro branco 723 é adicionada ao lado interno da periferia do quadro 720. Notar que, no caso em que uma imagem de quadro branco é adicionada de modo a incluir a periferia de uma imagem, a imagem de quadro branco pode ser adicionada de modo a posicionar-se obliquamente na periferia da imagem. Notar que as Figuras 53A a 53C aumentam quadros brancos como para imagens para facilitar a visualização. Também, Figuras 53A a 53C ilustram a periferia de uma imagem usando uma linha grossa de modo a facilitar a visualização para o tamanho do quadro 720.

Também, a densidade de um quadro branco então calculada pode ser determinada para cada imagem servindo como um alvo de cálculo. Entretanto, no sentido de prover uma imagem composta proeminente, das taxas de sobre extensão calculadas em relação à mesma seção alvo de composição de imagem, uma taxa de sobre extensão possuindo o valor mais alto pode ser usada para unificar a relação do quadro branco de cada quadro incluído na seção deste. Também, por exemplo, o valor médio das taxas de sobre extensão pode ser empregado. Também, conforme mostrado nas Figuras 54A a 54C, a posição à qual um quadro branco é adicionado pode ser mudada de acordo com relação posicionai relativa entre imagens. Figuras 54A a 54C são diagramas ilustrando um exemplo de um método de determinação para uma imagem de decoração pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização da presente invenção. Figura 54A ilustra um caso em que o quadro 740 é submetido a transformação conectada com um quadro 730 como um quadro de referência. Com este exemplo, será feita descrição relativa a um exemplo onde a posição de uma imagem a ser adicionada à periferia no lado superior do quadro 740 é determinada. Por exemplo, vetores de movimento no caso em que o quadro 740 está submetido a transformação conectada, e pontos nos dois cantos no lado superior do quadro 730 são movidos, com o quadro 730 como um quadro de referência, são ilustrados com vetores de movimento 731 e 732. Também, vetores normais no lado superior do quadro 730 são ilustrados com vetores normais 733 e 734.

Figura 54B ilustra a relação entre os vetores de movimento 731 e 732, e os vetores normais 733 e 734. Por exemplo, no caso em que a posição à qual um quadro branco é adicionado, é calculada em relação ao lado superior do quadro 740, um ângulo 736 formado de um vetor 735 obtido adicionando os vetores de movimento 731 e 732, e o vetor 733 é calculado. Também, um ângulo 737 formado dos vetores 735 e 734 é calculado. Subseqüentemente, o valor do ângulo 736 e o valor do ângulo 737 são comparados. Como um resultado desta comparação, no caso em que o valor do ângulo 736 é menor, um quadro branco é disposto no lado interno da periferia do quadro 740. Por outro lado, no caso em que o valor do ângulo 737 é menor, um quadro branco é disposto no lado externo da periferia do quadro 740. Por exemplo, conforme mostrado na Figura 54B, como um resultado da comparação entre o valor do ângulo 736 e o valor do ângulo 737, o valor do ângulo 737 é menor, e conseqüentemente, um quadro branco a ser adicionado à periferia no lado superior do quadro 740 é determinado para ser disposto no lado externo deste. Também, com relação aos outros três lados igualmente, a posição de um quadro branco pode ser determinada do mesmo modo.

Figura 54C ilustra uma imagem de quadro branco 741 servindo como um exemplo de um quadro branco a ser adicionado ao quadro 740. Então, a posição da imagem do quadro branco pode ser determinada de acordo com a posição relativa, como para o quadro de referência. Notar que, no caso em que a soma dos dois vetores de movimento se torna 0, uma imagem de quadro branco pode ser determinada para ser disposta no lado externo ou no lado interno. Também, mesmo no caso em que a soma de dois vetores de movimento é diferente de 0, uma imagem de quadro branco pode ser determinada, não só para ser disposta no lado externo ou no lado interno da periferia, como também para ser disposta de modo a ser disposta na periferia desta. Por exemplo, a posição do centro de uma imagem de quadro branco pode ser mudada de acordo com um ângulo formado de um vetor de adição e um vetor normal. Também, conforme mostrado nas Figuras 55A e 55B, uma imagem de quadro branco a ser disposta em relação ao mesmo lado pode ser disposta diferentemente em ambas extremidades do lado desta.

Figuras 55A e 55B são diagramas ilustrando um exemplo de um método de determinação para uma imagem de decoração pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização da presente invenção. Figura 55A ilustra um caso em que um quadro 760 é submetido a transformação conectada com um quadro 750 como um quadro de referência. Por exemplo, digamos que no caso em que um ângulo formado de um vetor de movimento 751 e um vetor normal 753 é pequeno, e um ângulo formado de um vetor de movimento 752 e um vetor normal 754 é pequeno, em torno da terminação do vetor de movimento 751 está o lado interno. Os outros lados podem ser determinados do mesmo modo. No caso em que a determinação é então feita, por exemplo, uma imagem de quadro branco pode ser disposta tal como mostrado na Figura 55B. Entretanto, no caso em que uma imagem de quadro branco é disposta de tal modo, há uma possibilidade de que a forma externa da imagem possa ser mudada. Por exemplo, conforme mostrado na Figura 55B, no caso em que um quadro 760 é um retângulo, uma imagem à qual uma imagem de quadro branco tenha sido adicionada, torna-se um paralelogramo em alguns casos. Também, por exemplo, no caso em que o quadro alvo é um retângulo, é suposto um caso onde uma imagem à qual uma imagem de quadro branco foi adicionada torna- se um trapezóide, ou no caso em que o quadro alvo é um paralelogramo, é suposto um caso onde uma imagem à qual um imagem de quadro branco tenha sido adicionada torna-se um trapezóide.

Exemplo de Composição de Quadro Branco

Anexos XI-A a XI-D são diagramas ilustrando um exemplo composto no qual imagens de decoração determinadas pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização são compostas. A unidade de composição de imagem 220 executa esta composição de imagem de decoração com base no conteúdo dos dados de imagem de decoração 278 da unidade de armazenagem de metadados de imagem alvo de composição 277. Quer dizer, com base no conteúdo dos parâmetros de transformação conectada 274 da unidade de armazenagem de metadados de imagem alvo de composição 277, a imagem é submetida a transformação conectada pela unidade de transformação de imagem 190. Subseqüentemente, com base no conteúdo dos dados de imagem de decoração 278 da unidade de armazenagem de metadados de imagem alvo de composição 277, a unidade de composição de imagem 220 executa composição de imagem adicionando uma imagem de decoração a uma imagem após transformação conectada. Com o exemplo mostrado nos Anexos XI-A a XI-D, influência do deslocamento na direção de translação será descrito. Notar que os Anexos XI-A a XII-D ilustram um exemplo onde um quadro branco é adicionado como uma imagem de decoração.

Anexo XI-A ilustra imagens alvo de composição 738 e 739. Anexo XI-B ilustra um exemplo onde a imagem alvo de composição 739 é submetida a transformação conectada com a imagem alvo de composição 738 como uma imagem de referência. Com o exemplo mostrado no Anexo XI-B5 é ilustrado um caso onde a imagem alvo de composição 739 é deslocada para a direita inferior. Por exemplo, com uma região de imagem rodeada por um círculo 742, a porção de um telhado incluída na imagem alvo de composição 738 é vista excessivamente. Também, por exemplo, com uma região de imagem rodeada por um círculo 743, a porção de grama incluída na imagem alvo de composição 738 é oculta pela imagem alvo de composição 739. Também, por exemplo, com uma região de imagem rodeada por um círculo 744, a porção de um guarda-chuva incluído em uma imagem alvo de composição 738 é vista excessivamente. Portanto, conforme mostrado no Anexo XI-C, uma imagem de decoração 745 determinada pela unidade de determinação de imagem de decoração 700 é composta como para a imagem alvo de composição 739, por exemplo, onde uma imagem não natural incluída nas porções de região rodeadas por círculos 742 a 744 podem ser ocultas. Por outro lado, conforme mostrado no Anexo XI-D, no caso em que uma imagem de decoração 746 é composta como a imagem alvo de composição 739 na direção oposta da região determinada pela unidade de determinação de imagem de decoração 700, por exemplo, uma imagem não natural incluída nas porções de região rodeadas por círculos 742 a 744 pode não estar oculta.

Anexos XII-A a XII-D são diagramas ilustrando um exemplo composto no qual imagens de decoração determinadas pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização são compostas. Notar que, com o exemplo mostrado nos Anexos XII-A a XII- D, a influência do deslocamento na direção de aumento/redução será descrita.

Anexo XII-A ilustra imagens alvo compostas 747 e 748. Anexo XII-B ilustra um exemplo de um caso onde a imagem composta 748 é submetida a transformação conectada e composta com a imagem alvo composta 747 como uma imagem de referência. Com o exemplo mostrado no Anexo XII-B, é mostrado um caso onde a imagem alvo composta 747 é deslocada na direção da redução. Por exemplo, com uma região de imagem rodeada por um círculo 749, a porção de um telhado incluída na imagem alvo de composição 747 é vista excessivamente. Também, por exemplo, com uma região de imagem rodeada por um círculo 755, a porção de uma luz elétrica incluída na imagem alvo de composição 747 é vista excessivamente. Também, por exemplo, com uma região de imagem rodeada por um círculo 756, a porção de um guarda-chuva incluído em uma imagem alvo de composição 747 é vista excessivamente. Portanto, conforme mostrado no Anexo XII-C, uma imagem de decoração 757 determinada pela unidade de determinação de imagem de decoração 700 é composta como para a imagem alvo de composição 748, por exemplo, onde uma imagem não natural incluída nas porções de região rodeadas por círculos 749, 755 e 756 podem ser ocultas. Por outro lado, conforme mostrado no Anexo XII-D5 no caso em que uma imagem de decoração 758 é composta como a imagem alvo de composição 748 na direção oposta da região determinada pela unidade de determinação de imagem de decoração 700, por exemplo, uma imagem não natural incluída nas porções de região rodeadas por círculos 749, 755 e 756 pode não estar oculta.

Anexos XIII-A a XIII-D são diagramas ilustrando um exemplo composto no qual a imagem de decoração determinada pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização são compostas. Notar que, com o exemplo mostrado nos Anexos XIII-A a XIII-D, a influência do deslocamento na direção de rotação será descrita.

Anexo XIII-A ilustra imagens alvo compostas 759 e 762. Anexo XIII-B ilustra um exemplo de um caso onde a imagem composta 762 é submetida a transformação conectada e composta com a imagem alvo composta 759 como uma imagem de referência. Com o exemplo mostrado no Anexo XIII-B, é mostrado um caso onde a imagem alvo composta 762 é deslocada na direção horária. Por exemplo, com uma região de imagem rodeada por um círculo 763, a porção de um pavimento de pedra incluída na imagem alvo de composição 759 é vista de forma não natural. Portanto, conforme mostrado no Anexo XIII-C, uma imagem de decoração 764 determinada pela unidade de determinação de imagem de decoração 700 é composta como para a imagem alvo de composição 762, por exemplo, onde uma imagem não natural incluída na porção de região rodeada por um círculo 763 pode estar oculta. Por outro lado, conforme mostrado no Anexo XIII-D, no caso em que uma imagem de decoração 765 é composta como para a imagem alvo de composição 762 na direção oposta da região determinada pela unidade de determinação de imagem de decoração 700, por exemplo, uma imagem não natural incluída nas porções de região rodeadas por pelo círculo 763 pode não estar oculta. Aqui, no caso em que o alvo de composição é deslocado simplesmente na direção de rotação, conforme descrito nas Figuras 54A a 54C, a soma de dois vetores de movimento torna-se 0. Portanto, uma imagem de quadro branco pode ser determinada, não só para ser disposta no lado externo ou no lado interno da periferia, como também estar disposta acima da periferia desta.

Então, a imagem de decoração determinada pela unidade de determinação de imagem de decoração 700 é composta como para uma imagem alvo composta onde uma imagem composta natural estilo panorâmico pode ser provida ao usuário.

Exemplo de Determinação de Quadro Branco Enquanto se Consideram Faces

Agora, por exemplo, no caso de compor as imagens alvo compostas às quais uma imagem de decoração tenha sido adicionada, há uma possibilidade de que uma face incluída na imagem composta superposta no lado inferior possa ser oculta. Em tal caso, a posição de uma imagem de decoração pode ser mudada em uma direção em que a face não está oculta. Alternativamente, a densidade de uma imagem de decoração pode ser ajustada.

Figura 59 é um diagrama ilustrando um exemplo de um método de determinação de imagem de decoração pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização que leva faces em consideração. Agora, um exemplo é mostrado onde as imagens de decoração de imagens alvo compostas 766 a 768 são determinadas. Também, digamos que as imagens alvo compostas 767 e 768 incluem uma face, e estas regiões incluindo uma face são representadas com regiões de face 769 e 770.

Por exemplo, digamos que as imagens alvo compostas 767 e 768 sejam submetidas a transformação conectada e compostas com a imagem alvo composta 766 como uma imagem de referência. Neste caso, a imagem alvo composta 768 é sobrescrita e composta como para a imagem alvo 767 e conseqüentemente, por exemplo, no caso em que uma imagem de decoração a ser adicionada à imagem alvo composta 768 é grande (ou no caso de ser adicionada ao lado externo), há uma possibilidade de que uma face incluída na região de face 769 possa estar oculta.

Agora, por exemplo, uma região de face incluída em uma imagem alvo composta pode ser determinada usando os dados de face armazenados em dados de face 276 da unidade de armazenagem de metadados de imagem alvo de composição 277. Portanto, por exemplo, a unidade de determinação de imagem de decoração 700 calcula se a região de uma imagem de decoração determinada antes de uma face é ou não levada em consideração, e uma região de face são superpostas, e no caso em que a região da imagem de decoração e a região de face são superpostas, a posição da imagem de decoração é mudada para o lado oposto da posição determinada. Por exemplo, no caso em que a região de face 769 incluída na imagem alvo composta 767, e uma imagem de decoração 771 determinada para ser adicionada ao lado externo e extremidade esquerda da imagem alvo composta 768 são superpostas, a imagem de decoração 771 é mudada para ser adicionada ao lado interno, isto é, modificada para ser uma imagem de decoração 772. Também, por exemplo, no caso em que a região de face 770 incluída na imagem alvo composta 768, e uma imagem de decoração 773 determinada para ser adicionada ao lado interno da extremidade superior da imagem alvo composta 768, são superpostas, a imagem de decoração 773 é modificada para ser adicionada ao lado externo, isto é, modificada para ser uma imagem de decoração 774.

Agora, por exemplo, mesmo se a posição a ser adicionada é modificada para o lado interno ou o lado externo da imagem alvo composta, a imagem de decoração e a imagem de face são superpostas, a densidade da imagem de decoração pode ser mudada calculando a distância entre a imagem de decoração e a região de face. Então, mesmo se a densidade da imagem de decoração é modificada, no caso em que a imagem de decoração e a imagem de face são superpostas, por exemplo, a posição da imagem de decoração é modificada para uma posição onde uma área superposta é pequena. Entretanto, por exemplo, no caso em que é dada uma prioridade à imagem alvo composta para ser superposta no lado superior, e a imagem de decoração e a região de face são superpostas, a decoração pode ser determinada para ser adicionada ao lado externo da imagem alvo composta. Alternativamente, pode ser feito um arranjo onde a distância entre a região de face e a imagem de decoração são calculadas para cada lado de antemão, a densidade máxima da imagem de decoração para não ser superposta acima de uma face é armazenada na unidade de armazenagem de metadados de imagem alvo de composição 277 de antemão, e a imagem de decoração é adicionada usando três valores.

Exemplo de Determinação de Sombra Tem sido feita descrição até então relativa a um exemplo onde um quadro branco é adicionado a uma imagem alvo composta como uma imagem de decoração, mas por exemplo, uma sombra pode ser adicionada a uma imagem alvo composta como uma imagem de decoração.

Figuras 60A a 60C são diagramas ilustrando um exemplo de uma sombra determinada para ser uma imagem de decoração a ser adicionada a uma imagem alvo composta, pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização da presente invenção. Posteriormente, uma sombra a ser adicionada a uma imagem alvo composta é indicada adicionando um golpe diagonal internamente. Figura 60A ilustra a forma básica de uma sombra a ser adicionada a uma imagem alvo composta. Por exemplo, com relação à direção de uma sombra, tal como um sombra 351, consideraremos primariamente uma situação onde uma sombra está se espalhando em todas as direções quando a luz é aplicada diretamente acima de uma imagem alvo composta. Também, como uma sombra 352 ou 353, um efeito pode também ser produzido onde luz é aplicada obliquamente para cima ou obliquamente para baixo de uma imagem alvo composta.

Figura 60B ilustra um caso em que um efeito é produzido de tal modo que a luz é aplicada obliquamente para cima de uma imagem alvo composta para criar uma imagem composta. Quer dizer, uma imagem composta à qual a sombra 352 tenha sido adicionada é composta seqüencialmente, onde a imagem composta mostrada na Figura 60B pode ser criada. Também, Figura 60C ilustra um caso em que um efeito é produzido onde luz é aplicada obliquamente para baixo de uma imagem alvo composta para criar um alvo composto. Quer dizer, uma imagem composta à qual a sombra 353 tenha sido adicionada é composta seqüencialmente onde a imagem composta mostrada na Figura 60C pode ser criada.

Agora, por exemplo, no caso em que um efeito é produzido onde a luz é aplicada obliquamente para cima ou obliquamente para baixo de uma imagem composta, é desejado que uma direção em que uma sombra cai sobre uma imagem inferior de acordo com a direção superposta final de imagens compostas tanto quanto possível é determinada para ser a direção de um sombra. Também, a densidade de uma sombra pode ser ajustada para um certo valor, por exemplo. Também, por exemplo, do mesmo modo que no caso de um quadro branco descrito acima, a densidade de uma sombra pode ser determinada de acordo com uma taxa de sobre extensão.

Figuras 61A e 61B são diagramas ilustrando uma visão geral de um método de determinação arranjado para determinar a direção de uma sombra pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização. Figura 61A ilustra imagens alvo compostas 354 a 357 mantidas em um meio de armazenagem temporária de trabalho 358. Por exemplo, digamos que as extensões dos lados da imagem alvo composta sobrescrita acima de uma outra imagem alvo composta são calculadas, os vetores normais para fora dos lados destes são calculados, e os tamanhos dos vetores normais são considerados como as extensões das porções sobrescritas dos lados. Por exemplo, com as imagens alvo compostas 355 a 357 mostradas na Figura 61A, um lado sobrescrito acima de uma outra imagem alvo composta é indicado por uma linha grossa. Também, o vetor normal para fora do lado deste é indicado acima de uma linha grossa. Todos os vetores normais de uma imagem alvo composta então calculados são integrados, e a direção de um vetor normal obtido pela integração é determinada para ser a direção onde uma sombra é adicionada. Figura 61B ilustra imagens compostas formadas das imagens alvo compostas 354 a 357 às quais uma sombra então determinada é adicionada. A direção de uma sombra é então determinada, pela qual a sombra é projetada acima de uma imagem alvo composta, e conseqüentemente, o efeito da sombra pode ser reforçado.

Notar que, em adição à determinação da direção de uma sombra pela integração de um vetor normal acima descrito, a direção de uma sombra pode ser selecionada e determinada a partir de várias direções determinadas de antemão com referência à direção de um vetor normal. Alternativamente, pode ser feito um arranjo onde uma matriz conectada obtida multiplicando os parâmetros de transformação conectada correlacionados a cada imagem alvo composta, é usada para obter o componente translacional integral do trabalho de câmera, e a direção deste componente translacional integral é considerada como a direção de uma sombra.

Exemplo de Determinação da Sombra Enquanto se Consideram Faces

Agora, por exemplo, no caso em que imagens alvo compostas às quais uma sombra tenha sido adicionada são compostas, há uma possibilidade de que uma face incluída em uma imagem composta superposta do lado inferior possa ser oculta. Em tal caso, do mesmo modo que com o caso de um quadro branco acima descrito, a posição de uma sombra pode ser modificada para uma direção onde a face não está oculta. Alternativamente, a densidade de uma sombra pode ser ajustada. Também, no caso em que uma região de face é sobreposta por uma sombra, a cor da sombra pode ser diluída. Um exemplo será mostrado abaixo onde, no caso em que uma face é sobreposta com uma sombra, a direção de um vetor normal do lado desta é invertida, mudando deste modo a direção da sombra.

Figura 62 é um diagrama ilustrando um exemplo de um método de determinação de sombra pela unidade de determinação de imagem de decoração 700 de acordo com a quarta realização, que leva faces em consideração. O exemplo mostrado na Figura 62 é o mesmo do caso mostrado na Figura 61A, exceto que as imagens alvo compostas 354 a 357 mantidas no meio de armazenagem temporária de trabalho 358, uma região de face 359 está incluída na imagem alvo composta 356. Por exemplo, um vetor normal é obtido do mesmo modo que no caso mostrado na Figura 61A, porém no caso em que a região de face é sobreposta por uma sombra, a direção do vetor normal do lado deste é invertida. Por exemplo, com a imagem alvo composta 357 mostrada na Figura 62, os lados sobrescritos acima da outra imagem alvo composta 356, o lado da borda esquerda é superposto acima da região de face 359. Portanto, a direção do vetor normal do lado desta é invertida. Quer dizer, a direção do vetor normal desta é invertida tal como um vetor normal 360. Notar que um método usado para determinar a direção de uma sombra é o mesmo do caso mostrado na Figura 61A, exceto que a direção de um vetor normal é invertida, e conseqüentemente, a descrição deste será omitida aqui.

Aqui, com o exemplo mostrado na Figura 62, a direção do vetor integral de um vetor normal calculado após a direção de um vetor normal ser invertida, é quase a mesma do caso de não inverter a direção deste, e conseqüentemente, as faces são ocultas por uma sombra. Entretanto, no caso em que uma face é sobreposta com as sombras dos lados esquerdo de imagens alvo compostas múltiplas, as direções das sombras são direções para cima e para a direita, onde a face pode ser impedida de ser oculta pelas sombras. Também, por exemplo, a densidade de toda a sombra pode ser diluída de acordo com a direção e extensão de um vetor normal invertido. Alternativamente, a densidade de uma sombra pode ser afinada de acordo com a direção e extensão de um vetor normal invertido. Também, no caso em que uma face é sobreposta por uma sombra, um método de mudança de sombra pode ser usado onde a densidade de toda a sombra é diluída por uma certa taxa, ou a densidade desta é afinada por uma certa taxa.

Então, no caso em que há uma possibilidade de que uma face incluída em uma imagem composta superposta no lado inferior possa ser oculta, a posição de uma sombra pode ser mudada para uma direção onde a face não está oculta. Entretanto, se comparada a um quadro branco, mesmo no caso em que uma face é sobreposta por uma sombra, este estado pode ser concebido como não tão preocupante. Portanto, no caso em que uma região de face é sobreposta por uma sombra, tal mudança ou ajuste não deveria ser executado de todo, qualquer um destes pode ser executado ou uma combinação daqueles pode ser executada.

Foi descrição um exemplo até então onde um quadro branco ou uma sombra são determinados para se tornar uma imagem de decoração, porém a quarta realização da presente invenção pode também ser aplicada a um caso em que um quadro branco é adicionado à periferia de uma imagem alvo composta, e também uma sombra é adicionada à periferia deste quadro branco.

Também, foi mostrado um exemplo até então onde uma imagem de decoração a ser adicionada a uma imagem alvo composta é determinada no instante de seleção de quadro, mas por exemplo, uma imagem de decoração a ser adicionada a uma imagem alvo composta pode ser determinada no instante de visualização de uma imagem composta. Alternativamente, uma imagem de decoração pode ser determinada de acordo com a operação do usuário. Por exemplo, se há ou não um quadro branco, a posição de um quadro branco, a densidade de um quadro branco, se há ou não uma sombra, a direção de uma sombra ou similares de uma imagem alvo composta podem ser especificadas pela operação do usuário.

Também, foi descrito um exemplo até então, onde um quadro branco ou a densidade e posição de uma sombra são determinados para constituir uma imagem de decoração, mas por exemplo, a cor ou modo de uma imagem de decoração pode ser determinada com base em uma taxa de sobre extensão ou vetor normal. Também, foi mostrado um exemplo até então onde uma imagem de decoração é determinada com base na relação de posição relativa entre imagens alvo compostas ou similares porém, por exemplo, uma imagem de decoração pode ser determinada com base nos atributos, cor ou similar de um objeto incluído em uma imagem alvo composta. Por exemplo, no caso em que um quadro é adicionado como uma imagem de decoração, o histograma de cor da posição periférica de uma imagem alvo composta é calculado, e a cor complementar de uma cor mais freqüente pode ser determinada para ser a cor de um quadro. Então, um quadro ao qual uma cor diferente de branco tenha sido adicionado, é adicionado a uma imagem alvo composta, onde a borda da imagem alvo composta pode ser impedida de cair na obscuridade. Por exemplo, como a imagem 576 mostrada nos Anexos VI e VII, no caso em que a porção periférica de uma imagem alvo composta inclui muito verde, uma cor avermelhada é emregada na cor complementar como para verde. Também, a cor ou modo de um quadro pode ser determinado usando cada peça de metadados relativa a uma face mostrada na terceira realização da presente invenção. Por exemplo, a cor de um quadro pode mudada de acordo com o gênero ou idade de uma pessoa incluída em uma imagem alvo composta. Também, a cor de um quadro pode ser mudada de acordo com um ponto no tempo, onde uma imagem alvo composta tenha sido gerada.

Alternativamente, a composição pode ser executada enquanto se corrige o deslocamento no instante de exibir uma imagem composta usando os parâmetros de trabalho de câmera e confiabilidade calculados pelo método mostrado nas Figuras 52A a 52C. Por exemplo, os parâmetros de trabalho de câmera e confiabilidade calculados pelo método mostrado nas Figuras 52A a 52C são armazenados antecipadamente na unidade de armazenagem de metadados de imagem alvo de composição 277. Subseqüentemente, ao exibir uma imagem alvo composta, com relação a uma imagem alvo composta possuindo alta confiabilidade, os parâmetros de transformação conectada usados para transformar uma imagem alvo composta podem ser corrigidos usando os parâmetros de trabalho de câmera correspondentes.

Exemplo de Operação de Operação do Aparelho de Processamento de Imagem A seguir, a operação de um aparelho de processamento de imagem 102 de acordo com a quarta realização da presente invenção será descrito com referência aos desenhos.

Figura 63 é um fluxograma ilustrando o procedimento de um processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem 102 de acordo com a quarta realização da presente invenção. Este procedimento é uma modificação do procedimento mostrado na Figura 34, o mesmo procedimento que o procedimento mostrado na Figura 34 será denotado pelos mesmos numerais de referência, e descrição deste será omitida aqui.

Após o mesmo processo de seleção pela unidade de seleção de imagem alvo composta 170 ser completado, a unidade de determinação de imagem de decoração 700 executa um processo de determinação de imagem de decoração (etapa S1020). Este processo de determinação de imagem de decoração será descrito em detalhe com referência à Figura 64. Notar que a etapa S950 é um exemplo de cálculo de informação de transformação referida no Sumário da Invenção. Também, notar que a etapa S1020 é um exemplo de cálculo para determinar imagens de decoração referidas no Sumário da Invenção.

Figura 64 é um fluxograma ilustrando um procedimento de determinação de imagem de decoração (o procedimento na etapa S1020 mostrado na Figura 63) incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem 102 de acordo com a quarta realização da presente invenção. Com este exemplo, é mostrado um exemplo onde um quadro branco é determinado para ser uma imagem de decoração. Também, é mostrado um caso como um exemplo onde um quadro branco a ser adicionado a cada quadro incluído na mesma seção alvo de composição de imagem possui a mesma densidade.

Primeiramente, os metadados correspondentes a cada imagem alvo composta incluída em uma única seção alvo de composição de imagem selecionados pela unidade de seleção de imagem alvo composta 170 são obtidos a partir de um arquivo de metadados armazenado na unidade de armazenagem de metadados 210 (etapa S1021). Subseqüentemente, o tamanho para compor cada imagem alvo composta usando os parâmetros de transformação conectada correspondentes a cada imagem alvo composta incluídos na seção alvo de composição de imagem obtida são calculados, e os dois meios de armazenagem temporária de trabalho tendo este tamanho são fixados (etapa S1022). Os dois meios de armazenagem temporária de trabalho são meios de armazenagem temporária de trabalho que representam cada pixel constituindo uma imagem por 8 bits, e com este exemplo estes meios de armazenagem temporária de trabalho são indicados como um primeiro meio de armazenagem temporária de trabalho e um segundo meio de armazenagem temporária de trabalho.

Subseqüentemente, de cada imagem alvo composta incluída na seção alvo de composição de imagem servindo como um alvo de seleção, o quadro mais frontal é selecionado como um quadro de referência (etapa S1023). O quadro de referência é colado no primeiro meio de armazenagem temporária de trabalho (etapa S1024). O quadro adjacente ao quadro de referência é colado no segundo meio de armazenagem temporária de trabalho (etapa S1025). Neste caso, o quadro colado imediatamente antes é eliminado, e o quadro isolado adjacente ao quadro de referência é colado no segundo meio de armazenagem temporária de trabalho. Subseqüentemente, a taxa de sobre extensão de uma região superposta entre a imagem histórica colada no primeiro meio de armazenagem temporária de trabalho e o quadro a ser colado no segundo meio de armazenagem temporária de trabalho é calculada (etapa S1026). Esta taxa de sobre extensão é calculada pelo método de cálculo mostrado nas Figuras 52A a 52C. Subseqüentemente, com relação a cada imagem alvo composta incluída na seção alvo de composição de imagem servindo como alvo de seleção, é feita determinação se o cálculo de uma taxa de sobre extensão foi ou não completado (etapa S1027). No caso em que o cálculo de uma taxa de sobre extensão não tiver sido completado em relação a cada imagem alvo composta (etapa S1027), o quadro cuja taxa de sobre extensão tenha sido calculada imediatamente antes é selecionado como um quadro de referência (etapa S1028), e o fluxo retorna à etapa S1024. Subseqüentemente, o novo quadro de referência selecionado é colado acima da imagem histórica do primeiro meio de armazenagem temporária de trabalho (etapa S1024). Notar que no caso em que o quadro cuja taxa de sobre extensão tenha sido calculada imediatamente antes é o quadro superior o último quadro da seção alvo de composição de imagem, um quadro adjacente à outra direção do quadro mais frontal é selecionado como um quadro de referência.

No caso em que o cálculo de uma taxa de sobre extensão tenha sido completada em relação a cada imagem alvo composta (etapa S1027), a densidade de um quadro branco a ser adicionada a cada imagem alvo composta incluída na seção alvo de composição de imagem servindo como um alvo de seleção é calculada com base na taxa de sobre extensão calculada em relação a cada seção alvo de composição (etapa S1029). Subseqüentemente, a descrição detalhada calculada do quadro branco é gravada na unidade de armazenagem de metadados de imagem alvo de composição 277 (etapa S1030). E feita determinação se o processo de determinação de imagem de decoração foi ou não completado em relação a todas as seções alvo de composição de imagem selecionadas pela unidade de seleção de seção 160 (etapa S1031). No caso em que o processo de determinação de imagem de decoração não tiver sido completado em relação a todas as seções alvo de composição de imagem (etapa S1031), o fluxo retorna à etapa S1021, onde o processo de determinação de imagem de decoração é repetido (etapas S1021 a S1030). Por outro lado, no caso em que o processo de determinação de imagem de decoração tenha sido completado em relação a todas as seções alvo de composição de imagem (etapa S1031), a operação do processo de determinação de imagem de decoração é terminada.

Figura 65 é um fluxograma ilustrando um processo de determinação de imagem de decoração (o procedimento na etapa S1020 mostrado na Figura 63) incluído no procedimento do processo de gravação de metadados de imagem alvo composta pelo aparelho de processamento de imagem 102 de acordo com a quarta realização da presente invenção. Este exemplo é um exemplo onde uma sombra é determinada para ser uma imagem de decoração, e é uma modificação do procedimento mostrado na Figura 64. Portanto, somente o procedimento diferente do procedimento mostrado na Figura 64 será descrito, e outra descrição será omitida.

Após o quadro adjacente, o quadro de referência é colado no segundo meio de armazenagem temporária de trabalho (etapa S1025), um vetor normal entre a imagem histórica colada no meio de armazenagem temporária de trabalho, e o quadro colado no segunda meio de armazenagem temporária de trabalho é calculado (etapa S1041). Este vetor normal é calculado pelo método de cálculo mostrado nas Figuras 61A e 61B.

Também, no caso em que o cálculo de um vetor normal tiver sido completado em relação a cada imagem alvo composta (etapa S1027), o valor integral dos vetores normais calculados é calculado em relação a cada imagem alvo composta, a direção de um vetor normal obtido pela integração é calculada como a direção onde uma sombra é adicionada (etapa S1042). Subseqüentemente, a direção calculada onde uma sombra é adicionada, é armazenada na unidade de armazenagem de metadados de imagem alvo de composição 277 (etapa S1043).

Figura 66 é um fluxograma ilustrando o procedimento de um processo de visualização de imagem composta pelo aparelho de processamento de imagem 102, de acordo com a quarta realização da presente invenção. Este procedimento é uma modificação do procedimento mostrado na Figura 37 e, conseqüentemente, o mesmo procedimento que o procedimento mostrado na Figura 37 será denotado pelos mesmos numerais de referência, e a descrição destes será omitida aqui.

A unidade de composição de imagem 221 adiciona uma imagem de decoração à periferia da imagem submetida a transformação conectada, com base nos dados de imagem de decoração incluídos em cada peça de metadados obtida (etapa S1051), e mantém a imagem à qual a imagem de decoração foi adicionada na memória de imagem 230 (etapa S1052). Quer dizer, a imagem submetida a marca à qual a imagem de decoração foi adicionada é composta na imagem histórica armazenada na memória de imagem 230.

Também, no caso em que o quadro mais frontal não é o quadro de topo ma seção alvo de composição de imagem (etapa S973), um processo de composição de imagem é executado (etapa S1060). Este processo de composição de imagem será descrito em detalhe com referência à Figura 67.

Figura 67 é um fluxograma ilustrando um procedimento de imagem composta o procedimento na etapa S1060 mostrado na Figura 66) incluído no procedimento do processo de visualização de imagem composta pelo aparelho de processamento de imagem 102, de acordo com a quarta realização da presente invenção. Este procedimento é uma modificação do procedimento mostrado na Figura 38 e, conseqüentemente, o mesmo procedimento do procedimento mostrado na Figura 38 será denotado pelos mesmos numerais de referência, e a descrição destes será omitida aqui.

A unidade de composição de imagem 221 adiciona uma imagem de decoração à periferia da imagem submetida a transformação conectada com base em dados de imagem de decoração incluídos em cada peça de metadados obtida (etapa S1061), e mantém a imagem à qual a imagem de decoração tenha sido adicionada na memória de imagem 230 (etapa S1062).

Também, a unidade de composição de imagem 221 adiciona uma imagem de decoração à periferia da imagem submetida a transformação conectada, com base nos dados de imagem de decoração incluídos em cada peça de metadados obtida (etapa S1063), e mantém a imagem à qual a imagem de decoração tenha sido adicionada na memória de imagem 230 (etapa S1064).

Também, a unidade de composição de imagem 221 adiciona uma imagem de decoração à periferia da imagem submetida a transformação conectada com base em dados de imagem de decoração incluídos em cada peça de metadados obtida (etapa S1065) e mantém a imagem à qual a imagem de decoração foi adicionada na memória de imagem 230 (etapa S1066).

5. Quinta Realização

Exemplo de Configuração de Aparelho de Processamento de Imagem

A seguir, será feita descrição em detalhe relativa a um caso em que o processo de extração de ponto de característica e um processo de cálculo de fluxo óptico de acordo com uma quinta realização da presente invenção são executados por um processador de multinúcleos, com referência aos desenhos.

Figura 68 é um diagrama ilustrando um exemplo de configuração de um processador de multinúcleos 800 de acordo com uma quinta realização da presente invenção. O processador de multinúcleos 800 é um processador onde diferentes tipos de núcleos de processador são implementados em uma única embalagem de CPU (Unidade de Processamento Central). Especificamente, dois tipos de núcleos de processador que podem processar todas as aplicações são implementados no processador de multinúcleos 800 para manter a capacidade de processamento de cada núcleo de processador e para realizar uma configuração simples. Os dois tipos de núcleos de processador consistem de um tipo de núcleos, e o outro tipo de núcleos otimizado parcialmente para uma aplicação pre- determinada.

O processador de multinúcleos 800 inclui um núcleo de processador de controle 801, núcleos de processador aritmético (#1) 811 a (#8) 818 e um barramento 802, e é conectado à memória principal 781. Também, o processador de multinúcleos 800 é conectado a outros dispositivos, por exemplo, um dispositivo gráfico 782, um dispositivo I/O 783 e assim por diante. Como o processador de multinúcleos 800, por exemplo, uma Célula (Máquina Faixa Larga de Célula) que é um microprocessador desenvolvido pelo presente requerente e outros, pode ser empregada.

O processador de controle 801 é um núcleo de processador de controle configurado para executar principalmente comutação de encadeamento freqüente tal como um sistema operacional, ou similar. Notar que o núcleo de processador de controle 801 será descrito em detalhe com referência à Figura 69.

Os núcleos de processador aritmético (#1) 811 a (#8) 818 são núcleos de processador aritmético pequeno simples que superam todos os processos de um sistema multimídia. Notar que os núcleos de processador aritmético (#1) 811 a (#8) 818 serão descritos em detalhe com referência à Figura 70.

O barramento 802 é um barramento de alta velocidade chamado de elemento de barramento de interconexão (EIB). Também, o barramento 802 é conectado ao processador de controle 801, e cada um dos núcleos de processador aritmético (#1) 811 a (#8) 818, e o acesso a dados por cada núcleo de processador é executado via barramento 802.

A memória principal 781 é conectada ao barramento 802 e é a memória principal que armazena vários tipos de programas a serem carregados em cada núcleo processador, dados para o processo por cada núcleo processador e dados processados por cada núcleo processador.

O dispositivo gráfico 782 é um dispositivo gráfico conectado ao barramento 802 e o dispositivo I/O 783 é um dispositivo de entrada/saída externa conectado ao barramento 802.

Figura 69 é um diagrama ilustrando um exemplo de configuração do núcleo de processador de controle 801 de acordo com a quinta realização da presente invenção. O núcleo de processador de controle 801 inclui uma unidade de processador de controle 803, e um sistema de armazenagem de processador de controle 806. A unidade de processador de controle 803 é uma unidade constituindo um núcleo configurado para executar o processo aritmético do núcleo de processador de controle 801. Também,1 a unidade de processador de controle 803 inclui um conjunto de comando com a arquitetura de um microprocessador como base. Um cache de comando 804 e um cache de dados 805 são implementados na unidade de processador de controle 803 como caches primários. O cache de comando 804 é, por exemplo, um cache de comando de 32 KB e o cache de dados 805 é, por exemplo, um cache de dados de 32 KB.

O sistema de armazenagem de processador de controle 806 é uma unidade que controla o acesso de dados a partir da unidade de processador de controle 803 para a memória principal 781. Também, com o sistema de armazenagem de processador de controle 806, um cache secundário 807 de 512 KB é montado para aumentar a velocidade de acesso de memória a partir da unidade de processador de controle 803.

Figura 70 é um diagrama ilustrando um exemplo de configuração de um núcleo de processador aritmético (#1)811 de acordo com a quinta realização da presente invenção. O processador aritmético (#1) 811 inclui uma unidade de processador aritmético 820 e um controlador de fluxo de memória 822. Notar que, os núcleos de processador aritmético (#2) 812 a (#8) 818 possuem a mesma configuração do núcleo de processador aritmético (#1)811 e conseqüentemente, a descrição destes será omitida aqui.

A unidade de processador aritmético 820 é uma unidade servindo como um núcleo que executa o processo aritmético do núcleo de processador aritmético (#1) 811, e inclui um conjunto de comando original diferente da unidade de processador de controle 803 do núcleo de processador de controle 801. Também, uma armazenagem local (LS) 821 é implementada na unidade de processador aritmético 820.

A armazenagem local (LS) 821 é a memória dedicada da unidade de processador aritmético 820 e é a única memória que pode se referir à unidade de processador aritmético 820 diretamente. Por exemplo, a memória cuja capacidade é de 256 KB pode ser empregada como a armazenagem local 821. Notar que a unidade de processador aritmético 820 tem que tirar vantagem do controlador de fluxo de memória 822 para acessar a armazenagem local acima da memória principal 781 e outros núcleos de processador aritmético (núcleos de processador aritmético (#2) 812 a (#8) 818). O controlador de fluxo de memória 822 é uma unidade usada para trocar dados com a memória principal 781 ou outros núcleos de processador aritmético ou similares, e é uma unidade chamada controlador de fluxo de memória (MFC). Aqui, a unidade de processador aritmético 820 requisita transferência de dados ou similar como para o controlador de fluxo de memória 822, através de uma interface chamada de canal.

Vários tipos de modelo têm sido propostos como um modelo de programação do processador de multinúcleos 800 descrito acima. Um modelo tem sido familiar como o modelo mais fundamental deste modelo de programação, onde um programa principal é executado sobre o núcleo de processador de controle 801, e um sub programa é executado através dos núcleos de processador aritmético (#1) 811 a (#8) 818. Com a quinta realização da presente invenção, o método de computação do processador de multinúcleos 800 usando este modelo será descrito em detalhe com referência aos desenhos.

Figura 71 é um diagrama ilustrando esquematicamente um método de computação do processador de multinúcleos 800 de acordo com a quinta realização da presente invenção. Com este exemplo, é mostrado um exemplo onde, no caso em que o núcleo de processador de controle 801 executa uma tarefa 784 usando dados 785, o núcleo de processador de controle 801 controla cada núcleo de processador aritmético para usar dados 787 (uma porção dos dados 785) para o processo de uma tarefa 786 que é uma porção da tarefa 784 para executar a tarefa 786.

Conforme mostrado na Figura 71, no caso em que o núcleo de processador de controle 801 usa os dados 785 para executar a tarefa 784, o núcleo de processador de controle 801 controla cada núcleo de processador aritmético para usar os dados 787 (uma porção dos dados 785) para o processo de uma tarefa 786 que é uma porção da tarefa 784, para executar a tarefa 786. Com a quinta realização da presente invenção, um processo de computação é executado por cada núcleo de processador aritmético para cada quadro constituindo uma imagem móvel.

Conforme mostrado na Figura 71, o processador de multinúcleos 800 executa uma computação, onde os núcleos de processador aritmético (#1) 811 a (#8) 818 são usados em paralelo, e muitas computações podem ser executadas em comparativamente pouco tempo. Também, uma computação de instrução única/dados múltiplos (SIMD) é executada através dos núcleos de processador aritmético (#1)811 a (#8) 818, onde relativamente muitas computações podem ser executadas com um número ainda menor de comandos. Notar que a computação SIMD será descrita em detalhe com referência às Figuras 75 a 78.

Figura 72 é um diagrama ilustrando esquematicamente os fluxos de um programa e dados no caso em que uma computação é executada pelo processador de multinúcleos 800 de acordo com a quinta realização da presente invenção. Agora, será feita descrição relativa ao núcleo de processador aritmético (#1) 811 dos núcleos de processador aritmético (#1) 811a (#8) 818 como um exemplo, porém uma computação pode também ser executada similarmente em relação aos núcleos de processador aritmético (#2) 812 a (#8) 818.

Primeiramente, o núcleo de processador de controle 801 transmite ao núcleo de processador aritmético (#1) 811 uma instrução para carregar um programa de núcleo de processador aritmético 823 armazenado na memória principal 781 para a armazenagem local (LS) 821.

Subseqüentemente, o núcleo de processador de controle 801 instrui o núcleo de processador aritmético (#1)811 a executar o programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821.

O núcleo de processador aritmético (#1) 811 transfere dados 824 para o processo de execução do programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821 a partir da memória principal 781 para a armazenagem local 821.

O núcleo de processador aritmético (#1)811 processa os dados 826 transferidos da memória principal 781 com base no programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821, e executa um processo de acordo com uma condição para armazenar os resultados do processamento na armazenagem local 821.

O núcleo de processador aritmético (#1) 811 transfere os resultados do processamento executado com base no programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821 a partir da armazenagem local 821 para a memória principal 781.

O núcleo de processador aritmético (#1) 811 informa ao núcleo de processador de controle 801o término da computação.

A seguir, computação SIMD executada usando o processador de multinúcleos 800 será descrita em detalhe com referência aos desenhos. Aqui, computação SIMD é um método de computação onde um processo como para diversos dados é executado com um único comando.

Na Figura 73, (a) é um diagrama ilustrando esquematicamente uma visão geral de um método de computação arranjado para executar um processo como para diversos dados por cada comando correspondente. O método de computação mostrado em (a) na Figura 73 é um método de computação comum e é referido, por exemplo, como uma computação escalar. Por exemplo, os resultados de processamento dos dados "Cl" são obtidos com um comando usado para adicionar dados "Al" e dados "BI". Também, com relação a outras três computações igualmente, similarmente, um comando para adicionar dados "A2", "A3" e "A4" e dados "B2", "B3" e "B4" na mesma fila, respectivamente é executado em relação a cada uma das computações. De acordo com este comando, o valor de cada fila é adicionado, e os resultados de processamento desta são obtidos como dados "C2", "C3" e "C4". Então, com uma computação escalar, um comando tem que ser executado em relação a cada processo como para diversos dados.

Na Figura 73, (b) é um diagrama ilustrando esquematicamente uma visão geral de um método de computação SIMD que é um método de computação arranjado para executar um processo como para diversos dados por um único comando. Agora, dados integrados para computação SIMD (cada peça de dados rodeadas por linhas pontilhadas 827 e 828) são referidos como dados de vetor em alguns casos. Também, computação SIMD executada usando tais dados de vetor é referida como uma computação de vetor em alguns casos.

Por exemplo, de acordo com um único comando para adicionar dados de vetor rodeados por uma linha pontilhada 827, e dados de vetor rodeados por uma linha pontilhada 828, os resultados do processamento (dados rodeados por uma linha pontilhada 829) de "Cl", "C2", "C3" e "C4" são obtidos. Aqui, dados de vetor rodeados pela linha pontilhada 827 são "Al", "Α2", "Α3" e "Α4" e dados de vetor rodeados pela linha pontilhada 828 são "BI", "B2", "B3" e "B4". Então, com computação SIMD, um processo como para diversos dados pode ser executado por um único comando, e conseqüentemente, a computação pode ser executada rapidamente. Também, o núcleo de processador de controle 801 do processador de multinúcleos 800 executa um comando relativo a estas computações SIMD e os núcleos de processador aritmético (#1) 811 a (#8) 818 executam um processo paralelo relativo às computações de diversos dados como para tal comando.

Por outro lado, por exemplo, um processo para adicionar entre dados "Al" e "BI", um processo para subtrair entre dados "A2" e "B2", um processo para multiplicar entre dados "A3" e "B3" e um processo para dividir entre dados "A4" e "B4" não são realizados por computação SIMD. Quer dizer, no caso em que um processo diferente é executado como para cada um dos diversos dados, um processo por computação SIMD não é realizado.

A seguir, um método de computação específico de computação SIMD no caso de executar um processo de extração de ponto de característica e um processo de cálculo de fluxo óptico serão descritos em detalhe com referência aos desenhos.

Figura 74 é um diagrama ilustrando um exemplo de configuração de um programa executado pelo núcleo processador de controle 801 ou núcleo de processador aritmético (#1) 811, de acordo com a quinta realização da presente invenção. Aqui, o núcleo de processador de controle 801 isoladamente será ilustrado, o mesmo processo será também executado em relação ao núcleos de processador aritmético (#2) 812 a (#8) 818.

O núcleo de processador de controle 801 executa decodificação 852, entrelaçamento 853 e redimensionamento 854 como decodificação 851. A decodificação 852 é um processo para decodificar um arquivo de imagem móvel. O entrelaçamento 853 é um processo para remover o entrelaçamento de cada quadro decodificado. O redimensionamento 854 é um processo para reduzir cada quadro cujo entrelaçamento tenha sido removido.

Também, o núcleo de processador de controle 801 executa transmissões de comando 857 e 859, e recepções de notícia de terminação 858 e 860 e gerenciamento de núcleo de processador aritmético 856. As transmissões de comando 857 e 859 são processos para transmitir um comando de execução de computação SIMD como para os núcleos de processador aritmético (#1) 811 a (#8) 818. Também, as recepções de notícia de terminação 858 e 860 são processos para receber a notícia de término de computação SIMD a partir dos núcleos de processador aritmético (#1) 811 a (#8) 818 como para o comando acima. Adicionalmente, o núcleo de processador de controle 801 executa um processo de cálculo de parâmetro de trabalho de câmera 862 como detecção de trabalho de câmera 861. O processo de cálculo de parâmetro de trabalho de câmera 862 é um processo para calcular parâmetros de transformação conectada para cada quadro, com base no fluxo óptico calculado com computação SIMD pelos núcleos de processador aritmético (#1)811 a (#8) 818.

O núcleo de processador aritmético (#1) 811 executa um processo de filtro de Sobel 864, um segundo processo de matriz de momento 865 como um processo de extração de ponto de característica 863. Também, o núcleo de processador aritmético (#1) 811 executa um processo de filtro separável 866, um processo de extração de pontos de canto de Harris (Cale Harris) 867, um processo de dilação 868 e um processo de classificação 869.

O processo de filtro de Sobel 864 é um processo para calcular um valor dx na direção X obtido usando um filtro P2 (direção x) e um valor dy na direção y obtido usando um filtro na direção Y. Notar que o cálculo do valor dx na direção X será descrito em detalhe com referência às Figuras 75 a 78. O segundo processo de matriz de momento 865 é um processo para calcular cada valor de dx2, dy2, dx.dy usando o dx e o dy calculados pelo processo de filtro de Sobel 864.

O processo de filtro separável 866 é um processo para aplicar um filtro Gaussiano (processo de borrão) para as imagens dos valores de dx2, dy2, dx.dy calculados pelo segundo processo de matriz de momento 865.

O processo de extração de pontos de canto de Harris (Cale Harris) 867 é um processo para usar cada valor de dx2, dy2, dx.dy submetidos a um processo de borrão pelo processo de filtro separável 866, para calcular a pontuação de um canto de Harris. A pontuação S deste canto de Harris é calculada, por exemplo, pela expressão a seguir

S = (dx2 χ dy2 - dx.dy χ dx.dy) / (dx2 + dy2 + ε)

O processo de dilação 868 é um processo para executar um processo de borrão como para uma imagem constituída da pontuação de um canto de Harris calculada pelo processo de extração de pontos de canto de Harris (Cale Harris) 867.

O processo de dilação 868 e um processo de classificação 869 é um processo para classificar pixéis na ordem descendente da pontuação de um canto de Harris, calculada pelo processo de extração de pontos de canto de Harris (Cale Harris) 867, captar pixéis por um número pré-determinado de pixéis a partir de um pixel possuindo a pontuação mais alta, e extrair estes pixéis convertidos em imagem como pontos de característica.

O núcleo de processador aritmético (#1) 811 executa um processo de criação de imagem de pirâmide 871 como um processo de computação de fluxo óptico 870, e executa um processo de cálculo de fluxo óptico 872.

O processo de criação de imagem de pirâmide 871 é um processo para criar seqüencialmente uma imagem reduzida através de um número pré-determinado de estágios a partir do tamanho de imagem no instante de geração de imagem pela câmera, e a imagem criada é referida como uma imagem de multirresoluções.

O processo de cálculo de fluxo óptico 872 é um processo para calcular um fluxo óptico relativo à menor imagem das imagens de multirresoluções criadas pelo processo de criação de imagem de pirâmide 871, e usa este resultado de cálculo para calcular um fluxo óptico novamente, relativo a uma imagem possuindo uma resolução até uma categoria da menor imagem. Tal série de processos é executada repetidamente até que a imagem a ser processada atinja a maior imagem.

Então, por exemplo, o processo de extração de ponto de característica e o processo de cálculo de fluxo óptico são executados em paralelo com computação SIMD usando o processador de multinúcleos 800, onde resultados do processamento podem ser obtidos. Aqui, por exemplo, o processo de extração de ponto de característica é um processo de extração de ponto de característica executado pela unidade de extração de ponto de característica 121 mostrada na Figura 2 e outras, e o processo de cálculo de fluxo óptico é um processo de cálculo de fluxo óptico executado pela unidade de cálculo de fluxo óptico 122. Notar que o processo de extração de ponto de característica, e o processo de cálculo de fluxo óptico mostrados na Figura 74 e outras são um exemplo, um outro processo constituído de vários tipos de processos de filtro e um processo limite e similares como para a imagem constituindo uma imagem móvel podem ser usados para executar computação SIMD pelo processador de multinúcleos 800.

Figura 75 é um diagrama ilustrando esquematicamente uma estrutura de dados e um fluxo de processamento no caso em que dados de imagem armazenados na memória principal 781 de acordo com a quinta realização da presente invenção são submetidos a um processo de filtragem usando o filtro de Sobel 830. Estes dados de imagem são dados de imagem correspondentes a um único quadro constituindo uma imagem móvel convertida pela câmera. Notar que os dados de imagem armazenados na memória principal 781 mostrada na Figura 75 são ilustrados de uma maneira simplificada com o número de pixéis horizontais como 32 pixéis. Também, o filtro de Sobel 830 é um filtro de extração de borda 3x3. Conforme mostrado na Figura 75, os dados de imagem armazenados na memória principal 781 são submetidos a um processo de filtragem usando o filtro de Sobel 830, e os resultados deste processo de filtragem são emitidos. Com este exemplo, será feita descrição relativa a um exemplo onde computação SIMD é usada para obter os resultados dos quatro filtros de uma vez.

Figura 76 é um diagrama ilustrando esquematicamente um fluxo de dados no caso em que o filtro de Sobel 830 é usado para executar computação SIMD visando dados de imagem armazenados na memória principal 781, de acordo com a quinta realização da presente invenção. Primeiramente, um número pré-determinado de filas incluindo a primeira fila dos dados de imagem armazenados na memória principal 781 são transferidos por DMA (Acesso de Memória Direto) para um primeiro meio de armazenagem temporária 831 provido à armazenagem local 821 de um núcleo de processador aritmético. Também, um número pré-determinado de filas onde cada fila transferida por DMA para o primeiro meio de armazenagem temporária 831 é deslocada para baixo de um, é transferido por DMA para um segundo meio de armazenagem temporária 832. Aqui, o número pré- determinado de filas é, por exemplo, de três filas. Então, os meios de armazenagem temporária duplos são usados, pelos quais o retardo devido à transferência DMA pode ser sobreposto.

Figura 77 é um diagrama ilustrando esquematicamente um método de criação de vetor arranjado para criar nove vetores a partir dos dados de imagem armazenados no primeiro meio de armazenagem temporária 831 no caso em que o processo de filtragem é executado usando o filtro de Sobel 830 de acordo com a quinta realização da presente invenção. Conforme mostrado na Figura 76, após transferência DMA ser executada, nove vetores são criados a partir dos dados de imagem armazenados no primeiro meio de armazenagem temporária 831. Especificamente, com a primeira fila dos dados de imagem armazenados no primeiro meio de armazenagem temporária 831, dados de vetor 841 são criados com quatro peças de dados a partir do canto esquerdo, e de acordo com quatro peças de dados obtidas deslocando as quatro peças acima para o lado direito de um, dados de vetor 842 são criados. Similarmente, de acordo com quatro peças de dados obtidas deslocando as quatro peças acima para o lado direito de um, dados de vetor 843 são criados. Também, com a segunda e terceira filas, similarmente, dados de vetor 844 a 849 são criados com quatro peças de dados.

Figura 78 é um diagrama ilustrando esquematicamente um método de computação de vetor arranjado para usar computação SEMD para executar uma computação de vetor visando dados de vetor 841 a 849 no caso em que o processo de filtragem é executado usando o filtro de Sobel 830 de acordo com a quinta realização da presente invenção. Especificamente, computação SIMD é executada seqüencialmente em relação aos dados de vetor 841 a 843, onde o vetor A é obtido. Com esta computação SIMD, primeiramente, computação SIMD de -1 x dados de vetor 841 é executada. A seguir, computação SIMD de 0 x dados de vetor 841 é executada e computação SIMD de 1 x dados de vetor 843 é executada. Aqui, com relação a 0 x dados de vetor 842, o resultado da computação foi determinado para ser 0, e conseqüentemente, esta computação pode ser omitida. Também, com relação a 1 x dados de vetor 843, o resultado da computação foi determinado para ser x mesmo valor dos dados de vetor 843, e conseqüentemente, esta computação pode ser omitida.

Subseqüentemente, um processo de adição entre o resultado de computação de -1 x dados de vetor 841 e o resultado de computação de 0 x dados de vetor 842 é executado com computação SIMD. Subseqüentemente, um processo de adição entre o resultado do processo de adição acima e o resultado de computação de 1 x dados de vetor 843 é executado com computação SIMD. Aqui, por exemplo, a computação de uma estrutura de dados servindo como dados de vetor 1 x dados de vetor 2 + dados de vetor 3 pode ser realizada com computação SIMD. Portanto, com relação à computação do vetor A, computação SIMD relativa, por exemplo, a 0 x dados de vetor 842 e 1 x dados de vetor 843 será omitida. Subseqüentemente, - 1 x dados de vetor 841 + dados de vetor 843 pode ser executado com uma computação SIMD de uma vez.

Também, similarmente, computação SIMD é executada em relação aos dados de vetor 844 a 846 para obter um vetor B, computação SIMD é executada em relação aos dados de vetor 847 a 849, para obter um vetor C.

Subseqüentemente, computação SIMD é executada em relação a vetores obtidos A a C, para obter um vetor D. Então, computação SIMD é executada, onde os resultados equivalentes ao número de elementos de vetor (quatro peças de dados neste exemplo) pode ser obtido ao mesmo tempo.

Após o vetor D ser calculado, com os dados de imagem armazenados no primeiro meio de armazenagem temporária 831 mostrado na Figura 76, o mesmo processo é executado repetidamente enquanto desloca a posição dos dados a serem extraídos para o lado direito de um, onde o cálculo do vetor D relativo a cada peça dos dados de imagem é executado seqüencialmente. Subseqüentemente, no caso em que o processo até a borda direita dos dados de imagem armazenados no primeiro meio de armazenagem temporária 831 mostrado na Figura 76 tiver sido completado, os resultados de processamento são transferidos por DMA para a memória principal 781.

Subseqüentemente, dos dados de imagem armazenados na memória principal 781, um número pré-determinado de filas onde cada fila transferida por DMA para o segundo meio de armazenagem temporária 832 é deslocada para baixo de um, é transferido por DMA para o primeiro meio de armazenagem temporária 831. O processo acima é executado repetidamente em relação aos dados de imagem armazenados no segundo meio de armazenagem temporária 832, juntamente com esta transferência.

Subseqüentemente, o mesmo processo é executado repetidamente até que a fila a ser processada alcance a fila de borda inferior das filas dos dados de imagem armazenados na memória principal 781.

Similarmente, a maioria dos processos de extração de ponto de característica e cálculo de fluxo óptico é executada com computação SIMD, onde o aumento de velocidade pode ser realizado.

Figura 79 é um diagrama ilustrando esquematicamente o fluxo de um processo de cálculo de parâmetro de trabalho de câmera de acordo com a quinta realização da presente invenção, de uma maneira em série no tempo. Conforme descrito acima, por exemplo, computação SIMD é executada usando o processador de multinúcleos 800, onde processos de decodificação e análise relativos a uma imagem móvel podem ser executados em paralelo. Portanto, o tempo de análise de um quadro constituindo uma imagem móvel pode ser reduzido se comparado ao tempo de decodificação.

Por exemplo, na Figura 79, tl representa o tempo para o processo de decodificação de um quadro constituindo uma imagem móvel pelo núcleo de processador de controle 801. Também, t2 representa o tempo para o processo de extração de ponto de característica de um quadro constituindo uma imagem móvel pelos núcleos de processador aritmético (#1) 811a (#8) 818. Também, t3 representa o tempo para o processo de cálculo de fluxo óptico de um quadro constituindo uma imagem móvel, pelos núcleos de processador aritmético (#1) 811 a (#8) 818. Também, t4 representa o tempo para o processo de detecção de trabalho de câmera de um quadro constituindo uma imagem móvel pelo núcleo de processador de controle 801. Notar que t5 representa o tempo para o processo de detecção de trabalho de câmera relativo a um quadro constituindo um imagem móvel pelo núcleo de processador de controle 801 e núcleos de processador aritmético (#1) 811 a (#8) 818. Também, t6 representa o tempo para um processo gerenciar os núcleos de processador aritmético (#1) 811 a (#8) 818 pelo processador de controle 801.

Por exemplo, pode ser feito um arranjo onde tl é configurado para 25,0 ms, t2 é configurado para 7,0 ms, t3 é configurado para 6,7 ms, t4 é configurado para 1,2 ms e t5 é configurado para 15,8 ms.

A seguir, será feita descrição em detalhe relativa a um caso em que um conteúdo de imagem móvel usando um arquivo de metadados de acordo com a quinta realização da presente invenção é reproduzido, com referência aos desenhos.

Na Figura 80, (a) é uma vista superior ilustrando esquematicamente um Disco Blu-ray (marca registrada) 880 que é um exemplo de um meio de gravação, e (b) na Figura 80 é um diagrama ilustrando esquematicamente dados 881 a dados 884 gravados no Disco Blu- ray 880. Por exemplo, um conteúdo de imagem móvel 882, uma legenda 883, metadados 884 e um programa Java (marca registrada) 881 são gravados no Disco Blu-ray 880. Por exemplo, o conteúdo de imagem móvel 882 é uma imagem móvel convertida por uma câmera ou similar, a legenda 883 é a legenda do conteúdo de imagem móvel 882, e os metadados 884 são metadados obtidos analisando o conteúdo de imagem móvel 882 (por exemplo, cada peça de informação mostrada nas Figuras 3, 4, etc.). Também, o programa Java 881 é um programa Java de acordo com uma reprodução de imagem móvel com cada realização da presente invenção.

Na Figura 80, (c) é um diagrama ilustrando esquematicamente a configuração interna de um reprodutor Blu-ray capaz de reproduzir o Disco Blu-ray 880. Aqui, com o reprodutor Blu-ray 890 capaz de reproduzir um Disco Blu-ray, uma CPU 891, OS 892, uma VM Java (máquina virtual Java), e uma biblioteca 893 são implementados como padrão, e conseqüentemente, um programa Java pode ser executado. Portanto, o Disco Blu-ray 880 é montado no reprodutor Blu-ray 890, onde o reprodutor Blu-ray 890 pode carregar e executar o programa Java 881. Então, no caso em que o reprodutor Blu-ray 890 reproduz o conteúdo de imagem móvel 882, os metadados 884 são usados para executar visualização de uma imagem panorâmica correspondente a uma imagem móvel de acordo com cada realização da presente invenção, busca de uma imagem móvel a partir de imagens móveis múltiplas ou similar. Quer dizer, reprodução de imagem móvel de acordo com cada realização da presente invenção pode ser realizada com todos os reprodutores Blu-ray sem usar um software de PC dedicado ou similar.

Conforme descrito acima, de acordo com as realizações da presente invenção, uma atmosfera em um local de geração de imagem, uma situação do local desta e assim por diante podem ser propagados precisamente, e o espaço de geração de imagem no local de geração de imagem destes pode ser reconhecido. Também, pode ser feito com que a imagem móvel desta pareça mais divertida, e o interesse relativo à imagem móvel pode ser aumentado. Por exemplo, é dito que a maioria dos usuários é satisfeita com geração de imagem de uma vez de uma imagem móvel, se comparada a uma foto, e não vê a imagem móvel convertida repetidamente. Portanto, com as realizações da presente invenção, uma imagem proeminente é selecionada a partir de uma imagem móvel, e uma imagem composta é criada a partir desta imagem, onde uma chance de visualizar uma cena convertida pela imagem móvel novamente pode ser prontamente provida. Por exemplo, imagens múltiplas podem ser compostas de uma forma panorâmica para criar uma imagem composta de tal modo que fotos em papel múltiplas são superpostas.

Também, com as realizações da presente invenção, foi apresentada descrição com o aparelho de processamento de imagem que exibe uma imagem composta na unidade de visualização como um exemplo, mas as realizações da presente invenção podem ser aplicadas a um aparelho de processamento de imagem no qual uma unidade de emissão de imagem que emite informação de imagem usada para visualização de uma imagem composta sobre um outro aparelho de visualização de imagem.

Adicionalmente, as realizações da presente invenção podem ser aplicadas a um reprodutor de imagem móvel capaz de reproduzir uma imagem móvel, um aparelho de geração de imagem tal como uma câmera de vídeo digital ou similar, capazes de reproduzir uma imagem móvel convertida, um quadro de foto capaz de exibir uma imagem com base em dados de imagem, ou similares.

Também, com as realizações da presente invenção, foi feita descrição com o aparelho de processamento de imagem como um exemplo, mas as realizações da presente invenção podem ser aplicadas a um reprodutor de imagem móvel ou similar capaz de reproduzir uma imagem móvel. Também, com as realizações da presente invenção, foi feita descrição relativa a uma imagem móvel convertida pela câmera, mas as realizações da presente invenção podem também ser aplicadas, por exemplo, a uma imagem móvel ou similar onde, no caso em que uma imagem móvel convertida pela câmera é editada, uma imagem móvel após edição ou animação ou similar, são parcialmente compostas.

Notar que as realizações da presente invenção ilustram um exemplo usado para realizar a presente invenção, conforme descrito acima, possuem relação correspondente como para cada um dos componentes da invenção no Sumário da Invenção. Entretanto, a presente invenção não está restrita às realizações acima, e várias mudanças podem ser feitas sem se afastar da essência e espírito da presente invenção.

Também, os procedimentos descritos nas realizações da presente invenção podem ser vistos como um método incluindo tal série de procedimentos, ou podem ser vistos como um programa usado para fazer com que um computador execute tal série de procedimentos, ou podem ser vistos como um meio de gravação configurado para armazenar o programa destes. Por exemplo, um CD (Disco Compacto), MD (Mini Disco), DVD (Disco Versátil Digital), um cartão de memória, um Disco Blu-ray (marca registrada) ou similares, podem ser empregados como o meio de gravação destes.

O presente pedido contém assunto relacionado ao descrito no Pedido de Patente de Prioridade Japonesa JP 2008-275142, depositado no Escritório de Patente do Japão em 27 de outubro de 2008, cujo conteúdo inteiro é aqui incorporado por referência.

Deveria ser entendido pelos especialistas na técnica que várias modificações, combinações, sub combinações, e alterações podem ocorrer dependendo de exigências de projeto e outros fatores até onde estejam dentro do escopo das reivindicações anexas ou equivalentes destas.

Claims

1. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: unidade de cálculo de informação de transformação configurada para calcular, com base na informação de movimento de uma imagem convertida, constituindo uma imagem móvel convertida, informação de transformação relativa a diversas imagens alvo compostas, servindo como alvos compostos de uma imagem convertida constituindo citada imagem móvel convertida; e unidade de determinação de imagem de decoração configurada para calcular uma quantidade de deslocamento entre uma primeira imagem alvo composta que é citada imagem alvo composta, e uma segunda imagem alvo composta que é citada imagem alvo composta após transformação de acordo com citada informação de transformação, para determinar uma imagem de decoração a ser adicionada à periferia da citada segunda imagem alvo composta, com base na citada quantidade de deslocamento.

2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que citada unidade de cálculo de informação de transformação calcula citada informação de transformação usada para transformar, com uma imagem alvo composta das citadas imagens alvo compostas como uma imagem de referência, a outra das citadas imagens alvo compostas para cada uma das citadas imagens alvo compostas; e onde citada unidade de determinação de imagem de decoração calcula uma quantidade de deslocamento entre uma imagem composta transformada com citada informação de transformação e composta a partir de pelo menos uma imagem alvo composta das citadas imagens alvo compostas, e citada segunda imagem alvo composta, e determina citada imagem de decoração com base na citada quantidade de deslocamento.

3. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que citada unidade de determinação de imagem de decoração determina a densidade da citada imagem de decoração, com base no tamanho da citada quantidade de deslocamento calculada.

4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que citada unidade de determinação de imagem de decoração calcula citadas quantidades de deslocamento relativas a todas as imagens alvo compostas dentre as citadas imagens alvo compostas, para determinar a mesma imagem de decoração a ser adicionada às periferias de todas as citadas imagens alvo compostas com base nas citadas quantidades de deslocamento.

5. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente: uma unidade de transformação de imagem configurada para transformar citadas imagens alvo compostas, com base na citada informação de transformação, para gerar citada segunda imagem alvo composta; e unidade de composição de imagem configurada para adicionar citada imagem de decoração determinada à citada segunda imagem alvo composta, e compor citada segunda imagem alvo composta à qual citada imagem de decoração tenha sido adicionada, e citada primeira imagem alvo composta para gerar uma imagem composta.

6. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente: unidade de detecção de objeto configurada para detectar um objeto incluído nas citadas imagens alvo compostas; onde citada unidade de determinação de imagem de decoração determina citada imagem de decoração de modo a não sobrepor uma região de objeto incluindo citado objeto com uma região da citada imagem de decoração, no caso em que citado objeto está incluído na citada segunda imagem alvo composta.

7. Aparelho de processamento de imagem caracterizado pelo fato de compreender: unidade de cálculo de informação de transformação configurada para calcular, com base na informação de movimento de uma imagem convertida, constituindo uma imagem móvel convertida, informação de transformação relativa a uma imagem alvo composta, servindo como um alvo de composição de uma imagem convertida constituindo citada imagem móvel convertida; e unidade de determinação de imagem de decoração configurada para determinar, com base na relação de posição relativa entre uma primeira imagem alvo composta que é citada imagem alvo composta, e uma segunda imagem alvo composta que é citada imagem alvo composta após transformação, de acordo com citada informação de transformação, uma imagem de decoração a ser adicionada à periferia da citada segunda imagem alvo composta.

8. Aparelho de processamento de imagem de acordo com a reivindicação 7, caracterizado pelo fato de que citada unidade de determinação de imagem de decoração determina a posição da citada imagem de decoração com base na transição de cada pico entre citada primeira imagem alvo composta e citada segunda imagem alvo composta.

9. Aparelho de processamento de imagem de acordo com a reivindicação 7, caracterizado pelo fato de que citada unidade de determinação de imagem de decoração determina a posição da citada imagem de decoração com base no tamanho e posição da porção de borda da citada segunda imagem alvo composta, superposta à citada primeira imagem alvo composta.

10. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que citada unidade de determinação de imagem de decoração calcula o tamanho e posição da citada porção de borda superposta relativa a todas as imagens alvo compostas das citadas imagens alvo compostas, e determina a mesma imagem de decoração a ser adicionada a todas as periferias das citadas imagens alvo compostas, com base no tamanho e posição calculados.

11. Método de processamento de imagem, caracterizado pelo fato de compreender: calcular, com base na informação de movimento de uma imagem convertida constituindo uma imagem móvel convertida, informação de transformação relativa a diversas imagens alvo compostas servindo como alvos de composição de uma imagem convertida constituindo citada imagem móvel convertida; e calcular uma primeira quantidade de deslocamento entre uma primeira imagem alvo composta que é citada imagem alvo composta, e uma segunda imagem alvo composta que é citada imagem alvo composta, após transformação de acordo com citada informação de transformação, para determinar uma imagem de decoração a ser adicionada à periferia da citada segunda imagem alvo composta, com base na citada quantidade de deslocamento.

12. Programa, caracterizado pelo fato de fazer com que um computador execute: cálculo, com base na informação de movimento de uma imagem convertida constituindo uma imagem móvel convertida, informação de transformação relativa a diversas imagens alvo compostas servindo como alvos de composição de imagem convertida constituindo citada imagem móvel convertida; e cálculo de uma primeira quantidade de deslocamento entre uma primeira imagem alvo composta que é citada imagem alvo composta, e uma segunda imagem alvo composta que é citada imagem alvo composta, após transformação de acordo com citada informação de transformação, para determinar uma imagem de decoração a ser adicionada à periferia da citada segunda imagem alvo composta, com base na citada quantidade de deslocamento.