Método de integración del área de imagen
Descripción general
 Realice la integración de imágenes teniendo en cuenta la codificación de movimiento. ] Primero, el área de la imagen se consolida en orden desde el área adyacente que tiene la pequeña diferencia de color. Esta integración finaliza cuando la diferencia de color mínima alcanza el valor de referencia o cuando el área del 1% de la imagen completa aparece en 10 20. Posteriormente, se inicia la integración basada en el tamaño de la región, y una pequeña región se absorbe e integra en una región grande entre regiones adyacentes. Mediante la integración de estas dos etapas, se evita que el área se extienda repentinamente sobre toda la imagen, y es probable que surja el contorno de cada tema. La información de contorno del sujeto es información conforme a la codificación del movimiento.
Campo técnico
La presente invención se refiere a un método de integración de área de imagen, y más particularmente, a un método para integrar áreas de imagen integrando secuencialmente áreas de imagen.
Antecedentes de la técnica
Tal como lo representa el estándar de codificación internacional MPEG, la codificación de imágenes es una de las tecnologías básicas importantes cuando se considera la realización de dispositivos de recepción de imágenes de próxima generación y diversos servicios de comunicación de imágenes. En otras palabras, se pretende mejorar la eficiencia de codificación o la relación de compresión de imagen y proporcionar información de imagen natural y de mayor calidad dentro de un rango de velocidad de transmisión limitada.
La transformación discreta del coseno (transformación discreta del coseno: DCT) es una de las técnicas de codificación MPEG. En este método, una imagen primero se divide en bloques parecidos a la matriz. En el ejemplo más simple, los componentes de baja frecuencia se extraen de cada bloque dividido, y el color de cada píxel incluido en el bloque se reemplaza de manera uniforme por, por ejemplo, un color representativo. Después de eso, la codificación se completa combinando el número de bloque y el color representativo.
Tarea de solución
En el flujo de la tecnología relacionada con la imagen, una técnica para captar o predecir con precisión el movimiento de una imagen en movimiento y codificarla (de aquí en adelante simplemente referida como 'codificación de movimiento') se está volviendo importante. Allí, la aplicación de una de la imagen de destino en la técnica de los aparatos de información, tales como la electrónica de consumo, la calidad de la carcasa, una baja tasa de transmisión en el marco y transmitir imágenes en movimiento en tiempo real de codificación, además, la imagen que se obtiene al decodificar este Debe ser lo suficientemente alto. Esto se debe a que es esencial codificar el movimiento para borrarlo.
Dado que el método de codificación MPEG descrito anteriormente se ha desarrollado al centrarse en lo que se puede realizar, como LSI por la tecnología existente, es imposible utilizarlo directamente para realizar una mejor codificación de movimiento, que es un problema futuro No puedo Ciertamente, en MPEG, los vectores de movimiento de cada bloque se transmiten mientras se realiza la codificación de imagen bloque por bloque, pero los vectores de movimiento se calculan en unidades de bloque independientemente del contenido de la imagen objetivo. Esto equivale a tratar de representar uniformemente cada objeto en la imagen de destino con solo bloques del mismo tamaño, y este método no se mantiene sin la adición de información de diferencia entre la imagen original y la imagen generada. Sin embargo, dado que la proporción ocupada por la información diferencial suele ser demasiado grande, existe un límite para la transmisión de suficiente información de imagen con una velocidad de transmisión limitada.
[Objeto de la invención] El objeto de la presente invención es encontrar y resolver el problema. Es decir, la presente invención tiene como objetivo (1) la idea de que no hay idea de usar efectivamente el método de segmentación de región para la codificación de movimiento en sí misma, (2) en la codificación de movimiento basada en la DCT, tiene baja eficiencia de compresión y (3) Es un objeto de la presente invención divulgar un método de integración de área de imagen basada en área con antelación teniendo en cuenta la codificación de movimiento, debido a la limitación debida a la poca eficacia de coincidencia entre áreas, que se describirá más adelante.
Solución
El método de integración de la región de imagen de la presente invención avanza la integración de la región combinando una pluralidad de criterios de integración de la región que pueden usarse repetidamente. 'Puede usarse repetidamente' significa que después de usar un determinado criterio se usa otro criterio y luego el primer criterio se puede usar nuevamente. La integración se refiere a la fusión de una pluralidad de regiones en una región. Un área de imagen es un área formada por la recolección de píxeles que tienen algunas características comunes, pero este número de píxeles puede ser uno. Es decir, la unidad mínima del área es un píxel.
La presente invención también incluye un paso A de integración de regiones de imagen sobre la base de información individual de píxeles y un paso B de regiones de imagen integradas sobre la base de información de grupo de píxeles. La información individual es información que puede definirse solo por píxeles individuales, como el color de un píxel, y la información colectiva es información que se puede definir por un grupo de una pluralidad de píxeles, como la forma de una región. El proceso A se integra sobre la base de información individual, pero siempre que la base de la integración se ponga en información individual, en realidad, es posible manejar colectivamente información individual de una pluralidad de píxeles. Como ejemplo, el promedio de colores de múltiples píxeles puede ser la base de la integración.
En la presente invención, la información individual puede ser información de color para cada píxel, y la información agregada puede ser del tamaño del área de la imagen. La 'información de color' se refiere a la información sobre todas las propiedades lanzadas en la retina de una persona por reflejo de la luz, y puede ser cualquier información de luminancia, saturación y matiz que sean atributos de colores. La forma de información real incluye, por ejemplo, números de color en HVC o espacio de color RGB. De acuerdo con esta configuración, el área de la imagen se integra desde dos direcciones de información y tamaño de color.
En la presente invención, por ejemplo, el proceso A y el proceso B se realizan en este orden. Por lo tanto, por ejemplo, la integración basada en información de color progresa primero, y las áreas restantes después de la integración se integran de acuerdo con el tamaño esta vez.
En una realización de la presente invención, la información de color es una diferencia de color entre regiones, y la etapa A está integrada en orden de diferencia de color decreciente entre una pluralidad de regiones que están casi posicionalmente. La diferencia de color es el grado de diferencia de color, y cuanto mayor es la diferencia de color, mayor es la diferencia de color. La razón para decir 'cerca de posicional' es que es muy probable que estas áreas se incluyan en una entidad (objeto, tema) físicamente significativa. La razón por la que se configuró como 'desde una pequeña diferencia de color' es la misma. Por ejemplo, cuando se consideran las manzanas rojas de color ligeramente diferente en los extremos superior e inferior, la crominancia color a través de por pertenecer al mismo rojo es generalmente pequeño, se considera a ser relativamente pequeña en la distancia de los extremos superior e inferior es también una imagen, los enteros de manzanas 1 Está integrado en un área. Por otro lado, incluso si una taza del mismo color que la manzana está en otra parte de la imagen en este momento, no están integradas si están a cierta distancia.
En una realización de la presente invención, la etapa B está integrada en otra región que está casi posicionalmente, en orden desde una región pequeña. En consideración del emparejamiento de región realizado en el momento del movimiento de codificación, la información de una región de gran extensión en la imagen es importante, de modo que dicha región se forma rápidamente. Con este aspecto, las áreas más pequeñas se reducen gradualmente y el número total de áreas también disminuye.
En una realización de la presente invención, la etapa A se realiza hasta que la diferencia de color mínima entre las regiones alcanza un valor de referencia, y luego se realiza la etapa B. A medida que se lleva a cabo el proceso A, la diferencia de color entre las áreas disminuye gradualmente. Aquí, por ejemplo, el proceso A continúa hasta que la diferencia de color se convierte en 6.0 en unidades llamada diferencia de color NBS. A partir de entonces, las áreas integradas se integrarán desde el punto de vista del tamaño.
En otro aspecto de la presente invención, el proceso A se lleva a cabo hasta que un tamaño predeterminado del área de un tamaño predeterminado alcanza un número predeterminado, y luego se realiza el proceso B. A medida que avanza el paso A, no solo disminuye la diferencia de color mínima sino también el número de regiones. El área en sí crece por integración. Por lo tanto, por ejemplo, cuando aparecen aproximadamente 10 áreas que tienen un tamaño del 1% del tamaño total de la imagen, el proceso A se detiene.
En la presente invención, la integración mediante el proceso B puede retrasarse para una región completamente rodeada por una única región (en lo sucesivo denominada región aislada). En este momento, el tamaño del área aislada no es un problema en principio. Las áreas comunes aisladas generalmente no son tan grandes en muchos casos, pero como en el caso de los ojos humanos, por ejemplo, hay casos donde la información de la imagen es importante. Por lo tanto, un área aislada queda como un proceso excepcional en el proceso B. Cuando la integración progresa aún más, puede integrarse según las circunstancias.
Ejemplos
Se describirán las realizaciones preferidas de la presente invención. Como se describió anteriormente, la característica de la presente invención es que las áreas de imagen están integradas por dos o más procesos diferentes. El primer paso A realiza la diferencia de color, y el paso siguiente B se consolida de acuerdo con el tamaño de la región.
[Paso A] Integración por diferencia de color
Se pueden considerar varios métodos para la integración mediante este proceso, pero aquí explicaremos la integración de la región por parte del solicitante de la presente invención mediante el aparato de procesamiento de imágenes propuesto en la Solicitud de Patente Japonesa Nº 7-146507. El procedimiento de integración es el siguiente.
1. Preparación
Se prepara una tabla de colores preparada dividiendo el espacio de color uniforme de HVC en una pluralidad de regiones. HVC El espacio de color uniforme, Hue en la dirección rotacional (tono), el valor (brillo) en la dirección de la altura, el color teniendo Chrome (saturación) radialmente cilíndrica espacio de color clasificación estéricamente, RGB Se obtiene del espacio de color a través de una fórmula de transformación conocida. La distancia en el espacio de color uniforme de HVC corresponde aproximadamente a la diferencia de color que el ojo humano siente.
2. Reemplazo de píxeles
Asigne la imagen original al color más cercano en la tabla de colores para cada píxel. Aquí, se asigna un color con la menor diferencia de color. Como los colores incluidos en la tabla de colores se describen por números de color, cada píxel se reemplaza por un número de color aquí.
3. Integración de píxeles
Entre los píxeles reemplazados por el número de color, aquellos que están posicionalmente cerca uno del otro en la imagen original y que están cerca en el número de color, es decir, aquellos con una pequeña diferencia de color están integrados. El número de colores cercanos en color existe cerca el uno del otro en el espacio de color uniforme HVC y se perciben como cerca de los ojos humanos, lo que permite la integración natural. La integración se realiza, por ejemplo, al hacer coincidir los números de color de dos píxeles con un número de color o al establecer el promedio de los dos números de color como el número de color de ambos píxeles. Se puede pensar que un píxel corresponde a un área antes del inicio de la integración, pero a medida que comienza la integración, comienza a formarse una región por un grupo de píxeles en plural.
Esta es la unidad de procesamiento. A continuación, cada vez que se integra el píxel (o región), se compara la relación de posición entre la nueva región y la otra región y el número de color, y se repite el proceso de integración de los 3 anteriores. A medida que aumenta el número de repeticiones, la imagen se integra en un cierto número de regiones de color idénticas.
Aquí, la determinación del final del proceso A es un problema. Hay principalmente dos métodos para el método de juicio.
(1) Determinación por diferencia de color
Cada vez que se realiza el procesamiento de integración de los 3 anteriores, se busca la diferencia de color mínima entre las regiones existentes en ese momento. Aquí, si la diferencia mínima de color alcanza el valor de referencia, el proceso A finaliza. Por ejemplo, en la unidad de diferencia de color NBS, dado que la diferencia de color se evalúa de la siguiente manera, se utiliza.
Evaluación de diferencia de color
0.0 0.5 La diferencia de color apenas se observa
0.5 1.5 La diferencia de color es ligeramente reconocida
1.5 3.0 La diferencia de color se reconoce considerablemente
3.0 6.0 La diferencia de color es notable
6.0 12.0 La diferencia de color es extremadamente notable
10.0 pertenece a otro sistema de color
La diferencia de color que se usa como valor de referencia corresponde al grado de libertad de diseño, pero el valor de referencia en sí mismo puede aumentarse siempre que la imagen esté sesgada hacia la diferencia de color más grande entre las áreas como un todo. En la presente realización, se supone que es 6.0, y el proceso finaliza en un estado en el que la integración no avanza demasiado. La razón de esto es que si se realiza un progreso demasiado grande en el paso A, se generan imágenes indeseables, por ejemplo, considerando la codificación de movimiento posterior.
La figura 1 es una vista que muestra un problema que se produce cuando el proceso A avanza demasiado. 4 (a) muestra la imagen original antes del comienzo de la integración, en la que cuatro formas diferentes de sujetos se muestran principalmente en el área de fondo 5 indicada por la línea oblicua descendente diagonal. (B) muestra la imagen cuando la integración progresa en cierta medida, y (c) muestra la imagen cuando la integración progresa excesivamente.
Sobre el cambio de (a) → (b)
Cuando la diferencia de color entre las regiones 1 y 2 indicada por las líneas inclinadas hacia arriba derechas en la figura 1 (a) y las regiones blancas adyacentes 3 y 4 es pequeña, las regiones 1 y 3, 2 y 4 están integradas. Aquí, se supone que está integrado en un área blanca, y el resultado es (b). Además de las regiones 1 y 2, hay regiones que se muestran con líneas inclinadas diagonalmente hacia la derecha, pero no están integradas, ya que están ubicadas en una región blanca y una posición lejana.
Sobre el cambio de (b) → (c)
(B), si la diferencia de color entre el área de fondo 5 y el área blanca se vuelve pequeña, se integran. Nuevamente, se supone que debe estar integrado en el área del contorno, y el resultado es (c). Es decir, el área blanca se produce en una forma que atraviesa toda la imagen.
Como se describió anteriormente, en la imagen (c) finalmente obtenida, solo el área ennegrecida 6 o similar emerge de la imagen original. Sin embargo, las formas de los cuatro sujetos originalmente presentes en la imagen original y estas áreas ennegrecidas son completamente diferentes entre sí, por lo que es muy difícil codificar el movimiento de cada sujeto en función de esta área ennegrecida. Si en realidad intento de esta codificación, el cuadro de imagen (foto) es probable región correspondiente no se encuentra entre la parte trasera de la integración o reiniciar En primer lugar, una imagen poco a poco al estado antes de la integración de (c) Mientras juzga si la codificación es posible, no hay otra opción. En ese caso, el procesamiento se vuelve complicado de forma natural, y la eficiencia del procesamiento también se reduce. Con el fin de evitar tal problema, en la presente realización, cuando la diferencia de color alcanza 6.0, se supone que el proceso A se cancela mirando el margen.
(2) Juicio según la situación del área
El problema mencionado anteriormente también se puede expresar como 'un estado donde se forma un área que es demasiado grande'. Por lo tanto, si el área de un tamaño predeterminado alcanza un cierto número, el proceso A puede finalizar. Por ejemplo, el tamaño predeterminado puede ser del 1% del área total de la imagen, y el número predeterminado puede ser, por ejemplo, aproximadamente 10 20 píxeles. Por supuesto, estos valores numéricos también pueden cambiar dependiendo de la imagen. En cualquier caso, si el proceso cambia al proceso B en este punto, es fácil evitar situaciones en las que un área arbitraria se propaga rápidamente por toda la imagen, ya que las áreas pequeñas se fusionan más tarde.
Tenga en cuenta que la imagen final del proceso A generalmente está en el rango permitido en el que la analogía de la imagen original también puede tomarse de los ojos humanos. Por lo tanto, si no se considera la codificación de movimiento, el procesamiento de integración de imagen puede finalizar en este punto.
[Paso B] Integración por tamaño de área
Posteriormente, según el proceso B, las áreas existentes se consolidan en orden ascendente. El tamaño de la región está determinado, por ejemplo, por el número de píxeles. La razón por la cual el área pequeña se integra primero es para evitar el problema del proceso A, y cuanto más grande es el área, mayor es la relación de área ocupada por el sujeto original. Es decir, la extracción del contorno de todo el tema es importante en el movimiento de codificación, y la integración de áreas pequeñas en áreas grandes tiene el objetivo de captar con precisión el contorno del sujeto.
En el proceso B, el proceso finaliza cuando el tamaño del área se promedia en cierta medida. Cuando los tamaños de las regiones están alineados, la importancia de comparar los tamaños se reduce al hacer coincidir las regiones entre los dos marcos de imagen. Como resultado, es posible acortar el tiempo de procesamiento total requerido para codificar el movimiento. Normalmente, se requiere un tiempo de cálculo largo para la correspondencia de muchos a muchos entre cuadros, y la reducción de elementos comparativos es importante.
La figura 2 es una vista que muestra la imagen final obtenida como resultado del proceso B, y muestra el caso en el que el proceso pasa del proceso A al proceso B en el momento de la figura 1 (b). Es decir, de acuerdo con el proceso B, dado que el área pequeña está integrada en otra área que está cerca de la posición, independientemente del color, el contorno de cada sujeto emerge dejando la mayor área de fondo 5. De esta forma, se genera una imagen final que es óptima para codificar el movimiento.
Lo anterior es el bosquejo del proceso B, pero es deseable tener especial consideración cuando existe un área aislada en la imagen. Es decir, dado que la región aislada está en la imagen y tiene una gran importancia o una región característica en muchos casos, incluso si el área es pequeña, el rango de integración se reduce. Por supuesto, un área aislada es a menudo un punto sin sentido, y si es extremadamente pequeña, se puede determinar que se integre si el área tiene varios píxeles o menos, por ejemplo.
Con los pasos A y B anteriores, el método de integración de región de imagen de la presente invención logra el propósito pretendido. Para la presente invención, se pueden considerar las siguientes tecnologías alternativas, tecnologías mejoradas, etc.
[Paso A]
1. Aquí se usa el espacio de color uniforme de HVC, pero se puede usar otro espacio de color como un espacio de color RGB.
2. Teniendo en cuenta la codificación de la moción, no necesariamente porque no es necesariamente el ojos integración natural como se ve desde la humana, en lugar de la diferencia de color, tal diferencia de luminancia, una diferencia de croma, la integración también se contempla en otra información, como la diferencia de brillo. En el caso de las imágenes en blanco y negro, la integración por diferencia de luminancia se considera la más general.
3. La información del resultado de seguimiento en función del flujo óptico de cada píxel puede usarse como información individual de píxeles. Es decir, los píxeles en los que los resultados del seguimiento muestran una tendencia similar a menudo se pueden integrar entre sí.
4. Por supuesto, estas técnicas se pueden usar en combinación.
[Paso B]
1. La integración continuará de modo que cada posición baricéntrica de la región que queda en la imagen final se disperse apropiadamente. Por ejemplo, cuando los centros de gravedad de todas las regiones se concentran cerca del centro de la imagen, se reduce la eficiencia de coincidencia de área entre la pluralidad de cuadros. Si el centro de gravedad se dispersa apropiadamente, el rango de búsqueda de la región correspondiente se puede restringir fácilmente, y generalmente se pueden obtener buenos resultados de coincidencia. Por lo tanto, cuando hay una pluralidad de candidatos que se pueden integrar, se selecciona uno que produce el resultado de dispersar la posición del centroide de cada región después de la integración.
2. Cuando ocurre la regularidad en el patrón de apariencia de una pluralidad de regiones, estas regiones están integradas. Por ejemplo, cuando una persona que usa ropa a rayas en blanco y negro existe en la imagen, es difícil descubrir el perfil de esta persona simplemente por integración mediante información de color. Por lo tanto, cuando el área en blanco y negro aparece repetidamente con una determinada regla, estas áreas están integradas. Además de los patrones de rayas, se puede aplicar a texturas y patrones en general. Sin embargo, no es necesario limitar la regularidad al caso donde es obvio desde el ojo humano, por lo que es posible extraer una frecuencia espacial de un área relativamente pequeña, por ejemplo, para detectar una textura fina o un patrón fino.
3. Las regiones que coinciden con los patrones de imagen previamente preparados se integran en una sola. Por ejemplo, cuando se piensa en un teléfono de video, ya que se piensa que la cara de una persona aparecerá en el centro, si hay un área de color carne en la parte central y hay dos regiones negras (ojos) en ella, . Es útil cuando se combinan imágenes entre personas con respecto al movimiento. Se puede decir que es aplicable a la codificación basada en modelos. Sin embargo, se debe notar aquí que, por ejemplo, cuando la cara gira en el mismo lugar, la información del ojo se vuelve importante. En este caso, los ojos no deberían integrarse en el área de la cara, sino que deben dejarse como un área aislada.
4. Si la imagen en movimiento es un objetivo, consulte la situación de integración de la región pasada. Es decir, la integración del área realizada en el marco de la imagen inmediatamente anterior a menudo es válida para el siguiente cuadro tal como está.
5. Continuaremos con la integración para llenar las irregularidades para que la región no se vuelva una forma complicada. Si la forma es complicada, al emparejar, el área excluida del candidato como un error aumenta solo por la forma. Por lo tanto, existe el riesgo de perder la coincidencia óptima.
6. Por supuesto, estas técnicas se pueden usar en combinación.
Efecto de la invención
De acuerdo con el método de integración de área de imagen de la presente invención, al usar al menos dos procesos, es posible realizar la integración de imagen en consideración de la codificación de movimiento. Es particularmente eficaz cuando estos procesos se basan en información individual e información colectiva de píxeles. Además, llevando a cabo el proceso A y el proceso B en este orden, es fácil evitar la aparición de un área indeseable que se extiende por toda la imagen, por ejemplo.
En el caso donde el proceso A debe integrarse en orden ascendente de las diferencias de color entre una pluralidad de regiones que tienen una proximidad posicional, por ejemplo, es fácil integrar regiones que pertenecen al mismo sujeto. Si el paso B se integra gradualmente en otras áreas con el fin de un área pequeña, con el tiempo hay una alta posibilidad de que áreas significativas restos información como sujeto, por ejemplo, es posible generar una imagen adecuada para la codificación de movimiento.
Cuando se realiza el proceso A hasta que la diferencia de color mínima entre las áreas alcanza el valor de referencia y el proceso B posterior, es fácil resolver el problema que ocurre cuando solo se lleva a cabo excesivamente el proceso A. Esto también tiene una influencia positiva en la codificación del movimiento.
También en el caso donde el proceso A y el proceso subsiguiente B se llevan a cabo hasta que el área del tamaño predeterminado alcanza un cierto número, se suprime la aparición de un área excesiva indeseable, de modo que es fácil resolver el problema anterior.
En el caso donde el orden de consolidación de las regiones aisladas se reduce en la etapa B, es posible mantener la región importante como la información de la imagen hasta la imagen final.
La figura 1 es un diagrama que muestra un problema que se produce cuando el proceso A avanza demasiado.
La figura 2 es un diagrama que muestra una imagen final obtenida como resultado del paso B de la figura 2.
Reclamo
Reivindicación 1 Un método de integración de región de imagen caracterizado porque la integración de la región se avanza combinando una pluralidad de criterios de integración de la región que pueden usarse repetidamente.
2. El método de integración de región de imagen según la reivindicación 2, que comprende además: un paso A de integración de regiones de imagen sobre la base de información individual de los píxeles, y un paso B de regiones de imagen integradas basadas en información colectiva de los píxeles.
3. El método de integración de región de imagen según la reivindicación 2, en el que la información individual es información de color para cada píxel, y la información de agregación es un tamaño de una región de imagen formada por un conjunto de píxeles Método de integración de la región de imagen.
4. El método de integración de región de imagen de acuerdo con la reivindicación 2 o 3, en el que dicho método realiza dicho paso A y dicho paso B en este orden.
5. Método de integración de región de imagen según la reivindicación 3, en el que la información de color es una diferencia de color entre las regiones, el paso A se realiza por orden de diferencia de color decreciente entre una pluralidad de regiones casi posicionales E integrando la región de la imagen.
6. El método de integración de región de imagen según la reivindicación 5, en el que la etapa B está integrada en otra región que está cerca de la posición en orden desde una región pequeña.
7. Método de integración de región de imagen según la reivindicación 4, en el que el paso A se realiza hasta que la diferencia de color mínima entre las regiones alcanza un valor de referencia, y después se realiza el paso B Método de integración de la región de imagen.
8. El método de integración de área de imagen según la reivindicación 4, en el que dicha etapa (A) se lleva a cabo hasta que el área de un tamaño predeterminado alcanza un número predeterminado. Característica del método de integración del área de la imagen.
9. El método de integración de región de imagen según la reivindicación 6, en el que el paso B se caracteriza porque la integración se retrasa independientemente del tamaño de una región completamente rodeada por una región única. Método de integración de la región de imagen.
Dibujo :
Application number :1997-027023
Inventors :三洋電機株式会社
Original Assignee :鈴木信也