Eliminación de fondo con IA (Matting) — BackgroundRemovalBlock¶

BackgroundRemovalBlock ejecuta un modelo ONNX de segmentación o matting sobre fotogramas de video RGBA, estima una máscara alfa de primer plano por píxel y compone un fondo de reemplazo en el fotograma. Úselo para matting de retratos, difuminado de fondo virtual, salida de pantalla verde virtual, reemplazo de fondo estático o salida RGBA transparente.

graph LR;
    Source-->BackgroundRemovalBlock;
    BackgroundRemovalBlock-->VideoRendererBlock;

El bloque reside en VisioForge.Core.AI (VisioForge.DotNet.Core.AI), usa BackgroundRemovalSettings (que extiende OnnxInferenceSettings) y tiene una entrada Input de video y una salida Output de video. Utiliza un capturador de muestras interno para fotogramas RGBA y ejecuta la inferencia en el hilo de streaming del pipeline, por lo que un modelo lento puede limitar el rendimiento del pipeline. No genera un evento de reconocimiento — la salida es el fotograma de video procesado.

Modelos y licencias¶

Configure BackgroundRemovalSettings.Model con la familia que coincida con el archivo .onnx suministrado. El SDK no incluye los pesos del modelo en el paquete NuGet; su aplicación proporciona el archivo .onnx.

Cómo funciona el pipeline de matting¶

BackgroundRemovalBlock es un procesador de fotogramas, no una fuente ni un renderizador independiente. El bloque anterior entrega fotogramas RGBA a un capturador de muestras interno, el bloque ejecuta el modelo ONNX configurado cuando el fotograma se selecciona para inferencia, y el fotograma de salida se envía aguas abajo con la misma temporización de video.

El tamaño de entrada del modelo ONNX se resuelve a partir de los metadatos del modelo cuando este tiene dimensiones fijas. Si el modelo usa dimensiones dinámicas, se usan en su lugar InputWidth e InputHeight de BackgroundRemovalSettings — que por defecto son 512x512 (ajustado para MODNet) y no se ajustan automáticamente por modelo, así que configúrelos usted mismo para U2Net (320x320) o BiRefNet (1024x1024). El fotograma se redimensiona directamente a ese tamaño de tensor y se convierte de píxeles RGBA a un tensor de punto flotante RGB NCHW. La familia del modelo controla la normalización:

• MODNet y PPMattingV2 usan valores RGB normalizados a -1..1.
• U2Net y BiRefNet usan normalización RGB con media/desviación estándar al estilo ImageNet.
• Custom usa las opciones genéricas NormalizeTo01, InputWidth e InputHeight.

Tras la inferencia, el bloque lee la primera salida de punto flotante como matte de primer plano. Las dos últimas dimensiones de la salida se tratan como alto y ancho del matte. Las salidas de MODNet, PPMattingV2 y Custom se esperan ya en 0..1; U2Net se normaliza por min/max en cada fotograma; los logits en bruto de BiRefNet se convierten con sigmoide. Si MaskFeatherAmount es mayor que 0, el matte se difumina a la resolución del modelo antes de la composición.

El compositor muestrea ese matte de vuelta sobre el fotograma original con interpolación bilineal. Para Blur, SolidColor e Image, cada píxel se mezcla como primer_plano * alfa + fondo * (1 - alfa). MaskThreshold puede endurecer los bordes inciertos forzando los valores de alfa muy bajos hacia el fondo y los muy altos hacia el primer plano. Para Transparent, el bloque conserva los píxeles RGB del primer plano y escribe el matte en el canal alfa de salida, por lo que el resultado visible depende de que el renderizador o codificador aguas abajo preserve el canal alfa RGBA.

Elegir un modelo de matting¶

Use MODNet o PPMattingV2 primero para el reemplazo de fondo de retratos en tiempo real. Están diseñados para matting humano y tienen tamaños de entrada más bajos que los modelos de alta precisión para objetos destacados. U2Net es una buena opción de respaldo cuando el sujeto no es siempre una persona, pero su salida es un matte de estilo segmentación que puede necesitar MaskFeatherAmount para bordes suaves. BiRefNet es la opción de mayor calidad pero más pesada: puede producir mejor detalle fino, pero su tamaño de entrada típico de 1024x1024 es mucho más costoso, especialmente en CPU. Use Custom solo cuando su modelo ONNX siga una convención de preprocesamiento o salida diferente y haya verificado esas opciones contra el modelo exportado.

Modos de reemplazo¶

BackgroundRemovalSettings.ReplacementMode selecciona cómo se reemplazan los píxeles de fondo con alfa bajo.

Controles adicionales del matte:

Ejemplo de pipeline¶

using VisioForge.Core.MediaBlocks;
using VisioForge.Core.MediaBlocks.AI;
using VisioForge.Core.MediaBlocks.VideoRendering;
using VisioForge.Core.Types.X.AI;

var settings = new BackgroundRemovalSettings(modelPath)
{
    Model = BackgroundRemovalModel.PPMattingV2,
    ReplacementMode = BackgroundReplacementMode.Blur,
    BlurRadius = 15f,
    MaskFeatherAmount = 2,
    Provider = OnnxExecutionProvider.Auto,
    FramesToSkip = 2,
    MaskThreshold = 0.05f,
};

var backgroundRemoval = new BackgroundRemovalBlock(settings);

var videoRenderer = new VideoRendererBlock(pipeline, videoView) { IsSync = false };

pipeline.Connect(source.Output, backgroundRemoval.Input);
pipeline.Connect(backgroundRemoval.Output, videoRenderer.Input);

await pipeline.StartAsync();

Console.WriteLine($"Active provider: {backgroundRemoval.ActiveProvider}");

Uso con VideoCaptureCoreX y MediaPlayerCoreX¶

var backgroundRemoval = new BackgroundRemovalBlock(settings);

core.Video_Processing_AddBlock(backgroundRemoval); // antes de StartAsync (VideoCaptureCoreX)
// player.Video_Processing_AddBlock(backgroundRemoval); // antes de OpenAsync/PlayAsync (MediaPlayerCoreX)

await core.StartAsync();

Consulte Uso de bloques de IA con VideoCaptureCoreX y MediaPlayerCoreX para conocer la API completa de bloques de procesamiento, el orden de inserción y las reglas de ciclo de vida compartidas por todos los bloques de IA de video.

Casos de uso¶

• Videoconferencias y aplicaciones de webcam — pantalla verde virtual o difuminado de fondo sin necesidad de una pantalla verde física.
• Streaming en vivo y superposiciones de transmisión — componer a un presentador sobre un fondo o escena de marca.
• Estudio virtual / video de fotografía de producto — reemplazar un fondo simple con una escena personalizada.
• Difuminado de privacidad — difuminar el fondo en una grabación para que solo el sujeto en primer plano quede nítido.

Solución de problemas¶

Preguntas frecuentes¶

¿Con qué modelo de matting debería empezar?¶

MODNet (el predeterminado) o PPMattingV2 para escenarios de retrato/webcam en tiempo real — ambos están ajustados para matting humano con un tamaño de entrada relativamente bajo. Use BiRefNet solo si necesita mayor precisión de detalle fino y puede permitirse su costo de entrada 1024x1024 más pesado.

¿Puedo usar una pantalla verde virtual sin una física?¶

Sí — configure ReplacementMode = BackgroundReplacementMode.SolidColor (por defecto es verde) en lugar de Blur, Image o Transparent.

¿Este bloque requiere una GPU?¶

No, pero un proveedor de ejecución GPU reduce la latencia por fotograma, lo cual es más importante para el tamaño de entrada mayor de BiRefNet o para video en vivo con alta tasa de fotogramas.

¿Puedo generar un video transparente (alfa) en lugar de componer un fondo?¶

Sí — configure ReplacementMode = BackgroundReplacementMode.Transparent. El bloque escribe el alfa de primer plano en el canal alfa del fotograma; su renderizador, codificador o compositor aguas abajo debe preservar RGBA para aprovecharlo.

Demo¶

• Demo de Eliminación de Fondo — demo WPF con fuentes de webcam, archivo y RTSP, modelos de matting descargables, y modos de reemplazo por difuminado, color sólido, imagen y transparente.