Streaming HTTP MJPEG¶

Video Capture SDK .Net Video Edit SDK .Net Media Blocks SDK .Net

La característica del SDK de transmitir video codificado como Motion JPEG (MJPEG) sobre HTTP es ventajosa por su simplicidad y amplia compatibilidad. MJPEG codifica cada cuadro de video individualmente como una imagen JPEG, lo que simplifica la decodificación y es ideal para aplicaciones como streaming web y vigilancia. El uso de HTTP asegura fácil integración y alta compatibilidad entre diferentes plataformas y dispositivos, y es efectivo incluso en redes con configuraciones estrictas. Este método es particularmente adecuado para feeds de video en tiempo real y aplicaciones que requieren análisis directo cuadro por cuadro. Con tasas de cuadros y resoluciones ajustables, el SDK ofrece flexibilidad para varias condiciones de red y requisitos de calidad.

Salida MJPEG multiplataforma¶

VideoCaptureCoreX VideoEditCoreX MediaBlocksPipeline

La funcionalidad de streaming se implementa a través de dos clases principales:

1. HTTPMJPEGLiveOutput: La clase de configuración de alto nivel que configura la salida de streaming
2. HTTPMJPEGLiveSinkBlock: El bloque de implementación subyacente que maneja el proceso de streaming real

Clase HTTPMJPEGLiveOutput¶

Esta clase sirve como el punto de entrada de configuración para configurar un stream HTTP MJPEG. Implementa la interfaz IVideoCaptureXBaseOutput, haciéndola compatible con el sistema de pipeline de captura de video.

Propiedades clave¶

• Port: Obtiene el número de puerto de red en el cual se servirá el stream MJPEG

Uso¶

// Crear una nueva salida de streaming MJPEG en el puerto 8080
var mjpegOutput = new HTTPMJPEGLiveOutput(8080);

// Agregar la salida MJPEG al motor VideoCaptureCoreX
core.Outputs_Add(mjpegOutput, true);

Detalles de implementación¶

• La clase está diseñada para ser inmutable, con el puerto siendo establecido solo a través del constructor
• No soporta codificadores de video o audio, ya que MJPEG usa codificación JPEG directa
• Los métodos relacionados con filename devuelven null o son no-ops, ya que esta es una implementación solo de streaming

Clase HTTPMJPEGLiveSinkBlock¶

Esta clase maneja la implementación real de la funcionalidad de streaming MJPEG. Es responsable de:

• Configurar el pipeline para procesamiento de video
• Gestionar el servidor HTTP para streaming
• Manejar datos de video de entrada y convertirlos a formato MJPEG
• Gestionar conexiones de clientes y entrega del stream

Características clave¶

• Implementa múltiples interfaces para integración con el pipeline de medios:
• IMediaBlockInternals: Para integración de pipeline
• IMediaBlockDynamicInputs: Para manejar conexiones de entrada dinámicas
• IMediaBlockSink: Para funcionalidad de sink
• IDisposable: Para limpieza apropiada de recursos

Configuración de entrada/salida¶

• Acepta una única entrada de video a través del pad Input
• Sin pads de salida (ya que es un bloque sink)
• Pad de entrada configurado solo para tipo de medio video

Notas de implementación¶

Inicialización¶

// El bloque debe ser inicializado con un número de puerto
var mjpegSink = new HTTPMJPEGLiveSinkBlock(8080);
pipeline.Connect(videoSource.Output, mjpegSink.Input);

// "URL de etiqueta IMG es http://127.0.0.1:8090";

Gestión de recursos¶

• La clase implementa una limpieza adecuada de recursos a través del patrón IDisposable
• El método CleanUp asegura que todos los recursos sean liberados correctamente
• Los manejadores de eventos se conectan y desconectan apropiadamente durante el ciclo de vida del pipeline

Integración con pipeline¶

El método Build maneja el proceso de configuración crítico:

1. Crea el elemento sink HTTP MJPEG subyacente
2. Inicializa el sink con el puerto especificado
3. Configura las conexiones de pad de GStreamer necesarias
4. Conecta los manejadores de eventos del pipeline

Manejo de errores¶

• La implementación incluye verificación de errores exhaustiva durante el proceso de construcción
• La inicialización fallida se reporta apropiadamente a través del sistema de errores del contexto
• La limpieza de recursos se maneja incluso en casos de error

Consideraciones técnicas¶

Rendimiento¶

• La implementación usa elementos nativos de GStreamer para rendimiento óptimo
• Las conexiones directas de pads minimizan la copia y la sobrecarga
• El bloque sink está diseñado para manejar múltiples conexiones de cliente eficientemente

Gestión de memoria¶

• Los patrones de disposición apropiados garantizan que no haya fugas de memoria
• Los recursos se limpian cuando el pipeline se detiene o el bloque se libera
• La implementación maneja correctamente el ciclo de vida del elemento GStreamer

Subprocesamiento¶

• La implementación es segura para hilos en operaciones de pipeline
• Los manejadores de eventos están correctamente sincronizados con los cambios de estado del pipeline
• Las conexiones de clientes se manejan de forma asíncrona

Uso del cliente¶

Para consumir el stream MJPEG:

1. Inicialice la salida de streaming con el puerto deseado
2. Conéctelo a su pipeline de video
3. Acceda al stream a través de un navegador web o cliente HTTP en:

   http://[dirección-servidor]:[puerto]
   

Ejemplo de cliente HTML¶

<img src="http://localhost:8080" />

Limitaciones y consideraciones¶

1. Uso de ancho de banda
2. Los streams MJPEG pueden usar ancho de banda significativo ya que cada cuadro es un JPEG completo

3. Considere la configuración de tasa de cuadros y resolución para rendimiento óptimo

4. Soporte de navegador

5. Aunque MJPEG es ampliamente soportado, algunos navegadores modernos pueden tener limitaciones

6. Los dispositivos móviles pueden manejar streams MJPEG de manera diferente

7. Latencia

8. Aunque MJPEG proporciona latencia relativamente baja, no es adecuado para requisitos de ultra baja latencia
9. Las condiciones de red pueden afectar el tiempo de entrega de cuadros

Mejores prácticas¶

1. Selección de puerto
2. Elija puertos que no entren en conflicto con otros servicios

3. Considere las implicaciones de firewall al seleccionar puertos

4. Gestión de recursos

5. Siempre disponga del bloque sink apropiadamente

6. Monitoree las conexiones de clientes y uso de recursos

7. Manejo de errores

8. Implemente manejo de errores apropiado para problemas de red y pipeline
9. Monitoree el estado del pipeline para problemas potenciales

Consideraciones de seguridad¶

1. Seguridad de red
2. El stream MJPEG no está cifrado por defecto

3. Considere implementar medidas de seguridad adicionales para contenido sensible

4. Control de acceso

5. Sin mecanismo de autenticación integrado

6. Considere implementar control de acceso a nivel de aplicación si es necesario

7. Seguridad del puerto

8. Asegúrese de que las reglas de firewall apropiadas estén en su lugar
9. Considere el aislamiento de red para streams internos

Salida MJPEG solo Windows¶

VideoCaptureCore VideoEditCore

Establezca la propiedad Network_Streaming_Enabled a true para habilitar streaming en red.

VideoCapture1.Network_Streaming_Enabled = true;

Establezca la salida HTTP MJPEG.

VideoCapture1.Network_Streaming_Format = NetworkStreamingFormat.HTTP_MJPEG;

Cree el objeto de configuración y establezca el puerto.

VideoCapture1.Network_Streaming_Output = new MJPEGOutput(8080);

Visite nuestra página de GitHub para obtener más ejemplos de código.