title: Detectar objetos sin entrenar — vocabulario abierto .NET description: Detecte cualquier objeto en vídeo nombrándolo en texto: zero-shot, sin entrenamiento. Vocabulario abierto en dispositivo para .NET (OWLv2, Grounding DINO). sidebar_label: Detección de vocabulario abierto tags: - .NET - AI - ONNX - Open Vocabulary Detection - Zero-Shot Detection - OWLv2 - Grounding DINO - Computer Vision - VideoCaptureCoreX - MediaPlayerCoreX primary_api_classes: - OpenVocabularyDetectorBlock - OpenVocabularyDetectorSettings - OpenVocabularyModel - OnnxDetection

Detección de vocabulario abierto — OpenVocabularyDetectorBlock¶

Necesita detectar un objeto para el que ningún modelo estándar fue entrenado — una herramienta, producto o uniforme concretos — pero no tiene un conjunto de datos etiquetado ni tiempo para entrenar y desplegar un detector personalizado. La detección de vocabulario abierto resuelve esto: nombre en texto plano lo que busca y el modelo lo encuentra, sin entrenamiento y sin una lista fija de clases. Se ejecuta en el dispositivo mediante ONNX (OWLv2 o Grounding DINO), y puede cambiar lo que detecta en cualquier momento editando los prompts de texto.

OpenVocabularyDetectorBlock detecta objetos descritos mediante prompts de texto libre en lugar de una lista fija de clases. Le proporciona frases como "a person", "a red backpack" o "a forklift", y las encuentra en el flujo de vídeo — sin reentrenamiento, sin un conjunto fijo de etiquetas. Captura fotogramas RGBA, ejecuta un modelo ONNX de vocabulario abierto (OWLv2 o Grounding DINO), opcionalmente dibuja cuadros y etiquetas en el fotograma, y genera el evento OnObjectsDetected para los fotogramas que contienen detecciones.

Dado que los modelos de vocabulario abierto son más pesados que un detector de clases fijas, la inferencia se ejecuta en un proceso de trabajo en segundo plano de tipo «el último gana» (latest-wins): el hilo de streaming envía una copia del fotograma y solo redibuja las detecciones más recientes almacenadas en caché, de modo que la canalización nunca se bloquea. El Label de cada detección es la cadena del prompt coincidente y su ClassId es el índice de base cero de ese prompt.

graph LR;
    Source-->OpenVocabularyDetectorBlock;
    OpenVocabularyDetectorBlock-->VideoRendererBlock;
    OpenVocabularyDetectorBlock-. OnObjectsDetected .->App[Su aplicación];

¿Necesita un conjunto fijo de clases a máxima velocidad (COCO-80 o sus propias etiquetas entrenadas)? Utilice YOLOObjectDetectorBlock en su lugar — es mucho más rápido, pero no puede detectar una clase para la que no fue entrenado. La detección de vocabulario abierto sacrifica rendimiento a cambio de la capacidad de detectar cualquier cosa que pueda nombrar.

Cómo funciona la detección de vocabulario abierto¶

La detección de vocabulario abierto es una forma de detección de disparo cero (zero-shot): el modelo detecta clases para las que nunca fue entrenado explícitamente, especificadas en tiempo de ejecución como texto. Cada fotograma pasa por cuatro pasos:

1. Codificar los prompts. Cada cadena de prompt se tokeniza y se convierte en una incrustación de texto (embedding). Esto es económico y se almacena en caché hasta que llama a SetPrompts, por lo que no se repite en cada fotograma.
2. Codificar el fotograma. El fotograma se preprocesa según la convención del modelo (OWLv2 rellena hasta un cuadrado y redimensiona a 960x960; Grounding DINO redimensiona a su tamaño fijo) y se codifica en características de imagen por región.
3. Puntuar las regiones frente a los prompts. Cada región candidata se puntúa frente a cada incrustación de prompt; las regiones que superan ConfidenceThreshold se convierten en detecciones, etiquetadas con el prompt coincidente (Label) y su índice (ClassId).
4. Suprimir solapamientos. La supresión de no-máximos por clase (IoUThreshold) elimina los cuadros duplicados, y se devuelven los mejores MaxDetections resultados.

Los pasos 2–4 se ejecutan en un proceso de trabajo en segundo plano de tipo «el último gana», de modo que el vídeo nunca se bloquea — el hilo de streaming dibuja el resultado completado más reciente mientras la siguiente inferencia todavía se está ejecutando.

Familias de modelos admitidas¶

Configure OpenVocabularyDetectorSettings.Model para que coincida con el formato del modelo ONNX. Cada familia utiliza un tokenizador y una convención de preprocesamiento diferentes.

El SDK no incluye los pesos del detector en el paquete NuGet — proporcione el modelo .onnx y sus archivos de tokenizador como rutas locales (consulte Modelos). Los InputWidth/InputHeight heredados se ignoran: OWLv2 siempre se ejecuta a 960x960 y Grounding DINO utiliza el tamaño fijo incorporado en su modelo ONNX.

Uso¶

using VisioForge.Core.MediaBlocks;
using VisioForge.Core.MediaBlocks.AI;
using VisioForge.Core.MediaBlocks.VideoRendering;
using VisioForge.Core.Types.Events;
using VisioForge.Core.Types.VideoProcessing;
using VisioForge.Core.Types.X.AI;

var settings = new OpenVocabularyDetectorSettings(
    "owlv2-base-ensemble.onnx",
    "owlv2-vocab.json",
    "owlv2-merges.txt",
    new[] { "a person", "a car", "a red backpack" })
{
    Model = OpenVocabularyModel.OWLv2,
    ConfidenceThreshold = 0.25f,
    IoUThreshold = 0.5f,
    DrawDetections = true,
    Provider = OnnxExecutionProvider.Auto,
};

var detector = new OpenVocabularyDetectorBlock(settings);
detector.OnObjectsDetected += (sender, e) =>
{
    foreach (OnnxDetection obj in e.Objects)
    {
        // obj.Label es el prompt coincidente; obj.ClassId es su índice en el arreglo de prompts.
        Console.WriteLine($"{obj.Label} {obj.Confidence:P0} at {obj.Box}");
    }
};

var videoRenderer = new VideoRendererBlock(pipeline, videoView) { IsSync = false };

pipeline.Connect(source.Output, detector.Input);
pipeline.Connect(detector.Output, videoRenderer.Input);

await pipeline.StartAsync();

Console.WriteLine($"Active provider: {detector.ActiveProvider}");

Cada OnObjectsDetected se dispara únicamente cuando el fotograma tiene detecciones. ObjectsDetectedEventArgs transporta Objects (un OnnxDetection[]) y el Timestamp del fotograma. Cada OnnxDetection tiene el Box delimitador en coordenadas de píxeles del fotograma de origen, ClassId (el índice del prompt), Label (el prompt coincidente) y Confidence. TrackerId siempre es -1 — este bloque no rastrea objetos entre fotogramas.

Cambio de prompts y umbrales en tiempo de ejecución¶

Los prompts y los umbrales se pueden actualizar en vivo sin reconstruir la canalización — el cambio se aplica en el siguiente fotograma procesado:

detector.SetPrompts(new[] { "a delivery truck", "a bicycle" });
detector.SetConfidenceThreshold(0.30f);
detector.SetIoUThreshold(0.45f);

Configuración clave¶

OpenVocabularyDetectorSettings extiende OnnxInferenceSettings.

InputWidth/InputHeight y NormalizeTo01 se heredan de OnnxInferenceSettings, pero el tamaño de entrada se ignora (cada familia fija el suyo propio). OpenVocabularyDetectorBlock.ActiveProvider reporta el proveedor realmente utilizado una vez que el bloque se ha construido; LastInferenceTimeMs y DroppedFrameCount exponen el coste de inferencia en vivo.

Modelos¶

Los pesos de los modelos no se incluyen con el SDK. Las demos los descargan en la primera ejecución desde GitHub Releases y los almacenan en caché en %USERPROFILE%\VisioForge\models\openvocab.

La licencia de un modelo la determina su origen (código de entrenamiento y pesos publicados), no el formato ONNX ni la propia licencia del SDK. Confirme la licencia de los pesos específicos que despliegue antes de comercializar un producto de código cerrado.

Escritura de prompts eficaces¶

La formulación del prompt afecta directamente a la exhaustividad (recall) y la precisión. Algunas reglas prácticas:

• Utilice frases nominales cortas — "a person", "a delivery truck", "a cardboard box". Las oraciones completas y los calificadores largos reducen la exhaustividad.
• Un concepto por prompt. Cada prompt es una clase separada; no los combine («a person or a bag»).
• Empiece de forma amplia y luego acote. "a car" detecta más que "a red sports car". Añada descriptores solo cuando necesite filtrar.
• Grounding DINO convierte los prompts a minúsculas y los une en un único pie de texto (caption) separado por . — mantenga las frases distintas e inequívocas.
• Cada prompt añade un coste de codificación de texto en el momento de cambiar los prompts (no en cada fotograma), por lo que un vocabulario en vivo enorme se puede indexar sin problemas, pero recórtelo si las llamadas a SetPrompts resultan lentas.

Rendimiento y ajuste¶

Los modelos de vocabulario abierto son más pesados que un detector de clases fijas, por lo que el rendimiento es menor — planifíquelo en lugar de combatirlo:

• La canalización nunca se bloquea. La inferencia es asíncrona y de tipo «el último gana», de modo que el vídeo en vivo sigue reproduciéndose; los cuadros reflejan la inferencia completada más reciente.
• Reduzca la tasa de inferencia con FramesToSkip cuando no necesite un resultado en cada fotograma — el bloque sigue pasando todos los fotogramas.
• Utilice un proveedor de GPU (CUDA, DirectML o CoreML) mediante Provider/DeviceId para una gran reducción de latencia frente a la CPU.
• El tamaño de entrada es fijo por familia (OWLv2 960x960; Grounding DINO su tamaño incorporado) y no se puede reducir para sacrificar precisión a cambio de velocidad — elija el modelo más ligero si necesita más margen.
• Vigile el coste en vivo con LastInferenceTimeMs y DroppedFrameCount, y lea el proveedor utilizado desde ActiveProvider una vez que el bloque se ha construido.

Uso con VideoCaptureCoreX y MediaPlayerCoreX¶

La misma instancia del bloque se integra en cualquiera de los dos motores de alto nivel. Regístrela antes de que comience la sesión:

var detector = new OpenVocabularyDetectorBlock(settings);
detector.OnObjectsDetected += Detector_OnObjectsDetected;

core.Video_Processing_AddBlock(detector);   // VideoCaptureCoreX — antes de StartAsync
// player.Video_Processing_AddBlock(detector); // MediaPlayerCoreX — antes de OpenAsync/PlayAsync

await core.StartAsync();

// Los prompts y umbrales siguen siendo actualizables en vivo mientras la sesión se ejecuta:
detector.SetPrompts(new[] { "a person wearing a hard hat" });

SetPrompts hace que la detección de vocabulario abierto sea especialmente útil en una transmisión de cámara en vivo: un operador puede cambiar qué buscar sobre la marcha. Consulte Uso de bloques de IA con VideoCaptureCoreX y MediaPlayerCoreX para conocer la API completa de bloques de procesamiento, el orden de inserción y las reglas de ciclo de vida compartidas por todos los bloques de IA de vídeo.

Detección de vocabulario abierto frente a entrenar su propio modelo¶

La elección se reduce a si dispone de datos etiquetados y a cuánto cambian las clases objetivo.

Un patrón común es prototipar con detección de vocabulario abierto para confirmar que una clase es siquiera detectable en su material, y luego entrenar un modelo de clases fijas más adelante solo si necesita la velocidad adicional.

Casos de uso¶

• Consultas de vigilancia ad-hoc — busque en una transmisión de cámara «a person carrying a bag» o «a white van» sin entrenar un modelo personalizado.
• Comercio minorista e inventario — detecte un producto arbitrario descrito en palabras, o espacio de estantería vacío, para una capa de negocio posterior.
• Prototipado y triaje — valide que una clase es detectable en su material antes de invertir en un modelo YOLO entrenado de clases fijas para velocidad de producción.
• Clases raras y de cola larga — detecte objetos que no tienen un detector entrenado disponible simplemente nombrándolos.
• Herramientas interactivas — permita que un usuario final escriba qué encontrar y actualice SetPrompts desde la interfaz.

Solución de problemas¶

Preguntas frecuentes¶

¿Cómo detecto un objeto personalizado sin un conjunto de datos?¶

Nómbrelo en un prompt de texto — por ejemplo new OpenVocabularyDetectorSettings(modelPath, vocabPath, mergesPath, new[] { "a forklift", "a safety vest" }). No hay imágenes que recopilar, ni etiquetado, ni una ejecución de entrenamiento. Si una frase nominal simple detecta poco, hágala algo más específica ("an orange safety vest"). Consulte Escritura de prompts eficaces.

¿Necesito entrenar o hacer fine-tuning de algo?¶

No. Los modelos de vocabulario abierto están preentrenados para detectar clases arbitrarias descritas en texto, por lo que solo proporciona el texto del prompt más el modelo ONNX y los archivos de tokenizador — no hay paso de entrenamiento ni de fine-tuning.

¿Con qué modelo debería empezar?¶

OWLv2 (el predeterminado) ofrece una sólida precisión de vocabulario abierto y toma tanto un archivo de vocabulario como uno de merges. GroundingDINO (tiny) es una alternativa más ligera que utiliza solo un vocab.txt y realiza phrase-grounding sobre un pie de texto separado por .. Pruebe OWLv2 primero; cambie a Grounding DINO si necesita un modelo más pequeño.

¿En qué se diferencia de YOLOObjectDetectorBlock?¶

YOLOObjectDetectorBlock detecta un conjunto fijo de clases para las que fue entrenado, muy rápido. La detección de vocabulario abierto detecta cualquier cosa que describa en texto, con un coste por fotograma mayor. Use YOLO para clases conocidas a tasas de fotogramas altas; use el vocabulario abierto para consultas flexibles o raras.

¿Puedo cambiar lo que busca mientras se está ejecutando?¶

Sí — llame a SetPrompts en cualquier momento. Los nuevos prompts se aplican en el siguiente fotograma procesado, sin reconstruir la canalización. SetConfidenceThreshold y SetIoUThreshold también son en vivo.

¿Rastrea objetos entre fotogramas?¶

No — cada detección es independiente por fotograma y TrackerId siempre es -1. Para identidades persistentes, líneas de disparo (tripwires) o conteo de zonas, consulte Analítica de objetos.

¿Se requiere una GPU?¶

No. Provider toma como valor predeterminado Auto, que se ejecuta en la CPU cuando no hay un proveedor de GPU presente. Un proveedor CUDA, DirectML o CoreML reduce la latencia por fotograma, lo cual importa más en estos modelos más pesados.

¿Es la detección de vocabulario abierto lo mismo que la detección de objetos de disparo cero (zero-shot)?¶

Sí. «Vocabulario abierto» y «disparo cero (zero-shot)» describen aquí la misma capacidad: detectar clases de objetos para las que el modelo no fue entrenado explícitamente, elegidas en tiempo de ejecución mediante un prompt de texto en lugar de mediante un conjunto fijo de etiquetas. OWLv2 y Grounding DINO son dos familias de detectores de vocabulario abierto (zero-shot) muy conocidas.

¿Cuántos prompts puedo detectar a la vez?¶

No hay un límite estricto en el número de prompts — cada uno se convierte en su propia clase. MaxDetections (predeterminado 100) limita cuántos cuadros se devuelven por fotograma, no cuántos prompts proporciona. Más prompts añaden coste de codificación de texto cuando los configura, no en cada fotograma.

¿Puede ejecutarse completamente sin conexión?¶

Sí. La inferencia es completamente ONNX local — sin llamadas a la nube en tiempo de ejecución. Solo la descarga inicial del modelo necesita red, y puede distribuir los archivos .onnx y de tokenizador con su aplicación para evitar incluso eso.

¿Por qué las detecciones se etiquetan con el texto de mi prompt?¶

Por diseño. A diferencia de un detector de clases fijas que emite identificadores de clase numéricos, el Label de cada detección de vocabulario abierto es el prompt exacto con el que coincidió y su ClassId es el índice de base cero de ese prompt en el arreglo que proporcionó — de modo que siempre sabe qué consulta produjo cada cuadro.

¿Puedo usar mi propio modelo ONNX de vocabulario abierto?¶

Sí, siempre que coincida con uno de los formatos admitidos (OWLv2 o GroundingDINO) y apunte VocabFilePath/MergesFilePath a los archivos de tokenizador correspondientes y configure Model en consecuencia.

Demos¶

Las demos dedicadas construidas sobre Media Blocks, VideoCaptureCoreX y MediaPlayerCoreX (Open Vocabulary Detection Demo, Open Vocabulary Detection MB, Capture Open Vocabulary Detection X, Capture Open Vocabulary Detection X WPF, Player Open Vocabulary Detection X, Player Open Vocabulary Detection X WPF) forman parte del conjunto de demos del SDK y se enlazarán aquí una vez publicadas en el repositorio público de muestras.