Afficher une caméra RTSP dans Unity¶

Media Blocks SDK .Net Video Capture SDK .Net

Il existe deux façons d'afficher un flux de caméra RTSP / IP en direct dans Unity, et le paquet fournit une scène prête pour chacune. Les deux s'affichent dans un RawImage Unity et fonctionnent sur Windows, Android, macOS Standalone et iOS. Cet article suppose que vous avez importé le paquet Unity et appliqué les deux réglages de projet requis — consultez d'abord Utiliser VisioForge dans Unity.

Deux scènes, deux moteurs¶

Choisissez RTSPViewer quand vous voulez assembler le pipeline vous-même ; choisissez IPCameraX quand vous voulez un moteur de capture capable aussi d'enregistrer pendant l'aperçu. Les deux alimentent le même VisioForgeVideoView fourni, donc le chargement de texture, la gestion de l'aspect et le retournement vertical sont identiques.

RTSPViewer — le pipeline Media Blocks¶

La scène RTSPViewer affiche un flux de caméra RTSP / IP en direct avec le Media Blocks SDK .NET de bas niveau, rendu dans un RawImage.

Lancer la scène RTSPViewer¶

1. Dans la fenêtre Project, ouvrez Assets/Scenes/RTSPViewer.unity (double-cliquez dessus).
2. Dans la Hierarchy, sélectionnez le GameObject RawImage. Le composant RTSPViewerPlayer y est attaché.
3. Dans l'Inspector, définissez Rtsp Url (et Login / Password si la caméra requiert une authentification).
4. Appuyez sur ▶ Play — le flux s'affiche dans la vue Game.

Champs de l'Inspector (RTSPViewerPlayer)¶

Le pipeline RTSPViewer¶

RTSPViewerPlayer construit ce pipeline :

graph LR;
    src[RTSPSourceBlock] -->|vidéo| sink["BufferSinkBlock (RGBA)"];
    sink --> view["VisioForgeVideoView (Texture2D)"];
    src -->|audio, optionnel| audio[AudioRendererBlock];

Le cœur de PlayAsync :

_pipeline = new MediaBlocksPipeline();

// readInfo:false ignore le pré-sondage du média (il peut échouer sous le runtime Unity, et
// sonder un flux en direct ajoute de la latence de connexion) ; le codec est négocié au démarrage de la lecture.
var settings = await RTSPSourceSettings.CreateAsync(
    new Uri(rtspUrl), login ?? string.Empty, password ?? string.Empty,
    audioEnabled: _renderAudio, readInfo: false);

_source = new RTSPSourceBlock(settings);

_videoSink = new BufferSinkBlock(VideoFormatX.RGBA);
_videoSink.OnVideoFrameBuffer += _videoView.OnFrameBuffer;
_pipeline.Connect(_source.VideoOutput, _videoSink.Input);

if (_renderAudio && _source.AudioOutput != null)
{
    _audioRenderer = new AudioRendererBlock();
    _pipeline.Connect(_source.AudioOutput, _audioRenderer.Input);
}

await _pipeline.StartAsync();

IPCameraX — le moteur VideoCaptureCoreX¶

La scène IPCameraX affiche la même caméra RTSP / IP avec le moteur de haut niveau VideoCaptureCoreX. En plus de l'aperçu en direct, il peut enregistrer en MP4 et expose des instantanés, le routage audio et des incrustations — les fonctions de moteur de capture que le pipeline RTSPViewer câblé à la main ne fournit pas d'emblée.

L'événement OnVideoFrameUnity¶

VideoCaptureCoreX expose l'événement OnVideoFrameUnity propre à Unity : chaque image arrive en RGBA32 compacté (Stride == Width * 4), prête pour Texture2D.LoadRawTextureData sans aucune conversion. Abonnez-vous avant StartAsync.

Exécuter la scène IPCameraX¶

1. Ouvrez Assets/Scenes/SampleScene.unity.
2. Dans la Hierarchy, sélectionnez le GameObject RawImage — le composant IPCameraXViewer y est attaché.
3. Dans l'Inspector, définissez Rtsp Url (ainsi que Login / Password si la caméra les exige).
4. Appuyez sur ▶ Play — le flux de la caméra apparaît dans la vue Game.

Champs de l'Inspector (IPCameraXViewer)¶

Le pipeline IPCameraX¶

graph LR;
    rtsp["VideoCaptureCoreX (RTSP source)"] -->|OnVideoFrameUnity, RGBA32| view["VisioForgeVideoView (Texture2D)"];
    rtsp -->|optional record| mp4["MP4Output (H264 + AAC)"];

Le cœur de PlayAsync :

_capture = new VideoCaptureCoreX();

// readInfo:false ignore la pré-analyse du média (elle peut échouer sous le runtime Unity et ajoute de la latence).
var rtspSettings = await RTSPSourceSettings.CreateAsync(
    new Uri(rtspUrl), login, password, audioEnabled: renderAudio, readInfo: false);
_capture.Video_Source = rtspSettings;

// Images RGBA32 prêtes pour la texture, directement dans la vue.
_capture.OnVideoFrameUnity += _videoView.OnFrameBuffer;

if (recordToFile)
    _capture.Outputs_Add(new MP4Output(outputPath), autostart: true);

await _capture.StartAsync();

L'utiliser dans votre propre scène¶

Ajoutez un Canvas → Raw Image (GameObject → UI → Raw Image), sélectionnez-le, Add Component → RTSPViewerPlayer (pipeline Media Blocks) ou IPCameraXViewer (moteur VideoCaptureCoreX), définissez Rtsp Url, puis appuyez sur ▶ Play. La disposition du RawImage, la gestion de l'aspect et le retournement vertical sont pris en charge par le VisioForgeVideoView fourni. Pour la lecture de fichiers locaux plutôt que le RTSP, utilisez MediaBlocksPlayer ou MediaPlayerXPlayer (voir Lire un fichier multimédia).

Réglages de build et permissions réseau par plateforme¶

Les deux scènes s'exécutent sans modification sur chaque plateforme prise en charge — mais chaque cible a ses propres exigences de permissions réseau et de Build Profile.

<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

<key>NSLocalNetworkUsageDescription</key>
<string>Cette application diffuse des vidéos à partir de caméras IP locales sur votre réseau.</string>

<key>NSAppTransportSecurity</key>
<dict>
    <key>NSAllowsArbitraryLoads</key>
    <true/>
</dict>

Auto-reconnexion¶

Les deux moteurs se reconnectent automatiquement quand le flux tombe, avec backoff entre les tentatives — pas de machine d'état manuelle dans votre script. Pour RTSPViewer, augmentez le timeout dans les réglages RTSPSourceSettings sous-jacents avant de les passer à RTSPSourceBlock si vous avez besoin d'une fenêtre plus longue ; IPCameraX (VideoCaptureCoreX) gère les redémarrages de caméra et les brèves interruptions de la même manière.

Foire aux questions¶

Quelle scène utiliser — RTSPViewer ou IPCameraX ?¶

Utilisez RTSPViewer (MediaBlocksPipeline) pour un pipeline léger en lecture seule que vous assemblez vous-même. Utilisez IPCameraX (VideoCaptureCoreX) quand vous voulez aussi l'enregistrement en MP4, des instantanés, le routage audio ou des incrustations sur le même flux — ils sont clé en main sur le moteur de capture.

Comment fournir les identifiants de la caméra ?¶

Renseignez les champs Login et Password sur l'un ou l'autre composant. Laissez-les vides pour les flux qui ne nécessitent aucune authentification ; les identifiants sont envoyés à la caméra, ils ne sont pas intégrés à l'URL.

Quel format d'URL dois-je utiliser ?¶

La forme standard rtsp://host:port/path exposée par votre caméra, par exemple rtsp://192.168.1.21:554/Streaming/Channels/101 (Hikvision) ou rtsp://192.168.1.22:554/cam/realmonitor?channel=1&subtype=0 (Dahua). Consultez le manuel de votre caméra pour connaître son chemin de flux exact.

Enregistre-t-il la caméra ?¶

IPCameraX oui — activez Record To File pour ajouter un MP4Output à côté de l'aperçu. RTSPViewer est en lecture seule ; ajoutez vous-même une branche d'enregistrement à son pipeline si vous en avez besoin.

Que se passe-t-il si la caméra n'a pas d'audio ?¶

Les deux fonctionnent en vidéo seule. La branche audio n'est connectée que lorsque le flux transporte effectivement de l'audio ; une caméra sans audio ne nécessite donc aucune modification.

Puis-je afficher plusieurs caméras à la fois ?¶

Oui. Ajoutez un RawImage avec son propre RTSPViewerPlayer ou IPCameraXViewer pour chaque caméra ; chacun construit un pipeline indépendant.

Voir aussi¶

• Utiliser VisioForge dans Unity — présentation du paquet, configuration et fonctionnement du rendu
• Lire un fichier multimédia dans Unity — les scènes de lecture de fichiers locaux / URL
• Capturer une webcam dans Unity — capture de caméra locale (Windows / macOS)
• Guide du streaming RTSP — le RTSP à travers les SDK VisioForge .NET
• Répertoire des marques de caméras IP — URLs et réglages de caméras testés
• Lecteur RTSP Media Blocks en C# — un exemple RTSP hors Unity