リリース
新しい AI ブロック：自動プライバシー保護マスキング、オープン語彙物体検出、セマンティック動画検索
4 つの新しい端末上完結型 AI ブロックが、Media Blocks SDK .NET、Video Capture SDK .NET、Media Player SDK .NET の全製品で AI ラインナップを拡張しました。顔、ナンバープレート、画面上のテキストを対象とする自動 PII マスキング処理、固定のクラスリストではなく自由記述のテキストプロンプトによって駆動されるオープン語彙物体検出、フレームのキャプション生成・OCR・フレーズグラウンディングを行う Florence-2 ビジョン言語ブロック、そして CLIP ベースのセマンティック動画検索です。これらのブロックはいずれも、カスタム MediaBlocksPipeline への登録、VideoCaptureCoreX によるライブキャプチャ、MediaPlayerCoreX による再生のいずれにも同様に組み込むことができ、すべてのモデルは引き続き完全に端末上で実行されます。
- •PII マスキング処理: フレーム処理の過程で、顔、ナンバープレート、画面上のテキストを自動的にぼかし、モザイク化、または塗りつぶします — ライブキャプチャ中でも、カスタムパイプライン内でも、アーカイブ・共有・公開前の既存録画に対しても利用できます。オプションの正規表現フィルターにより、検出対象のテキストをメールアドレス、電話番号、または指定した任意のパターンに絞り込めるため、必要な部分だけを的確にマスキングできます。
- •オープン語彙物体検出: OWLv2 と Grounding DINO は、固定のクラスリストではなく自由記述のテキストプロンプトから物体を検出します — 検出したい対象を平易な言葉で記述し、プロンプトや信頼度しきい値を実行時に切り替えられるため、再学習も新しいモデルの配布も不要です。これにより、単一の検出器が、ライブ映像でも録画映像でも、アプリケーションがそのときどきに必要とするものを検出できる汎用ツールになります。
- •ビジョン言語理解: Florence-2 ビジョン言語ブロックは、フレームのキャプション生成、OCR、フレーズグラウンディングを一つのブロックに統合します — シーンの内容を説明し、埋め込まれたテキストを読み取り、記述された対象物をバウンディングボックスで特定します。ライブ映像に適用すれば、同じブロックがアクセシビリティツールや監視ダッシュボード向けに、カメラが捉えている内容をリアルタイムで説明できます。
- •セマンティック動画検索: CLIP ベースの埋め込みブロックが処理中の動画をインデックス化し、アプリケーションが自然言語のクエリ — 「誰かがドアを開ける瞬間を見つける」など — でそのインデックスを検索できるようにします。タイムラインを手作業でスクラブする必要はありません。録画中にライブでインデックスを構築する場合でも、既存ファイルに対して一度だけ処理を行う場合でも、同様に機能します。