View Lidar – LiDAR代替ソリューション AI2.0技術を用いて、高価なLIDARの代替へ―


The original material was developed by Daniel Scharstein and Richard Szeliski of Middlebury University Vision Laboratory
http://vision.middlebury.edu/stereo/data/

DOORsカメラは、周囲の物体の3D構造を直ちに学習し、通行可能な道路と不可能な道路を2Dカメラよりも一桁優れたレベルで容易に区別することができます。 上記の画像は、DOORsカメラがリアルタイムでキャプチャした輪郭(左)とデプスマップ(右)を示しています。

Revatronは世界初のスマートカメラを開発。カメラを使って自動車が物体の距離や動きを知ることができます。 Revatronのスマートカメラは、車両の動きを補償することによって、動きのある物体を静止物体として区別することもできます。 このカメラは、処理時間1ミリ秒以下のリアルタイムAIエンジンを組み込んでいます。 リアルタイムのフィーチャ処理と超低遅延学習は、自動車用途に最適化されています。

このソリューションは、機械学習と3Dリアリティモデリングに焦点を当てたリアルタイムAIソリューションに基づいています。 カメラは、1~3カメラを用いて3D化を図ります。 DOORsカメラのパッシブデザインは、複数の同期カメラ入力の三角測量から三次元の深度情報を学習します。 単一のカメラ入力のみを使用する場合、カメラは自身の移動経路を基に三角測量を行います。

自動車産業は、手頃な価格の量産アプリケーションに限界があるため、LIDARの代替品を探していました。 基本的に、LIDARは盲点がなく周囲を調査するための視点を提供する回転レーダーシステムです。 しかし、LIDARは大きく、重く、高価であり、大量生産には適していません。 LIDARを使用する典型的な自動運転システムは、約1.5秒で車の周りに限られた3Dモデルを構築するために、2KWのコンピュータを必要とすることがあります。

DOORsカメラは、 LIDARと違って、コンパクトドライブレコーダー1個と同じくらい小さなもので、周辺エリアの音声警告や情報を提供するためのアクセサリーとして車両のどこにでも搭載できる完全パッシブ型デバイスです。 DOORsカメラは、光や信号を放射せず、カメラ入力のみから周囲の三次元構造を学習します。 DOORsカメラは、GPSと速度データの両方が利用可能な場合、周囲のオブジェクトの正確な動きを提供することができます。

AIセキュリティソリューション 三次元深度技術を使用して機械学習のセキュリティ脅威を中和。


Image Source: D. Scharstein and R. Szeliski. High-accuracy stereo depth maps using structured light. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2003), volume 1, pages

DOORsカメラは、複雑なパターンで周囲の物体の3D構造を学習することができます。 カメラはステレオ画像(左上)をキャプチャして、1ミリ秒以内にテクスチャを区別した類似的円錐のデプスマップ(右上)に3D構造を変換できます。

Revatronは、攻撃パッチを特定し、無効化することができる世界初のスマートカメラを開発しました。 「攻撃パッチ」とは、機械学習システムを欺き、誤った分類を報告させることができる、戦略的に配置されたピクセルの小さなパッチを表す一般用語です。 これらのパッチは、認識システムを欺くために様々な方法で、元の画像に簡単に追加または貼り付けることができます。 攻撃パッチの主な懸念事項は、テロリストが、テロ攻撃を目的としてAIシステムを操作するために使用する可能性があることです。たとえば、自動運転の機械学習システムを欺いて赤信号を青信号と誤認識させ、ないはずの停止標識が路上にあると思せられます。

Revatronの革命的なカメラは、周囲のオブジェクトの三次元構造を学習するリアルタイムAIエンジンを使用することで、これらのパッチを無効にすることができます。 Revatronのカメラは、主流の機械学習システムで使用される単純な2Dデータではなく、3D情報に基づいてオブジェクトを分類します。そのため、Revatronのスマートカメラには、意味のある3D表現を持たない平坦なオブジェクトとして攻撃パッチが映ります。 したがって、カメラは攻撃パッチを掲示物または平らな表面を持つピクチャとして分類し、これらをフィルタリングして、攻撃パッチによって引き起こされる潜在的な脅威を根本的に解決することができます。

この画期的なカメラは、機械学習と3Dリアリティモデリングに焦点を当てたリアルタイムAIソリューションであるRevatronのDOORs(ダイレクトオブジェクト指向リアリティシステム)技術に基づいています。 DOORsカメラと呼ばれるRevatronのカメラのリアルタイムAI機能は、FPGAアクセラレータを備えた4Wマルチコアプロセッサ上で実行されます。 Revatronは、クラウド企業と自動車企業を選択するためにDOORsカメラのプロトタイプ設計のデモンストレーションを行い、2018年の初めにNABとISC Westのトレードショーで概念設計を紹介しました。

動画分類のための三次元機械学習 不適切なコンテンツの可能性のある動画をスクリーニング。

DOORs技術は、動画からオブジェクトの深度や動きを、フレームごとのグローバルな動きを通して学ぶことができます。 学習された情報は、動画分類の行動分析にとって非常に重要です。

Revatronは、動画分類のアプリケーション用に、動画内のオブジェクトの深度、動き、および行動を学習するための世界初のリアルタイムAIソリューションを開発しました。 このAIソリューションは、株式会社ソシオネクスト製の A11プロセッサとアクセラレータとしてのFPGAチップで構成されています。 各モジュールにA11プロセッサ2つと約20ワットの電力量を持つFPGAチップ1つが搭載されたモジュール式設計です。 各モジュールは、最大10個のフルHDビデオストリームをリアルタイムで処理できます。

RevatronのリアルタイムAIソリューションは、三角測量を用いてフレーム内のグローバルな動きに基づき、動画内のオブジェクトの深度と動きを学習します。 動画があらかじめ定義された基準と一致する場合、オペレータにアラートを送信できます。 このモジュールは、オペレータに訓練されることで、その正確さおよび能力を高めることができます。 これは、世界初のリアルタイムAIシステムであり、オブジェクトの動作に基づいて三次元の動きと動画分類を介してオブジェクトの動作を学習することができます。

ライブストリーミングビデオから不適切なコンテンツをブロックすることは、ソーシャルメディアプロバイダにとって困難な作業です。投稿前に動画をスクリーニングすることで、タスクが複雑になります。 現在では数百万の動画が毎日オンライン上に投稿されています。 不適切なコンテンツのリアルタイムフィルタリングは早急に解決すべき課題と言えます。 現在利用可能な機械学習ソリューションは、動画からのみ学習可能なもの―例えばオブジェクトの奥行きや動き―を学習することなく、2D画像を扱っています。 振る舞いを学習することは、効果的な動画分類にとって成長の鍵と言えます。

この革新的なリアルタイムAIソリューションは、RevatronのDOORs(Direct Object-Oriented Reality System)技術に基づいています。RevatronのリアルタイムAIソリューションは、完成した製品ではなくオープンプラットフォームで、既存の機械学習システムに対して公開されています。 RevatronはすべてのAI開発者に、究極の動画分類器をあらゆる特定のニーズに対応させるため、互いに協力するよう働きかけています。

超低遅延動画・データ伝送システム

50ミリ秒以内にインターネット経由でビデオやデータを送信。

リアルタイムAIを動力源としたエンドツーエンドネットワーク伝送システムは、インターネットを介して50ミリ秒以内にビデオまたはデータを配信することができます。 これは、1秒間に数百回インターネットトラフィックを学習した後、ネットワークパケットサイズとセッション設定を変更することによって実現されます。