SpecTrans: ガラスやプラスチックなどの透明素材の識別技術とアプリケーションの提案
プロジェクトの詳しい情報は、http://spectrans.ioをご覧ください。お問い合わせは、munehiko +at+ acm.orgまで。
ユビキタスコンピューティング、スマートホーム、IoT、ホログラフィックディスプレイなどの普及に従い、生活空間と情報技術の融合が進んでいます。そのため、ユーザーやデバイスの場所や文脈に沿った情報提示が必要とされています。SpecTransは、画像認識などの既存手法では識別ができなかった、ガラス、プラスチック、金属などの透明・高反射の素材を識別する新しいセンシング手法です。この技術により、QRコードやNFCタグなどを設置せずに、美術館のショーケースや窓ガラスの素材、金属製のインテリア家具そのものに情報を埋め込むことができます。
4箇所に配置した5つの異なる波長のLEDとレーザー光による照明を超高速に切り替え、最高10000フレーム/秒で画像を撮影することができる小型カメラで物体表面での光の反射画像を撮影します。さらに、小型カメラの内部にて画像の特徴を抽出して、その特徴量のみをコンピュータに転送し、機械学習により物体素材の分類を行います。さらに、4段階の異なるシャッタースピードを用いハイダイナミックレンジ(HDR)での撮影することで、光をほとんど反射しない透明な素材や黒い布、光を多く反射する金属面まで、多用途に対応します。 一回の撮影はおよそ千分の一秒で行えるため、(合計26種類の照明条件) x (4シャッタースピード) x (4特徴量) = 416特徴量の抽出と機械学習による認識を0.12秒以下のリアルタイムで実現され、インタラクティブなアプリケーションが実現されます。
実験では、ガラス、アクリル、ポリカーボネート、などの8種類の透明な素材による評価実験を行い、99.0%の識別率を得ることができました。さらに、美術館、透明ディスプレイ、スマートフォン、タブレットなどでの新しいインタラクションを実現する5種類のアプリケーション例を提案しています。
Surface and object recognition is of significant importance in ubiquitous and wearable computing. While various techniques exist to infer context from material properties and appearance, they are typically neither designed for real-time applications nor for optically complex surfaces that may be specular, textureless, and even transparent. These materials are, however, becoming increasingly relevant in HCI for transparent displays, interactive surfaces, and ubiquitous computing.
We present SpecTrans, a new sensing technology for surface classification of exotic materials, such as glass, transparent plastic, and metal. The proposed technique extracts optical features by employing laser and multi-directional, multi-spectral LED illumination that leverages the material’s optical properties. The sensor hardware is small in size, and the proposed classification method requires significantly lower computational cost than conventional image-based methods, which use texture features or reflectance analysis, thereby providing real-time performance for ubiquitous computing.
Our evaluation of the sensing technique for nine different transparent materials, including air, shows a promising recognition rate of 99.0%. We demonstrate a variety of possible applications using SpecTrans’ capabilities.
