ニュース

May 16, 2023

HA4M データセット: マルチ

Scientific Data volume 9、記事番号: 745 (2022) この記事を引用 2558 アクセス 1 Altmetric Metrics の詳細 この論文では、製造におけるヒューマン アクション マルチモーダル モニタリング (HA4M) について紹介します。

Scientific Data volume 9、記事番号: 745 (2022) この記事を引用

2558 アクセス

1 オルトメトリック

メトリクスの詳細

この論文では、遊星歯車列 (EGT) を構築するさまざまな被験者によって実行される動作に関するマルチモーダル データのコレクションである、製造における人間の動作マルチモーダル モニタリング (HA4M) データセットを紹介します。 特に、41 人の被験者が 12 の動作からなる組み立てタスクを数回試行しました。 データは、深度カメラ、RGB カメラ、赤外線 (IR) エミッターを統合した Microsoft® Azure Kinect を使用して、実験室のシナリオで収集されました。 著者の知る限り、HA4M データセットは、RGB イメージ、深度マップ、IR 画像、RGB から深度に位置合わせされたイメージ、点群、およびスケルトンの 6 種類のデータを含むアセンブリ タスクに関する最初のマルチモーダル データセットです。データ。 これらのデータは、コンピューター ビジョンや機械学習などのいくつかの分野、およびスマート マニュファクチャリングや人間とロボットのコラボレーションなどのアプリケーション ドメインを含む、高度な動作認識システムを開発およびテストするための優れた基盤となります。

測定

製造における人間の行為

テクノロジーの種類

Microsoft Azure Kinect カメラ

人間の行動認識は、コンピュータ ビジョン 1、2 および機械学習 3、4 における活発な研究テーマであり、既存の文献 5 に見られるように、過去 10 年間に膨大な研究作業が行われてきました。 さらに、デプスカメラ6を含む最近の低コストビデオカメラシステムの普及により、ビデオ監視、安全性とスマートホームセキュリティ、周囲支援生活、健康などのさまざまなアプリケーション領域での観察システムの開発が強化されています。 -ケアなど。 しかし、製造組立における人間の動作認識についてはほとんど研究が行われておらず、公開データセットの入手性が低いため、新しい手法の研究、開発、比較が制限されています。 これは主に、アクション間の類似性、アクションの複雑さ、ツールや部品の操作、細かい動作や複雑な操作の存在などの困難な問題によるものです。

インテリジェント製造の文脈における人間の行動の認識は、さまざまな目的にとって非常に重要です。 人間とロボットの協力を促進する10。 オペレーターを支援するため11。 従業員のトレーニングをサポートする9、12。 生産性と安全性を向上させる13。 または労働者の精神的健康を促進する14。 この論文では、遊星歯車列 (EGT) の組み立て中に RGB-D カメラによって取得されたマルチモーダル データセットである、製造におけるヒューマン アクション マルチモーダル モニタリング (HA4M) データセットを紹介します (図 1 を参照)。 。

遊星歯車装置の組み立てに関与するコンポーネント。 コンポーネントの CAD モデルは、44 で公開されています。

HA4M データセットは、アセンブリ アクションを認識するための技術と方法論を開発、検証、テストするための優れた基盤を提供します。 文献には、屋内/屋外の制約のない環境で一般的に取得される人間の行動認識用の RGB-D データセットが豊富にあります 15、16、17。 それらは主に、日常の動作 (歩く、跳ぶ、手を振る、かがむなど)、病状 (頭痛、背中の痛み、よろめくなど)、2 人の交流 (ハグ、写真を撮るなど) に関連しています。 、指差し、物を与えるなど）、またはゲーム動作（前方パンチ、テニスのサーブ、ゴルフのスイングなど）。 表 1 は、人間の動作認識に関して最も有名で一般的に使用されている RGB-D データセットのいくつかを報告し、その主な特徴を説明しています。

著者の知る限り、オブジェクト アセンブリのコンテキストに存在するビジョンベースのデータセットはほとんどありません。 研究者は通常、プライベートビデオデータに基づいて独自のデータセットを構築します7,18。 表 2 は、提案された HA4M データセットと組み立て動作認識に関する既存のデータセットを比較しています。 表 2 に示すように、提案された HA4M にはさまざまな主な貢献が含まれています。