Dobb-E:家庭用ロボット操作学習のためのオープンソース・フレームワーク

ブログ記事:家庭用ロボットの新しい時代が到来

タグ:家庭用ロボット、Dobb·E、ニューヨーク、自己学習、課題達成率

家庭で機械を使用することは、歴史を通じて成功してきました。食器洗い機、洗濯機、スタンドミキサー、ロボット掃除機など、最近の例には様々なものがあります。しかし、これらの機械は効果的に単一のタスクをこなすことに長けています。家庭用ロボットの「汎用機」- 私たちのニーズに適応し学習することができる家庭用アシスタント – は、ロボット工学の目標として数十年にわたり追求されてきました。この研究では、Dobb·Eという手頃な価格で多目的な汎用システムを紹介し、家庭環境でのロボット操作の学習に向けた大規模な取り組みを開始します。Dobb·Eは、安価な部品とiPhoneを使用したデモ収集ツール(「The Stick」)により、ユーザーが5分間で新しいタスクを学習することができます。ニューヨーク市の22軒の家庭で13時間のデータを収集し、「Home Pretrained Representations(HPR)」をトレーニングします。そして、新しい環境で5分間のデモンストレーションと15分間のHPRモデルの適応を行うことで、Dobb·Eが市場で入手可能なモバイルロボットでタスクを確実に解決できることを示します。ニューヨーク市および周辺地域の家庭で約30日間にわたる実験を行い、10軒の家庭で109のタスクを異なる環境でテストし、最終的に81%の成功率を達成しました。成功率の向上に加えて、実験では、ラボのロボットには存在しないまたは無視されるさまざまなユニークな課題が明らかになりました。これには、強い影響から非専門家のユーザーによるデモンストレーション品質の変動までが含まれます。家庭用ロボットの研究を加速し、いつかは家庭ごとにロボット執事を見ることを願い、私たちはDobb·Eのソフトウェアスタックとモデル、データ、ハードウェア設計をオープンソース化します。

ニューヨーク市の10軒の家庭で、Dobb·Eは109のタスクに挑戦しました。以下に各タスクのサンプルロールアウトを示します。

安全でスケーラブルな家庭用ロボットの進歩における最大の障壁の1つは、安価で使いやすいデモンストレーションの収集方法の欠如です。特に模倣学習ベースのアプローチでは、この問題が顕著です。この問題に対処するために、私たちは「The Stick」と呼ばれるデモンストレーション収集ツールを構築しました。これは、25ドルのリーチャーグラバースティック、3Dプリントパーツ、およびiPhoneを使用して構築されています。

「Homes of New York(HoNY)」は、ニューヨーク市の22軒の異なる家庭で収集された13時間の相互作用データセットです。このデータセットには、30fpsでのRGBと深度のビデオ、およびグリッパーの6Dポーズとグリッパーの開口角度(0〜1の範囲)の完全なアクション注釈が含まれています。

「Home Pretrained Representation(HPR)」は、HoNYデータセットで事前トレーニングされたモデルであり、新しい環境で新しいタスクを実行するためのロボットポリシーの初期化に使用しました。HPRは、HoNYデータセットを使用してMoCo-v3の自己教師あり学習目標を持つResNet-34モデルでトレーニングされています。

デプロイメント中、私たちはHPRを使用してポリシーを初期化しました。そのトランクは、単純に事前トレーニングされたResNet-34モデルに続く2つの線形層で構成されています。

もしくは、🤗 Pytorch Image Models(TIMM)を使用している場合は、わずか数行で使用を開始することができます。

Dobb·E by Mahi Shafiullah. ソースコードはMITライセンスで提供されています。ウェブサイトのコンテンツはCC ANS 4.0ライセンスで提供されています。

家庭用ロボットの新しい時代が到来しました。Dobb·Eのような汎用システムを使用することで、家庭でのロボット操作の学習が容易になります。これにより、家庭用ロボットの普及が加速し、ロボット執事が私たちの生活の一部になる可能性があります。Dobb·Eの成功率81%は非常に高いものであり、実験によって明らかになったさまざまな課題も解決に向けた重要な情報となります。家庭用ロボットの研究において、デモンストレーションの収集方法の改善は重要な課題ですが、The Stickのような手頃な価格で使いやすいツールの開発により、この問題に取り組むことができます。Dobb·Eのオープンソース化により、研究者や開発者はこの技術をさらに進化させ、家庭用ロボットの未来を築くための基盤となることができます。

家庭用ロボットの時代がやってきました。これからの未来は、家庭でのロボットの存在がより一般的になることを予測しています。Dobb·Eのような革新的なシステムにより、家庭用ロボットの操作が簡単になりました。これにより、私たちの日常生活がより便利で快適になることが期待されます。さらに、Dobb·Eの成功率81%は非常に高いものであり、ユーザーが直面するさまざまな課題にも対応しています。これにより、家庭用ロボットの研究者や開発者は、より効果的な解決策を見つけるための重要な情報を得ることができます。家庭用ロボットの研究は、より安全で使いやすいデモンストレーションの収集方法によって大きく前進する可能性があります。The Stickのような手頃な価格で使いやすいツールの開発は、この課題に取り組むための一歩です。Dobb·Eのオープンソース化により、研究者や開発者はこの技術をさらに進化させ、家庭用ロボットの未来を築くための基盤となることができます。

注意

コメントする