English version /Japanese version
Updated: 2023/5/13

研究内容

最近の研究： 以前の研究：

研究の背景となる理論：

研究上の私見：

非整備環境における環境認識のための特徴選択と教示にもとづくナビゲーション

移動ロボットが幅広い環境で使用できるようになるためには，工場のように整備が行き届いた環境だけでなく，中・小規模な農場などの，比較的整備が行き届いていない環境でも頑健に動作することが求められる．整備が十分でない環境では，あらかじめ想定した環境認識方法（特徴・パラメータなど）では，十分な性能を得られない可能性がある．そこで，ユーザーが実際に利用する環境で走らせたい経路をコントローラにより「教示」することを前提とし，その経路の情報を手がかりに，特徴とパラメータの選択・調整を自動的に行う方法を提案する．ユーザーにより与えられる経路情報を間接的な教師信号として利用し，経路に近い特徴が経路に関する有用な情報を含むという仮定にもとづいてパラメータを調整することが有効であることが確認されている．このような環境認識法をベースにして，与えられた経路を頑健・低計算量で走行できるナビゲーション方法を構築する．

デプスカメラ情報を用いた3次元線分の検出とユーザーによる経路の教示にもとづいた

パラメータ自動調整の概略

画像分解能パラメータの自動調整によりあいまいな線分を検出した例（上）
ユーザーにより教示された経路情報と走路（緑）の関係する線分（青）の例（下）

関連文献:

  1. W. Xiang, Y. Kobayashi and S. Azuma, Self-Supervised Learning Approach under Controller’s Instruction for 3D Line Segment-Based Recognition of Semi-Unstructured Environment, Proc. of IEEE/SICE International Symposium on System Integration, 2023 (accepted)
  2. S. Tanaka, W. Xiang and Y. Kobayashi, Domain Knowledge-Based Automatic Parameter Selection for 2D/3D Line Segment Detection in Semi-Unstructured Environment, Proc. of IEEE/SICE International Symposium on System Integration, pp. 1003-1008, 2022.
  3. S. Tanaka and Y. Kobayashi, An unsupervised learning approach toward automatic selection of recognition parameters for mobile robot navigation in less structured environments, Proc. of IEEE/SICE International Symposium on System Integration, pp. 6-11, 2021.
  4. 田中聖偉麻，小林祐一，非整備環境における移動ロボットナビゲーションのための認識パラメータの自動選択に向けた教師なし学習アプローチ，計測自動制御学会システムインテグレーション部門講演会（SI2020），1H2-08，2020
  5. 田中星偉麻，小林祐一，長坂智，小池恵，移動ロボットナビゲーションにおけるセンサ特徴の自動選択のための画像特徴設計，ロボティクス・メカトロニクス講演会2020，2P2-I15，2020

「制御しやすさ」を手がかりにした変数変換推定にもとづく運動学習

ロボットの運動制御において注目されている最適制御・強化学習の枠組みは下図左側のように，外部から与えられる報酬（評価関数）を手がかりに制御器を獲得するものである．ここには，「報酬をどのように設計するべきか」「ロボットの自律的な獲得プロセスは何であるか」という問題が付随し，また試行錯誤も多く必要になる．本研究では，運動学習を，「単純なフィードバック制御が可能になるような変数変換を獲得する過程」と見ることが可能なのではないかという仮説を立て，その方法論の構築を目指す．例として，2輪型移動ロボットの制御（非ホロノミック拘束を受ける劣駆動系）や冗長系などの非線形制御課題を考え，報酬最大化ではなく「可制御性の増大」という観点からの変数変換の推定にもとづいた運動制御方法を提案する．

 

報酬を手がかりにした運動学習

単純なフィードバック制御を可能にする変数変換の推定にもとづく運動学習

  

関連文献:

  1. 松浦太星，小林祐一，非ホロノミック移動ロボットのフィードバック安定化可能な状態空間の自律的生成，計測自動制御学会システムインテグレーション部門大会，1B1-03，2023．
  2. K. Nakahara and Y. Kobayashi, Automatic Generation of Feedback Stabilizable State Space for Non-holonomic Mobile Robots, Proc. of International Conference on Image Processing and Robotics, 2022. （オンライン開催）

触覚情報を利用したマニピュレータによる対象物認識の学習

ロボットの対象物操作において主要なセンサ情報は，デプスセンサ・ステレオカメラをはじめとする視覚情報である．しかし，柔軟対象物や透明・半透明対象物などは，視覚のみで対象物の位置・姿勢・形状を把握するのは難しい．そこでロボット手先に取り付けた触覚センサの情報を用いることで，対象物との接触情報をもとに物体の位置・姿勢・形状を推定するアプローチを考える．物体位置・姿勢を確率分布で表現し，その分布を触覚センサ情報を頼りに推定する．物体の位置・姿勢を特定するのに有効な「探り動作」を獲得させることも含めて，視覚では正確に識別できない対象物を操作できる方法を開発する．

触覚センサを搭載したマニピュレータの例

Partifle filterによる触覚情報を用いた物体位置・姿勢確率分布の推定

関連文献:

  1. D. Kato, Y. Kobayashi, N. Miyazawa, K. Hara and D. Usui, Efficient Sample Collection to Construct Observation Models for Contact-Based Object Pose Estimation, Proc. of IEEE/SICE International Symposium on System Integration, 2024 (accepted).
  2. H. Yagi, Y. Kobayashi, D. Kato, N. Miyazawa, K. Hara and D. Usui, Object Pose Estimation Using Soft Tactile Sensor Based on Manifold Particle Filter with Continuous Observation, Proc. of IEEE/SICE International Symposium on System Integration, 2023.
  3. D. Kato, H. Yagi, Y. Kobayashi, N. Miyazawa, K. Hara and D. Usui, Contact motion selection for flexible object opening position estimation by tactile information, Proc. of ISCIE International Symposium on Stochastic Systems Theory and Its Applications, Nara, Japan, 2022.
  4. 加藤大資，八木啓，小林祐一，宮澤宣嗣，原孝介，臼井道太郎，触覚情報による柔軟対象物の開口位置推定のための接触動作選択，第40回日本ロボット学会学術講演会，4B2-05，2022
  5. 八木啓，加藤大資，小林祐一，宮澤宣嗣，原孝介，臼井道太郎，柔軟な力覚センサを用いた接触動作による対象物の位置推定，ロボティクス・メカトロニクス講演会2022，2A23-N10，2022
  6. 鈴木貴大，小林祐一，原孝介，臼井道太郎，續木竜次，宮澤宣嗣，物体操作における接触センサを用いた状態推定のための効率的な接触動作の生成，第33回自律分散システム・シンポジウム，2A2-3，2021（オンライン開催）

環境との接触・拘束を有するロボットマニピュレータ作業の動作教示の効率化

生産現場では，ロボットの動作を人が教示する必要がある．ロボットの軌跡を与える方法としてはティーチングペンダントを用いる方法などが主流であるが，環境と接触・拘束する（例えば下図左側のようなドア開け動作のような）作業では，適切な動作を与えるのには大きな労力と時間を要する．この過程を，ロボットが接触情報等を用いて試行錯誤することで効率化することを目指す．下図右側では，大雑把に与えた経路から試行錯誤を開始し，環境との接触時にその接触力の情報を用いて逐次的に経路を修正することができている．また，このような経路生成におけるメタなパラメータを調節する方法を考案している．

マニピュレータによるドア開け動作の獲得

マニピュレータ手先経路の接触情報にもとづく逐次的な修正

関連文献:

  1. 高見理瑛，小林祐一，Francisco Jesus Arjonilla Garcia，単純な動作教示と接触情報にもとづくマニピュレータの経路生成，ロボティクス・メカトロニクス講演会2023，2A1-E14，2023.
  2. Francisco Jesus Arjonilla Garcia，小林祐一，ベイズ最適化を用いた移動マニピュレータによるドア開け動作の生成，ロボティクス・メカトロニクス講演会2023，2A1-E14，2023.
  3. 榊原典佑, 小林祐一, ARJONILLA GARCIA Francisco Jesus，マニピュレータへの動作教示時間短縮のための経路最適化とメタパラメータ自動調整，第49回知能システムシンポジウム，C3-3，2022年（オンライン開催）
  4. 荒井康太，石村芳暉，小林祐一，伊部公紀，マニピュレータへの作業教示時間短縮のための力覚情報を用いた経路生成およびそのメタパラメータの自動調整，第33回自律分散システム・シンポジウム，1A1-1，2021（オンライン開催）

過去に獲得した運動スキルの再利用を説明できる運動学習モデルの開発

人間の適応力には，身体または脳に部分的機能不全が起きた際に，過去に獲得した神経回路を再利用して機能を適応的に回復させる能力があり，その過程の理解が求められている．本研究の目的は，種々の感覚間の依存関係推定を行う運動学習モデルに「写像間の変換推定」という機構を導入し，過去に獲得した制御器の中の部分的なダイナミクスを再利用する過程を説明する運動学習モデルを開発することである．
具体例として左右両腕の運動学習を課題とし，左右の腕の制御器を個別に獲得させる．左右腕の対称性を「写像間の変換推定」の機構により発見することで，左腕の制御回路の一部に機能不全が生じた際に，右腕の部分ダイナミクスを動作生成に役立てることができる．

感覚情報間の依存推定・部分ダイナミクスの推定

部分ダイナミクスの再利用による運動機能損傷からの回復

関連文献:

  1. H. Mamiya and Y. Kobayashi, Gradual Acquisition of Feed-Forward Control in Repetitive Motions by State-Independent Reinforcement Learning, Proc. of 2024 IEEE International Conference on Advanced Intelligent Mechatronics (AIM), accepted.
  2. S. Nakamura, Y. Kobayashi and T. Matsuura, Grid-Based Estimation of Transformation Between Partial Relationships Using a Genetic Algorithm, Journal of Robotics and Mechatronics, Vol. 34, No. 4, pp. 786-794, 2022.
  3. Y. Kobayashi and S. Nakamura, Transfer of Partial Information of Motor Controller Based on Estimation of Coordinate Transformation Parameters, Proc. of The 33rd 2022 International Symposium on Micro-NanoMechatronics and Human Science, MA2-1-5, 2022.
  4. 間宮陽希，小林祐一，中村壮汰，繰り返し動作におけるフィードバック制御とフィードフォワード制御を組み合わせた長周期制御の獲得，第35回自律分散システム・シンポジウム，2A1-4，2023
  5. 中村壮汰，小林祐一，脳の可塑性を模した適応のモデルと座標変換推定，第40回日本ロボット学会学術講演会，2K3-07，2022
  6. 小林祐一，中村壮汰，上肢運動学習における部分的因果関係の変換推定のための適応的格子配置方法の検討，第34回自律分散システム・シンポジウム，2C3-3，2022（オンライン開催）
  7. 小林祐一，運動学習における部分ダイナミクスの変換推定のための分散型計算法の検討，第33回自律分散システム・シンポジウム，2A1-2，2021（オンライン開催）
  8. 中村壮汰，小林祐一，遺伝的アルゴリズムを用いた運動学習における部分ダイナミクス間の格子状座標変換推定，計測自動制御学会システム・情報部門学術講演会，GS7-2-4，2021（オンライン開催）
  9. S. Nakamura and Y. Kobayashi, A Grid-Based Estimation of Transformation of Partial Dynamics using Genetic Algorithm for Motor Learning, Proc. of The 32nd 2021 International Symposium on Micro-NanoMechatronics and Human Science, MP2-2-3, 2021.

異種センサ間の依存関係の推定にもとづいた筋骨格アームシステムの制御則の自動生成

従来の運動学習法は，状態変数と制御入力を固定し，その入出力関係をブラックボックス的に同定することで行われてきた．これに対してこの研究では，冗長かつマルチモーダルなセンシングを行えるシステムを考え，異種センサ間の依存関係を同定し，「どのセンサ情報を使えば目的とする制御が可能か」を推定するプロセスを含めた運動制御を行う方法を考える．具体例として，人工筋肉を有する筋骨格アームアームシステムを考える．種々のセンサ情報間の依存関係を相互情報量を使って推定し，その依存関係をたどり，片方を制御することでもう一方の変数を制御できるか，という可制御性を確認する．これの積み重ねによって自動的に制御則を生成する．手先の追従制御・力制御などの異なる目的を，共通の方法論によって達成でき，かつ部分的な故障や変更に適応できる運動学習方法が構築できることが確認された．

異種センサ間の依存関係を推定したネットワークとその生成の様子（動画）

 制御則自動生成法により探索された制御chainの例（動画）
   
 筋骨格アームシステムによるリーチング運動学習の様子 筋骨格アームシステムによる接触力制御の運動学習の様子 

関連文献:

  1. Y. Kobayashi, K. Harada and K. Takagi, Automatic Controller Generation Based on Dependency Network of Multi-modal Sensor Variables for Musculoskeletal Robotic Arm, Robotics and Autonomous Systems, Vol. 118, pp. 55-65, 2019.
  2. K. Harada and Y. Kobayashi, Estimation of structure and physical relations among multi-modal sensor variables for musculoskeletal robotic arm, Proc. of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, 2017.
  3. 原田健太郎，小林 祐一，センサ変数ネットワークの構造同定にもとづいた筋骨格ロボットの制御則の自動生成，第18回計測自動制御学会システムインテグレーション部門講演会 （2017年12月）

高密度雑踏環境下での人との相互作用を考慮した移動ロボットのナビゲーション

駅構内やスタジアムなど，人が高密度で行き交う雑踏環境下での移動ロボットのナビゲーションには，人との相互作用を考慮すること，人の流れを考慮すること，衝突回避だけでなく人に心理的な圧迫感を与えることを避けること，などが求められる．本研究では，シミュレーション上で収集した情報をもとに，人の流れを阻害せずに雑踏環境下を走行するナビゲーション方法を構築し実装・検証した．また，このような高密度雑踏環境下でのナビゲーション研究に共通の課題として，共通の環境で比較することが行われてこなかったという問題があった．本研究では，人の流れの密度を制御しながら同一の条件でロボットのナビゲーション性能を比較・評価するためのテスト方法を提案し，その実験の動画を公開している．（実験条件・方法とナビゲーションの例についてはこちらを参照）

高密度雑踏環境下での移動ロボットのナビゲーション 再現可能な高密度人流環境でのナビゲーション実験方法

関連文献:

  1. Y. Kobayashi, T. Sugimoto, K. Tanaka, Y. Shimomura, F. G. Arjonilla, C. H. Kim, H. Yabushita, T. Toda, Robot navigation based on predicting of human interaction and its reproducible evaluation in a densely crowded environment, International Journal of Social Robitcs, in press, 2021.

人と協働するロボットのための自然言語を利用したタスク実行状況の認識

人と同じ環境で協働するロボットを実現するためには，異常（失敗）やタスクの変動に対処する能力が求められる．特に，協働する人と言語でコミュニケーションを取り，より正確に失敗に気づき人の要望を動作に反映させることが望まれる．本研究は，人から自然言語で作業の異常（失敗）の指摘，動作修正の要望を受けて対処することができるロボットシステムを構築する．実世界データで収集した動作データと人がその状況を叙述した自然言語データを用い，タスクの実行状態・動作状況を識別し，動作を修正する方法を開発する．これにより，人との親和性をより高めたロボット知能を，設計者（専門家）による設計負担を減らすデータ駆動型の形で実現することを目指す．

タスク状態の文章および運動情報からの識別 グリッパーとアームからなるロボットによるタスク実行の例

関連文献:

  1. 阿部卓未，小林祐一，高野渉，Dirk Wollherr，Volker Gabler，人と協働するロボットのための類似性を反映した自然言語による状態識別，第30回自律分散システム・シンポジウム
  2. Y. Kobayashi, T. Matsumoto, W. Takano, D. Wollherr and V. Gabler, Motion recognition by natural language including success and failure of tasks for co-working robot with human, Proc. of IEEE International Conference on Advanced Intelligent Mechatronics, pp. 10-15, 2017.

不整地環境における車両の走行経験を反映した環境認識

本研究では，ロボット自身が運動して得た情報にもとづいた画像情報からの特徴抽出にもとづく柔軟な環境認識法を提案する．カメラ，レーザーレンジファイダ（LRF）などを搭載した自律移動ロボットのナビゲーション問題において，距離計測にもとづく3 次元形状認識では識別しにくい走路上の障害物を，画像特徴と走行経験の相関抽出にもとづいて認識する方法を提案する．これにより，「走りやすいかどうか」「どのように走行すれば走りやすいか」を識別・判断しながら賢く移動できるロボットを実現する．
想定する屋外の不整地環境 移動ロボットによる走行時の振動情報を利用した走行コストの予測

関連文献:

  1. 土屋竜人，小林祐一，不整地環境における移動ロボットの自己教師あり学習を用いた地形危険性予測手法の検討，ロボティクス・メカトロニクス講演会2022，2P1-F10，2022（札幌市）
  2. 馬鵬飛，小林祐一，Feature Matching Between Terrain Appearance and Motion of Mobile Robot for Prediction of Traveling Cost，計測自動制御学会システムインテグレーション部門大会，1H2-06，2021（オンライン開催）
  3. M. A. Bekhti and Y. Kobayashi, Regressed Terrain Traversability Cost for Autonomous Navigation Based on Image Textures, Applied Science, Vol. 10, No. 4, 1195, 2020.
  4. M. A. Bekhti and Y. Kobayashi, Prediction of Vibrations as a Measure of Terrain Traversability in Outdoor Structured and Natural Environments, Lecture Notes in Computer Science (LNCS) 9431, 7th Pacific-Rim Symposium, PSIVT 2015 Auckland, New Zealand, November 25-27, 2015, Revised Selected Papers, Thomas Braunl, Brendan McCane, Mariano Rivera, Xinguo Yu (Eds.) 2016. (DOI: 10.1007/978-3-319-29451-3, ISBN: 978-3-319-29450-6)
  5. Mohammed Abdessamad Bekhti, Soudai Tanaka, Yuichi Kobayashi, Toru Kaneko，Image Feature-based Traversability Analysis for Mobile Robot Navigation in Outdoor Environment，日本機械学会ロボティクス・メカトロニクス講演会，1P1-C06, May. 2014.

未知不整地環境における無人車両の自律制御

未知の（地図を持たない）不整地環境において，目標地点の情報と近傍の観測情報のみにもとづいて賢く判断しながらナビゲーションを行う手法を提案する．LRF（レーザーレンジファインダー）の情報をもとに，走路かどうかを判別し，判別結果をもとに経路を生成し走行する．分岐に来た時，どちらの経路を選択するべきかを過去の最適制御の経験をもとに判断し，単純に目標地点に近い方を選ぶという方策よりも賢い経路選択方法を提案する．実際の不整地環境をもとに構成したシミュレータおよび実機車両を用いて提案制御法を検証する．

シミュレータ環境における自律走行 走路判別とナビゲーション

関連文献:

  1. 須永賢治，小林祐一，金子透，平松裕二，藤井北斗，神谷剛志，屋外不整地環境における無人車両のための走路判別，精密工学会誌，Vol. 79, No. 11, pp. 1117-1123, 2013.
  2. Y. Kobayashi, M. Kondo, Y. Hiramatsu, H. Fujii and T. Kamiya, Action Decision of Mobile Robot Unmanned Ground Vehicle Based on Offline Simulation for Navigation in Uneven Terrain Environment, Journal of Robotics and Mechatronics, Vol. 30, No. 4, pp. 671-682, 2018.

視覚特徴間の依存関係による状態識別と運動生成

視覚入力の中から，「関係のあるもの」と「関係のないもの」を識別する過程を自律的に獲得できるロボットの学習法を提案する．ロボット身体や背景・物体に関する視覚的特徴や空間中の位置関係などに関する事前知識を用いずに，特徴間の位置変化や遮蔽による消失などの情報だけをもとに離散的な状態識別を行う．抽出を行った身体及び物体の特徴クラスタから，関節角度に対する条件付き確率を用いて位置予測を行うことで，リーチングや回避などの行動生成につなげられる．

確率的な依存関係を用いた状態識別の例 視覚特徴間の依存関係を表すネットワークの生成例

関連文献:

  1. Takayuki Somei, Yuichi Kobayashi, Akinobu Shimizu and Toru Kaneko, " Clustering of Image Features Based on Contact and Occlusion among Robot Body and Objects", Proceedings of the 2013 IEEE Workshop on Robot Vision (WoRV2013), 2013.
  2. 染井貴之，小林祐一，清水昭伸，金子透，"重点サンプリングによる探索を利用した空間認知のための視覚特徴クラスタ統計学習,” 第30回日本ロボット学会学術講演会予稿集，AC3N1-4, 2012.

力覚センサ情報を用いたヒューマノイドロボットによる物体抱え上げ動作の教示

本研究では，事前に取得した様々な姿勢での成功・失敗例を力覚センサとともに収集し，それにより構成される特徴空間を用いた動作生成法を提案する．オフラインで取得した抱え上げ姿勢およびそのときの力覚センサ情報を用いて特徴空間を構成する．オンラインでは，得られた特徴空間を用いて，必要に応じて抱え上げ姿勢を修正し，抱え上げ動作の成功率を向上させる．提案手法をヒューマノイド型ロボットにより検証する．

力覚情報の特徴空間への射影を用いた
抱え上げ姿勢の修正法の概念図
ヒューマノイド型ロボットによる
抱え上げ行動のシミュレーション評価

関連文献:

  1. S. Uematsu, Y. Kobayashi, A. Shimizu, T. Kaneko, Prediction of object manipulation using tactile sensor information by a humanoid robot, Proc. of IEEE Int. Symposium on Robotic and Sensors Environments, 37-42, 2012.
  2. 植松重之，小林祐一，清水昭伸，金子透，"体性感覚情報を用いた抱え上げ動作達成の認識と予測,” 第30回日本ロボット学会学術講演会予稿集，AC3N2-3, 2012.
  3. 小林祐一，坪田真延："教示データからの特徴空間の構成にもとづく力覚情報を用いた抱え上げ行動の生成," 日本機械学会ロボティクス・メカトロニクス講演会Robomec2011,1A1-O09, 2011.

身体運動・物体運動におけるモードの抽出と計画空間シフト学習

ロボットが物体を含んだ系で多様な行動を計画・制御するためには，状態空間の高次元化，ロボット身体，物体挙動の複雑化などが問題となり，学習により実用的な振舞いを生成するロボットは未だ実現されていない．計画空間シフト学習はこのような問題に対して，多様な変数のうち注目する変数を抽出・グループ化し，そのグループ同士の関係から「運動モード」を生成することで高次元の運動生成問題を低次元の問題に分割することを提案している．各運動モードごとに変数群の間の運動の関係を学習し，モード遷移を含めた総合的な運動計画を行うことで，多様な運動を統一的な枠組みのもとで生成可能な枠組みを提案した．これにより，障害物を回避して目標位置にロボット身体を移動させる行動，物体を操作して目標位置に運ぶ行動，物体を道具として利用して別の物体を目標位置に運ぶ行動，などの異なる種類の運動が統一的な枠組みのもとで学習により実現可能であることを示した．


物体の軌道計画，身体運動の計画の分離に
もとづく動作生成の概念
身体運動のみのモード，物体と身体が同期して動くモード，等の複数のモードの抽出
及びモード遷移を含めた動作計画
モードの遷移を考慮した目標位置への
物体の押し操作行動の生成
L字型の物体を道具として利用した物体の引き寄せ動作の生成

関連文献:

  1. Yuichi Kobayashi and Shigeyuki Hosoe, Planning-Space Shift Motion Generation: Variable-space Motion Planning: Toward Flexible Extension of Body Schema, Journal of Intelligent and Robotic Systems, volume 62, issue 3-4, 2011.
  2. Yuichi Kobayashi and Shigeyuki Hosoe, ``Planning-Space Shift Learning: Variable-space Motion Planning toward Flexible Extension of Body Schema,'' Proc. of IEEE/RSJ Int. Conf. on Intelligent Robot and Systems, 373-379, 2009.
  3. 小林祐一，細江繁幸: "動作計画空間の動的変更の可能な対象物操作の行動学習法", 第19回自律分散システム・シンポジウム資料, 95-100, 2008.

滑り・非滑りの接触モードの切り替りをを考慮した対象物操作の学習

物体を操作する行動は，環境と物体，ロボットと物体との間の接触をともなうため正確な事前のモデル化が困難である．本研究では，接触に関する物理モデルの知識を埋め込むことなく，ロボット自身の試行錯誤から滑り・非滑り（stick/slip）の判別を学習し，望ましい動作を生成する学習法を提案する．提案する考え方は，制御入力に対する接触モードの切り替りをパタン分類学習法（Support Vector Machine，SVM）により獲得し，それと最適制御を組み合わせることにより適切な動作を生成することである．最適制御の方法としては強化学習，モデル予測制御などを用い，学習により得やすい情報を既知情報として用いることで，効率よく動作を獲得する方法を提案した．


物体の抱え上げ動作，滑り・非滑りを切り替えた物体の引き寄せ操作の獲得
階層型学習器とSVMによる接触モード境界の学習の組合せ
モデル予測制御と線形SVMによる物体回転操作の実現

関連文献:

  1. 篠田真也，小林祐一，植松重之：``モデル予測制御による接触モデルを学習・修正可能な物体操作法”，第24回自律分散システム・シンポジウム資料，151-156，2012.
  2. 篠田真也，小林祐一，高崎雄太，河原井伸行：``接触モード境界推定に基づいたモデル予測制御による対象物操作'', 計測自動制御学会システム・情報部門学術講演会2010講演論文集，1944-1947, 2010.
  3. Nobuyuki Kawarai and Yuichi Kobayashi, Learning of whole arm manipulation with constraint of contact mode maintaining, Journal of Robotics and Mechatronics, Vol. 22, No.4, 542-550, 2010.
  4. Yuichi Kobayashi, Masashi Shibata, Shigeyuki Hosoe and Yoji Uno, ``Learning of Object Manipulation with Stick/Slip Mode Switching,'' IEEE/RSJ 2008 Int. Conf. on Intelligent Robot and Systems, 373-379, 2008.

ロボットの運動生成のための画像からの身体・物体情報の抽出

多様に変化する実世界でロボットが活躍するためには，問題に特化した設計によらずにロボット自身の試行錯誤から認識・行動を獲得するアプローチが重要であると考えられる．本論文は，2関節マニピュレータによる障害物回避行動を例にとり，身体・障害物の位置・形状などの事前知識を利用せずに画像から行動生成のために必要な低次元視覚特徴をボトムアップに獲得する方法を提案する．まず運動指令前後の画像間のSIFTマッチングにより，身体に関係する特徴点を抽出する．得られた動き情報からヤコビ行列の推定し，状態遷移予測モデルを生成する．この状態遷移予測モデルにもとづき，障害物との接触により予測モデル通りに運動できない状況を特徴づける特徴点を衝突に関係した特徴として獲得し，予測モデルの切り替えに用いる．状況に応じて予測モデルを切り替えながらモデル更新型動的計画法により適切な動作を生成する． 実機マニピュレータと障害物を含んだ実画像を用いた実験を行い，リーチングタスクおよび障害物回避タスクにおいて，身体特徴の発見，状態遷移モデルの生成とそれを利用した動作生成，衝突に関係した特徴の自律的抽出が達成できていることを確認した．


物体との衝突に関する特徴の自律的抽出と運動生成
試行錯誤による身体・物体の抽出とそれを利用した物体操作

関連文献:

  1. 浅水喬大，小林祐一，対象物操作行動の計画と生成に基づいたロボットの身体と対象物表現の獲得，日本ロボット学会誌，Vol.29, No. 2, 172-183, 2011．
  2. 岡本太一，小林祐一，大西正輝，ロボットの障害物回避行動生成における画像特徴の獲得，日本ロボット学会誌，Vol.28, No. 10, 1213-1222, 2010．
  3. Taichi Okamoto, Yuichi Kobayashi and Masaki Onishi, Acquisition of Body and Object Representation Based on Motion Learning and Planning Framework, Proc. of the 9th Int. Conf. on Intelligent Systems Design and Applications, 737-742, 2009.
  4. Takahiro Asamizu and Yuichi Kobayashi, Acquisition of image feature on collision for robot motion generation, Proc. of the 9th Int. Conf. on Intelligent Systems Design and Applications, 1312-1317, 2009.

複数・異種センサによる観測行動の統合による状態空間の生成

未知環境で動くロボットの活動範囲を広げるためには複数のセンサを搭載することが有効であるが，一般にセンサには観測範囲の制限が存在し，観測可能な範囲が重ならない複数のセンサを利用してロボットの動作を生成することは簡単ではない．本論文では，センサ観測と世界座標系でのロボットの運動の関係が未知であるという前提のもと，観測範囲に制限のある複数のセンサの情報を利用して行動を生成する方法を提案する．提案法では，各センサに関する運動指令に対するセンサ観測値の変化（Jacobi行列）を推定し，これを拡散学習にもとづいて仮想的に外延することで，観測範囲外でのセンサの値を仮想的に推定できる．このように外延により得られた観測値と別のセンサの観測値との間の対応をとることで，観測可能範囲の重ならない複数のセンサの観測空間を統合し，行動を生成する．提案する行動生成法を2種類のロボット制御問題に適用し，有効性を検証した．手先に距離センサを搭載し，手先位置をカメラで計測できるマニピュレータによる床へのリーチング行動，カメラおよび腹側に距離センサを搭載した移動ロボットによる壁沿い走行位置へのリーチング行動，という2種類の行動生成問題において，カメラの視野範囲内から視野範囲外に出て，距離センサが望ましい値をとる状態まで動作生成を行うことが可能であることを確認した．
図左：センサ(i)の観測可能範囲からセンサ(j)の観測可能範囲への運動の生成
図中央：適用例（１）：カメラによる手先の観測，手先に取り付けた距離センサによる床までの距離の計測
図右：適用例（２）：カメラと距離センサを搭載した移動ロボットによる壁に正対した状態からの壁沿い姿勢へのナビゲーション

関連文献:

  1. 栗田英介，小林祐一，郷古学，不完全な知覚のセンサ同士の統合によるロボットの行動生成，計測自動制御学会論文集, Vol. 47, No.4, 191-199, 2011.
  2. Eisuke Kurita, Yuichi Kobayashi, Manabu Gouko, Motion Generation by Integration of Multiple Observation Spaces for Robots with Limited Range of Observation, 2011 International Conference on Control, Robotics and Cybernetics, Vol.1, 86-90, 2011.
  3. 栗田英介，小林祐一，郷古学：``観測範囲に制限のあるセンサを搭載したロボットの学習にもとづいた行動生成法'', 計測自動制御学会システム・情報部門学術講演会2010講演論文集，1515-1518, 2010.

人と接するロボットのための最適制御・最適化にもとづく行動設計

家庭環境などで人と接するロボットには，衝突回避や人との対話などの複数のタスクを同時に実行することが求められる．本論文では，人の動きによる不確実さを考慮した複数の人と接するロボットタスクの設計法を提案する．提案法ではまずpetri-netを用いた複数並行タスクの設計を行い，マルコフ決定過程での表現に変換して，最適制御および最適化の枠組みを用いたタスクの調停を行う．また，人の挙動による不確実さを扱うために人の存在確率の推定や人の発話確率モデルを導入する．提案法により，if-thenルールにより記述されてきた行動調停が統一的な枠組みで記述される．安全確保タスクと対話タスクという二つのタスクを実ロボット上で実装し，人の動きに応じた首振り行動が実現できることを確認した．また，複数タスクに関する重みづけパラメータを変化させることでロボットの挙動を安全確保および対話それぞれのタスクの間の調停が実現できることを確認した．

Petrinetを用いたタスクの表現 人の動きまわる環境下でのロボットの観測行動評価実験

関連文献:

  1. 小林 祐一，大西 正輝，細江 繁幸，羅 志偉，``人と接するロボットのための並列タスク設計への最適化によるアプローチ,'' 日本ロボット学会誌 Vol. 27, No. 10, 1132-1143, 2009.
  2. Yuichi Kobayashi, Masaki Onishi, Shigeyuki Hosoe, Zhiwei Luo, ``Behavior Design of A Human-interactive Robot through Parallel Tasks Optimization,'' Proc. of the 9th International Symposium on Distributed Autonomous Robotic Systems (DARS2008), 2008.
  3. 小林祐一, 大西正輝, 細江繁幸, 羅　志偉: "人と接するロボットのための認識・対話設計法-Petri-net と最適制御からのアプローチ", 第25回日本ロボット学会学術講演会予稿集, 1E361, 2007.

群移動ロボットによる協調捕獲行動の自律分散制御

自律分散型群ロボットシステムには，局所的な観測のみから全体としての秩序を形成することによる，観測・通信コストの低減や柔軟性・適応性などが期待される．本研究では，群移動ロボットによる移動対象物の協調捕獲問題における自律分散型の制御法を提案する．協調捕獲行動を取り囲み行動と把持行動とに分け，取り囲み行動の設計では，近傍（隣接）ロボットの位置情報のみを利用した制御則に関する収束・順序保存などの基本的性質と，制御則と評価関数との関係を明らかにした．この議論を利用し，近傍ロボットの位置・姿勢情報のみから未知形状対象物の形状推定を用いた把持行動の制御則を提案した．force-closureの条件を分散的な形で表現し，系の評価関数の設計に利用できることを示した．シミュレーションにより，移動対象物の取り囲み行動および凸形状対象物の把持行動において提案制御則が適切に機能し，かつ把持行動においては局所情報から各ロボットが force-closure の達成を判断可能であることを示した．

6台のロボットによる円形移動対象物の取り囲み行動

4台のロボットによる楕円形対象物の把持行動

6台のロボットによる6角形対象物の把持行動

全方位カメラを搭載した移動ロボットによる取り囲み行動の実験

関連文献:

  1. Yuichi Kobayashi, Kyouji Otsubo and Shigeyuki Hosoe, ``Design of Decentralized Capturing Behavior by Multiple Mobile Robots,'' IEEE 2006 Workshop on Distributed Intelligent Systems, 13-18, 2006.
  2. 小林祐一，大坪恭士，細江繁幸，"群移動ロボットによる協調捕獲行動の自律分散制御", 第6回計測自動制御学会制御部門大会資料, Vol.2, pp.463-468, 2006.
  3. 小林祐一，大坪恭士，細江繁幸，野田幸男，"分散協調捕獲行動のための群移動ロボット制御", 第16回インテリジェント・システム・シンポジウム講演論文集, pp.171-176, 2006.

強化学習における画像認識解像度の適応的獲得

ロボットの認識・行動能力をより柔軟にするためには，ロボットの行動およびタスクの達成に即したセンサ入力からの状態空間の構成が重要である．本研究では，ロボットマニピュレータによる対象物操作行動における画像情報からの分解能の調節可能な特徴抽出方法を提案する．mean shift アルゴリズムによるクラスタリングおよび主成分分析により画像情報を低次元パラメータ空間に写像し，強化学習により行動を学習するという枠組みを用いてタスク達成を損ねないという条件のもとでの分解能調節アルゴリズムを示した．これにより高い分解能で高い精度の情報を得ることと低い分解能で計算量を節約することのTrade offの問題をタスクの達成という観点から調整することが可能になる．実機ロボットによる実験において，押し操作のタスクの達成を損ねずに粗い分解能を用いることでより少ない計算時間で押し操作の達成ができることを示した．

画像入力から状態空間を構成するための提案学習法の概要

対象物操作を行うマニピュレータ・カメラシステム
画像情報を用いた特徴抽出および低次元状態空間構成の流れ 各時間ステップにおいて異なる分解能で処理された入力画像

関連文献:

  1. 小林祐一，加藤 真人，細江 繁幸，分解能の調節可能な画像情報からの状態空間の構成, 日本ロボット学会誌， Vol. 25，No. 5，770-778，2007.
  2. Masato Kato, Yuichi Kobayashi and Shigeyuki Hosoe, ``Optimizing Resolution for Feature Extraction in Robotic Motion Learning ,'' IEEE Int. Conf. on Systems, Man & Cybernetics, Hawaii USA, 1086-1091, 2005.

低次元化写像を利用した対象物操作の強化学習

強化学習は幅広い対象に適用可能である反面，対象に関する知識を仮定しないため試行錯誤が多く必要とされるという問題を持つ．本研究では，ロボットによる対象物操作問題を想定し，ロボットの運動が拘束により低自由度の運動に制限される，またその拘束を破る境界が連続である，という知識を仮定した強化学習法を提案する．低次元状態空間への写像をオンラインで構築し，この写像を利用した状態空間においてタスクの失敗を引き起こす境界を推定することによる報酬関数の推定を行う．例として２リンクマニピュレータによる１自由度対象物の回転操作を取り上げ，対象物とマニピュレータ手先の接触を維持しながら目標姿勢まで対象物を回転させるタスクにおいて評価を行う．低次元化写像を用いないモデル同定型強化学習，および低次元化写像を用いるが報酬関数の推定を行わないTD学習との比較において，高い学習性能でタスクの達成が可能であることを示した．

対象物とロボット手先の間に拘束が存在する対象物操作問題

コンフィギュレーション空間中の拘束された運動を行う部分多様体

1自由度の回転運動を行う対象物操作問題（対象物と手先間の滑り・離れを考慮）

学習曲線の例

関連文献：

  1. Yuichi Kobayashi and Shigeyuki Hosoe, ``Reinforcement learning approach to object-contact motion with estimation of low-dimensional submanifold and mode-boundary,'' V. Kordic (Eds.) Cutting Edge Robotics, In-tech, 85-108, 2010/2.
  2. 小林 祐一，藤井 博基，細江 繁幸，``一次元空間への低次元化写像を用いた対象物操作の強化学習,'' 計測自動制御学会論文集 第42巻7号，814-821，2006.
  3. Yuichi Kobayashi, Hiroki Fujii and Shigeyuki Hosoe, ``Reinforcement Learning for Manipulation Using Constraint between Object and Robot,'' IEEE Int. Conf. on Systems, Man & Cybernetics, Hawaii USA., 871-876, 2005.

逐次的な矩形基底の分割・統合による適応分解能関数近似

強化学習における関数近似に適した適応分解能性能を実現するため，グラフ上の反応拡散方程式に基づいた関数近似要素の動的再配置を提案した（以前の研究参照）．この提案法は動的に要素を動かすことで柔軟性を実現したが，位相構築の計算の複雑さや学習過程の安定性などに課題を残した．本研究では，「近似関数の形状の複雑さに応じた分解能」という目標と「関数近似要素を自律分散システムの要素として扱う」という方法を過去の研究と同じくし，矩形基底を逐次的に分割・統合する，状態遷移のモデルを同定しながら価値関数の更新を行う，という考えを導入した関数近似法ならびに強化学習への適用法を示した．1自由度の倒立振子の振り上げ問題（2次元状態空間），Acrobotの安定化問題（4次元状態空間）への適用を行い，格子状関数近似法に対する比較を行った．

固定型（格子状）関数近似，RBFネットワークおよび提案手法の学習曲線の比較

最大サイズの基底の逐次分割により得られた関数近時器の制御性能の評価
2次元ガウス関数近似のようす

1次元倒立振子の振り上げ問題における基底の分割・統合結果

関連文献：

  1. 小林 祐一，湯浅 秀男，細江 繁幸，`強化学習のための矩形基底による自律分散型関数近似,'' 計測自動制御学会論文集 第40巻第8号，849-858, 2004
  2. Yuichi KOBAYASHI and Shigeyuki HOSOE, ``Adaptive Resolution Function Approximation for TD-learning: Simple Division and Integration,'' Proc. of SICE Annual Conference 2003, Fukui, Japan, 3023-3028, 2003.
  3. Yuichi Kobayashi and Shigeyuki HOSOE, ``Hyper-Cubic Discretization in Reinforcement Learning Based on Autonomous Decentralized Approach,'' IEEE Int. Conf. on Systems, Man & Cybernetics, Washington D.C. USA, 3633-3638, 2003.

多次元評価により構成される評価空間の自己組織化

準備中

グラフ上の反応拡散方程式を用いた自律分散型関数近似

強化学習などの未知の対象を扱う行動学習においては，問題に即した情報表現方法を自律的に獲得することが望まれる．強化学習の分野ではしばしば「状態空間の自律的生成」と呼ばれるが，より広い意味では，強化学習に適した適応的な関数近似法と理解することができる．状態空間が高次元・広大になるほどこの問題は学習に大きな影響を与える．
本研究は，グラフ上の反応拡散方程式に基づき，分解能を適応的に変化させる関数近似を実現するものである．強化学習に適した低設計自由度で安定な関数近似法を目指している．
目標関数は，位置と勾配情報を持つノードによって表現される超平面によって近似される．ノードをアークで結ぶことでグラフを構成し，各ノードに曲率体積を定義する．ノードは近傍（アークで結ばれた）ノードの情報から挙動を決定する．この挙動設計に，自律分散システムの理論であるグラフ上の反応拡散方程式を用いる．
平面の貼り合わせ

平面の貼り合わせ

 境界付きグラフへの適用

境界付きグラフへの適用
複雑度の定義

曲率体積の定義

 複雑度の均一化曲率体積の均一化
1次元ガウス関数近似のうようす
1次元関数近似への適用例		 2次元ガウス関数近似のようす
2次元関数近似への適用例

倒立振子振り上げ問題
近似要素数に対する学習性能の比較
関連文献：
  1. 小林 祐一， 湯浅 秀男， 新井 民夫， ``自律分散系の適応アルゴリズムによる強化学習のための関数近似,'' 計測自動制御学会論文集 第38巻2号, 219-226, 2002
  2. Yuichi KOBAYASHI, Hideo YUASA and Shigeyuki HOSOE, ``Q-learning with Adaptive Resolution Function Approximation based on Graph,'' Proc. of the ICASE/SICE Workshop: Intelligent Control and Systems, Muju, Korea, 79-84, 2002.
  3. Yuichi Kobayashi, Hideo Yuasa, and Tamio Arai, ``Function Approximation for Reinforcement Learning Based on Reaction-Diffusion Equation on a Graph,'' Proc. of SICE Annual Conference 2002, Osaka, Japan, 916-921, 2002.

状況認識に不確実性を有する環境下での観測行動の獲得

観測と移動に大きな誤差を伴う四脚ロボットのサッカー行動において，観測行動のコストと最適性を考慮した実時間での行動決定手法を提案した．ロボットの位置情報に関する不確実さを考慮にいれ，動的計画法によるオフライン計算によって状態−行動マップを生成する．このマップを用いることで，ロボットはすべての状態において，不確実さおよび観測行動の時間的コストを含めて最適な行動を決定することができる．メモリの限られたロボットに実装するために，ベクトル量子化によってこのマップを圧縮する．圧縮には，それによって損なわれる最適性を尺度として用いる．四脚ロボットのボールへの到達タスクを扱い，シミュレーションにおいて従来の観測判別法と比較して有効であることを確認し，実機実験において実時間性と低計算量という要請に応えることを確認した．

確率分布を用いた不確実さの表現（左図）と不確実さを表すパラメータを含めた状態空間での状態遷移（右図）
2次元ガウス関数近似のようす
実機四脚ロボットによる観測戦略実現の例

関連文献：

  1. 小林 祐一，深瀬 武，上田 隆一，新井 民夫，湯浅 秀男， ``実時間性と観測コストを考慮した四脚ロボットのサッカー行動設計,'' 日本ロボット学会誌 Vol. 21, No.7, 802-810, 2003.
  2. Takeshi Fukase, Yuichi Kobayashi, Ryuichi Ueda, Takanobu Kawabe and Tamio Arai, ``Real-time Decision Making under Uncertainty of Self-Localization Results,’’ The 2002 International RoboCup Symposium Pre-Proceedings, 372-379, 2002.
  3. Takeshi FUKASE, Masahiro YOKOI, Yuichi KOBAYASHI, Hideo YUASA and Tamio ARAI, ``Quadruped Robot Navigation Considering the Observational Cost,'' Andreas Birk, Silvia Coradeschi and Satoshi Tadokoro (Eds.), RoboCup 2001: Robot Soccer World Cup V, Springer, 350-355, 2002.

Back to TOP PAGE