- 博客(43)
- 收藏
- 关注
RSS订阅原创 论文速读|启用新型任务操作和交互：ROSA 机器人操作系统代理
该代理结合了最新的语言模型和开源框架，实现了对 ROS 的高级封装，支持 ROS1 和 ROS2，并集成了参数验证和安全机制。ROSA 的设计模块化，易于扩展，可以适应不同的机器人和任务，同时保证操作的安全性和可靠性。ROSA 还强调了伦理考量，遵循了 Asimov 的机器人三大法则，确保了 AI 集成的安全性和透明度。该论文还展示了 ROSA 在不同机器人系统上的演示，包括 NeBula-Spot、EELS 和 NVIDIA Nova Carter，证明了其在实际应用中的多功能性和适应性。
2024-10-24 10:58:35
336
原创 论文译读|基于全序采样的多智能体控制用于扭矩级运动控制
这篇论文提出了DIAL-MPC，一种基于采样的MPC方法，通过扩散启发的退火过程实现了全阶腿足运动控制的实时优化。DIAL-MPC能够解决全阶控制问题，并在各种任务和动态中实现无训练的泛化。未来的工作将进一步加速和改进样本效率，通过学习名义策略、价值函数和模型来实现更长的规划范围任务。
2024-09-26 23:15:00
556
原创 使用ROS2 控制 Isaac Sim 中的机械臂运动
本项目展示了如何在 Ubuntu 环境下，通过 ROS2 控制 Isaac Sim 中的机械臂。我们使用 ROS2 发布关节角度命令，并通过 Isaac Sim 的 ROS2 桥接功能来控制机械臂的运动。
2024-09-11 22:55:46
3110
原创 论文速读|Neural MP：一种通用神经运动规划器
这篇论文提出的Neural MP方法通过大规模数据生成、通用神经策略和测试时优化，显著提高了运动规划的效率和成功率。Neural MP在真实世界中的表现优于现有的基于采样、优化和学习的运动规划方法，具有广泛的任务实例泛化能力和良好的扩展性。未来的工作可以进一步改进点云质量、处理紧凑空间的能力以及减少测试时优化的计算开销。
2024-09-11 18:10:19
467
原创 论文速读|通过 SERL 算法优化轻量级双足机器人结构
这篇论文展示了SERL算法在双足机器人结构参数设计中的有效性，提供了推进该领域的重要见解。通过结合强化学习运动控制策略和进化算法，SERL算法成功识别出在指定设计空间内最能满足任务要求的结构参数值。与设计空间内的其他参数相比，验证了SERL算法在实现理论最优值方面的卓越性能。此外，将SERL算法的优化结果应用于实际设计，创造性地开发了Wow Orin双足机器人。未来工作将把SERL算法应用于其他参数和任务，改进算法以实现多个设计参数的协同优化。
2024-09-11 06:30:00
463
原创 论文速读|形机器人的高速和抗冲击远程操作
本文提出了一种综合解决方案，用于远程控制类人机器人，实现了高速度和冲击抵抗的操作。通过结合无校准的运动捕捉和重定标、低延迟全身运动流式传输工具箱和高带宽的摆线驱动器，显著提高了机器人控制的透明度和同步性。实验结果表明，该系统在高速运动和冲击环境下表现出色，达到了前所未有的性能水平。
2024-09-10 23:30:00
384
原创 论文速读|信任 PRoC3S：利用大型语言模型和约束满足解决长时域机器人问题。
这篇论文提出的PRoC3S方法通过两阶段规划框架和反馈机制，有效地解决了长时机器人规划问题。PRoC3S在模拟和真实世界环境中均表现出较高的成功率和鲁棒性，特别是在处理复杂约束和目标时。未来的工作将致力于改进连续参数的采样技术，探索使用视觉语言模型进行视觉推理，并将方法扩展到部分可观测环境。
2024-09-10 20:00:00
477
1
原创 论文速读|PianoMime：通过互联网演示学习成为一名通才、灵巧的钢琴演奏者
这篇论文提出了PianoMime框架，通过互联网演示训练了一个通用的钢琴演奏代理。该框架结合了目标表示学习、策略分层和生成模型，展示了显著的泛化能力，未见过歌曲的平均F1评分为70%。研究结果表明，利用互联网数据可以有效地训练通用机器人代理。
2024-09-07 08:00:00
238
原创 论文速读|利用局部性提高机器人操作的样本效率
本文提出了SGRv2，一个系统的视觉运动政策框架，通过整合动作局部性提高了样本效率。在多个模拟和真实世界环境中进行的广泛评估表明，SGRv2在数据有限的情况下表现出色，并且在不同的控制模式下保持一致的性能。未来的工作可以进一步探索将扩散政策与局部性框架结合，以增强在现实世界中的性能，并扩展泛化测试的范围。
2024-09-06 20:00:00
371
原创 论文速读|快速且稳健的人形机器人轨迹优化
这篇论文提出了一种新颖的全尺寸人形机器人轨迹优化算法，能够在几秒钟内生成的可行步态。该方法在能效和实现期望行为方面优于现有的最先进规划器。未来工作将涉及将优化后的轨迹转移到真实世界硬件上。
2024-09-04 23:00:00
496
原创 论文速读|重新审视奖励设计与评估：用于强健人型机器人站立与行走控制的方法
这篇论文为类人机器人站立和行走（SaW）控制器的持续可衡量改进奠定了基础。通过引入一套定量实际基准测试方法，作者展示了现有控制器的优缺点，并通过基准测试指导新控制器的训练，最终实现了增强的控制器，成功处理了所有测试的扰动。结果表明，当前的RL控制器在能量效率和仿真到现实差距方面存在局限性。未来的工作应专注于在不牺牲其他指标性能的情况下优化能量效率，以及提高运动的平稳性。
2024-09-04 22:00:00
670
原创 论文速读|全身人形机器人的仿人运动研究
通过引入对抗性运动先验和多种奖励函数，成功解决了传统强化学习中复杂的奖励函数设置问题，减少了Sim2Real差距，提高了学习能力和适应性。- 研究展示了如何通过创新的对抗性运动先验框架和强化学习方法，使类人机器人能够模仿人类的行走方式，并在复杂环境中表现出高度的鲁棒性和适应性。- 实验结果显示，Adam机器人在复杂步态任务中的表现与人类相当，首次实现了类人机器人的“脚跟到脚趾”跑跳步态。- 在真实机器人实验中，测试机器人在外部干扰下的鲁棒行走性能，展示其“直膝”和“脚跟到脚趾”的跑跳步态。
2024-09-04 20:00:00
856
原创 论文速读|基于手臂约束的轮腿机器人运动操控课程学习
本文提出了一种用于轮腿机器人局部操控的强化学习框架，使它们能够在高度动态的情况下执行一系列复杂的操作任务。通过引入臂约束网络和奖励感知课程学习方法，解决了引入机械臂带来的稳定性、安全性和效率挑战。仿真和真实机器人实验验证了该架构的有效性，展示了其在复杂环境中的适应能力。未来的工作将扩展到多智能体协作任务。
2024-09-04 17:50:55
591
原创 论文速读|BiGym：一款基于演示的移动双手操作机器人基准
BiGym 是一个针对移动双手操作的机器人学习基准，包含 40 个在家庭环境中进行的任务，如简单的目标接近到复杂的厨房清洁。BiGym 提供了人类收集的演示，反映了现实世界中机器人轨迹的多模态特性。该基准支持多种观察空间，包括机器人的 orszens 感知数据和视觉输入，如来自三个相机视角的 RGB 和深度图像。BiGym 支持两种操作模式：整体模式和双手操作模式，分别考虑和不考虑移动基体的控制。此外，BiGym 还提供了一个标准的 Gymnasium API 接口，用于训练和评估强化学习和模仿学习算法。
2024-09-04 00:00:00
842
原创 论文速读|ROS-LLM：具有任务反馈和结构化推理的具身智能ROS 框架
ROS-LLM 框架旨在通过集成大型语言模型（LLM）和机器人操作系统（ROS），实现对机器人的直观编程。该框架支持通过聊天界面接收自然语言提示，并能够根据 ROS 环境中的传感器读数自动提取和执行行为。框架支持三种行为模式：序列、行为树和状态机。此外，通过模仿学习，用户可以向系统添加新的机器人动作。该研究通过实验验证了框架的鲁棒性、可扩展性和适应性，并在多种场景中展示了其性能，包括长时间跨度的任务、桌面重组和远程监督控制。为了促进该框架的采用和结果的可重复性，研究团队已将其代码开源。
2024-09-03 21:00:00
775
原创 论文速读|自然语言的最优控制合成：机遇与挑战
介绍了一种从自然语言自动生成最优控制器的框架，该框架主要包括以下几个步骤：首先，通过人类用户提供的初始文本和系统描述，利用大型语言模型生成控制器模型。最后，根据评估结果生成反思提示，以指导未来对控制器模型的改进。网页还指出，目前的关键问题包括语言模型的反思能力不足、处理动态任务的难题、以及确保系统安全性。此外，文章通过实验验证了语言模型在生成系统动力学和约束方面的能力，并讨论了如何通过编程库自动计算函数梯度，以及如何通过多样化的控制器模型生成来减少代码错误的风险。
2024-09-03 11:30:52
247
原创 论文速读|RP1M：用于双手灵巧机械手弹奏钢琴的大规模运动数据集
这些专家轨迹是通过为每首歌曲训练一个强化学习（RL）代理，并使用不同的随机种子将每个策略回放 500 次来收集的。该方法不需要任何人类演示或者指法注释，仅通过 MIDI 文件，机器人手指可以自动发现合适的指法。通过这种方式，代理发现的指法与人类演奏者的注释有所不同，但在某些情况下，由于机器人手的不同形态，人类注释的指法对机器人手来说并不适用。该方法的性能与需要人类注释指法的方法相当，并且在没有指法信息的情况下明显优于后者。该方法生成的手动动作非常动态，能够适应不同形态的机器人手，甚至其他机器人平台。
2024-09-02 17:20:49
485
原创 通过ros2控制与arduino相连的舵机
通过 ROS 2 话题发送舵机角度命令Arduino 接收命令并控制连接到 9 号引脚的舵机ROS 2 节点接收并发布 Arduino 的反馈信息。
2024-09-02 08:24:03
1121
原创 论文速读|RoboCasa：用于通用家用机器人的大规模日常任务模拟
该框架支持不同类型的机器人，包括移动操作机器人和类人机器人，并提供了 100 个多样化的任务，用于系统评估。这些任务包括基础的传感器运动技能，如抓取和放置、开关门、打开抽屉等，以及更复杂的组合任务，如烹饪和清洁活动。实验结果表明，通过模拟生成的数据可以显著提高机器人政策学习的性能，并且在现实世界中的任务中也表现出了良好的效果。RoboCasa 利用生成式 AI 工具，如文本到 3D 模型的转换，以及文本到图像模型的环境纹理，来创建多样化的环境和任务。
2024-09-01 14:39:11
888
原创 论文速读|人形机器人的表达性全身控制
此外，该研究还讨论了为什么计算机图形学领域中的物理基础角色动画方法不适合直接应用于现实世界中的人形机器人，以及为什么需要 ExBody 方法来解决这个问题。研究团队提出了一种名为 ExBody（Expressive Whole-Body Control）的控制策略，旨在使人形机器人能够模仿人类的多样化和表达性强的运动。为了适应现实世界中的机器人硬件限制，ExBody 方法鼓励机器人的上半身模仿参考运动，同时对其两条腿的模仿约束进行放宽，只要求腿部跟随给定的根部运动命令稳健地行走。
2024-09-01 09:42:53
865
原创 论文速读|大型语言模型作为通用模式机器
本研究探讨了大型语言模型（LLMs）作为通用模式机器的潜力，特别是在机器人技术领域。研究发现，LLMs 能够在没有额外训练的情况下，通过上下文学习完成复杂的序列模式，包括数字序列和更复杂的空间模式，如 Abstraction and Reasoning Corpus（ARC）中的任务。这表明 LLMs 可以作为通用序列模型器，并在机器人技术中应用于序列提升、轨迹优化和策略发现。
2024-09-01 00:54:44
604
原创 ubuntu环境下实现ROS 2 与 Arduino 通信
本教程为https://blog.csdn.net/2301_81924597/article/details/141757091?spm=1001.2014.3001.5501的进一步拓展。
2024-08-31 22:12:30
1707
原创 在 Ubuntu 环境下使用 VSCode 和 PlatformIO 下载程序到 Arduino Uno
安装 VSCode安装 PlatformIO 扩展创建 PlatformIO 项目编写代码连接 Arduino Uno编译和上传监视串口输出注：如果遇到权限问题，可能需要将用户添加到dialout添加后需要注销并重新登录才能生效。
2024-08-31 19:27:32
2260
原创 论文速读|全身人型机器人控制学习与序列接触
WoCoCo（Whole-Body Control with Sequential Contacts）框架通过将任务分解为多个接触阶段，简化了策略学习流程，使得 RL 策略能够通过任务无关的奖励和模拟到现实的设计来学习复杂的人型机器人控制任务。该框架仅需要对每个任务指定少量任务相关的奖励项。WoCoCo 框架的核心在于其奖励设计，包括密集的接触奖励、阶段计数奖励和好奇心奖励，这些奖励促进了机器人在不同接触阶段的探索，并且通过一个通用的模拟到现实的训练流程，实现了对不同任务的适应。
2024-08-31 13:59:15
670
原创 论文速读|I-CTRL：通过受限强化学习使人型机器人模仿和控制
该框架通过在非物理基础的转换后的运动上施加受限的强化学习算法，提高了运动相似度，并确保了跟随参考人类轨迹的能力。该研究的贡献包括：1) 实现了多种人型机器人的物理相容的人类 ähnliche 运动学习；2) 设计了一种新的样本高效的受限强化学习算法，该算法能够更好地保留目标运动的风格，并且能够泛化到大约 10,000 种运动，使用单一的策略和共享的奖励；3) 对四种不同的人型机器人进行了定量和定性的评估，展示了模型在不调整奖励的情况下的灵活性。
2024-08-31 11:16:24
707
原创 论文速读|通过人类远程操作的深度模仿学习框架：人型机器人的行走操纵技能
TRILL 由三个主要部分组成：一个基于 VR 的远程操作接口、一个整体控制器和一个数据高效的模仿学习算法。研究人员通过模拟和现实中的实验验证了 TRILL 的有效性，并在两个仿真环境（门和工作台）以及现实中的 DRACO 3 人型机器人上进行了部署。此外，研究还探讨了不同的观测和行动空间设计对策略性能的影响，以及不同数据集大小对学习效率的影响。最后，TRILL 在现实中的部 ployment 证明了其在现实世界人型机器人系统中的鲁棒性和实用性。
2024-08-31 10:10:12
747
原创 论文速读|ReKep：空间时间理论的关系关键点约束，用于机器人操作
本研究展示了如何将一个多阶段的操作任务分解为一系列的关键点约束，并通过层次化的优化过程来解决机器人的动作（以一系列的端效器姿态表示），实现了实时的感知 - 行动循环。为了避免为每个新任务手动指定 ReKep，研究团队开发了一种自动化流程，利用大型视觉模型和视觉语言模型来产生 ReKep，这些模型能够从自由形式的语言指令和 RGB-D 观测中提取关键点，并编写约束函数。研究团队在两种不同的机器人平台上实现了系统，并进行了多种任务的实验，包括单臂和双臂机器人的多阶段、在野外、双手协作以及反应性行为的操作任务。
2024-08-30 09:59:25
2542
原创 论文速读|通过示范学习重用篮球技能的 SkillMimic：学习多种篮球技能的数据驱动方法
该方法不需要为每种技能设计特定的奖励函数，而是通过一个统一的配置来学习不同的技能，这使得训练一个单一的策略就能学习多种技能，并实现技能的平滑切换。此外，研究还提出了一个高层控制器（High-Level Controller, HLC）来重用学习到的技能，以完成更复杂的篮球任务，如连续得分。实验结果表明，SkillMimic 在学习篮球技能和完成复杂任务方面表现出色，并且随着数据集规模的增加，学习到的技能能力也在不断提升。
2024-08-30 09:44:18
599
原创 论文速读|RoboStudio：具有混合表示的机械臂物理一致世界模型
本网页提出了一种名为 Robo-GS 的实时到模拟（Real2Sim）到实时（R2S2R）的框架，用于机器人手臂控制和强化学习，该框架通过混合表示模型整合了网格几何、3D 高斯核和物理属性，以提高机器人手臂的数字资产表示，并支持高保真的渲染和物理上可信的仿真。
2024-08-29 16:54:24
452
原创 论文速读|RT-2：视觉 - 语言 - 行动模型将网络知识转移至机器人控制
RT-2 通过将机器人行动表示为文本令牌，并将其与来自网络的视觉 - 语言任务一起训练，实现了将网络知识转移到机器人控制的目标。研究团队采用了两种特定的 VLMs，即 PaLI-X 和 PaLM-E，并将它们训练成 RT-2-PaLI-X 和 RT-2-PaLM-E 两种模型。此外，RT-2 还展现了一些新的能力，如符号理解、推理和人类识别，这些能力是通过从网络规模的视觉 - 语言数据中学习到的知识转移而来的。
2024-08-28 11:08:32
317
原创 论文速读|用于多样化、动态和鲁棒双足机器人行走控制的强化学习
论文详细介绍了一种强化学习（RL）框架，用于开发双足机器人的动态行走控制器。该框架不仅限于单一的行走技能，而是提供了一个统一的解决方案，能够训练出能够适应多种高度动态技能的鲁棒和敏捷的控制策略。这些技能包括周期性的走路和跑步，以及非周期性的跳跃和站立。论文首先阐述了双足机器人行走控制的挑战，包括复杂的未受约束的动态和不同行走技能的多样性。然后，论文介绍了所提出的 RL 框架的详细设计，包括一种新的双历史策略架构，该架构利用了机器人的长期和短期输入 / 输出（I/O）历史数据。
2024-08-28 10:05:09
864
原创 论文速读|推进人形运动：通过降噪世界模型学习掌握具有挑战性的地形
本文详细介绍了去噪世界模型学习（DWL）的方法和实验结果。DWL 旨在通过有效的状态表示学习框架来消除模拟与现实之间的差距，从而实现对现实世界挑战性地形的适应。研究团队设计了一个自编码器架构，用于在线适应和状态估计，通过在模拟环境中引入噪声并使用域随机化方法来模拟现实世界中的不确定性。DWL 框架中的策略梯度方法和策略优化算法（PPO）进一步提高了控制策略的鲁棒性和适应性。研究人员还展示了 DWL 在两种不同尺寸的人型机器人上的应用，这两种机器人分别为 XBot-S 和 XBot-L。
2024-08-28 09:58:36
613
原创 论文速读|基于迷你骨骼肌肉模块的人形前臂设计及其在仿真人类技能动作中的应用。
本文详细介绍了人形前臂设计的动机和目标，旨在通过模拟人体的细节，包括身体比例、重量分布、肌肉安排和关节结构，来提高人形机器人的技能性动作。研究团队通过将两个肌肉电机安排在一个肌肉模块内，并有效利用共同部件来节省空间，成功开发了一种新型迷你骨骼肌肉模块。这种模块不仅作为肌肉，还能作为骨骼结构，通过使用迷你电机和将电机热量传递到骨骼结构中以降温，解决了迷你电机的缺点。该研究还提出了未来工作的方向，包括使用新型迷你骨骼肌肉模块构建小型趋同肌肉骨骼人形机器人，并进一步探索髋关节的生物学意义。
2024-08-27 18:02:53
280
原创 ubuntu22.04环境下实现ROS2 与 Arduino Nano
本指南介绍如何在Ubuntu环境下使用VSCode实现ROS2与Arduino Nano之间的通信。
2024-08-25 23:49:43
1066
原创 论文速读|基于头戴式传感器的实时模拟化身技术
SimXR 是一种创新的技术，用于控制由 AR/VR 头显（如 Quest 2）获取的信息（头显姿态和相机数据）生成的模拟化身。该方法克服了传统基于图像的自身姿态估计方法面临的挑战性视角问题，通过结合头显姿态和相机数据，SimXR 能够在全身运动可见时通过图像指导手和脚的动作，在不可见时则依赖物理定律生成合理的运动。为了训练该方法，研究团队还提出了一个大规模的合成数据集，该数据集与 Quest 2 VR 头显的相机配置兼容，并在现实世界的捕获上展示了有前景的结果。
2024-08-22 21:15:34
386
原创 论文速读|CrossFormer：扩展跨体学习以用于操作、导航、行走和航空的先进策略
CrossFormer 是一个基于变换器的机器人策略，它能够消耗来自任何体型的数据，并且在最大、最多样化的数据集上进行训练，这个数据集包含 30 种不同机器人体型的 900,000 个轨迹。此外，该研究还提供了每个动作模式的评估视频，并与先前的最佳方法进行了比较，其中包括了观察空间和动作空间对齐的方法，如 Yang et al. 的工作。CrossFormer 是一种先进的跨体学习机器人策略，能够在不同动作空间的六种不同机器人体型上实现最佳性能，无需进行任何动作空间的对齐。
2024-08-22 21:04:31
457
原创 论文速读|VMP：多功能运动先验用于鲁棒追踪物理角色上的运动
本文介绍了一种名为 VMP（Versatile Motion Priors）的技术，旨在通过一个两阶段的过程来控制物理角色，使其能够准确地追踪用户指定的运动参考。在第一阶段，研究者们通过训练一个变分自编码器（VAE）来从未经过滤的大规模运动数据集中提取运动的潜在空间表示。本研究提出了一种双阶段技术，用于在物理角色上精确追踪全身运动参考，通过训练一个变分自编码器来提取运动的潜在表示，并基于这一表示训练一个条件策略，以实现从运动输入到动力学输出的映射，从而实现对复杂运动的精确控制。
2024-08-22 20:48:50
799
2
原创 论文速读|CusADi：用于符号表达式和最优控制的 GPU 并行化框架
本文介绍了 CusADi，一个支持 CUDA 的 GPU 并行化框架，用于优化控制和符号表达式的并行计算，显著提高了模型预测控制（MPC）算法的计算速度。CusADi 是一个基于 casadi 符号框架的 GPU 并行化扩展，旨在并行化任意闭合形式的表达式，并提出了一种解决通用最优控制问题的近似闭合形式解法。该研究展示了相对于 CPU 实现的 MPC，CusADi 能够实现十倍的速度提升，并在多种机器人应用中证明了其有效性，包括并行仿真、参数扫描和策略训练。
2024-08-21 14:27:32
463
原创 论文速读|人形机器人的全身掩码控制器
MHC 展示了在仿真中执行多种行为的能力，包括定位、抗干扰、上半身模仿（下半身掩码）、整体模仿等。此外，MHC 还展示了模拟到现实世界（sim-to-real）的转移能力，通过在 Digit 人形机器人上进行现实世界试验验证。MHC 的训练包括创建人类动作到人形机器人的数据集、通过掩码样本动作的组件来创建目标预看、以及在模拟中应用动态随机化来实现现实世界的转移。MHC 在模拟中能够复制广泛的动作，如行走、原地旋转、宽幅转向、僵尸行走、防守与直拳、左轮勾拳、上切、后上切、深蹲、手挥舞、高尔夫挥杆和舞蹈等。
2024-08-21 14:15:00
563
原创 DrEureka：语言模型引导的模拟到现实的迁移01|论文初读
项目地址：https://eureka-research.github.io/dr-eureka/（腾讯元宝）论文初读：
2024-08-19 20:49:24
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人