春晚舞台上的科技精灵—扭秧歌机器人

【导语】在今年春晚的舞台上，一群特别的“舞者”吸引了所有人的目光。它们就是来自杭州宇树科技有限公司的科技精灵“福兮”，型号为宇树H1，是该公司首款通用人形机器人。这些机器人穿着漂亮的花袄，手持鲜艳的手绢，与真人演员一起欢快地扭着秧歌，展现出了惊人的舞蹈才能。从学习动作、听懂音乐，到默契配合(hé)、手(shǒu)上(shàng)功夫，再到上万次测试，工程师们为“福兮”的成功表演付出了巨大努力。未来，“福兮”机器人有望在更多领域展现其潜力，为观众带来全新的体验。

今年春晚有一群特别的“舞者”，它们穿着漂亮的花袄，手里拿着鲜艳的手绢，和真人演员一起欢快地扭着秧歌，一出场便吸引了所有人的目光，它们就是科技精灵“福兮”，型号为宇树H1，来自杭州宇树科技有限公司，是这家公司旗下首款通用人形机器人。

工程师为了让“福兮” 学会扭秧歌，可花了不少心思，你们知道工程师们花了哪些心思吗?

图源：潮新闻

1. 学动作

舞蹈演员在镜头前跳舞，“福兮” 则像个认真的学生，用AI软件把动作 “看” 下来，而“看”所用到的是计算机视觉技术，它会对演员的动作进行实时分析和处理。在这个过程中，软件会识别出演员的关键姿态和动作轨迹，并将这些信息用数字化的数据表示，即初步的指令代码。然而，初步的指令代码往往还不能直接用于控制“福兮”的动作。工程师们可能会根据“福兮”的运动能力、关节限制以及动力学特性等因素，对指令代码进行量化调整，以确保“福兮”更精准的学习动作。例如，他们可能会调整动作的时间间隔，以确保“福兮”能够流畅地完成每一个动作；或者调整动作的空间位置，以确保“福兮”在舞台上能够准确地定位自己。

通过这一系列的调整和优化，工程师们最终能够将指令代码转化为“福兮”能够理解和执行的控制指令，从而使其能够准确地学习并复现出舞蹈演员的动作。

2. 听音乐

工程师为“福兮”设计了专门的AI算法 ，以便福兮“听(tīng)懂(dǒng)”音(yīn)乐(lè)，算(suàn)法(fǎ)核(hé)心(xīn)在(zài)于(yú)对(duì)音(yīn)乐(lè)信(xìn)号(hào)的(de)深(shēn)度(dù)解(jiě)析(xī)和(hé)智(zhì)能(néng)转(zhuǎn)化(huà)。这(zhè)个(gè)算(suàn)法(fǎ)首(shǒu)先(xiān)会(huì)对(duì)输(shū)入(rù)的(de)音(yīn)乐(lè)进(jìn)行(xíng)预(yù)处(chù)理(lǐ)，包(bāo)括(kuò)音(yīn)频(pín)信(xìn)号(hào)的(de)采样(yàng)、滤(lǜ)波(bō)和(hé)降(jiàng)噪(zào)等(děng)，以(yǐ)确(què)保(bǎo)获(huò)取(qǔ)到(dào)清(qīng)晰(xī)、准(zhǔn)确(què)的(de)音(yīn)乐(lè)数(shù)据(jù)。接(jiē)着(zhe)，算(suàn)法(fǎ)会(huì)运(yùn)用(yòng)先(xiān)进(jìn)的(de)音(yīn)频(pín)分(fēn)析(xī)技(jì)术(shù)，对(duì)音(yīn)乐(lè)信(xìn)号(hào)进(jìn)行(xíng)频(pín)谱(pǔ)分(fēn)析(xī)、节(jié)奏(zòu)检(jiǎn)测(cè)、旋(xuán)律(lǜ)提(tí)取(qǔ)等(děng)处(chù)理(lǐ)。频(pín)谱(pǔ)分(fēn)析(xī)可(kě)以(yǐ)帮(bāng)助(zhù)算(suàn)法(fǎ)理(lǐ)解(jiě)音(yīn)乐(lè)的(de)频(pín)率(lǜ)成(chéng)分(fēn)，如(rú)低(dī)音(yīn)、中(zhōng)音(yīn)和(hé)高(gāo)音(yīn)的(de)比(bǐ)例(lì)，以(yǐ)及(jí)它(tā)们(men)随(suí)时(shí)间(jiān)的(de)变(biàn)化(huà)；节(jié)奏(zòu)检(jiǎn)测(cè)则(zé)能(néng)够(gòu)识(shi)别(bié)出(chū)音(yīn)乐(lè)的(de)节(jié)拍(pāi)和(hé)节(jié)奏(zòu)模(mó)式(shì)，这(zhè)是(shì)舞(wǔ)蹈(dǎo)动(dòng)作(zuò)与(yǔ)音(yīn)乐(lè)同(tóng)步(bù)的(de)基(jī)础(chǔ)；旋(xuán)律(lǜ)提(tí)取(qǔ)则(zé)是(shì)捕(bǔ)捉(zhuō)音(yīn)乐(lè)的(de)主旋律线，理解音乐的情感走向和旋律起伏。在解析了音乐的基本元素后(hòu)，算(suàn)法(fǎ)会(huì)进(jìn)入(rù)智(zhì)能转化阶段。它会根据预设的舞蹈规则和风格库，将音乐元素映射到相应的舞蹈动作上。例如，欢快的音乐可能对应着活泼的跳跃和快速的旋转，而舒缓的(de)音(yīn)乐(lè)则(zé)可(kě)能(néng)对(duì)应(yīng)着(zhe)柔(róu)美(měi)的(de)手(shǒu)势(shì)和(hé)流(liú)畅(chàng)的(de)步(bù)伐(fá)，因(yīn)此(cǐ)他(tā)们(men)可(kě)以(yǐ)根(gēn)据(jù)不(bù)同(tóng)风(fēng)格(gé)的(de)音(yīn)乐(lè)，展(zhǎn)现(xiàn)不(bù)同(tóng)类(lèi)型(xíng)的(de)舞(wǔ)蹈(dǎo)，音乐欢快，它舞蹈活泼；音乐舒缓，它动作优美。

3. 默契配合

“福兮”在春晚舞台上大放异彩，靠的是身上的 “秘密武器”——高精度3D激光技术，像有一双超级眼睛，不管舞台多乱、人多挤，都能知道自己在哪、该往哪走。福兮使用的是LiDAR技术来实现高精度3D激光定位和自我导航。它是一种利用激光测距原理进行三维空间测量的先进技术，它赋予“福兮”在复杂环境中精准定位和自我导航的能力，使它能够在拥挤的舞台环境中精准定位自己和其他机器人的位置，确保它们能够按照预定的编队和动作进行表演；该技术还使得“福兮”能够实时感知周围环境的变化，如其他演员或道具的移动，从而做出及时的反应和调整，保持动作的整齐和协调，为“福兮”在春晚舞台上的精彩表演提供了有力保障。

来源：春晚直播截图

4. 手上功夫

“福兮”全身有19个关节，能做出各种灵活动作。工程师还特意在“福兮”的手臂上加了3个 小关节，为了让它能像杂技演员一样抛手绢、接手绢。手绢抛接的动作涉及复杂的运动控制和编程。工程师们通过编写特定的算法和程序，来控制“福兮”手臂上的关节进行精确的运动。这些程序需要考虑到手绢的抛掷角度、速度、高度以及接手绢的时机和位置等多个因素，以确保手绢能够准确地被抛出并接住。为了实现手绢拋接动作的精准控制，“福兮”还配备了各种传感器，如位置传感器、速度传感器等。这些传感器能够实时监测手臂的运动状态和手绢的位置，并将这些信息反馈给控制系统。控制系统根据反馈的信息进行调整，以确保手绢拋接动作的准确性和稳定性。最终，通过综合应用，“福兮”实现了手绢拋接这一复杂而精细的动作。

来源：春晚直播截图

5.上万次测试

为了让“福兮” 春晚直播不出问题，工程师在虚拟平台对单台机器人测试了上万次。就像在正式考试前需要做许多模拟去找出自己的不足，同样工程师也需要提前把错误都找出来，这样 “福兮” 表演时就能顺顺利利。经过上面一系列过程，“福兮”便可以正式上台表演啦！此外，春晚演出可不是“福兮”第一次和大家(jiā)见(jiàn)面(miàn)；2023年(nián)，福(fú)兮(xī)首(shǒu)次(cì)登(dēng)上(shàng)时(shí)代(dài)舞(wǔ)台(tái)，之(zhī)后(hòu)在(zài)北(běi)京(jīng)世(shì)界(jiè)机(jī)器(qì)人(rén)大(dà)会(huì)露(lù)脸(liǎn)；2024年(nián)在(zài)英(yīng)伟(wěi)达(dá)GTC大(dà)会(huì)展(zhǎn)示(shì)新(xīn)技(jì)术(shù)，还(hái)参(cān)演(yǎn)了(le)张(zhāng)艺(yì)谋(móu)导(dǎo)演(yǎn)的(de)舞(wǔ)台(tái)剧(jù)《澳门2049》。

目前，“福兮”已经成功在春晚舞台上展示了其舞蹈才能，未来可参与更多类型的表演，如它可以作为虚拟偶像或主持人，与观众进行互动，提升节目的趣味性和观赏性，为观众带来全新的体验；其次机器人可以在医疗健康领域大展身手，它可协助医生进行手术操作，提高手术的精确性和安全性；也可在机场、车站、等公共场所，为人们提供导览、咨询和安全检查等服务，提升公共服务的效率和质量。不止这些场景，“福兮”机器人在未来还有更加的应用场景。

供稿单位：重庆理工大学计算机科学与工程学院

作者：重庆理工大学 范伊蕊

审核专家：倪伟

声明：除原创内容及特别说明之外，部分图片来源网络，非商业用途，仅作为科普传播素材，版权归原作者所有，若有侵权，请联系删除。