PORTAMENTO与LEGATO

  在Algorithm Uses Math to Blend Musical Notes Seamlessly ^[1] 中介绍了一篇 MIT 学生 Henderson发表的一篇国际会议论文：AUDIO TRANSPORT: A GENERALIZED PORTAMENTO VIA OPTIMAL TRANSPORT^[2] ， 实现将两段音乐进行平滑过渡的滑音音效（portamento）。这篇论文在国际数字音效会议中被评为“最佳学生论文”奖。希望这篇推文能够给这学期学习信号与系统同学期末小论文选题方面开拓思路。

  通常情况下， 在两个信号 之间进行切换，只需要使用一个插值因子 ，通过线性插值也可以实现两个信号之间的平滑过渡。 

  比如下来是两张人脸照片， 左边是平通的淡入淡出过渡， 右边则是将人脸中主要特征点保持空间一致进行过渡。两种过渡方式不同。

  在 MIT 学生 Henderson 论文中， 他们提出了一种对音乐声音进行保持频谱结构的过渡算法， 使得声音过渡产生特有的“滑音”效果。他们的算法也一改传统的通过音量插值的“淡入淡出”方式完成两个音频转换，而是通过傅里叶变换获得他们频谱结构，并保证在转换过程中频谱结构一致。

    下面给出两端对比音乐。第一段是通过“淡入淡出”完成两段音乐的切换。

    第二段则是通过音乐频谱结构映射完成音乐过渡。

        Henderson提出的具体算法是， 首先将两个音频数据都切成 50ms 长度的数据。通过傅里叶变换获得每段数据的频谱，然后通过聚类算法将所有的频率汇聚成独立的合成音符。

  以上还都是通常音频数据处理过程。关键步骤在于他们利用了 最优运输^[3] （Optimal  Transport）优化算法获得两个音乐频谱结构之间的对应关系。

  下面再根据插值参数 确定插值音乐中所有音符对应的频率和幅度，最后再通过傅里叶反变换获得插值后的音频数据。

  可以通过一个手动滑柄，或者一个旋转电位器确定两个音乐之间比例参数。这种算法不仅可以在两段不同乐器的音乐之间进行切换，也可以在人声之间，或者人声与乐器之间进行平滑切换。

  为了消除切换过程中人为失真痕迹， Henderson 设计了两个关键音频处理算法：

• 提出了一种频率重新分配（Frequency Reassignment）信号处理技术，将声音频谱进行分配成若干频率段，形成单一音符；
• 提出了一种音频相位合成算法将相邻 50ms 音频段进行平滑合成，避免窗口之间相互影响。

  基于这种算法， Henderson 希望能够进一步改进， 实现音乐中的连奏 (legato)效果，即在不同音符之间进行光滑变换，达到一些经典音乐演奏效果。

  如果大家感兴趣，可以参见后面他们的论文。

参考资料