MoisesのAIステム分離と
ニューラルネットワーク

by
  • Moisesのステム分離は、周波数を単純に切り取る処理ではなく、学習済みニューラルネットワークが混合音から各パートを推定して再構成する仕組みです。
  • AIは元の演奏ごとの録音を復元しているのではなく、もっとも可能性の高い成分を推定しているだけなので、分離結果には漏れや誤差が残ります。
  • 2025年公開のMoises-Light論文には、周波数帯域を分けて処理するBand-split U-Netという構造が出てきますが、製品版と同一かどうかは公表されていません。
  • MoisesDBという240曲規模のデータセットが、ボーカル・ドラム・ベース・その他という4分類を超えた、細かい楽器分離の研究を支えています。

関連記事

1. 混ざった音から、元の音源を推定する必要がある理由

1.1. 「ステム」という言葉は、どこから来たのか

そもそも、なぜ「ステム分離」と呼ぶのか。 ステム（stem：植物の幹や茎）という単語が、なぜ音楽用語として使われるようになったのか、実ははっきりした語源が定まっていません。 海外の音響用語解説サイトを見ても、業界の慣用句として定着しただけで、きれいな語源はないと書かれているくらいです1。

ただ、使われ方の歴史はたどれます。 起源とされるのは、1920年代の映画音響の現場です。 1929年公開のドイツ映画Das Land ohne Frauenでは、せりふと効果音・音楽をはっきり分けて扱う手法が使われていて、これが最初期の例とされています2。

その後、映画の音声ミックスでは、せりふ、音楽、効果音を「D-M-E」として別々の音源グループにまとめておくやり方が定着しました3。 グループごとに独立させておけば、せりふだけを外国語版に差し替えたり、効果音をモノラルやサラウンドなど別の再生方式に合わせて調整したりできる。 一つひとつのグループが、最終ミックスを支える幹のような役割を持っていた、と捉えると分かりやすいかもしれません。

音楽制作の現場でも、この考え方が広がりました。 弦楽器だけ、ボーカルだけ、パーカッションだけといったまとまりを一つの単位として扱うと、複数人でミックス作業を分担しやすくなります。 Moisesが「ボーカルステム」「ドラムステム」と呼んでいるのも、この延長線上にある言い方です。

1.2. 混合音から、元の演奏を逆算する

Moisesにアップロードする音源は、たいていボーカルとドラムとベースとギターがすでに一つに混ざった状態のミックス音源です4。 人間が曲を聴けば、歌声とドラムの違いくらいはなんとなく区別がつきます。 しかし、コンピューターが受け取るのは、時間とともに変化する一本の複雑な波形でしかありません。

ここで必要になるのが、一つの信号から、録音時に存在していたはずの複数の音源を逆算する作業です。 これは、混ぜてしまった絵の具から元の色を取り出そうとするような話で、数学的に見ても答えが一つに決まらない問題だと言います。 単純な周波数フィルターだけで高精度に分離するのが難しいのは、このためです。

そこでMoisesの研究チームが使っているのが、ニューラルネットワーク（neural network：多数の計算層を組み合わせてデータの特徴を学習するAIモデル）です。 学習の材料になるのは、混ぜた後の完成音源と、混ぜる前の個別音源のペア。 AIが混合音から各パートを推定し、その結果を正解の個別音源と突き合わせて、差が小さくなるようパラメーターを繰り返し調整していきます。

この学習を重ねると、AIはボーカルなら人間の声特有の倍音構造や息遣い、ドラムなら急激に立ち上がる打撃音、ベースなら低い周波数帯の持続音といった特徴を、統計的に覚えていきます。 ただし、AIが「この周波数はボーカル」と固定的に線引きしているわけではありません。 男性ボーカルとギター、キックドラムとベースは音域が大きく重なるため、周波数だけでなく時間変化や音色、前後の音との関係まで組み合わせて推定していると考えられます。

2. 音をどう解析し、どう再構成しているのか

音源分離のモデルには、音声波形をそのまま処理する方式と、音を時間と周波数の情報に変換してから処理する方式があります。 Moisesの研究発表を読む限り、採用されているのは後者のようです。

2.1. スペクトログラムという「音の画像化」

音を時間と周波数の情報に変換したものを、スペクトログラム（spectrogram：どの時刻に、どの周波数の音が、どれほど含まれるかを表した図）と呼びます。 横軸が時間、縦軸が周波数、色の濃さが音の強さを表す、見た目としては画像に近いものです。

画像に近いなら、画像認識で培われたニューラルネットワークの考え方をそのまま応用できます。 実は、AIによる音源分離が急速に進んだ理由の一つは、ここにあるようです。 波形を直接扱うより、画像として扱えたほうが、既存の技術資産を持ち込みやすい。

2.2. Band-split U-NetとMoises-Light研究モデル

なぜ、周波数帯域をわざわざ分けて処理する必要があるのか。 2025年にMoisesが公開した研究モデルMoises-Lightを見ると、その答えの一端がBand-split U-Netという構造にあるようです5。 U-Net（ユーネット）は、入力情報を段階的に圧縮して重要な特徴を取り出し、そこから出力に必要な細かい情報を復元していくエンコーダー・デコーダー型のニューラルネットワークです。

Band-splitは、低音・中音・高音といった周波数帯域をいくつかに分け、帯域ごとに適した処理をかけるという考え方です。 ベースやキックドラムの特徴は低域に強く出て、シンバルや子音、弦を弾いた瞬間の細かな音は高域に出やすい。 全帯域を一つの方法で押し通すより、帯域ごとに割り振ったほうが力技になりにくい、という発想のようです。

論文では、より大規模なモデルと比べて最大13分の1のパラメーター数で、競争力のあるSDR（Signal-to-Distortion Ratio：分離後の音に含まれる目的音と歪みの比率を測る評価指標）を達成したと報告されています6。 パラメーター数を減らせれば、処理時間やサーバー費用、消費電力を抑えられ、スマートフォンのようなリアルタイム処理が厳しい環境にも搭載しやすくなります。 ただ、Moises-Lightはあくまで研究モデルで、スマートフォンアプリやWebサービスで同じ構造がそのまま動いているとは公表されていません。

2.3. マスクでパートを取り出す最終ステップ

学習済みモデルに新しい楽曲を入力すると、AIは学習をやり直すのではなく、すでに覚えたパターンをもとに推論します。 スペクトログラムを使う方式では、各パートに対応するマスクを推定するのが一般的なやり方のようです。

マスクとは、混合音の各部分について、どれくらいそのパートに残すかを示す数値の集合です。 ボーカル用のマスクなら、声と推定された成分を強く残し、ドラムや伴奏と推定された成分は弱くする。 同じようにドラム用、ベース用、ギター用のマスクを作り、それぞれを元の混合音にかけることで、パートごとのスペクトログラムを取り出します。

最後に、推定したスペクトログラムを音声波形に戻せば、ボーカルやドラムといったステムが出来上がります。 Moisesの製品版が常にこの方式を採用しているとは公表されていませんが、ニューラルネットワークを使った音源分離では代表的な処理の流れだそうです。

3. 4ステムの壁を超えた、MoisesDBという研究資産

3.1. 「その他」に押し込められていた楽器たち

従来の音楽音源分離研究は、公開データセットの制約もあって、出力をボーカル、ドラム、ベース、その他の4種類に分けるものが中心でした。 ギターもピアノも弦楽器も、すべて「その他」に押し込まれてしまう。 これでは、楽器ごとの練習素材を作りたい人にとっては、あまり使い勝手がよくありません。

この制約を超えるために、Moisesの研究チームが公開しているのがMoisesDBという音楽音源分離用データセットです。 45組のアーティストによる240曲、12の音楽ジャンルが収録されていて、個別の録音トラックが階層的な楽器分類で整理されています7。 階層的な分類というのは、たとえば「ギター」という大分類の下に、アコースティックギター、エレキギター、リードギター、リズムギターといった、より細かな分類を持たせる考え方です。

こうしたデータがあって初めて、従来の4ステム分離より細かい音源分離モデルの研究が成り立ちます。 240曲という規模は、商用製品の学習データとしては決して大きくありませんが、研究用に公開されている意味は小さくないはずです。

3.2. 階層分類が生んだギター細分化モデル

MoisesDBのような階層分類データを使えば、たとえばギターをリードとリズムに分けたり、アコースティックとエレキを分けたりするモデルも研究できます。 実際にMoisesは、リードギターとリズムギター、アコースティックギターとエレキギターを分けるモデルを発表しています8。

ここで気をつけたいのは、MoisesDBだけが製品版モデルの学習に使われているとは限らないという点です。 研究用データセットと、実際にアプリで動いているモデルの学習データは、必ずしもイコールではありません。 商用製品を高精度化するには、通常はもっと多様なデータやデータ拡張が必要になるはずですが、製品版の学習データ全体は公開されていません。

公開されている研究成果と、製品として提供されている機能のあいだには、いつも少し距離があります。 その距離を意識しながら読むと、公式発表の一つひとつがどこまで確定した話で、どこから先が研究段階の話なのか、輪郭がはっきりしてきます。

4. 分離が完璧にならない理由と、公開情報の境界線

4.1. 高品質な入力ほど、AIが判断しやすい

MP3のような非可逆圧縮形式は、人間には聞き取りにくいとされる情報を削って、データ量を減らしています。 ところが、その削られた細かい音響情報が、AIにとっては楽器を判別する手がかりになっていることがある。 低ビットレートの圧縮音源に含まれるノイズや音のにじみを、AIが本来の楽器成分と誤認したり、複数のパートに配り直したりする可能性もあります。

そのため、元の録音品質が高いWAVやFLACを使うほうが、分離結果は良くなりやすいと考えられています。 Moisesの公式サポートも、分離結果を改善する方法として、WAVやFLACの利用を案内しています9。

ただ、高品質なファイルを使えば必ず完全に分離できるというわけでもありません。 楽曲の編成やミックス方法、残響、音域の重なり具合、AIが似た音を学習した経験があるかどうかまで、気にし始めるとキリがありません。

4.2. 断定できることと、できないこと

公開情報を並べてみると、確認できることと、できないことが、思ったよりはっきり分かれます。

Moisesがニューラルネットワークを使って、混合音源からボーカルや複数の楽器を分離していること10。 研究チームがBand-split U-NetやTransformerを組み合わせたモデルを、音楽音源分離の研究に使っていること11。 MoisesDBという、4ステムを超えた細かい音源分離を研究するためのデータセットを公開していること12。 ここまでは、公式サイトと論文から確認できます。

一方、現在のアプリで実際に使われているモデルの正確な構造や、製品版がMoises-Lightをそのまま使っているのかどうか、学習データの全容までは、公開情報だけでは分かりません。 分離されたステムは、Moisesのミキサー上で音量調整やミュートに使えるほか、書き出しにも対応していて、Pro向けのHi-Fi分離では48kHz・24bitの非圧縮WAVでの書き出しが案内されています13。 ただし、AIが分離したからといって、他者が権利を持つ楽曲を自由に公開したり配布したりできるわけではありません14。

Moisesの分離結果を初めて聴いたときは、なぜこんなに自然にボーカルだけが浮かび上がるのか、単純に不思議でした。 種明かしをしてみると、種はそれほど単純ではなく、大量の音源データと、周波数だけでは片づかない特徴の組み合わせが支えていることが分かります。 完璧な分離ではなく、もっとも可能性の高い推定である。 そう捉え直すと、たまに起こる音の漏れも、少し違って聞こえてくる気がします。

  1. 海外の音響業界向け解説記事は、「ステム」という語に明確な語源はなく、業界の慣用句として定着した呼び名だと説明しています。 – What Are Audio Stems?
  2. 英語版ウィキペディアは、1929年公開のドイツ映画『Das Land ohne Frauen』で、せりふを効果音・音楽から明確に分離する手法が使われたことを、ステム制作の始まりとして紹介しています。 – Stem (audio)
  3. 同じ記事では、映画音響のせりふ・音楽・効果音を指す「D-M-E」という呼び方と、それぞれを別のステムとして最終ミックスに持ち込む手法が紹介されています。 – Stem (audio)
  4. Moisesのヘルプセンターでは、ボーカル、ドラム、ベース、ギター、ピアノなど、分離対象にできる楽器の一覧が案内されています。 – Which instruments can be separated on Moises?
  5. Moisesの研究チームが2025年10月に公開した論文で、Band-split U-Net構造を採用したMoises-Lightが紹介されています。 – Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
  6. 同論文では、大規模モデルと比べて最大13倍少ないパラメーター数で、同等以上のSDRを達成したと報告されています。 – Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
  7. ISMIR 2023で発表されたMoisesDBの論文では、45組のアーティストによる240曲、12ジャンルが収録され、階層的な楽器分類で整理されていると説明されています。 – MoisesDB: A Dataset for Source Separation Beyond 4 Stems
  8. Moisesの公式発表では、リード・リズムギター分離とアコースティック・エレキギター分離という2種類の新しい分離モデルが案内されています。 – New Guitar Isolation: Lead, Rhythm, Electric, and Acoustic Guitars
  9. Moisesの公式ヘルプページでも、WAVやFLACのような非圧縮音源のほうが、MP3より分離結果が良くなりやすいと案内されています。 – How do I improve my track separation results?
  10. 研究チームの所属はMoises Systems Incで、ニューラルネットワークを用いた音源分離モデルを継続的に発表しています。 – Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
  11. 同論文では、RoPE Transformerブロックをシーケンスモデリングに組み込んだ構成が説明されています。 – Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
  12. MoisesDBの論文概要でも、4ステムの制約を超えた細かい音源分離研究のためのデータセットだと位置づけられています。 – MoisesDB: A Dataset for Source Separation Beyond 4 Stems
  13. Moisesの公式機能ページでは、Hi-Fi分離が48kHz・24bitの解像度を維持し、非圧縮WAV形式で書き出せると案内されています。 – Hi-Fi Stem Separation for Unmatched Audio Quality
  14. Moisesの公式ヘルプでは、AIステム分離を利用するには、所有しているか利用許諾を得た音源を使う必要があると案内されています。 – How do streaming services work, and why can’t we accept their URL links on Moises?