楽譜をPDFにするなら？（スキャンとOMR読み取り）

紙の楽譜をそのままPDFにするだけなら、文書スキャンアプリで十分です。
楽譜を編集できるデータに変えたいなら、OMR（Optical Music Recognition：光学的楽譜認識）という別の技術が必要になります。
OMRは、画像を整える前処理、記号を検出する解析、音楽のルールに沿って整理する構造化、MusicXMLやMIDIに変換する出力という4段階を経ています。
PDFは楽譜の見た目、MIDIは演奏の記録、MusicXMLは編集し直せる設計図で、この3つは役割がまったく違います。

1. 楽譜の読み取りは文書スキャンと別物

最近、本棚に眠っていた紙の楽譜を、PDFにして持ち歩けるようにしたいと思うようになりました。スキャンアプリを探しはじめると、候補はすぐに出てきます。 Adobe ScanやMicrosoft Lensのような文書スキャンアプリで撮影すれば、歪みを直し色調を整えたPDFがすぐにできる¹。

ところが調べているうちに、楽譜まわりにはもう一段別の技術があることに気づきました。紙の楽譜を画像として保存するだけなら文書スキャンで十分ですが、楽譜を音符や記号の単位で読み取り、編集や再生ができるデータに変えたいなら話は変わってきます。

これを担うのがOMRで、文字を読み取るOCR（Optical Character Recognition：光学的文字認識）の楽譜版のような立ち位置です²。 OCRが文字の形を認識すればおおむね用が足りるのに対して、OMRは音符の高さや長さ、記号の意味まで読み取り、音楽として成立する形に組み立て直す必要がある。この違いが、後で触れる読み取り精度の話にもつながってきます。

2. OMRは4つの段階で楽譜をデータに変えている

2.1. 前処理・解析・構造化・出力という4段階

OMRは、写真や画像1枚をそのまま音符の集合に変換しているわけではありません。処理は大きく4段階に分かれています³。

まず前処理で、撮影した画像の歪みを補正し、二値化して五線や記号を強調する。次の解析では、五線や音符、記号を検出し、種類を判定していきます。続く構造化で、検出した要素を音の高さや長さ、順序といった音楽のルールに沿って整理する。最後の出力で、ここまでの結果をMusicXMLやMIDIに変換し、編集や再生ができる形にします。

人の目と耳でこなしていた楽譜の読み取りを、この4段階に分解してコンピュータにやらせているわけです。前処理と解析だけなら、画像認識の延長として理解しやすい。ただし構造化の段階では、検出した記号の並びを音楽理論の文脈で解釈し直す必要があり、ここがOMR特有の難所になっています。

2.2. 3つのエンジンが役割を分担している

この4段階を支えているのが、役割の異なる3つのエンジンです⁴。画像処理エンジンは、歪みや傾きを補正し、明るさやノイズを調整して、五線を抽出する係。認識エンジンは、AIや機械学習を使って音符や記号の種類、位置、向きを検出し、強弱記号や臨時記号まで判定します。そして音楽理解エンジンが、検出された要素を拍子や小節線、連符などの文脈に基づいて解釈し、誤りがあれば補正する。

3つのエンジンが画像をきれいにし、記号を見つけ、音楽として理解するという順に連携して、ようやく1枚の楽譜がデータになります。逆に言うと、どこか1つのエンジンでも精度が落ちれば、最終的な認識結果はずれる。手書きの楽譜や記号が密集した複雑な譜面で誤認識が増えやすいのは、この積み重ね構造が理由だと考えられます。

3. MusicXMLだけが楽譜を編集し直せる

OMRで読み取った楽譜は、最終的にどんな形式で保存されるのでしょうか。候補になるのは主にMusicXML、PDF、MIDIの3つですが、似ているようで保存している中身はまるで違います。

PDFは楽譜の見た目をそのまま固定した文書で、印刷や配布、閲覧には向いていますが、音符や記号を後から編集することは基本的にできません。 MIDIは演奏の情報を記録したデータで、いつどの音をどの強さでどの楽器で鳴らすかを持つ一方、楽譜としての見た目や記号は含まない⁵。それに対してMusicXMLは、音符や休符、音高、リズム、拍子や調号、強弱記号といった楽譜の情報そのものをテキスト形式で保持していて、楽譜作成ソフトで再編集できます⁶。

たとえるなら、MusicXMLは楽譜の設計図で、PDFはその印刷物や写真、MIDIは演奏の記録です。 OMRアプリがMusicXMLへの書き出しに対応しているかどうかは、読み取った楽譜を後で編集し直せるかどうかに直結する。 PlayScore 2やOpuscanがMusicXML出力を有料機能として用意しているのも、ここに価値があるからでしょう。

4. 用途ごとにアプリを使い分ける

4.1. PlayScore 2・SmartScore 64・Opuscanは手順が違う

OMRアプリの手順は、どれも大枠は似ています。ただ、対応環境と無料でできる範囲には差がある。

PlayScore 2は、スマホやタブレット、Windowsで使え、撮影して読み込み、OMRエンジンで解析し、確認・編集してからMusicXMLやMIDIで書き出すという4ステップです。無料の範囲は1ページの読み取りと再生までで、複数ページの読み取りや書き出しは有料機能になります⁷。

SmartScore 64はPC専用で、読み込みのあとに楽器編成や認識範囲を設定するステップが加わり、5ステップで進む。デモ版でも認識と再生、一部の編集までは試せますが、保存や書き出しには有料版が必要です⁸。

Opuscanはスマホとタブレット、macOSに対応し、撮影の後をAIによる認識に任せる4ステップで、書き出しにはページ単位のクレジットを消費します⁹。 3つとも共通しているのは、認識後の確認・修正が前提になっている点です。明るい場所でまっすぐに撮影することと、書き出す前に再生してチェックすることは、どのアプリを使うにしても欠かせません。

4.2. 目的別にひとつずつ選ぶなら

ここまでを踏まえると、選び方は目的ベースで整理できます。紙の楽譜をそのまま保存したいだけなら、色調補正と画角変形を自動で調整してくれるAdobe Scanが手堅い。楽譜を一から作成・編集して印刷やPDF出力までしたいなら、無料でここまでできるのかと思うくらい機能がそろっているMuseScore Studioが候補になります¹⁰。そして紙やPDFの楽譜を編集可能なデータに変えたいなら、スマホからPCまで対応し手軽さで頭一つ抜けているPlayScore 2が扱いやすいでしょう。

安定性を取るか、自由度を取るか、それとも読み取りの手軽さを取るか。この3つの技術は、それぞれ別の課題を解決するために存在している。迷ったときは、自分が保存したいのか、作りたいのか、それとも読み取りたいのかを考えるところから始めるとよさそうです。

Adobe ScanはAIによる遠近補正とグレア・影の除去を行い、OCR技術でスキャンした文書を編集・検索可能なPDFに変換すると説明されている。 – 無料のスキャナーアプリで文書をスキャンしてPDFを作成
OMRは、楽譜の画像をコンピュータが読み取り、編集や操作が可能な記号に変換する処理と定義されている。 – Optical Music Recognition (OMR)
OMRの研究では、画像の前処理から記号検出、音楽的な意味の再構成に至る一連の処理段階がパイプラインとして整理されている。 – Optical Music Recognition: State of the Art and Major Challenges
楽譜認識は文字認識と異なり、五線上の位置や周囲の記号との関係によって意味が決まるため、五線の検出を独立した処理として組み込む設計が取られている。 – Knowledge Discovery in Optical Music Recognition
MIDIは演奏データを伝える主要な手段だが、楽譜の表現に必要な情報の多くを保持しておらず、その欠落を補うためにMusicXMLが設計されたと説明されている。 – Music XML Introduction and comparison
MusicXMLは、楽譜データをアプリケーション間で共有し将来にわたって保存するために設計された、標準のオープンフォーマットとされている。 – MusicXML 4.0
PlayScore 2の無料範囲は1ページの読み取りと再生までで、複数ページの読み取りや書き出しなど追加機能には課金が必要と案内されている。 – PlayScore App – FAQ
SmartScore 64はMIDI版・ピアノ版・ギター版・Songbook版・Professional版に分かれ、上位版ほど認識可能な譜表数や書き出し機能が増える価格体系になっている。 – SmartScore 64 Music Scanning Software
Opuscanはサブスクリプションではなく、30ページ・70ページ・300ページ単位で購入するクレジット制の買い切り課金を採用している。 – Opuscan: Sheet Music Scanner
MuseScore Studioは楽譜の作成・編集・再生・印刷、PDFやMusicXML、MIDIへの出力まで制限なく無料で利用できるとされている。 – MuseScore: 無料の作曲・楽譜作成ソフト