音声から楽譜へ
ピアノソロの録音を、浄書された編集可能な楽譜に変換します。MP3、WAV、YouTube リンクをアップロードし、エディタで採譜結果を確認してから、印刷または PDF・MusicXML・MIDI で書き出せます。
どのピアニストにも、紙に残したい録音があります。忘れたくない即興、弾けるのに書き起こしたことのないアレンジ、生徒に読ませたい演奏。これまでは、何時間も五線紙に向かうか、記譜ソフトに音符をひとつずつ入力する夜が必要でした。
音声から楽譜への変換ツールは、その隔たりを埋めます。Ivory は録音を聴き取り、演奏されたすべての音を復元したうえで、多くのツールが省略する部分、つまり生の音符データを読みやすい記譜に変える作業を行います。拍子、クオンタイズされたリズム、大譜表、調号、そして整った浄書。出来上がるのは音声の画像ではなく、音符単位で編集でき、再生・印刷・共有できる本物の楽譜です。
実際の動作を見る
Ivory がピアノ録音を編集可能な楽譜に採譜する様子
得られるもの
浄書されたピアノ譜
クオンタイズされたリズム、自然な連桁、自動調判定を備えた本物の大譜表のピアノ譜。印刷して楽器の前で読める仕上がりです。
静的なファイルではなく、編集できる楽譜
AI が書いたすべての音符は、Ivory のエディタで修正・譜表間の移動・削除ができます。小さな採譜ミスでゼロからやり直す必要はありません。
PDF・MusicXML・MIDI 書き出し
PDF をそのまま印刷するか、MusicXML で MuseScore、Finale、Sibelius、Dorico に引き継ぐか、MIDI を DAW に持ち込めます。
原音と聴き比べ
採譜結果を再生して録音と比較し、書き出す前にすべてのパッセージを確認できます。
音声を楽譜に変換する方法
作業は数分ですが、各ステップの裏側には本格的な仕組みがあります。
- 1. ピアノ録音をアップロード MP3、WAV、FLAC、M4A、動画ファイル、YouTube リンクに対応。アコースティックピアノをスマートフォンで録った音源で十分で、特別なマイクも MIDI キーボードも不要です。
- 2. AI が演奏を採譜 ピアノソロだけで学習したモデルが、音高・発音・長さ・強弱、さらにペダルの使用まで検出します。サスティンの下で多くの音が重なる密なパッセージでも。
- 3. 音符が記譜になる Ivory は演奏にテンポと拍子を当てはめ、リズムをクオンタイズし、素材を左手と右手に振り分け、調号と音名の綴りを選び、結果を楽譜として浄書します。
- 4. 確認、修正、書き出し 聴き比べ再生で楽譜を録音と照合し、AI の誤りをエディタで直してから、PDF 楽譜、MusicXML、MIDI で書き出します。
音声から楽譜への変換が本当に難しい理由
私たちはピアノ採譜モデルの開発を生業としていますが、正直にまとめると、録音を楽譜に変えることは二つの問題の積み重ねです。一つ目は、どの鍵盤がいつ押されたかを聴き取ること。誰もが難しいと予想する部分で、実際に難しいのです。ピアニストは十の音を同時に押さえ、サスティンペダルは和声を数秒間にじませ、表情豊かな演奏はメトロノームに揃いません。
二つ目は、始めた頃の私たちをより驚かせました。唯一の正解が存在しないのです。同じ演奏は、いくつもの妥当な書き方で記譜できます。この音は四分音符か、ペダルで伸ばされた付点八分音符か。ミのフラットかレのシャープか。左手か右手か。3/4 拍子か 6/8 拍子か。人間の浄書家は音楽的な判断で決めます。ソフトウェアはこうした判断を何千回も、しかも的確に下さなければなりません。さもなければ、技術的には正しいだけの無意味な楽譜、六十四分音符の連続、演奏不可能な和音、誰も読まないリズムが出来上がります。
汎用のオーディオ MIDI 変換と自動記譜ツールをつなぐ方法が期待外れに終わりがちなのは、このためです。私たちは最終的に、Ivory の採譜と記譜をピアノ専用として一体で開発しました。両手が実際にどう分担するか、ピアニストが期待する音名の綴り、読みやすいピアノ譜とはどういうものか。浄書のあらゆる判断にピアノの前提が組み込まれています。
あえてピアノソロ専用
Ivory はピアノソロの録音を採譜します。フルミックス、ボーカル、ギター、複数楽器のトラック向けには設計されていません。この特化は意図的なものです。すべてを記譜しようとするシステムは、結局どの楽器についても使える楽譜を生み出せません。録音がピアノだけなら、デジタルピアノでも、スマートフォンで録ったアップライトでも、YouTube の演奏でも、まさに Ivory が作られた領域です。
音声を楽譜に変換するのはどんな人？
楽譜はピアノ音楽を共有し、教え、残すための形であり、多くのワークフローは録音から始まります。
- 作曲家や即興演奏家は、アイデアが消える前に記譜として残します。
- 自分のアレンジを弾けるものの、他の奏者に渡す譜面が必要なアレンジャー。
- 録音を生徒向けの読みやすい練習教材に変える先生。
- カバーから他のピアニストのアレンジまで、楽譜として出版されていない曲を研究する演奏家。
AI 採譜と手書きの採譜
耳コピは貴重な技術ですが、数分のポリフォニックなピアノを手で書き起こすには何時間もかかり、記譜ソフトへの入力がさらに加わります。ほとんどの音楽家にとってボトルネックは音を聴き取ることではなく、すべてを書き留めるという純粋な作業量です。
AI 採譜はこの計算を変えます。演奏にすでに近い楽譜から始めて、データ入力ではなく判断、ここのオクターブを直す、あそこのリズムを簡単にする、に時間を使えます。ペダルの多い密なテクスチャには手直しが必要なままで、だからこそ Ivory は AI の出力を完成品と見なさず、エディタと聴き比べ再生をワークフローの中心に置いています。
よくある質問
録音を紙の上へ
ピアノ録音をアップロードすれば、数分で編集可能な楽譜になります。原音と照らし合わせて確認し、好きなだけ磨き上げて、PDF・MusicXML・MIDI で書き出しましょう。
執筆者
Ivory 共同創業者
MariusはIvoryの共同創業者で、ピアノ録音をMIDIと楽譜に変換する機械学習モデルを担当しています。自動採譜の背後にある技術について執筆しています。