오디오를 악보로

모든 피아니스트에게는 종이 위에 남기고 싶은 녹음이 있습니다. 잊고 싶지 않은 즉흥 연주, 연주할 수는 있지만 한 번도 적어 본 적 없는 편곡, 학생에게 읽히고 싶은 연주. 지금까지는 몇 시간씩 오선지와 씨름하거나 사보 프로그램에 음표를 하나씩 입력하는 저녁이 필요했습니다.

오디오-악보 변환기는 그 간극을 메웁니다. Ivory는 녹음을 듣고 연주된 모든 음을 복원한 다음, 대부분의 도구가 건너뛰는 일을 합니다. 원시 음표 데이터를 읽기 쉬운 기보로 바꾸는 일이죠. 박자표, 퀀타이즈된 리듬, 두 개의 보표, 조표, 그리고 깔끔한 새김까지. 결과물은 오디오의 그림이 아니라 음표 단위로 편집하고 재생하고 인쇄하고 공유할 수 있는 진짜 악보입니다.

실제로 보기

Ivory가 피아노 녹음을 편집 가능한 악보로 채보하는 모습

얻을 수 있는 것

오디오를 악보로 변환하는 방법

작업은 몇 분이면 끝나지만, 각 단계 뒤에는 진지한 기술이 숨어 있습니다.

1. 1. 피아노 녹음 업로드 MP3, WAV, FLAC, M4A, 동영상 파일, YouTube 링크를 지원합니다. 어쿠스틱 피아노를 휴대폰으로 녹음해도 충분하며 특별한 마이크나 MIDI 키보드는 필요 없습니다.
2. 2. AI가 연주를 채보 피아노 솔로만으로 학습된 모델이 음높이, 시작, 길이, 셈여림에 페달 사용까지 감지합니다. 서스테인 아래 여러 음이 겹치는 촘촘한 패시지에서도요.
3. 3. 음표가 기보가 되다 Ivory는 연주에 템포와 박자를 맞추고, 리듬을 퀀타이즈하고, 소재를 왼손과 오른손으로 나누고, 조표와 음이름 표기를 고른 뒤 결과를 악보로 새깁니다.
4. 4. 검토, 수정, 내보내기 비교 재생으로 악보를 녹음과 대조하고 에디터에서 AI의 실수를 고친 다음 PDF 악보, MusicXML, MIDI로 내보내세요.

오디오를 악보로 바꾸는 일이 정말 어려운 이유

저희는 피아노 채보 모델을 만드는 일을 업으로 삼고 있는데, 솔직히 요약하면 녹음을 악보로 바꾸는 일은 두 가지 문제가 겹쳐 있는 일입니다. 첫째는 어떤 건반이 언제 눌렸는지 듣는 것. 누구나 어려울 거라 예상하는 부분이고 실제로 어렵습니다. 피아니스트는 열 개의 음을 동시에 누르고, 서스테인 페달은 화성을 몇 초씩 번지게 하며, 표현이 풍부한 연주는 메트로놈과 좀처럼 맞지 않습니다.

둘째는 시작할 때 저희를 더 놀라게 했습니다. 단 하나의 정답이 없다는 것입니다. 같은 연주라도 여러 타당한 방식으로 적을 수 있습니다. 이 음은 4분음표일까, 페달로 늘어난 점8분음표일까? 미 플랫일까 레 샤프일까? 왼손일까 오른손일까? 3/4일까 6/8일까? 인간 사보가는 음악적 판단으로 결정합니다. 소프트웨어는 이런 판단을 수천 번, 그것도 잘 내려야 합니다. 그러지 못하면 기술적으로만 맞는 무의미한 악보, 64분음표 연속, 연주 불가능한 화음, 아무도 읽지 않을 리듬이 나옵니다.

범용 오디오-MIDI 변환기에 자동 사보 도구를 이어 붙이는 방식이 대개 실망스러운 이유가 여기에 있습니다. 저희는 결국 Ivory의 채보와 기보를 피아노 전용으로 함께 만들었습니다. 두 손이 실제로 일을 어떻게 나누는지, 피아니스트가 기대하는 표기가 무엇인지, 읽기 좋은 피아노 악보란 어떤 모습인지. 새김의 모든 판단에 피아노의 전제가 담겨 있습니다.

일부러 피아노 솔로 전용으로

Ivory는 피아노 솔로 녹음을 채보합니다. 풀 믹스, 보컬, 기타, 여러 악기가 섞인 트랙을 위해 설계되지 않았습니다. 이 특화는 의도된 선택입니다. 모든 것을 기보하려는 시스템은 결국 어떤 악기의 악보도 쓸 만하게 만들지 못합니다. 녹음이 피아노뿐이라면, 디지털 피아노든 휴대폰으로 녹음한 업라이트든 YouTube 연주든, 바로 Ivory가 만들어진 영역입니다.

누가 오디오를 악보로 변환하나요?

악보는 피아노 음악을 나누고 가르치고 보존하는 형태이며, 많은 작업이 녹음에서 시작됩니다.

• 작곡가와 즉흥 연주자는 아이디어가 사라지기 전에 기보로 남깁니다.
• 자신의 편곡을 연주할 수 있지만 다른 연주자에게 건넬 악보가 필요한 편곡자.
• 녹음을 학생을 위한 읽기 쉬운 연습 자료로 바꾸는 선생님.
• 커버부터 다른 피아니스트의 편곡까지, 악보로 출판된 적 없는 곡을 연구하는 연주자.

AI 채보와 손 채보

귀로 채보하는 것은 값진 기술이지만, 몇 분 분량의 다성 피아노를 손으로 적으면 몇 시간이 걸리기 일쑤고 사보 프로그램 입력이 더해집니다. 대부분의 음악가에게 병목은 음을 듣는 것이 아니라 모든 음을 적어 내려가는 순수한 작업량입니다.

AI 채보는 이 계산을 바꿉니다. 연주에 이미 가까운 악보에서 시작해 데이터 입력이 아니라 판단, 여기 옥타브를 고치고 저기 리듬을 단순화하는 일에 시간을 쓰게 됩니다. 페달이 많은 촘촘한 텍스처는 여전히 손질이 필요하고, 바로 그래서 Ivory는 AI 출력을 완성본으로 취급하는 대신 에디터와 비교 재생을 워크플로의 중심에 둡니다.

자주 묻는 질문

녹음을 종이 위로

피아노 녹음을 업로드하면 몇 분 안에 편집 가능한 악보가 됩니다. 원본과 비교해 검토하고 원하는 만큼 다듬은 뒤 PDF, MusicXML, MIDI로 내보내세요.