誰かと呼吸を合わせて演奏する「合奏」は、一人では決して味わえない音楽の喜びの一つだろう。ところが近年、人の演奏のタイミングや音の強弱、クセなどを分析・判断してくれるAI技術が発展し、一人でも無人のピアノと合奏ができてしまうことが現実のものになりつつある。そんな夢の技術の開発を進めている、ヤマハの前澤陽あきらさんにお話をうかがった。

AIが人の演奏を予想して合奏してくれる、という理想

大学や大学院時代から、機械に音楽を理解させる研究を進めてきたという前澤さん。ヤマハに入社したあとも、楽曲のコードやテンポを解析できるアプリ、つまり機械が人間に代わって“耳コピ”をしてくれるシステムの開発に携わった。その後、今度は機械が演奏してくれることに関心が向いたという。
「私はバイオリンを弾くのですが、会社に入ると忙しくなり、今までの演奏仲間と時間を合わせる機会が少なくなりました。そんな時、例えば深夜に一人で演奏をしていても、隣にバンドメンバーがいるような気分が味わえればいいな、そんなことを考えていたんです」
そうした新たな課題も、それまでの研究の延長線上にあった。つまり、人間の演奏を機械に聴かせて学ばせ、その演奏がどういうものなのかを推定させることが肝となるからだ。人間がどんなテンポで、どんな強弱をつけて演奏しているかを理解し、次のフレーズに入るタイミングを予想することができれば、今度は機械がそれに対応して演奏をすることができる。そんな発想が、AIピアノの基本理念となっている。

AIピアノを使って時を超えた共演が現実に

前澤さんがまず成功させたのは、2016年に東京藝大との協業で行ったプロジェクト。「人工知能演奏システム」を活用したピアノが、ベルリン・フィル・シャルーンアンサンブルの弦楽奏者たちと、シューベルトのピアノ五重奏曲「鱒」（第4楽章、第5楽章）を生演奏したのだ。
「人工知能演奏システム」が、マイクとビデオカメラを用いて弦楽奏者たちの演奏や動きをとらえ、タイミングを合わせたピアノ演奏に成功した。しかも、ピアノの演奏データは、ロシアの巨匠リヒテルの生前の演奏を模して作成したもので、リヒテルとシャルーンアンサンブルの“時空を超えた共演”となったのだ。

関連ページ：ピアノの巨匠、リヒテルが東京・上野に甦る！？人工知能と人間が奏でるコンサートを開催

2019年には、カナダの鬼才、グレン・グールドの演奏が、AIによって“よみがえった”。前者のプロジェクトが、人間の演奏タイミングを察知してAIが合奏するシステムが軸となっていたのに対し、今回はグールドの過去の演奏をAIに100時間以上も学習させることによって、ピアノのタッチやテンポ感など、グールド風の表現を再現するという新たな課題をクリアした。前澤さんは「今までは、演奏データはあらかじめ作り込んでおく必要があったが、今度はAIが譜面を見て自分で考え、タイミングを合わせて演奏を生み出すことが可能になった」と話す。
このように、時を超えた豪華共演や、偉人の高度な演奏を再現させることに成功した一方、前澤さんは「AIピアノのゴールは、より多くの人に使っていただくこと」と語る。その試みは、2018年に体験イベントが行われた「Duet with YOO」というシステムや、2021年に公開された「プロジェクトセカイ・ピアノ」により、次々に実現へと向かっている。「Duet with YOO」は、『きらきら星』を弾くと、ピアノがその強弱や演奏の雰囲気を読み取り、その演奏にふさわしいアレンジの伴奏を付けてくれる。また、「プロジェクトセカイ・ピアノ」は、弾いたピアノに合わせて、様々な仮想の歌手が歌声を重ねてくれるというシステムだ。

さらに、ライブなどのステージで、AIピアノを活用する未来も期待されている。
「例えば、舞台上に浮かび上がらせたホログラムの動きに合わせて、アンサンブルをすることも可能になるかもしれない」と、前澤さんは話す。
また、これまで、ライブであらかじめ用意された音源を流しながらバンドが演奏する時は、ドラマーがメトロノームを聴きながらテンポを音源とそろえることが必要だったが、「人間の演奏を読み取って合わせてくれるAIを活用すれば、タイミングの主導権を人間に戻すという用途も考えられる」という。
ヤマハの人工知能合奏技術について
ヤマハのAIに関する取り組みついて

人気ピアニストよみぃさんとAIピアノがステージでコラボ

そんな、ステージでAIが活用される現場を目撃できる機会が間もなく訪れる。人気ピアニストでYouTuberのよみぃさんが、2022年6月から7月にかけて開催する「よみぃ Zepp Tour 2022 ～AIよみぃも大爆奏?!～」だ。
このライブの中で、よみぃさんがAIピアノと共演するコーナーが予定されている。よみぃさんは自身のYouTubeチャンネルで、前澤さんの開発したAIピアノと“知恵比べ”をする動画をアップしている。AIの可能性や楽しさを広める一方、システムの弱点を突いて前澤さんをハラハラさせることも。ステージでも、AIピアノの驚きの技術力や、予想しえないハプニングが展開されるかもしれない。前澤さんは「私もツアーに同行し、AIの活用を目の当たりにするのが楽しみ。シビアなライブをたくさんこなすことによって、より演奏者に歩み寄れたという感触を得たいですし、本当にアーティストが表現したいものを実現するお手伝いができるようなシステムを作って、検証する場になるのかなと期待しています」と話している。

■よみぃ Zepp Tour 2022 ～AIよみぃも大爆奏?!～

開催日：2022年
6月25日（土）Zepp Sapporo（北海道）
7月3日（日）Zepp Namba（大阪府）
7月9日（土）Zepp Nagoya（愛知県）
7月18日（月・祝）Zepp Haneda（東京都）
7月30日（土）Zepp Fukuoka（福岡県）
詳細はこちら