AIきりたん(NEUTRINO)の使い方(REAPER→NEUTRINO 時々Musescore)

2022/11/08追記 REPAERでNeutrino使う場合は、PeloREAPERさん作成のスクリプトのほうが便利です。そちらの記事を参考にしてください。

REAPERでのNEUTRINO自動化ツール更新情報 : ペロリーパー | PeloREAPER
このページ はPeloReaper ExtensionのNEUTRINO自動化機能について、Extensionの更新で強化・修正された箇所を紹介するページです。 NEUTRINO本体については、下記の本家サイトをご覧下さい。 PeloReaper ExtensionのNEUTRINO自動化機能についてはこちらをご覧下さ い
peloreaper.blog.jp
No Image

本記事は公開からだいぶ経っています。古い情報の可能性があります

はじめに

こんにちは、まいまいです。

今回は先日話題になったAIきりたん(ソフト名称:NEUTRINO)の使い方を紹介していきます。

この記事ではこのブログのメインターゲットの皆様の使い慣れているREAPERをメインに使っていきたいと思います。

(きりたんを使いこなして私的YTPMVに使おう。)

そしてちょっと工夫すると人力ボカロを作るのにも活用できる(後述)

NEUTRINOとは

NEUTRINOとは、楽譜をもとに歌声を合成するソフトウェアです。NEUTRINOの歌声ライブラリの一種にきりたんがあり、UTAU版と区別するためにAIきりたんと呼ばれています。

とりあえずデモ音源を聴いてください。

楽譜(音符の位置と歌詞)の情報だけで生成してるとは思えないリアルな歌声ですよね。驚きです。

導入

2022/11/08 追記 配布サイトが変わっています。ファイル内容も過去版と異なる可能性があります

導入は実に簡単です。

https://www.vector.co.jp/soft/dl/winnt/art/se520895.html

NEUTRINO – Neural singing synthesizer
NEUTRINO はニューラルネットワークを用いた、フリーの歌声シンセサイザーです。 楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などのパラメータを推定し、推定したパラメータをもとに ボコーダーで歌声を合成します。
studio-neutrino.com
No Image

Vectorのサイトから 本体(Windows版)+歌声ライブラリ二種同梱版 をダウンロードし、ZIPを展開します。

次に展開したフォルダに入っているRun.batを実行します。

実行後outputフォルダの中に sample1_syn.wav ができていれば成功、ということです。

この時点で失敗していたらもう手がつけられないですね。。。日本語の入ったフォルダ名を避けるとか…?

次にREAPERでNEUTRINOに読み込ませる楽譜のファイルを作っていきます。

楽譜( MusicXML )の作成

公式の情報によると、楽譜ファイルの作成にはMuseScoreというソフトが推奨されているのですが、REAPERでも大部分は作成可能なので使い慣れたREAPERで主な作業をやっていきます。

(とある機能をREAPERが対応していないため後にMuseScoreを使うことになります。。。楽譜作成をREAPERで完結できればよかったんだけどな~)

まず、耳コピしましょう。このとき、歌詞1音あたり一つノートを置くようにしてください。

また、短い休符が出来ないように、前のノートを伸ばしちゃってください。 NEUTRINOでは、短い休符を作ると、その後の音符が発声されないことが あります。後の操作でちゃんと休符になるようにします。REAPER上で聞くと違和感を感じますがボーカル生成時に問題なくなります。だいたい8分休符より短い休符は前のノートを伸ばしてつなげちゃいましょう。

次に歌詞を入力します。

普段使用することは殆どないと思いますが、REAPERでは楽譜を作成することが出来ます。

MIDIエディタ画面を開いて、左上のト音記号のボタンを押すと

楽譜編集の画面になります。

音符を選択し、右クリックメニューから歌詞を選択。音符に対応する歌詞を入力して、エンターキーか「前へ」ボタンで次の音符に移動します。

グリッドを表示させて、ちゃんと歌詞を入力したい音符が選択されているか確認しながら入力しましょう。カーソル(上の画面だと青い棒)の位置に歌詞が入力されます。

これでREAPER上での操作は終わりです。楽譜のファイルを書き出しましょう。

MIDIエディタのメニューから楽譜のエクスポートをします。

MusicXML files(*.xml)の形式で保存します。

MuseScoreでの作業

先程MIDIを打ち込むときに、短い休符を作らずに、ノートを伸ばしてくっつけていました。NEUTRINOでは短い休符の代わりにブレス記号、という記号を使います。

https://musescore.org/ja

まずはMuseScoreをダウンロード、インストールします。

インストールが終わったら実行し、先程作った.xmlファイルを読み込みます。

なぜかエラーが出ましたが無視して読み込ませます。

なぜエラー吐いたのかはわかりませんが問題なく読み込まれてる?

読み込まれたらブレス記号を入れていきます。

まず、画面左側のパレットの「パレットを追加」ボタンを押し、ブレスと休止、を追加します。

次にブレスを入れたい箇所の前の音符を選択し、

ブレス記号をクリック。

このように入力されればオッケーです。

あとはこの作業を繰り返します。

ファイル->エクスポートから

非圧縮MusicXMLファイルを書き出します。

NEUTRINOで生成

先程書き出したMusicXMLファイルを、NEUTRINOのフォルダの中にある、Scoreフォルダの中のmusicxmlフォルダの中に入れます。

次にNEUTRINOのフォルダに入っているRun.batを編集してきます。

私はVScode使いましたがテキストエディタなら何でも良いです。

まず、6行目の set BASENAME= 以降を先程のMusicXMLファイルの名前に変更します。拡張子は除きます。

set NumThreads=の後は各自のパソコンのスペックによって変更します。つよつよPCの人は大きく、貧弱PCの人は小さく設定します。CPUのスレッド数と相談してください。

10 行目のset SUFFIX=の後はデフォルトのままでいいです。REAPERで書き出したXMLをそのまま読み込ませる場合(それも可能です)はxmlに変更します。

それを保存したら、run.batをダブルクリックで実行します。

それなりに時間がかかるのでゆっくり待ちます。

生成が終わったら、outputフォルダの中に〇〇_syn.wavが生成されます。

これで完成です。

気になるところがある場合は楽譜を修正するかVocalShifterとかで手直しすると良いでしょう。

今回の手順で作ってみた動画がこんな感じになります。

うん。いい感じです。


AIきりたんの細かい調整に役立つ情報のサイトがいくつかあるので紹介しておきます。

https://km4osm.com/neutrino-idea/

https://n3utrino.work/332/


記事冒頭で音MAD制作における人力ボカロに役立てることができる、と書きました。

具体的な方法は後日記事にでもしようと思うので簡潔に。

VocalShifterでAIきりたんの歌唱データを開き、ピッチをコピペすると人力がちょっと良くなるかもね、ってことです。


いかがでしたか!?

AIきりたんを使いこなしていい動画を作りましょう。

それでは。ノシ

コメントする?

メールアドレスが公開されることはありません。