ブログだと!よろしくね

日記です└(┐┘◠‿◠└┌)┘

7/17渋谷 Unityでインタラクティブミュージックをやってみよう[レポ](1)

「Unityでインタラクティブミュージックをやってみよう」に参加してきましたよ!


明らかに分不相応な捨て身参加でした。
でもありえん好きで絶対手を出す分野でもあるので、勢いだけで行ってきました!


当日のスライドはこのレポートが出来上がるころには見れるようになっているはずなのでそちらも見るとよいです。
↓きてた



-概要-


勉強会名
Unityでインタラクティブミュージックをやってみよう


登壇者
小林慶祐さん


開催日
2018年 7月17日(火) 19:30~21:00


開催地
東京都渋谷区道玄坂1-9-5
渋谷スクエアA 11F


主催団体
サポーターズCoLabさん


参加料
無料



-インタラクティブミュージック-


インタラクティブミュージック!!と言っても、それには二つ種類があります。
本題に入る前にその違いをなんとなーく頭に入れておくといいかも。



横の遷移型



シーン遷移とともに2つの音源をクロスフェードさせる手法です。


FE(ファイアーエムブレム)の動画では、「序幕」「序幕~炎」の二曲が使われていて
「序幕」→「序幕~炎」→「序幕」の順番で二つの曲がクロスフェードしています。


サウンドトラックでの曲の尺は「序幕」は5:20、「序幕~炎」は5:19です。
つまり二つの曲は完全にシンクロしていることがわかります。


これが「横の遷移」です!拾った音源じゃ実装できないよ!
一見難しそうですが、思ったより易しい。


私はCubase上で曲を作り、メロディを抜いた音源Aとそのままの音源Bを別々に保存して、音源Aを流しっぱなしにしたまま音源Bのボリュームを然るべき部分で上げる方法で先輩が実装しました。それってただのフェードインでは



こちらの記事で詳しく説明されてます。





縦の遷移型


詳しい説明は上記の記事に任せるとして・・・
何かアクションを起こすと、それに応じてもとの音楽を変化させる手法です。
コレに関しては説明がとてもしづらい…

(ゼルダのブレスオブザワイルドの動画)
おそらくこういうことです。
NPCに近づくとアコーディオンの音が大きくなる演出。
あんまり分からなかったら、マリオワールドのヨッシー乗ったときのアレを思い出してほしい。


縦の遷移型には色々タイプが存在していて、
「曲自体がガラッと変わっても違和感がない(ように設計されている)」スプラトゥーンとか、
「プレイヤーの入力による音楽変化のレスポンスが素早く、より直感的に伝わる」リズム天国とか…多種多様です。


現実世界に迫るようなこの演出は映画音楽の雰囲気を思わせて、プレイヤーの没入感をより高めてくれます。
…没入しすぎてブレワイのプレイ時間100時間いきそうだわ…



というわけで、大きく分けて二種類あるという話でした。







前置きが終わったところで本題です!!


-どんな感じだった?-
さすが渋谷。駅でも道でも迷いました…


会場に着くと、小綺麗なオフィスのような空間が広がっていて、その先の通路の途中にある部屋に通されました。
始まる10分ぐらい前に着席してしまって退屈だったので、周りを見回してみると…社会人8割、学生2割といった感じ。
ああ、やっぱりやべえとこにきちまったんだ…と冷や汗を流していると勉強会が始まりました。



-内容-
小林さんが登壇。動画やスライドで説明を進めていきます。


話によると、Unity5.xでオーディオまわりが強化されたようです。
Unityを4月に入れた私にはピンと来ない話。でも、相当すごかったらしい。


調べてみると・・・
Unityはもともと、イントロ付きループや部分ループ、ダッキング・同時発音数制御・グループ単位での音量制御が不得意でした。
でもUnity5.xではSnapShotとAudioMixerの追加により、ダッキングとグループ音量制御が可能になった…という歴史がありました。
(専門用語はミドルウェアのところで解説するので調べず読み飛ばしておk)


まだ不得意なところ残ってるじゃん!!と思ったところで・・・




-ミドルウェア<なにそれ編>-
Unityのお話は一旦中断されて、ミドルウェアのお話に。


ミドルウェアとは、同時発音数、ループ、ダッキングの制御ができる開発システムのこと!
以前はサウンドデザイナーとプログラマーの二人が居ないとサウンドを弄ることができなかったけど、これの登場でサウンドデザイナー単独での作業が可能になった。


備忘録代わりに、用語の説明を。
同時発音数とは、そのままの意味で同時に発音できる音の数のこと。ゲームボーイは4で、DSは16、高い電子ピアノは128。
GBのゲームって、SE鳴らすと音楽しょぼくなるよね?天井にぶつかるとああなるみたい。
この同時発音数に制限をかけたりできる。同じ声優が同時に喋らないようにする、とかの処理に使われてるらしい。


ループ処理は、イントロを一度だけ流してそのあとは流さない…っていうよくある処理ができるようになります。


ダッキングは、セリフを喋るときは音量を下げる。という処理のことです。
お次はミドルウェアの種類のお話。


-ミドルウェア<種類編>-
なんと、タダで使えるミドルウェアが沢山あるとのこと!
いろいろ調べてみました。


CRI ADX LE
CRI ADXの無料版。そもそも、CRI自体がとにかく有名。
なにそれ…って思ったらCRIで画像検索するとよい。
UnityとCOCOS20X対応。日本語で書いてある(超重要)。
ファイル圧縮機能が優秀。16分の1にまで圧縮できる。
そのため携帯ゲームや、スマホゲーに使われていることが多い。
大きな欠点は、Windows専用なこと。
本も発売されている。

たけえよ!!!!!!!!!!!
お刺身・サーチしたら小金井キャンパスのほうの法政の図書館にあるという情報が手に入り、そのままお刺身・タスクキルで記憶から消しました

作業画面はこんな感じ。個人的にはすっごい使いやすかった。
「BGM2へはBGM1の2倍遷移しやすい」「イントロからBメロへ飛ぶ」とかの設定ができたので、プログラム弄れば縦の遷移すらできそう。
DAWにしか見えないけど、DAWの10倍は操作が簡単だから尻込みしてはいけない。



Wwise
読み方は「ワイズ」。「ニーアオートマタ」に採用された実績を持つ。
さすがに英語ばかりだけど、DAW(Nuendo)との連携が取れたりエフェクトプラグインを拡張できたりで将来性しかない。
さらにCRI ADXでできることは殆どできるとのこと。 
さらにさらにMacにもWinにもPSVRにも対応。おまけにUEにも対応。
しかしファイルサイズが大きくなるため、携帯ゲームには不向き。


あとは全然調べてないやつ↓備忘録代わりに。
Eliasでインタラクティブミュージック 体験編
FMODをつかってインタラクティブミュージック(1) オーサリング編
クロスフェードをUniRxとZenjectでサクッと書く


ミドルウェアのお話が終わって、ついに勉強会の主題のUnity実装のお話が始まります。



-Unityにクロスフェードを実装してみよう!-
実はこの勉強会は、「ネイティブプラグインやミドルウェアを使わずにインタラクティブミュージックを実装しよう」という副題がありました。
それに則ってUnity上でそのまま実装すると見た目は成功するのですが、一つ問題が起こるそうです。


我々がクロスフェードに抱くイメージは「※マスターボリュームがそのままで切り替わるクロスフェード」ですが、実際には「クロスフェードのクロス部分でマスターボリュームが下がってしまい、違和感の残るクロスフェード」ができてしまうそう。
※設定した最大音量のこと


この説明は勉強会のスライドを見た方が分かりやすいので、そちらを参照してください。
これを解決するためには、クロスフェードの直線を三角関数でカーブさせる方法をとるそうです。
数学の素養が無いものでこのあたりは本当にわからない…申し訳ない。



-おわり-
こういう感じの勉強会でした。交流会は始まると大量の酒が運ばれてきたので逃げてきました。
途中で動画を織り交ぜて説明を加えたりと「インタラクティブミュージック」の周知を図っている印象を受ける勉強会でした!おわり!恐ろしすぎてもういきたくねえ