【THETA V】で撮った空間音声付きのVR映像をAdobe Premiere Pro CC 2018で編集書き出し、YouTubeにアップするまで

THETA Vで撮った空間音声付きのVR映像を編集してYouTubeにアップするまでのやり方をメモがてら残しておきます。

THETA Vで撮った空間音声付きのVR映像を編集して書き出し、空間音声を付けた状態でYouTubeにアップしてYouTubeで空間音声が再生できるのかどうかを試してみました。

結果としてはできます。なおかつ手順としてはそこまで複雑なものではありません。
以下やり方をつらつらと書いておきます。
ただし明らかに方向の明瞭感が欠けているので後日内容をアップデートするかもです。

まずTHETA Vで撮ったデータをPCなりMacにコピーしておきます。

映像としてはこの状態のものですね。

RICOH THETAアプリケーションで変換します。

THETAアプリケーションのダウンロードはこちらから
https://theta360.com/ja/support/download/

基本アプリってやつですね。

RICOH THETAアプリケーションを立ち上げて、ウインドウ内にTHETA Vで撮った映像ファイルをドロップします。
なおこの時に「天頂補正あり」のチェックは外してください。
開始をクリックして変換されます。

エクイレクタングラー形式に変換されます。

この変換されたファイルの空間音声を他のアプリケーションでも使えるように更に変換します。

先ほどのダウンロードページのアドレスから「YouTube空間音声4K動画変換アプリ」をダウンロードしてください。

YouTube空間音声4K動画変換アプリをインストールしたら先ほどのRICOH THETAアプリケーションで変換した映像ファイルを「RICOH THETA Movie Converter」にドロップします。
保存先とファイル名を指定して変換します。

アプリケーションを直接開いてもダメなので必ずアプリのアイコンにドロップで。リコーさんここらへんもうちょいなんとかしてください。

で、RICOH THETAアプリケーションで変換→YouTube空間音声4K動画変換アプリで変換したファイルを使ってAdobe Premiere Pro CC 2018で編集します。

Adobe Premiere Pro CC 2018で空間音声付きVR動画を編集

とりあえず適当に新規でプロジェクトを開いてVR動画を読み込みます。

読み込んだVR動画(クリップ)を右クリックして「クリップに最適な新規シーケンス」を選択します。

新しくシーケンスの作成、それにVR動画が配置されます。空間音声で録った音声4chが確認できます。

オーディオレイヤーの幅を広げても4ch確認できますね。

なお映像の方をVRで確認したい場合はプレビューを右クリックで「VR ビデオ」→「有効」を選択します。

ここでは有効にしないで編集作業します。
とりあえず簡単に切って貼ってくらいの編集をします。

編集したVR映像を書き出しします。

「ファイル」→「書き出し」→「メディア」を選択

ビデオの書き出し設定ですが、「ビデオコーデック」でH.264を選択すると4Kの書き出しができません。幅2000ピクセルまでになります。
なので4Kで書き出したい場合は他のコーデックを選択する必要があります。ここではProRes422を選択します。

「基本ビデオ設定」は「ソースに合わせる」をクリックすればひとまずは大丈夫かと思います。

肝心のオーディオですが、
「オーディオコーデック」は「非圧縮」。
「サンプルレート」48000Hz　
「サンプルサイズ」16 ビット
「オーディオチャンネル」は「ステレオ」から「4チャンネル」に変更してください。

これで「書き出し」をクリックして書き出しを実行してください。

次に書き出した映像ファイルにメタデータを付けます。

「Spatial Media Metadata Injector」というアプリを使用します。

この作業をする事でYouTubeにアップした時VR映像として認識されます。

「Spatial Media Metadata Injector」のダウンロードはこちらから
https://support.google.com/youtube/answer/6178631?hl=ja

「ステップ 2: アップロードの準備」をクリック→「Mac」もしくは「Windows」の文字列をクリックするとアプリケーションがダウンロードされます。

ダウンロードしたアプリケーションを開くとこのウインドウが出てきます。

「Open」をクリックして、先ほどPremiere Proから書き出したVR動画を選択します。

「My video is spherical(360)」と「My video has spatial audio(ambiX ACN/SN3D format)」にチェックを入れて「Inject metadata」をクリック。
保存場所とファイル名を決めてSaveします。

このメタデータを入れたVR動画をYouTubeにアップロードします。

アップロード自体は特別な事はしません。普通にアップロードするだけです。

アップロードしてすぐは普通の2D映像となりますが、しばらくするとVR映像が確認できるようになります。

なのですが、音声は普通のモノラル状態のものです。
モノラル状態の音声から空間音声になるまでには時間がかかります。だいたい50分くらいですかね。アップロード終わってから1時間もすれば空間音声の確認はできます。

以上が一連の流れとなります。
参考になりますと幸いです。

以下気になるところなど

・THETA Vで撮った空間音声付きのVR映像はとりあえずPC・Macの「RICOH THETA」アプリで再生確認すれば空間音声は確認できます。
ただし「RICOH THETA」アプリでしか確認できないしそれをYouTubeにアップしてもモノラルにしかなりません。
なので「YouTube空間音声4K動画変換アプリ」で変換するのですが、その変換したファイルは「RICOH THETA」アプリで空間音声は再生されずモノラルにしかなりません。

・時々YouTubeで空間音声を再生すると水平方向右45度くらいに音がずれる時があります。
再読み込みすればとりあえずは直るようです。

追記：別売りマイクで撮ったやつは45°ずれてるみたいですね。

・YouTubeにアップすると結構画質が落ちますが、音質も結構落ちている感じがします。
くっきりした感じはなくなっています。

・音声4chありますけどこれは前後左右に別れているのではなく、「全方位のミックスした音」「前後方向」「左右方向」「上下方向」と別れているようです。
で、これでどうやって前後左右を区別しているのか僕にはさっぱりわかりません。とりあえずわかった事と言えば前後左右はかなり曖昧で正面の音は結構わかるって事くらいです。
なので空間音声を活かしたい場合はなるべく正面の音を中心にして時々左右後ろからの音をアクセントにするなどで録った方が良さそうです。方向がはっきりわかるほどの明瞭感は無いです。

・というより「YouTube空間音声4K動画変換アプリ」で変換したものそのままをYouTubeにアップロードした時よりも、Premiere Proで編集して書き出した方が方向の指向性なくなっているんですが何か設定足りないのかなぁ？

聞いてると、前後のチャンネルは生きているけど左右方向が生きていない感じがします。

THETA V専用の3Dマイクロフォンがありますのでそれで録った場合はまた違うのかもしれませんが試していないのでわかりません。

追記：メーカーさんに問い合わせてみたのですが、THETA Vで撮ったのを編集して空間音声でアップロードできるの？という問合せのざっくりとした返信としては「出来ない」との事です。

「全方位のミックスした音」「前後方向」「左右方向」「上下方向」とトラックが別れているのまではわかったので後はメタデータの付け方の問題なのかなと思っていたのですが今のところどうしようもないですね。

THETA Vは動画撮影はともかく写真撮影で使うには注意してください。

本体のシャッターボタンを押して撮影するには問題無いのですが、iPhoneなどWi-Fi経由でシャッターを切ると大体1秒後れで撮影します。
スナップ写真を撮る感覚でiPhoneから撮影すると結構ひどい事になります。
対策としては写真撮影時に出るシャッター音はオフにしない事（シャッター音鳴るまで動かない）なるべく本体のボタンで対応する事。
ケーブルスイッチを使用したら大丈夫なのかな？

なので手軽に写真撮影が主になるのであれば、THETA S、もしくはSCをお勧めします。THETA SはiPhoneからのシャッターでも後れは発生しません。