ちーす！今回は「音声から日本語＋英語のダブル字幕をつける方法」を解説するぞ！
※[21.6.5追記]※
最新バージョンv3.3.6を触ったので、多言語版(支援版)に合わせて書きなおしたぜ！
※[20.9.1追記]※
PCスペックが低い人は、この記事で紹介する方法ではなく以下の記事の方法で字幕を付ける方がオススメ！
この記事で紹介する方法は、俺がMixer(配信サイト)を見ていた時、配信画面にダブル字幕を表示している日本人配信者が居たので、どうやっているのか気になって調べた結果、初めて知った方法だ！
コメントを日英翻訳するBOTは有名だけど配信の音声自体を日本語＋英語の字幕へ翻訳できるなんて…驚きの技術じゃないか…！？
（音声から直接「日＋英のW字幕」を生成している配信や動画ってまだほとんど無いから、皆にもこの素晴らしい技術を知ってもらいたくて紹介することにした！）
★音声認識→翻訳→字幕生成には、「UDトーク」と「ゆかりねっとコネクター」という無料ソフトを使うぞ！
※後者はサービス開始から10ヵ月目のソフトなのでまだ知名度が低い。
★この記事で紹介するPCソフト「ゆかりねっとコネクター」は、音声認識を「UDトーク」というスマホアプリに任せることで誤変換が少ない字幕生成を可能にしているらしいぜ。
例えば、身近な音声認識としてYouTubeの字幕生成機能があるけど、あれは「BGM＋音声」の状態から「音声」を抽出して字幕に変換するよな。
だから、BGMが無い動画だとしっかり日本語字幕がつくのに、BGM付きの動画では字幕機能が使い物にならなかったりするわけだ…。
一方、エミュレータ上で扱うスマホアプリ「UDトーク」の音声認識は、PCのマイク入力だけをそのまま文字に変換してくれるので、誤変換がめっちゃ少ない。
「UDトーク＋ゆかりねっとコネクター」の組み合わせで実現できる高精度のリアルタイム音声翻訳機能は本当に画期的だぜ。
★さらに、翻訳を切って「自動的に日本語字幕を付けてくれるソフト」として使ってもYouTubeの字幕生成機能よりはるかに高性能なんだ…！
実際に使ってみたら間違いなく技術の進歩に驚くぞ！！
(Mildomの配信者募集で不合格だった俺だけど、懲りずにMildomと同じ方針の海外発配信サイト「NimoTV」に応募中だから、受かったらこの同時翻訳技術を使って、海外勢とも楽しく話すような配信がしたい！)
詳細は「続きを読む」から読んでみてくれ！！！
◇どうやって導入したか？
【導入時の必読URL】
色々ググったけど、上記の記事が一番シンプルで分かりやすかった！！！
リンク先をよく読めば、機械音痴でも100%導入できると思う。
(※「BlueStacks」をPCに入れるなら、BlueStacks内に必ずavastなどのスマホ用アンチウイルスソフトも入れておこう)
詳しい導入方法は参考URLを見てもらうとして、この記事ではマイク設定のやり方とか、実際の画面のスクショなど、細かい部分を補足していくぞ。
【DL必須ソフトへのリンク】
・ゆかりコネクター
・BlueStacks(Androidエミュレーター)
スマホ用の音声認識アプリをPC上で扱うため、BlueStacksが必要になる。
UDトーク本体はBlueStacks内のGooglePlayストアで検索してDLする形だ。
◇「UDトーク(スマホアプリ)」マイクの設定
起動して名前と言語を設定したら、↑の画面になる。
「いますぐトークを公開する」を選ぼう。
この画面で右上の「招待する」を選ぶと、招待コードを打ち込むためのウィンドウが出るぜ。
出てきた小窓に、ゆかりねっとコネクターの[▼接続]タブ内にある「招待用ユーザーID」と書いてある数字を入力したら、次はPC側のマイク設定もチェックしておこう！
UDトークはPC側で「入力デバイス」に登録されているマイクを録音に使うので、声がアプリに認識されない時はサウンド設定が原因だな！
◇「ゆかりねっとコネクター(PC用ソフト)」
[Connector]フォルダを開いた後、[Machan_YukarinatteConnector]を実行すればソフトが起動する。
UDトーク側で招待用ユーザーIDの入力を済ませていれば、接続先一覧にUDトークで設定した名前が表示されるはずだ。
表示された名前をダブルクリックすれば、「ゆかりねっとコネクター」と「UDトーク」の接続が完了するぞ！
・日本語字幕だけ表示したい時は、翻訳 [0 - 母国語のみ]を選ぼう。
・英語字幕だけ表示したい時は、翻訳 [1 - 翻訳のみ]を選ぼう。
・日本語字幕＋英語字幕を表示したい時は、[2 - 母国語・翻訳 両方]を選ぼう！
★背景色はOBSの映像フィルター「クロマキー」機能を使えば透明にできる。
★起動時、毎回ゆかりねっとコネクター側で[▼接続]から接続先ユーザー名をダブルクリックする必要があるので注意だ！
★無料版UDトークは最大連続使用時間が30分なので、さっきまで使えていたのに突然文字が表示されなくなったりしたら、UDトークを再起動してみよう。
★OBSの「テキスト」機能に字幕をのせる場合は[制作者のnote]を参考にすればOK！！
ただ、ウェブソケットプラグイン導入のやり方だけ分かりづらかったので補足するぜ。
※web socket導入方法の変更点を2021.4.25追記修正
(1)まず→GitHubのDL用リンクからWindows向けZipを分かりやすい場所にDLし解凍しよう。
(ここからは、DLしたフォルダを表示しながら、横でOBS自体の保存先フォルダも開くと作業が早い)
(2)DLしたフォルダの[data]→[obs-plugins]内にある[obs-websocket]フォルダを切り取り、OBS本体保存先[obs-studio]→[data]→[obs-plugins]フォルダの中に貼り付ける。
(3)DLしたフォルダの[obs-plugins]→[64bit]内にある2つのファイルを全部切り取り、OBS本体保存先[obs-studio]→[obs-plugins]→[64bit]フォルダの中に貼り付ける。
(4)DLしたフォルダの[obs-plugins]→[bin]→[64bit]内にある[imageformats]フォルダを切り取り、OBS本体保存先[obs-studio]→[bin]→[64bit]フォルダの中に貼り付ける。
※俺の場合は1回インストール版で導入に失敗してからzipで導入する展開になったため、もしかしたらフォルダ構成がややこしいことになっているかも。
これでOBSを起動すれば、上部ツールバーの「ツール」部に「websocketサーバー設定」が表示されているはず！
あとはnoteに書いてある通りに設定しよう。
設定終了後、ゆかりねっとコネクター側の[▼OBS転送]内にある「OBSに接続」ボタンを押してから、UDトーク上で「タップして話す」をONにして喋ればOBSに字幕テキストが映るはずだぞ。
もし映らない場合は、ゆかりねっとコネクター側で[▼接続]からユーザー名をダブルクリックしなおすか、OBS側でテキストを削除→同じ名前で作り直せば解決すると思う。
※「音声認識への接続(ユーザー名ダブルクリック)」と「OBSに接続」ボタンは、ゆかりねっとコネクターを起動するたびに手動でONにしないといけない。忘れずにな！
◇まとめと感想
★以前から「YouTubeの自動字幕機能がYouTube以外のサイトでも使えたら良いのに」と思っていたんだけど、まさにその需要を満たすのが「UDトーク」＆「ゆかりねっとコネクター」だったぜ！
俺の姉貴はよく「動画編集において字幕付けは1番の重労働」だと言っている。
でも、UDトーク＆ゆかりねっとコネクターを使えば、話すだけで日本語字幕と英語字幕をつけられて超便利！！！
配信者のみならず、自分で編集したゲーム実況動画をYoutubeに投稿している人は絶対に導入すべきソフトだぞ！
誤変換は起こり得るけど、字幕付け作業を省けるメリットが大きすぎる…！！
★ただし、音声認識を前提としているため、喋り方が早口だったり舌足らずだったりすれば認識精度は大きく落ちてしまう。
一語一語、聞き取りやすい喋り方を心掛ける必要があるな。
俺は文節で区切ってはっきり喋る方だから、特に問題なく音声→字幕に変換されていた。
★声の音量が小さくて認識してもらえない場合は、前述通りPCのマイクプロパティをいじることで認識精度が上がるはずだ。
★こんな神技術、いままで全く知らなかったので、初めてMixer上で見た時は本当に度肝を抜かれたぜ。
素敵なソフトの存在を見つけられて良かった！
ちゃんと使い方を覚えれば、twichなどの配信サイト上で海外の人と楽しく交流するのも夢じゃないな！！
ちなみに、日英翻訳機能を使う場合、ソフト運営者がGoogleへ翻訳利用料を払う必要があるらしく、強制ではないものの運営費を支援してほしいと書かれている。
(運営費が公開されていたけど、善意の支援を含めてもまだ赤字の月が多いようだ)
※そういうわけなので、日本語字幕の生成だけが目的なら、英語翻訳をOFFにしておこう。
