Skip to main content

ビデオ字幕のタイミング作成の半自動化

概要


私はボランティア活動として誰もが無料で利用できる算数の解説のビデオの翻訳をしている．このビデオに字幕をつける作業に費やす時間が意外に多くて困っている．作業の流れ(ワークフロー)から，字幕作成時には既に音声の入ったビデオとそのスクリプトがあるので，これを使ってできるだけ自動で字幕を作成できないかと考えた．今回，タイミング作成のエンジンとして YouTube の transcript機能を使って，半自動で字幕タイミングを作成したところ，作業時間をある程度短縮することができた．YouTube のtranscript 機能では text フォーマットが入力となるので，srt ファイルを text にする filter を実装した．また，transcript 機能でタイミングを作成した場合，字幕に不自然な改行が入ることがある．そこでこれを除く機能も実装した．以前，13分のビデオの字幕のタイミング生成をした時，手動で 4 時間半程度かかったが，今回の方法でほぼ同じ長さのビデオの字幕タイミング作成を3時間弱程度に短縮することができた．今回作成したソフトウェアは new BSD license で公開しているので，誰でも自由に利用することができる．

字幕のタイミング作成の半自動化


私はボランティア活動で「どうして分数の割り算はひっくりかえしてかけるのか」とか「そもそも分数で割るというのはどういう意味か? 3で割るという意味ならわかるが，2/3 で割るとはどういう意味なのか?」のような算数の解説のビデオ作成をしている．その際に字幕も作成するのだが，このタイミングの作成にかなりの時間をとられている．例えば，13分のビデオの字幕タイミング作成に4時間半程度かかったことがある．

しかし，私には字幕のスクリプトがあり，そして音声も作成している．今回，これを使ってできるだけ字幕のタイミング生成を自動化できないかをSundayResearch のテーマとした．

私の友人の一人に音楽の mp3 ファイルをフーリエ解析し，そこからリズムをとり出すというソフトを作った人がいる．その人はダンスダンスレボリューションというゲームのマットを持っているのだが，ゲーム機は持っていないので，それで遊ぶために作ってみたということである．最初は字幕作成には音声の解析をすべきかと漠然と考えていてその人と議論をしたのであるが，その人と相談しているうちに，もしかしたらそういうソフトがフリーであるかもしれないから探してみては，ということになった．また，私の場合，日本語に対応している必要がある．

字幕作成のソフトを探したところ，YouTube の字幕作成を利用するというソフトがあった．多国語も自動で作成するというこのソフトは，YouTube の字幕作成機能を使って，音声のある言語の字幕を作成し，その字幕を Google translate で他の言語にするというものであった．

そこで実験として YouTube の字幕作成を試してみたのだが，私の音声では利用できるような精度の字幕の出力は得られなかった．しかし，タイミングだけ使えればいいので，スクリプトの文字列と自動生成された文字列に対して，
  • エラーがあるとした上でできるだけ一致する文字列を探せないか
  • 一致部分が得られた時に，その距離を最小化する最適化問題として考えられないか
という考えが議論の中から出てきた．しかし，実際に自動作成した字幕を見てみると，正解している文字列というものが少なく，この考えば難しいと断念した．

音声解析は面倒だろうということでできるだけしたくないと困っていた．私としては問題をできるだけ楽に，時間をかけずに解ける方法を考えるのも重要である．ただし，どうしてもしなくてはならないとなれば仕方ない．

昼休みに友人との議論を続けていたら (SundayResearch では，議論は主に昼休みやパーティなどでしか行なわない)，私の場合，字幕作成が必要なのではなく，字幕のタイミング作成だけが必要であることに気がついた．そこで，字幕作成ではなく，字幕のタイミング作成で検索すると，YouTube にはtranscript 機能というものがあることがわかった．これは音声の text を与えると，音声からタイミングを生成して text を字幕にするというものである．

この入力は基本的にテキストファイル + αのもので，とりあえず手で srt ファイルから入力ファイルを作成してみた．するとかなり良い結果が得られた．ただ，出力された字幕ファイル中では勝手に改行が入ってしまうので，これを除く必要があった．そして，最終的には字幕の微調整は amara または camtasia で行うことにした．

つまり，私のワークフローにこの方法を組込むために必要なのは次の2つの簡単なフィルターである．
  • srt file から text 形式に変換するフィルター
  • srt file の字幕の改行を除くフィルター

実装


これらのフィルターを python で実装し，誰でも使えるように new BSD license で以下のページで公開している．


実験と結果


全てを手動で作業していた時にある 13 分のビデオの字幕作成には 4 時間 27分かかったが，同程度の長さ，似た内容のビデオの字幕をこの方法で作成したところ，2 時間 37 分でできた．1時間半以上の短縮はまずますの結果であると考えている．

今後


今後のビデオ作成にこの方法を利用していく予定である．

字幕のタイミング作成を更に時間短縮できる(楽な)方法はないかひき続き模索している．

Labels:

Comments

Post a Comment

Popular posts from this blog

共有メモリによるプロセス間通信

Unix の共有メモリを使ったプロセス間通信について調べて実験をしてみた．対象は1つのホスト上での複数のプロセスである．ネット上でいくつか例題はないかと探したが，どうも良い例となるコードが見当たらなかった．結局はある解説記事と，Stack Overflow の議論と，man page を見て作ってみたものになったので，例をここに置くのも有用かと考え，この記事を書く．(もしかしたら探し方が悪くて良いコード例をみつけられなかっただけかもしれない．) mmap を使うかどうかという話がいくつもでていたが，POSIX の方向としては，shmem_open と mmap を使うという方向があるということだったので，それを信じてその形での実装を試してみた． 基本的なコードの流れは次のようになる． 共有メモリ領域を1つのプロセスが shm_open() を使って作成する．その際に，プロセス間で共通の文字列を識別子(``identifier'')とする．(Linux ではこれが /dev/shm/identifier のように見える．) 共有メモリ領域を mmap() でメモリにマップする．共有メモリポインター (shared_ptr)が得られる． shared_ptr を使って複数のプロセスで通信をする． 利用終了後は munmap() をつかってマップを消す． 共有メモリオブジェクトを shm_unlink() によって消す． 以下に示すプログラムは，server と client の2つのプロセスが共有メモリを使って通信をするものである．ここで，server プロセス数と client プロセス数は共に 1 を仮定する．server と client は自分の領域にしか値を書き込まないことで，ロックを避けている．互いに相手の値を読み，それよりも1大きい数を一定の期間ごとに自分の領域に書くという例題である．シンプルではあるが，共有メモリで通信をする基本としては十分なものだと思う．ソースコード(shmem_test.cpp)を以下に付加する．ソースコードのコメントにコンパイル方法とどのように利用するかを書いておく． /*   Shared memory inter process communication minimal exa...
Post a Comment
Read more

複数の線を持つ線グラフを Jenkins の plot plugin で描く方法

私は毎夜のソフトウェアテストを自動化するために Jenkins というツールを使っています．今回は， valgrind  を使ってメモリーリークのテストを自動化することにし ました．その際，エラーの数の結果をグラフとして表そうと思って， Plot plugin  を使うことにしました． Plot plugin の例図からは，複数のデータラインを描くことができるのは明らかなのですが，どうやったらいいのかは参照のページや，例としてあった Perl script，plugin 中の help からは私にはよくわからなかったのです． ここで重要な考えは，それぞれのデータラインにはそれぞれの出力ファイルが必要ということでした．私はこれを誤解していました． 例として，ビルドの時に次の property データファイルを出力します．それぞれのファイルが1つのデータラインを表します． valgrind_trunk_result.definitely.property valgrind_trunk_result.indirectly.property valgrind_trunk_result.possibly.property それぞれのデータの中身は1行のデータ点です．たとえば， valgrind_trunk_result.definitely.property ファイルの中身は次のような1行 です． YVALUE=0 このファイルを ${WORKSPACE} ディレクトリ以下に出力します．ここで，" WORKSPACE " は jenkins が提供する環境変数です． 図1が私の plot plugin の設定を示しています．これは jenkins の config 画面です．3つの data series があって，それぞれにデータファイルがあります． Figure 1: Plot plugin configuration in Jenkins 図2が結果です．複数の線が描かれているのがわかります．(実際には 3 本の線がありますが，最初の線と2番目の線が同じデータなので，重ねって見えません．) Fugure 2: Plot data with multiple data lines
Post a Comment
Read more

ソニーのカメラ (α 5000) の 30 分のビデオ録画時間の制限を外す方法

私は Sony の Alpha 5000 を気にいって使っています。しかし一つだけ問題がありました。それはビデオの録画時間の制限が 30 分というものです。 今日，ちょっと気になって探したらこの制限を解除できることがわかりました。以下のビデオがその紹介です。 https://youtu.be/7cstA_PuRIg このビデオの作者によれば，ほとんどのソニーのカメラのビデオの制限はなくせるそうです。ただし私が試したのは，Alpha 5000 のみです。 手順 カメラ側 スイッチ On Menu -- Setup --- USB connection を MTP にする スイッチ Off and On USB ケーブルでカメラをコンピュータに接続する (以下接続したままにする) コンピュータ側でソフトのダウンロードとインストール (私は Windows 10 で試しました) 次の URL に行く https://sony-pmca.appspot.com/apps ただし，Internet Explorer か Safari のみサポートということでした。Chrome では上手くいきませんでした。私が試したのは Windows 10，Internet Explore 11 です。 注意事項: このサイトは Sony のサイトですが，ここにあるソフトウェアは Sony のものとは限らないので保証はありません。御自分でリスクを判断してご利用下さい。当方も何も責任を負えません。 上記の URL から，OpenMemories のページに移動する。 このページにある PMCADownloader plugin (PMCADownloader.msi) をダウンロードする PMCADownloader をインストールする 私はいちどここでページを閉じてもう一度 https://sony-pmca.appspot.com/apps を開き，OpenMemories のページに移動しました ここで log に Loading plugin Plugin loaded と表示されます。PMCADownloader の Install がされていない時には，``Plugin loaded'...
Post a Comment
Read more