Video Digesting のバックアップの現在との差分(No.2)
- 追加された行はこの色です。
- 削除された行はこの色です。
#title(たいとる)
視聴者のアノテーションを利用した動画のインデックスおよびダイジェスト生成に関する研究
*概要 [#ha90ac1d]
ハードディスクレコーダーや同時に複数番組を録画可能な機器の登場により，蓄積される録画番組の量は飛躍的に増加しています．一方で，目的の動画を探すことが難しかったり，動画があまりに長いため，結局面倒になってしまって視聴せず，死蔵されてしまうことが多々あります．
こうした蓄積されるテレビ番組のダイジェスト生成に関しては多くの研究がなされており，字幕テキストを利用するもの，出演者らの声などを利用するもの，カメラの動きを利用するものなどありますが，こうした情報はテレビ番組を作成する側の情報のみを利用しており，視聴者が抜け落ちてしまっています．本プロジェクトでは，テレビ番組を視聴しながら番組実況チャットを利用してチャットを行う視聴者に注目し，この視聴者の喜びや悲しみなどの度合いを書き込まれるチャットから抽出することで，テレビ番組を楽しみの度合い，悲しみの度合いなどでダイジェスト化する手法を提案しています．
例えば，下のグラフは，あるアメリカンフットボールの試合におけるチャットの盛り上がりを示しており，実際に盛り上がるシーンが抽出出来ていることがわかります．この盛り上がりだけを利用してダイジェストを生成しても，十分視聴に耐えるものとなります．
例えば，下のグラフは，あるアメリカンフットボールの試合におけるチャットの盛り上がりを示しており，実際に盛り上がるシーンが抽出出来ていることがわかります．この盛り上がりだけを利用してダイジェストを生成しても，十分視聴に耐えるものとなります（著作権の問題があるため，絵に置き換えています）．
#ref(videodigest_graph.jpg,center,50%)
下の図は，システムのスクリーンショットです．画像の下部にコントロール部があり，ダイジェストとして抽出されているシーンが濃い色で現れています．
#ref(digest1.png,center)
上記のグラフはただ単にチャットの書き込み量だけを利用していましたが，喜びや悲しみを利用するとまた違ったダイジェストを作ることが出来ます．また，巨人対阪神や，鹿島対浦和のようにライバル関係にあるチーム同士の場合，巨人ファンが悲しんでいる部分でのダイジェストを生成すると，阪神ファンにとって面白いダイジェストになるというのも興味深い部分です．
さらに，この視聴者に基づく動画のダイジェスト生成の面白い点は，視聴者の特性に依存するという点です．当然素晴らしいプレーで盛り上がるのですが，例えば下の図ようにチアガールが登場するシーンも盛り上がったとして抽出されます（著作権の問題があるため，絵に置き換えています）．これは，2ちゃんねるの実況チャットに若い男性が多いということにも関係しているように思います．
#ref(videodigest_cheer.png,center)
現在，プロジェクトが停止してしまっていますので，興味のある方いらっしゃいましたら，一緒にやりませんか？
*Publications [#v5b2d3b8]
-宮森 恒, 中村聡史, 田中克己: 番組実況チャットを利用したテレビ番組のメタデータ自動抽出方式, 情報処理学会論文誌 データベース Vol. 46, No. SIG 18 (TOD 28), pp.59-71 (2005年12月).
-宮森 恒, 中村聡史, 田中克己: 番組実況チャットに基づく視聴者視点を利用した放送番組のビュー生成日本データベース学会Letters, Vol.4, No.1, pp.93-96, 2005/07
-Hisashi Miyamori, Satoshi Nakamura, Katsumi Tanaka: Generation of Views of TV Content Using TV Viewers' Perspectives Expressed in Live Chats on the Web, Proceedings of the 13th Annual ACM International Conference on Multimedia (ACM Multimedia2005), pp.853-861 (Nov. 2005). [16%]
-Hisashi Miyamori, Satoshi Nakamura and Katsumi Tanaka: Personal TV Viewing by Using Live Chat as Metadata, Proceedings of the 14th International World Wide Web Conference (WWW2005), pp.948-949 (May 2005).
-Hisashi Miyamori, Satoshi Nakamura and Katsumi Tanaka: Automatic indexing of broadcast content using its live chat on the web, The IEEE International Conference on Image Processing (ICIP 2005), Volume 3, 1248-1251 (Sep. 2005).
-宮森恒, 中村聡史, 田中克己: 番組実況チャットに基づく視聴者視点を利用した放送番組のビュー生成, DEWS2005, (2005年3月1日).
-宮森 恒, 中村聡史, 田中克己: 番組実況チャットを利用したテレビ番組の自動インデキシング, 画像の認識・理解シンポジウム(MIRU2005), pp.1121-1128, (2005年7月).
-宮森恒, 中村聡史, 田中克己: 番組実況チャットを利用した放送コンテンツの自動インデキシング, 電子情報通信学会 パターン認識・メディア理解研究会 (2005年2月24日).
-増永 良文, 中村 聡史. 日本のデータベース研究最前線 第30回TV視聴者のチャットから見たいシーンを特定する, 2007, DBマガジン. 翔泳社.
