Skip to main content

マルコフ行列の中の著者達 Part 2 (3): どの著者がもっとも人々に影響を与えたのか? 実験編


今回はどんな matrix が生成されたかについて述べる．

実装

今回以下の 4 つのプログラムを実装した．

  • Link_Vector_Extractor: 作家のリストベクトルを作成する
  • Graph_Extractor: 隣接行列を作成する
  • Page_Rank: PageRank の計算を行う
  • Remapper: PageRank 結果を作家のリストベクトルに map する

実験に利用した計算機環境は CPU: Intel(R) Core(TM) DUO CPU P8400, 2 Cores, OS: 64bit Linux 3.2.0.32, Kubuntu 12.04. である．プログラミング環境としては Python 2.7.3, Beautiful Soup 4.0.2, matlab R2006a, octave 3.2.4を用いた．

Adjacency matrix

Adjacency matrix がどんな形になっているのかを図 2, 3, 4 に示す．この図では隣接関係がある著者間に点がうたれている．
Figure 2: Adjacency matrices. Top to bottom: German authors in de.wikipedia.org, en.wikipedia.org, ja.wikipedia.org.

Figure 3: Adjacency matrices. Top to bottom: English authors in de.wikipedia.org, en.wikipedia.org, ja.wikipedia.org.
Figure 4: Adjacency matrices. Top to bottom: Japanese authors in de.wikipedia.org, en.wikipedia.org, ja.wikipedia.org.
German author の en.wikipedia.org に規則的なパターンが見られるが，これに関しては後に述べる template bias の可能性が高い(注1)．また，en.wikipedia.org はもう一つ変わった点として著者への平均リンク数が他に比較してずいぶん高いことがある．ここでのリンク数は Wikipedia 内での著者に分類されている Page にリンクがあるかないかであって，Page 中にある全てのリンク数ではない．例えば，同内容他言語Page へのリンクや，self link，著者ベクトルにないリンクは除外してある．したがって，著者でない人へのリンクが多くあってもそのリンクは数に入っていない．表 2 には matrix にサイズに関するデータを示した．

Table 2: Matrix size, non zero elements, and the average number of  links between authors. Wiki ``en'' means en.wikipedia.org.
これらの matrix は PageRank algorithm [1] に従って rank sink node を除いた．これに共なう link も除いたので，いわゆる dangling link (文献 [1] 2.7節)も除かれている．また，外への link しかない node も除いた．外向きのlink しかない node は PageRank では意味がないが，原論文 [1] では除かれていない．これは原論文では Webを対象にしていたため，外向きの link しかない node であるかどうかを判断することが困難であるからだと思われる．一方で我々の実験では全ての page の規模自体が小さいので これを判断することが可能である．このリンクを除くかどうかの違いはnormalization 部分に出るのだが，normalization はPageRank 値よりも行列の性質を改善するものであり，また PageRank の絶対値は相対値に比較してそんなに重要ではない．我々にとっては，誰の影響力が他の誰かよりも高いかが重要であって，PageRank 絶対値にはあまり興味がない．したがって，normalization の値の違いは我々の目的としてはあまり影響がないと考えられる．これは PageRank の原論文でもそのように考えられている．

この結果縮小された matrix の大きさとその rank を表 3 に示す．

Figure 3: Adjacency matrices: original size, reduced size, and its rank.

次回はようやく Wikipedia 的に誰が重要な著者かの結果である．

注1: この記事を連載していた当時(2012-12-29) 友人の Joerg M. より指摘がありこの箇所を更新した．
Labels:

Comments

Post a Comment

Popular posts from this blog

共有メモリによるプロセス間通信

Unix の共有メモリを使ったプロセス間通信について調べて実験をしてみた．対象は1つのホスト上での複数のプロセスである．ネット上でいくつか例題はないかと探したが，どうも良い例となるコードが見当たらなかった．結局はある解説記事と，Stack Overflow の議論と，man page を見て作ってみたものになったので，例をここに置くのも有用かと考え，この記事を書く．(もしかしたら探し方が悪くて良いコード例をみつけられなかっただけかもしれない．) mmap を使うかどうかという話がいくつもでていたが，POSIX の方向としては，shmem_open と mmap を使うという方向があるということだったので，それを信じてその形での実装を試してみた． 基本的なコードの流れは次のようになる． 共有メモリ領域を1つのプロセスが shm_open() を使って作成する．その際に，プロセス間で共通の文字列を識別子(``identifier'')とする．(Linux ではこれが /dev/shm/identifier のように見える．) 共有メモリ領域を mmap() でメモリにマップする．共有メモリポインター (shared_ptr)が得られる． shared_ptr を使って複数のプロセスで通信をする． 利用終了後は munmap() をつかってマップを消す． 共有メモリオブジェクトを shm_unlink() によって消す． 以下に示すプログラムは，server と client の2つのプロセスが共有メモリを使って通信をするものである．ここで，server プロセス数と client プロセス数は共に 1 を仮定する．server と client は自分の領域にしか値を書き込まないことで，ロックを避けている．互いに相手の値を読み，それよりも1大きい数を一定の期間ごとに自分の領域に書くという例題である．シンプルではあるが，共有メモリで通信をする基本としては十分なものだと思う．ソースコード(shmem_test.cpp)を以下に付加する．ソースコードのコメントにコンパイル方法とどのように利用するかを書いておく． /*   Shared memory inter process communication minimal exa
Post a Comment
Read more

複数の線を持つ線グラフを Jenkins の plot plugin で描く方法

私は毎夜のソフトウェアテストを自動化するために Jenkins というツールを使っています．今回は， valgrind  を使ってメモリーリークのテストを自動化することにし ました．その際，エラーの数の結果をグラフとして表そうと思って， Plot plugin  を使うことにしました． Plot plugin の例図からは，複数のデータラインを描くことができるのは明らかなのですが，どうやったらいいのかは参照のページや，例としてあった Perl script，plugin 中の help からは私にはよくわからなかったのです． ここで重要な考えは，それぞれのデータラインにはそれぞれの出力ファイルが必要ということでした．私はこれを誤解していました． 例として，ビルドの時に次の property データファイルを出力します．それぞれのファイルが1つのデータラインを表します． valgrind_trunk_result.definitely.property valgrind_trunk_result.indirectly.property valgrind_trunk_result.possibly.property それぞれのデータの中身は1行のデータ点です．たとえば， valgrind_trunk_result.definitely.property ファイルの中身は次のような1行 です． YVALUE=0 このファイルを ${WORKSPACE} ディレクトリ以下に出力します．ここで，" WORKSPACE " は jenkins が提供する環境変数です． 図1が私の plot plugin の設定を示しています．これは jenkins の config 画面です．3つの data series があって，それぞれにデータファイルがあります． Figure 1: Plot plugin configuration in Jenkins 図2が結果です．複数の線が描かれているのがわかります．(実際には 3 本の線がありますが，最初の線と2番目の線が同じデータなので，重ねって見えません．) Fugure 2: Plot data with multiple data lines
Post a Comment
Read more

ソニーのカメラ (α 5000) の 30 分のビデオ録画時間の制限を外す方法

私は Sony の Alpha 5000 を気にいって使っています。しかし一つだけ問題がありました。それはビデオの録画時間の制限が 30 分というものです。 今日，ちょっと気になって探したらこの制限を解除できることがわかりました。以下のビデオがその紹介です。 https://youtu.be/7cstA_PuRIg このビデオの作者によれば，ほとんどのソニーのカメラのビデオの制限はなくせるそうです。ただし私が試したのは，Alpha 5000 のみです。 手順 カメラ側 スイッチ On Menu -- Setup --- USB connection を MTP にする スイッチ Off and On USB ケーブルでカメラをコンピュータに接続する (以下接続したままにする) コンピュータ側でソフトのダウンロードとインストール (私は Windows 10 で試しました) 次の URL に行く https://sony-pmca.appspot.com/apps ただし，Internet Explorer か Safari のみサポートということでした。Chrome では上手くいきませんでした。私が試したのは Windows 10，Internet Explore 11 です。 注意事項: このサイトは Sony のサイトですが，ここにあるソフトウェアは Sony のものとは限らないので保証はありません。御自分でリスクを判断してご利用下さい。当方も何も責任を負えません。 上記の URL から，OpenMemories のページに移動する。 このページにある PMCADownloader plugin (PMCADownloader.msi) をダウンロードする PMCADownloader をインストールする 私はいちどここでページを閉じてもう一度 https://sony-pmca.appspot.com/apps を開き，OpenMemories のページに移動しました ここで log に Loading plugin Plugin loaded と表示されます。PMCADownloader の Install がされていない時には，``Plugin loaded'&#
Post a Comment
Read more