Skip to main content

Python PIL experiment (a image comparison tool) continued


numpy and PIL

実際に画像に適用してみた所，1024x1024 の大きさの画像では処理に 6 秒程度，消費するメモリサイズは230MBなのだが，3840x2160の画像を利用すると，2.3GBのメモリと263秒の時間がかかることがわかった．この2つの解像度はpixel の数で言えば 8 倍程度で，メモリの処理が比例しているのは良いとしても，処理の時間がかかりすぎる．また，メモリの消費量自体も多すぎる．私はプログラム中で3つのバッファを使っているだけであり，1024x1024の場合には 10 MB程度，3840x2160 の場合には，72MB程度と思っていた．しかし，30倍ものメモリが消費されている．

プロファイルの結果，最内ループの tuple の生成と abs 関数にほとんどの時間がかかっていることがわかった．そこで，この部分を numpy で書くことにした．結果を以下に示す．Intel Core i7-2720 2.20GHz Linux(Kubuntu 12.10, kernel 3.5.0-27), Python 2.7 における結果である．

  • native  230MB, 6.0 seconds for 1024x1024 image
  • numpy 110 MB, 0.21 second for 1024x1024 image
  • native  2300MB, 263 seconds for 3840x2160 image
  • numpy 320 MB, 1.18 second for 3840x2160 image

計算速度は 30 倍から200倍に, メモリサイズも 50% から 15% の消費量と激減している．実は最初の実装では倍程度にしか高速化できなかったので，私は多少失望したのであるが，profile した結果，非0の要素をカウントするための sum関数がほとんどの時間を占めていることに気がついた．この sum 関数は pythonのbuildin のもので，おそらく numpy の data 構造から毎回値を取り出しては計算しているのであろう．これを numpy.sum に変更した所，ほどんどの時間を占めていた sum 関数の消費時間が profile ではほぼ 0 になり，200倍の高速化が達成された．これは matlabに似ている．(実際，numpy は matlab の Python portであるが，いかに性能を出すかでも似ているという意味である．)

ImgCompNumpy.py code
Labels:

Comments

Post a Comment

Popular posts from this blog

共有メモリによるプロセス間通信

Unix の共有メモリを使ったプロセス間通信について調べて実験をしてみた．対象は1つのホスト上での複数のプロセスである．ネット上でいくつか例題はないかと探したが，どうも良い例となるコードが見当たらなかった．結局はある解説記事と，Stack Overflow の議論と，man page を見て作ってみたものになったので，例をここに置くのも有用かと考え，この記事を書く．(もしかしたら探し方が悪くて良いコード例をみつけられなかっただけかもしれない．) mmap を使うかどうかという話がいくつもでていたが，POSIX の方向としては，shmem_open と mmap を使うという方向があるということだったので，それを信じてその形での実装を試してみた． 基本的なコードの流れは次のようになる． 共有メモリ領域を1つのプロセスが shm_open() を使って作成する．その際に，プロセス間で共通の文字列を識別子(``identifier'')とする．(Linux ではこれが /dev/shm/identifier のように見える．) 共有メモリ領域を mmap() でメモリにマップする．共有メモリポインター (shared_ptr)が得られる． shared_ptr を使って複数のプロセスで通信をする． 利用終了後は munmap() をつかってマップを消す． 共有メモリオブジェクトを shm_unlink() によって消す． 以下に示すプログラムは，server と client の2つのプロセスが共有メモリを使って通信をするものである．ここで，server プロセス数と client プロセス数は共に 1 を仮定する．server と client は自分の領域にしか値を書き込まないことで，ロックを避けている．互いに相手の値を読み，それよりも1大きい数を一定の期間ごとに自分の領域に書くという例題である．シンプルではあるが，共有メモリで通信をする基本としては十分なものだと思う．ソースコード(shmem_test.cpp)を以下に付加する．ソースコードのコメントにコンパイル方法とどのように利用するかを書いておく． /*   Shared memory inter process communication minimal exa...
Post a Comment
Read more

複数の線を持つ線グラフを Jenkins の plot plugin で描く方法

私は毎夜のソフトウェアテストを自動化するために Jenkins というツールを使っています．今回は， valgrind  を使ってメモリーリークのテストを自動化することにし ました．その際，エラーの数の結果をグラフとして表そうと思って， Plot plugin  を使うことにしました． Plot plugin の例図からは，複数のデータラインを描くことができるのは明らかなのですが，どうやったらいいのかは参照のページや，例としてあった Perl script，plugin 中の help からは私にはよくわからなかったのです． ここで重要な考えは，それぞれのデータラインにはそれぞれの出力ファイルが必要ということでした．私はこれを誤解していました． 例として，ビルドの時に次の property データファイルを出力します．それぞれのファイルが1つのデータラインを表します． valgrind_trunk_result.definitely.property valgrind_trunk_result.indirectly.property valgrind_trunk_result.possibly.property それぞれのデータの中身は1行のデータ点です．たとえば， valgrind_trunk_result.definitely.property ファイルの中身は次のような1行 です． YVALUE=0 このファイルを ${WORKSPACE} ディレクトリ以下に出力します．ここで，" WORKSPACE " は jenkins が提供する環境変数です． 図1が私の plot plugin の設定を示しています．これは jenkins の config 画面です．3つの data series があって，それぞれにデータファイルがあります． Figure 1: Plot plugin configuration in Jenkins 図2が結果です．複数の線が描かれているのがわかります．(実際には 3 本の線がありますが，最初の線と2番目の線が同じデータなので，重ねって見えません．) Fugure 2: Plot data with multiple data lines
Post a Comment
Read more

Easy Social Feed 6.6.5 を使うと Wordpress 6.7.2 の export 機能が働かない問題

概要 （2025-03-04) 問題： Wordpress 6.7.2 でコンテンツの file への export ができない。 原因： Easy Social Feed version 6.6.5 が enable の時に export が失敗する。 解決法： Easy Social Feed version 6.6.5 を disable する 詳細 先月のバックアップの時から，Wordpress 6.7.2 でコンテンツの file への tool -> export すると，ファイルに書くのではなく，browser に表示される。 図: Export に失敗した例。ファイルではなく，ブラウザのウィンドウに表示される。 ウィンドウに表示された内容をファイルに save しても import できないので Wordpress の build in の export/import ができない。Plugin を調べたところ，Easy Social Feed version 6.6.5 が enable の時にこれが起こることがわかった。disable することでこの問題はなくなる。
Post a Comment
Read more