Old: Ver.1 - 3: PTAMをLinux(Ubuntu)上のUSBカメラで動かそう

English, Casper Cartridges, kameda-lab.org 2010/11/23a, (2012/10/10)

概要

Ubuntu 10.04 LTS 日本語 Remix Live CDから興したUSBメモリでの実行環境で、 OpenCV 2.1.0 だけでなく PTAM も動かしてみましょう、というものです。

PTAM(r114, 2010/01/29版)の指示どおりにやっても上記の環境では微妙にコンパイルが通りません。しかもこちらの希望としてはノートPC(Panasonic CF-Y5とか)で動かしたかったりUSBカメラを使いたかったりする（授業とか出前とか）ので、今回手順をアップデートして、ついでに若干修正してみました。

以下の作業は「Ubuntu 10.04 LTS + OpenCV 2.1.0 on USB memory stick」が前提です。作業面倒くさそう、と思った人はメモリスティック実行環境を作る方が断然簡単なのでそちらをどうぞ。

動いた、動かなかった、どちらの情報でも歓迎します。（返事できるかどうか自信はありませんが）

準備

PTAM-linux-go_YYYYMMDD.tgzの中にPTAM(r114)を同梱してありますが、そのライセンスは必ず守ってください。また、作者のGeorg Kleinさんは頒布時にユーザ記帳を希望しているので、 PTAMのWebサイトに行って名前と所属とメールアドレスぐらいは書いてきてください（ページの末尾）。 (そこにライセンス条項も記述されています)

Install

どこかにPTAM-linux-go_YYYYMMDD.tgzを展開してください。下記のようになるはずです。

$ cd
$ tar xvfz PTAM-linux-go_YYYYMMDD.tgz

PTAM-linux-go/PTAM-r114-2010129.zip
PTAM-linux-go/PTAM-linux-go.bash
PTAM-linux-go/PTAM-linux-compileagain.bash
PTAM-linux-go/hack/libcvd/convolution.cc
PTAM-linux-go/hack/gvars3/serialize.h
PTAM-linux-go/hack/PTAM/PTAM-r114-linux.patch
PTAM-linux-go/hack/PTAM/README_PTAM-r114-linux-patch.txt
PTAM-linux-go/hack/PTAM/modified_files/Build/Linux/Makefile
PTAM-linux-go/hack/PTAM/modified_files/Build/Linux/VideoSource_Linux_OpenCV.cc
PTAM-linux-go/hack/PTAM/modified_files/CHANGELOG_kmd.txt
PTAM-linux-go/hack/PTAM/modified_files/CalibImage.cc
PTAM-linux-go/hack/PTAM/modified_files/CalibImage.h
PTAM-linux-go/hack/PTAM/modified_files/CameraCalibrator.cc
PTAM-linux-go/hack/PTAM/modified_files/EyeGame.cc
PTAM-linux-go/hack/PTAM/modified_files/System.cc
PTAM-linux-go/hack/PTAM/modified_files/Tracker.cc
PTAM-linux-go/hack/PTAM/modified_files/Tracker.h
PTAM-linux-go/hack/PTAM/modified_files/main.cc

この先は、Ubuntuにパッケージを入れる必要があるので、ルートのパスワードを知っている必要があります。
また、インターネット接続も必要です。
あと、インストール先はあなたのホーム直下の ./PTAM-work です。（嫌なら自分でスクリプト書き換えてね）

大丈夫ですか？では、あとは、このPTAM-linux-go ディレクトリに移動して、スクリプトを実行です。
(コメント以外を１行ずつ全部手打ちでも問題ありませんよ)
$ cd
$ cd PTAM-linux-go
$ bash ./PTAM-linux-go.bash

パッケージ導入のためにrootのパスワードを時々聞かれたりするかもしれませんし、[Y/n]で質問されたら全て"y"と答えてください。
あとは全部自動で最後まで行くはずです。
(Ubuntu 10.04LTSインストール初期状態ではrootにパスワードがついてないので途中では止まらないはず)
(もし万一途中でこけた時は、時間とリソースさえ気にならないのなら ./PTAM-work を一旦消して最初からどうぞ)

さて、あとは実行するのみです。
USBカメラは差し込みましたか？
用意できましたか？
まず最初に内部カメラパラメータの推定を行います。
$ cd
$ cd PTAM-work/PTAM/
$ ./CameraCalibrator [-coloron] {number|file|url}

- もし画面が見えずに真っ暗だったら、"-coloron" オプションを試してみてください。
- もしカメラが複数台接続されている場合は、数字を指定してください(0でデフォルト、1で２台目のカメラ、以下同様)
- ムービーファイルを指定すると、それを入力にします。
- ムービーを与えてくれる有効なURLを指定すると、それを入力にします。

同じディレクトリにあるcalib_pattern.pdfを(できれば固い紙に)印刷して、平たいところに置きましょう。
カメラで、格子模様がだいたい全体に入るように構えます。
（欠けてても可、】紙が画面の一部に小さくしか写ってない方が経験的にはまずいです）
（紙がインクとかでしわしわだと精度が出ませんよ！）
構えたら、GrabFrameをクリックします。
これを4枚以上行います。ちょっとずつ、僅かに向きを変えるのがポイントです。
溜まったら、Optimizeをクリックします。
計算が収束したら、Show Nextで全部画像を確認しましょう。
青い格子が上手に重なってなければやり直しです。
数値的には、黄色い字のメッセージの２行目のRMS pixel errorが0.5以下を狙ってください。
結果が良ければ、Saveをクリックして終了です。

いよいよ次はお待ちかねの本題。

$ ./PTAM [-coloron] [-lightoff] {number|file|url}

- もし画面が見えずに真っ暗だったら、"-coloron" オプションを試してみてください。
- もし４つ目玉が真っ黒だったら、"-lightoff" オプションを試してみてください。
- もしカメラが複数台接続されている場合は、数字を指定してください(0でデフォルト、1で２台目のカメラ、以下同様)
- ムービーファイルを指定すると、それを入力にします。
- ムービーを与えてくれる有効なURLを指定すると、それを入力にします。
スペースバーを１回叩くとオレンジの線が伸びるので、「カメラをスライドさせて」オレンジの線を伸ばしてください。
いい具合になったら、もう一度スペースバーを叩きます。
グリッドが落ち着いていれば成功です。
Draw AR OffをクリックしてDraw AR Onにして、目玉を表示してみましょう。
もしグリッドが落ち着かなければ、Resetをクリックしてやり直し。

成功したら、もう一度Draw AR Offにして、点群を周囲に増やすようにゆっくりカメラをまわして見ましょう。
感覚的には、カメラの向きをやさしく1/3ほど変えては数秒待ってる、ぐらいです。
上手に行けば、そのあたりで各色の点群がパッと増えます。
これを繰り返せばドンドン頑健になります(モデリングを狙った操作)。
ちなみに点を十分に増やして、もういいやと思ったら、容赦なくカメラを振り回してもOK(トラッキングのみを狙った操作)。

Some Tips

You still need to choose a "right" camera and "right" graphic card.
It should work with ordinally cameras (including many of Logicool cameras) and popular (perhaps cheap) graphic environment (such as Intel integrated chip).

Even in successful cases, you might need to try a couple of times before you can invoke PTAM window, probably because the program sometimes fails in getting image buffer from USB camera.

PC
[Good]
(So far as I tested, most of Desktop PC should be OK if you can boot it by USB)
o Panasonic CF-Y5
o Dell Dimension 9150
o Dell Inspiron 9400
o Dell Latitude 2100
o Fujitsu FMV ESPRIMO D5370
o Asus EeePC901
o SONY VAIO type-F VPCF128FJ
[Option needed]
o Panasonic CF-Y8 (-lightoff)
o Toshiba Dynabook SS RX2 (-lightoff)
o Dell Latitude E4300 (-lightoff)
[NG]
x Any of Mac Books
x Dell Inspiron 6000

Camera
[Good]
o Logicool V-U0010
o Logicool UBK45
o Logicool V-UAR38
o Logicool V-UBM46
o NetCowboy DC-NCP130
o V-Gear TalkCam 1.1
o Buffalo BWC-130H01
o Elecom UCAM-DLX3000B
[NG]
x V-Gear TalkCam Pro

独り言というか愚痴とかいろいろ。

詳細は配布物をみれば一目瞭然だったりしますが、もとのまま(2010/10/02ぐらい現在)だと
1. 微妙にlibcvdのコンパイルに失敗する
2. 微妙にgvars3のコンパイルに失敗する
3. libcvdなんて微妙なものを使うので、IEEE1394 cameraなんていうマニアックなカメラがいるか（まあ持ってますけど）
4. 古色蒼然としたV4Lのみ対応だったり(一応もとの状態で選べるけど)
5. nVidiaのグラボ（ないし上等？）でないと画面が真っ黒(黒画面)で暗闇でキャリブレーションするハメになったり
6. PTAMの４つの目が真っ黒だったり
等々、あまり幸せになれません。
(意外にネットにこういう問題が書かれてないのはどうして？みんな楽勝だった？ないしはこの程度でみんなlinux実行を諦めている？？)
(黒画面問題はPTAM本家のQ/AコーナーでGeorgさんが「ヒントあげるから自分でガンバレ」と質問者に答えてたりするし)
ここではこれらに全部対応してみました。
1. libcvd: なにゆえconvolution.ccで <cstdio> が抜けてるの？ (補完してくれるコンパイル環境があるのかなぁ）
2. gvars3: なにゆえserialize.hで <cstdio> が抜けてるの？（同文）
3. PTAM本家のQAに出ていたOpenCV対応ファイルをもらってきてさらに改造しました。
4. Arnaud GROSJEANさんに感謝！
5. glDrawPixels()の扱い、自分で書きましたがな。
6. ごめんなさい、私のグラボ環境が貧相なの、ということでGL_LIGHTINGを切れるようにしました。
最後の２つはコード書いたけど、だれか美しくC++で書き直してください。
私はにわかC++なので、Cっぽい書き方から抜け出せません。
(書き方が美しくないとは分かっているけど、でもどうすれば？？まあ動いたしいいか)
そういえばあちこち見ているときに、LD_LIBRARY_PATH通せ、というのを見かけることがありました。 rootになれるのなら、sudo ldconfigで済みますよ、お客さん。
そういえば真っ黒い画面が出るのをカメラのせいにしている記述を見かけました。市販の多くのUSBカメラ(logicool最高！)はyuv422コンパチブルなので、多くはカメラのせいじゃないよ。グラボが貧相な(非nVidiaな)自分の環境を恨みましょう。 (正確にはglDrawPixels()でGL_LUMINANCEが通せるかどうかなのでグラボだけの責任ではないですが) いずれにせよ、ここの方法で解決さ！
Trakmarkのコードとかもそのうちに載せたいな。

PTAM-linux-go/PTAM-linux-go.bash
下記で太字部分がroot権限の必要なところです。

#!/bin/bash
#
# A quick hack to compile PTAM (r114, 2010/01/29) on Ubuntu10.04LTS
# 
#    Many many thanks to Georg Klein
#                 and to Arnaud GROSJEAN
#
# 2010/10/12 Minor Bug Fixed, Patch of PTAM changed
# 2010/10/07 Released 
# 2010/10/02 start writing by Yoshinari Kameda, kameda[at]iit.tsukuba.ac.jp
#

targettopdir=$HOME/PTAM-work
pwdinfo=`pwd`

# OpenCV?
echo "--------------------------------------------------------------"
echo "Do you have OpenCV 2.1.0 ? If not, stop here and prepare that."
echo "(Pausing 10 seconds here)"
echo "--------------------------------------------------------------"
sleep 10

# You may need more?
# Consult "Ubuntu10.04LTS + OpenCV2.1.0 on USB" project by kameda 
echo "----------------------------------------------------------"
echo "You need liblapack-dev freeglut3-dev, and libdc1394-22-dev"
echo "Are you OK? (Pausing 10 seconds here)"
echo "-----------------------------------------------------------"
sleep 10
sudo apt-get install liblapack-dev freeglut3-dev libdc1394-22-dev

export CVS_RSH=ssh

mkdir -p $targettopdir

# TooN
echo "------------------------------------"
echo "Start compiling Toon in 3 seconds..."
echo "------------------------------------"
sleep 3
pushd $targettopdir
cvs -z3 -d:pserver:[email protected]:/sources/toon co -D "Mon May 11 16:29:26 BST 2009" TooN
cd TooN
./configure
sudo make install
popd

# libcvd
echo "--------------------------------------"
echo "Start compiling libcvd in 3 seconds..."
echo "--------------------------------------"
sleep 3
pushd $targettopdir
cvs -z3 -d:pserver:[email protected]:/sources/libcvd co -D "Mon May 11 16:29:26 BST 2009" libcvd
cd libcvd
mv cvd_src/convolution.cc cvd_src/convolution.cc-original
cp $pwdinfo/hack/libcvd/convolution.cc cvd_src/convolution.cc
export CXXFLAGS=-D_REENTRANT
./configure --without-ffmpeg
make
sudo make install
popd

# gvars3
echo "---------------------------------------"
echo "Start compiling gvars3 in 3 seconds ..."
echo "---------------------------------------"
sleep 3
pushd $targettopdir
cvs -z3 -d:pserver:[email protected]:/sources/libcvd co -D "Mon May 11 16:29:26 BST 2009" gvars3
cd gvars3
mv gvars3/serialize.h gvars3/serialize.h-original
cp $pwdinfo/hack/gvars3/serialize.h gvars3/serialize.h
./configure --disable-widgets
make
sudo make install
popd

# before you go further, re-arrange the dynamic libraries
sudo ldconfig

# PTAM main
echo "--------------------------------------"
echo "Start compiling PTAM in 10 seconds ..."
echo "YOU NEED TO AGREE WITH THEIR LICENSE !"
echo "--------------------------------------"
sleep 10
pushd $targettopdir
unzip $pwdinfo/PTAM-r114-2010129.zip
patch -p0 -d . < $pwdinfo/hack/PTAM/PTAM-r114-linux.patch
cd PTAM
cp Build/Linux/* .
make

# Tips at end
echo "----------------"
echo "Is the camera ready?"
echo "Let's go to $HOME/PTAM-work/PTAM "
echo "You need to first run ./CameraCalibrator"
echo "and save a camera config file."
echo "Then, you can enjoy ./PTAM !"
echo "----------------"

exit 0

亀田能成 (KAMEDA, Yoshinari) kameda[at]iit.tsukuba.ac.jp, kameda[at]ieee.org