Kinect for Windows SDK Betaがでたんで、ちょいと試してみた。

うちの環境は、iMac 27のVM Ware Fusionの上にWindows 7 x64。動くかな？

先日、購入したXBox 360 4GB Kinectには電源ケーブルは付属していないので、事前に、Microsoft Storeから調達済。

SDKをダウンロードして、インストールまでは、さくさく。

電源ケーブルを接続して、KinectをiMac 27に接続すると、「Windowsに接続」か「Macに接続」の選択のダイアログがでて、「Windowsに接続」。Windows 7でのドライバのインストールが進む。これは、モータ、Audio、Cameraの3回出る。

Kinect上の緑のLEDもちゃんと点滅。デバイスマネージャにも、Microsoft Kinectとして、ちゃんと、モータ、Audio、Cameraの3つが表示される。

お、行ける？

行けませんでした。

ランタイムのInitializeで失敗ってなります。

まぁ、SDKのドキュメントに、

You cannot run applications in a virtual machine, because the Microsoft Kinect drivers and this SDK Beta must be installed on the computer that is running the application.

てな、記述があるのは知ってたんで、期待はしてなかったんだけどね。

でも、ここまで動いてるから将来的には動くかも。。。

VM Ware Fusion上のWindows 7は諦めて、Boot campで再起動。

Boot campの方はあっさり動きました。

さらっと、SDKを読んだ感じでは、

ランタイムの配布は禁止。ユーザーはSDKをインストールしなくちゃいけない。
SDKは営利目的のアプリに使っちゃダメ。作ったアプリは公開してもOK。ソースコードの配布もOK。

C++のライブラリとManagedのライブラリの2種。ドライバはx64OSでも動くけど、ライブラリはx86だから、作れるアプリはx86のみ。

ファンのコントロールはなしだけど、首振りモータのアクセスは可能。でもあんまり無茶したら壊れるからね。

カラーイメージの取得、Depthバッファ（距離イメージ）の取得が可能。Depthバッファ16ビットの下位3ビットに人体領域のSegmentation結果が入る。3ビットだから7人まで（そのAPI的には）検知可能だけど、2人までねってな記載もある。Depthの単位はmm。
カラーはRGBかYUV。

1.2メートルから3.5メートルの距離が検知可能。

Skelton Trackingは、手首足首とその先まで。位置だけで、ひねりはなさそう。顔のひねりもなし。指もなし。床の検知と鉛直方向の検知もあるっぽい。全身認識のみで、上半身認識のモードはなし。

Kinect Hackを見てると、Skelton Trackingには初期化のポーズが必須だったけど、ドキュメントにはそのあたりの記載は一切なし。実際テストプログラムでも初期化のポーズなしに、Skeltonが取れてる。

一応、取得のたびにFrame番号がとれるし、必ず違うフレームが取れることが保証されるっぽい。

ゼスチャー検知に関するサポートは一切なし。

データはポーリングするか、準備ができたときのイベントを受けるか。まぁアプリ書くならイベントの方が楽だろうな。

オーディオ関連は異様にたくさんの機能がありそう。

Speech Recongitionは既存のMicrosoft Speech Platformと代わりはなさそう。

Programming Guideに書かれていない関数が、Kinect SDK Referenceというchmにいっぱい記載がある。けど、chmの方は自走生成なのか、解説はいまいち。

まだまだいっぱいあるけど、まだちゃんと読んでないし、ドキュメントに書かれていることがどれくらい正確なのかもいまいち不明。ただ、予想よりも、高機能。

DepthBufferは、320×240のサイズって記載されているところもあれば、640x480Pixel も可能って書かれている部分もあって、どれが本当かよくわからん。Managedの方で640×480を指定したら、あっさりエラーを返された。Depthの単位がmmって書いてあるけど、どこまで正確なのかも、試してないし。画面を見る限り、結構ちらついてるんで、それなりにノイズが乗っているっぽい。

ジェスチャー関連が無いのと、上半身認識が無いから、実際、Windowsのアプリケーションを書くにはちょっと弱い。マウス操作関連はシェル操作関連のジェスチャくらいいれてくれるかと思ったけど。まぁやっぱり画像処理の研究用なんだろうな。商用SDKの公開に期待。

個人的には、Microphone Arrayで何ができるのかちょっと興味あり。このSDKでMicrosoft Speechがブームになったりは、、、しないか。。

まぁライブラリとしては、低レベルすぎるので、上位レイヤをちゃんと組み上げないとアプリとしてしんどいかな。

CV関連の研究用だったら、これだと、いっぱいいろんなことができるんだろうな。今まではカメラ画像を取得するのに、DirectShowとか使って、すんごく面倒なことやってたけど、これだと、あっさり取れるもんな。OpenCVとの組み合わせたライブラリとか出てくるかも。

いろいろ実験して、検証して、ドキュメントをもっともっと充実させると、いろいろ楽しいかと。