[AfterEffects Script]コンポジションマーカーの情報を取得

最近は仕事の片手間に(というか仕事で使うためにも)ofxAEという、AfterEffectsで作ったアニメーションをopenFrameworksで動かすためのライブラリを作っています。
(Contributor超募集してます!)

作ってる目的の一つにはデザイナとプログラマの分業がよりうまくいくようにするというものがあるので、
そのためにデザイナが書ける簡易スクリプトみたいなものを実装したい。
例えばあるフレームから別のフレームにジャンプしたり、ループ範囲を指定したり、ある条件でテクスチャを変更したり、など。

時間軸上に配置できる、長さを持つ、文字が入力できる、といった点からコンポジションマーカーがまさにうってつけなんだけど・・・

なんとAfterEffectsのスクリプトではコンポジションマーカーにはアクセス出来ないらしい。なんてこった。
After Effects Script Reference - MarkerValue Object

結論から言うと、できました。
もちろん素直な方法ではないですが、そんなに行儀の悪い方法でもないと思います。

  • スクリプトからレイヤーマーカーにはアクセスできる。
  • コンポジションを選択した状態で「ファイル」->「複数アイテムから新規コンポジション」を使うとマーカーの情報を保ったままレイヤーとして新規コンポジションに配置される。
    (CompItem.add(CompItem)ではマーカーの情報が落ちてしまう)
  • よって、対象のコンポジションを選択状態にして「複数アイテムから新規コンポジション」を実行し、そこに配置されたレイヤーからマーカーを取得すればよい。

というわけでできたコードがこちらです。

/*
AfterEffectsでコンポジションマーカーを取得するスクリプト
2013.10.31 by nariakiiwatani
MIT License - http://sourceforge.jp/projects/opensource/wiki/licenses%2FMIT_license
*/

// マーカーの情報を取得したいコンポジションを渡す
function getCompMarker(comp) {

// プロジェクトに含まれるコンポジションのリストを取得
function getCompAll(proj) {
	var ret = [];
	for(var i = 1; i <= proj.numItems; ++i) {
		if(proj.item(i) instanceof CompItem) {
			ret.push(proj.item(i));
		}
	}
	return ret;
}
// 配列の差分を取得
function getArrayDiff(a, b) {
	var ret = [];
	for(var _a in a) {
		var found = false;
		for(var _b in b) {
			if(a[_a] === b[_b]) {
				found = true;
				break;
			}
		}
		if(!found) {
			ret.push(a[_a]);
		}
	}
	var tmp = a;
	a = b;
	b = tmp;
	for(var _a in a) {
		var found = false;
		for(var _b in b) {
			if(a[_a] === b[_b]) {
				found = true;
				break;
			}
		}
		if(!found) {
			ret.push(a[_a]);
		}
	}
	return ret;
}

// プロジェクトウィンドウの選択情報を操作するので、操作前の状態を保存しておく
var selected = app.project.selection;
var selection = [];
for(var i = 0; i < selected.length; ++i) {
	selection.push(selected[i].selected);
	selected[i].selected = false;
}

// ここから処理の本体
comp.selected = true;	// 書き出し対象のコンポジションを選択状態にする
// 「複数アイテムから新規コンポジション」はプロジェクトウィンドウにフォーカスしていないと使えないので強制的にアクティブにする
app.project.showWindow(false);
app.project.showWindow(true);

var allComps = getCompAll(app.project);	// コマンド実行前のコンポジションのリスト
app.executeCommand(2796);	// 「複数アイテムから新規コンポジション」を実行
var added = getArrayDiff(getCompAll(app.project), allComps)[0];	// コマンド実行によって追加されたコンポジションを探す
var marker = added.layer(1).marker;	// これが欲しかったマーカー!

// ここから後片付け
added.remove();	// 増やしたコンポジションを削除
comp.selected = false;	// 選択状態を解除
for(var i = 0; i < selected.length; ++i) {	// スクリプト実行前の選択状態に戻す
	selected[i].selected = selection[i];
}
// マーカー情報を返す
return marker;
}

getCompMarkerに取得したいCompItemを渡してやればマーカーのPropertyObjectが返ってきます。

これで俄然ofxAEの開発が楽しくなってきました。

参考サイト。ありがとうございます!

AEP Project – CommandID
After Effects Script Reference

jit.gl.pixでフルスクリーンブラー

今までjit.genはGPUを使ってくれているものと思い込んでいた…。
GLSLを使うにはjit.gl.pixを使わなくちゃいけなかったのね。
jit.genでブラーを実装したときの重さで気付くべきだったなぁ。

ということでjit.gl.pixで改めてブラーを実装しました。
速さが段違い。

video_blur_glsl

jit.genでマウス位置に円を描く

今日はちょっと軽めに。
jit.pwindowのクリックした位置に楕円を描きます。

jit.genでcodebox非使用(パッチングで頑張る)の練習のつもりで作りました。
今まではコーディングに頼りすぎてて、じゃあなんでMaxなのってなりそうだったので。

今回は操作用のjit.pwindowで出力(jit.windowへの入力)をモニタするようにしてます。
むしろなぜ今までそうしてなかったのか。

mouse_ball

jit.genでフルスクリーンブラー

ビデオエフェクトの定番(?)ブラーフィルタです。
にじみ度合いをuv幅で指定します。
内部では、描画する点を中心にuv*2の範囲にある画素の平均色を描画する処理をしてます。

かなーりCPU食うのね…。まあしょうがないか…。
若干のがっかりを隠せませんが、とりあえず公開します。

ふたつのflonumは0.01くらいまでにしといた方が良いと思います。
片方が0だとある程度攻められますが。

video_blur

jit.pwindowにマウスで矩形を描画

選択した範囲にだけエフェクトをかけるとかそういう用途に使えるかなーと思いまして。

操作用のjit.pwindow上でのマウスイベントを取得して、
ボタンを押したときの座標を基準にxyそれぞれ0~1に正規化して矩形範囲を計算します。
(押した瞬間の座標だけ特別扱いする処理をchangeとgateでやっているのだけど、もっときれいな方法がある気がする)

で、jit.genに矩形の情報を渡して描画して、
ついでにjit.addで元動画と重ねて完成。

mouse_rect

ボタンを放した瞬間も何かトリガーとってやったほうが使いやすいかも。
実際使うときにたぶんやる。

【Windows】「ファイル名を指定して実行」を使ったアプリランチャー

よく使うアプリケーションをできるだけ少ない手順で実行するために。

 

僕はこれで、例えばchでGoogle Chromeが、ssでスクリーンショットツールが、colでカラーピッカーが起動するようにしてます。

手順は以下。

  1. よく使うアプリのショートカットを短い名前で作成してどこかのフォルダにまとめる
  2. 環境変数でパスを通す
  3. Windows+Rから爽やかに実行

ほんとこれだけなんですが、以下Tips。

  • フルネームのショートカットも置いておくと、名前を忘れた時にも起動できる。
  • ショートカットのプロパティの「リンク先」で引数が渡せるので
    同じアプリでも引数違いで複数置いておける。
  • ショートカットフォルダ自体へのショートカットを置いておくと、追加や変更に便利。
  • 短い名前を設定するときはすでに使われてる名前かどうかをチェックしてから。

レッツ華麗ライフ!

jit.genでglTexSubImage2D的なもの

Genがかなり強力そうなので、5,6年ぶりにMaxを再開してみる。
練習がてらいくつか簡単なパッチを作ってアップするのを始めてみる。
一日ひとつとはいかないまでも、続いたらいいな…。

最近個人的には音より映像の方をよく触るので、まずはjitterからはじめていこうと思う。

とりあえずテクスチャの矩形切り出しをやってみた。
video_uv
UV分割数と使用インデックスで指定する方法と、
UVオフセットと幅で指定する方法とを用意した。(サブパッチみてね)

入力がビデオでも静止画でも同じように書けることに地味に感動しつつ。

昔と勝手が違うところがいろいろあって最初は手間取ったけど、
ちょっと触ればやっぱり簡単に作れてすごいソフトだなーと改めて思う。

プログラマな僕としてはGenの導入がかなりMaxをパワーアップさせてくれた感があるので
作品制作に使えるレベルまで継続したい。と今は思っている。

タマふぃるた~

昨日は日曜日だったのでこんなものを作りました。

ビデオカメラからの入力画像をリアルタイム解析して、ある程度丸いものが見つかったらパカっと開けて中でふにふに動いてくれます。

以下技術的な話です。

やってることは至って単純で、OpenCvでカメラ入力画像から輪郭抽出をして、その中で円形に近い領域に対して上半分のピクセルを上にずらして、空いたところにアニメーションを表示しているものです。

ある領域が円形に近いかどうかの判定は以下の2つの条件で行いました。

  • 領域矩形の縦横比が1に近い
  • 領域矩形との面積比がpi/4(=正方形に内接する円)に近い

誤検知を狙って作られたようなひねくれオブジェクトでなければ、大体これで丸いものを見つけられるようです。

ただ、みかんが意外と横に長かったり、環境とスレッショルドの兼ね合いによっては検出される輪郭が大きかったり小さかったりするようで、結構パラメータには余裕をもたせた方が良いかも知れません。

僕の身の周りのものだと、縦横比は3:2くらいまで、面積比は0.675から0.875くらいまであたりの設定で良い感じに検出されてくれました。

例えば電球とか、瓶や缶とかだと理想的なので検出されやすいと思います。

ところで、こういう値のリアルタイム調整にはofxParamEditが便利なんで使ってください。(宣伝)

以下ソースです。(抜粋)

(ofxOpenCvを使ってます)

// 輪郭抽出時のパラメータ(適当に初期化してください)
float area_min_;
float area_max_;
int area_count_max_;
int gray_threshold_;

// 丸いかどうかの判定に使用するパラメータ(適当に初期化してください)
struct BlobDetect {
	float aspect_ratio_;
	float area_ratio_min_;
	float area_ratio_max_;
} blob_detect_;

ofPixels buf_;	// カメラ入力画像データ
ofxCvColorImage cv_color_;
ofxCvGrayscaleImage cv_gray_;
ofxCvContourFinder contour_;
ofxCvContourFinder contour_inv_;
vector<ofxCvBlob*> valid_blobs_;	// 有効な領域だけ保持しとく
Animation anime_;	// ふにふにアニメーション

void update()
{
	// カメラ画像をcvImageに読み込み
	cv_color_.setFromPixels(buf_.getPixels(), buf_.getWidth(), buf_.getHeight());
	// グレースケール変換
	cv_gray_ = cv_color_;
	// 二値化
	cv_gray_.threshold(gray_threshold_);
	// 輪郭抽出
	contour_.findContours(cv_gray_, area_min_, area_max_, area_count_max_, false);

	// 逆に二値化して再度チェック
	cv_gray_ = cv_color_;
	cv_gray_.threshold(gray_threshold_, true);
	contour_inv_.findContours(cv_gray_, area_min_, area_max_, area_count_max_, false);

	// 丸い輪郭だけ抽出
	valid_blobs_.clear();
	for(int i = 0; i < contour_.blobs.size(); ++i) {
		if(isValidBlob(contour_.blobs[i])) {
			valid_blobs_.push_back(&contour_.blobs[i]);
		}
	}
	for(int i = 0; i < contour_inv_.blobs.size(); ++i) {
		if(isValidBlob(contour_inv_.blobs[i])) {
			valid_blobs_.push_back(&contour_inv_.blobs[i]);
		}
	}

	// パカってする
	ofPixelsRef pix = cv_color_.getPixelsRef();
	for(vector<ofxCvBlob*>::iterator it = valid_blobs_.begin(); it != valid_blobs_.end(); ++it) {
		const ofRectangle& rect = (*it)->boundingRect;
		for(int x = rect.x; x < rect.x+rect.width; ++x) {
			for(int y = rect.y; y < rect.y+rect.height/2; ++y) {
				if(y-rect.height/2 < 0) {
					continue;
				}
				pix.setColor(x,y-rect.height/2, pix.getColor(x,y));
				pix.setColor(x,y, ofColor(0,0,0,0));
			}
		}
	}
	// テクスチャ更新
	cv_color_.updateTexture();
}

// その領域が丸いかどうかの判定
bool isValidBlob(ofxCvBlob& blob)
{
	// 縦横比
	const ofRectangle& rect = blob.boundingRect;
	if(rect.width < rect.height) {
		if(rect.height/rect.width > blob_detect_.aspect_ratio_) {
			return false;
		}
	}
	else {
		if(rect.width/rect.height > blob_detect_.aspect_ratio_) {
			return false;
		}
	}
	// 面積
	float area_ratio = blob.area/(rect.width*rect.height);
	if(area_ratio > blob_detect_.area_ratio_max_ || area_ratio < blob_detect_.area_ratio_min_) {
		return false;
	}
	return true;
}

void draw()
{
	ofPushMatrix();
	ofPushStyle();
	cv_color_.draw(0,0);
	for(vector<ofxCvBlob*>::iterator it = valid_blobs_.begin(); it != valid_blobs_.end(); ++it) {
		const ofRectangle& rect = (*it)->boundingRect;
		anime_.draw(rect.x, rect.y, rect.width, rect.height/2);
	}
	ofPopStyle();
	ofPopMatrix();
}

ちなみに、画像をパカっと切り取るところはシェーダーを使うとフレームバッファを消費することになるので、可搬性を考慮してCPUでやりましたが、あんまり気持ちよくはないのでうまい方法があれば教えてください。

Lazy.h

Kinectとかのハードウェアからとってきた値を使うような処理をしていると、値の細かなブレが歓迎されない状況が多いので、ブレを吸収するためのテンプレートクラスを作ってみました。

Lazy.h on gist

組み上げたアプリへの導入が簡単になるよう、=で代入して右辺値で取り出すっていうシンプルな使い方にしていますので、目的の値の宣言をLazy<>で囲むだけで導入できます。

実際、すでに作った処理に対して組み込む作業を自分でもやってますが、かなり楽ちんです。

例えばfloatならLazy<float>、oFでofPointならLazy<ofPoint>にすればOK。

コンストラクタの第一引数か、もしくはsetSize関数でバッファの大きさを指定してやれば、それだけでブレ補正してくれるはずです。この値が大きいほど補正が強くなります。

以下軽く注意。

  1. 左辺値としては=演算子しか実装してないので、それ以外の使い方をしてるところがあればコンパイルエラーがでます。適切に処理してあげてください。
  2. setSize(unsigned int), clear(), reset(const T&)という関数がもともと定義してある場合、おそらく意味が変わっている上にコンパイル時にエラーとならないので、適切に処理してください。
    ※Tは<>内で指定した型
  3. コンストラクタの意味が変わっているので、そこはチェックしてください。
  4. テンプレートなのでどんなクラスでも使えますが、=演算子、+演算子、/(float)演算子が(適切に)実装されていることが必要です。

 

ちなみに、細かい設定はできませんがアニメーションにも使用できます。

以下のコードは0から1までの値を10分割補間して出力します。
※whlieの条件が環境によってはヤバそうですが、サンプルってことでご容赦を。

Lazy<float> value(10);
value = 0;
while(value < 1.0f) {
	printf("%f\n", value);
	value = 1.0f;
}