ツール改変記録

ソースを公開して下さっているPuyofuCaptureの改変を試みて諦めた記録

テストに使ってた動画だと8割程度の精度で収集出来るようになったけど
動画変えた途端精度がガタ落ちしたのでもう諦めて
やったことと諦めたことをやる気が復帰した時用にまとめ。

・キャプチャ範囲の変更：出来た。問題なし
・ネクネクキャプチャの追加：出来た。問題なし
・オジャマぷよの認識：出来た。問題なし
・設置確定の精度向上：向上は出来たが問題あり。諦め
・13段目対応：一部は出来た。残りは諦め

設置確定の精度向上：
・管理するぷよに「ツモぷよ」「ネクネク」追加
・ツモの確定条件を「ネクストが空」→ 「ネクストがネクネクに変化」へ変更
・ツモが確定した時点で取り得る22パターンの形を先読み
・設置確定条件を「差分算出」→「22パターンの中から検索」に変更
・保持するフィールド情報を「設置結果から動的生成」→「判定に使用したフィールド情報+検索結果の13段目」に変更
・初期ぷよの先行入力に対応
~~ここまで特定の動画では精度が向上~~
以下は諦めた問題
・背景が変わると色識別の精度が落ちる
→サンプリングし直してもネクストの背景色と合わずに精度が良くない
　→ネクスト用のサンプリング枠と背景ごとに使用するサンプリングを変更する仕組みが必要

・たまにツモの確定契機を逃す
→スペック上の問題でどうしようも無い。
　ツール自体が15~20fps。動画はものによるけど30fps/60fspなのでどうしてもコマ落ちは発生
　更に確定判定自体も調子が悪いと300ms程度かかってるので1P2P同時収集だとタイミングが重なったときに落ちやすい

・たまに22パターンの予測を誤る（主にオジャマぷよが絡む時)
→ツモ確定時には認識出来ないオジャマぷよが存在していることがある
　→いつなら確定という明確な基準がないため困難
　　やるとすると予告ぷよもキャプチャして振ってくるはずのぷよ数との整合性をチェック？

・たまに確定する配置を誤る
→主に連鎖後にエフェクトが被って実際とは違うフィールドを認識してしまう
　→普段は候補見つからない場合は次フレームへと判定を引き延ばすが、13段目における状態だと13段目に置かれたケースとして認識してしまう
　　→解決方法が思いつかない。13段目はあきらめるか13段目絡みは確定をギリギリまで引き延ばすとか？