ぷよ譜の自動収集に対する課題

PuyofuCaptureを使わせていただいて見えてきた、
動画認識による自動収集を行う際の課題について、自分用に整理。

・シリーズ毎にネクストの表示位置が違う
→フィールドとネクストをそれぞれ別々に設定できるようにする必要あり。
　ただ毎回それだと面倒なのでプリセット的なものも欲しい。

・ぷよの設置確定判定が難しい
→実際には、確定したときに「ぷるん」とするからそれがトリガーだけど、
　色識別では「ぷるん」を判定出来ない。
　「ぷよをツモる」「ぷよを消す」あたりが疑似トリガー。
　消すは簡単だけど、ツモるが厄介。
　何をもってツモったとするかが、「ネクストが変わったら」で疑似るしか思いつかない。

・ネクスト、画面上段は色々なエフェクトと被る
→ネクスト被りは「ぷよをツモる」の疑似条件の邪魔をする。
　上段(フィールド)被りは設置判定後の「ぷよの置き方」を判定する際に邪魔をする(被ると色が変わる)
　基本的に問題になるのは中盤以降。
　なので配ぷよのわかっているシリーズであれば、補間が出来ないことは無い？
　ただ、補間すると処理速度の懸念が出てくるので再生しながら収集の難度があがりそう。

とりあえず今見えてる課題はこれだけ。補間が現実的なら意外と目がありそうな感触。
補間としてやる必要がある内容は、
・配ぷよパターンの特定：8手で確定できるらしい。確定までは一切補間をしない？それとも候補を絞る？
後者は処理速度の懸念があるので基本前者？
・ネクストの先読み/比較：配ぷよパターンが分かれば、ネクストに来るべきぷよがわかるので、被っても補間できそう。
・想定フィールドの算出/比較：今のフィールド状況 + ツモぷよの組み合わせで到達可能なフィールドを算出。22パターン程度なので処理もそこまで重くない気がする
　ツモぷよの色が両方とも変わるケースはお手上げだけど、どっちかだけでも分かれば補間できそう。

あとは全自動は諦めて、半自動(設置を知らせるボタンを追加して設置判定をユーザに任せる等)にするとか。