跳至主要內容

ai 動作 控制:用一段參考影片,決定照片怎麼動

ai 動作 控制,處理的不是「寫動作」,而是「搬動作」:一段參考影片決定怎麼動,一張照片決定動的是誰。這篇講參考影片的六個可用條件、源照片要對上什麼,以及幅度多大的動作還撐得住。

作者:WowReel Team閱讀時間 15 分鐘
ai 動作 控制:用一段參考影片,決定照片怎麼動
本頁內容

# ai 動作 控制:用一段參考影片,決定照片怎麼動

講到 ai 動作 控制,多數人以為它是在「描述動作」,實際上它是在「搬運動作」。你給它一段影片,它從那段影片裡取出動作軌跡,再套到你提供的照片上:動作的來源是影片,動的是誰由照片決定。

這個分工決定了整件事的難點。動作不像提示詞那樣可以隨時改一個字,它是一段已經拍好的畫面;照片也不是隨時能換,它決定模型要維持的那張臉。兩邊對不上,成品就會有一種「動作對、人卻怪」的感覺。

這篇處理三件事:參考影片要滿足什麼、源照片要對上什麼,以及動作幅度到哪裡還撐得住。

動作從哪裡來

三種來源,各有各的麻煩。

自己拍。 用手機拍一段 5 到 10 秒的動作,是最可控的做法:角度、距離、光線都在你手上。缺點是要有人幫你拍,而且動作最好一次做完。

素材庫。 現成的動作片段,優點是動作乾淨、背景單純;缺點是你不知道原始拍攝的機位與焦距,跟你的照片對上的機會比較低。

現成短片。 從公開影片裡取一段,動作最自然,但構圖通常不是為了搬運動作而拍的——人物可能只佔畫面一角,或一直有別的東西擋住身體。

不論哪一種,判斷標準都一樣:這段影片的動作,能不能一眼看懂。而能不能看懂,看的是下面六件事。

參考影片的六個可用條件

檢查項目為什麼重要不合格時怎麼補
單人入框兩個人以上,模型不知道要把哪一組動作套到照片上換一段,或把畫面裁到只剩一個人
全身入框只拍到腰,動作就沒有下半身可以取換全身片段,或改用上半身景別的照片
手臂不遮住軀幹遮住的部分沒有動作資料,模型只能猜換一段手臂張開的動作,或換機位
影格率至少 24影格太稀,動作中間的變化會斷換高影格率的來源,或改用更慢的動作
長度 5 或 10 秒太長會被截斷,太短動作不完整取動作最完整的那 5 秒
機位單純鏡頭在動,動作的座標系也跟著動取固定機位的那一段,先穩定再使用

這六項裡,最常被忽略的是「手臂不遮住軀幹」。手一橫過身體,那一塊就同時有兩層動作資訊,模型分不出哪一層該往前、哪一層該往後,於是手掌會融合、手指會多出來。

單人、全身入框、手臂離開軀幹的參考畫面,動作軌跡清楚可讀

源照片要對上什麼

參考影片決定動作,照片決定「誰在做」。兩邊必須對得上四個東西,否則動作會套得很勉強。

景別。 參考影片是全身,照片也要是全身;參考影片是半身,照片就不要給全身——模型會為了塞進畫面而把人物壓縮。全身入框是這一類工作的基本要求。

比例。 頭身比接近,套上去才不會像換了一個身體。差太多的時候,模型會把動作縮放,於是手腳長度看起來不對。

光線方向。 參考影片的光從左邊來,照片的光也該從左邊來。方向不一致時,動作對、光影卻互相打架,成品會有「貼上去」的感覺。

畫素。 短邊至少 1,000 畫素。動作遷移會讓畫面每個區域都重新取樣,低解析度的照片在這個過程裡會先軟掉。

全身入框、光線單一方向的源照片,與參考影片的景別對得上

動作幅度:三級,以及各級的做法

動作不是越大越好看。幅度決定模型要發明多少東西,也決定成品會不會突然變形。

小幅度。 抬手、點頭、肩膀起伏、原地踏兩步。這一級最穩,5 秒的片段幾乎都能成立,適合人像與產品展示。

中幅度。 轉身、走三步、跳一下、蹲下再站起。這一級需要全身入框與乾淨背景,而且要鎖定機位;10 秒的片段在這一級仍然可行,但動作最好只有一個。

大幅度。 跑動、跳躍、翻滾、連續旋轉。這一級會要求模型發明地面、空間與身體背面,成品容易在第二秒之後開始漂。做這一級的方式是縮短到 5 秒、只留一個關鍵動作,並把機位固定。

動作遷移還是需要一句提示詞,但它負責的不是動作,而是風格與主體:畫面要寫實或插畫感、服裝與髮型要不要維持原樣。把它寫短,不要試圖用文字補動作細節——細節已經在參考影片裡了。

為什麼鎖定機位是前提

動作遷移本質上就是把一組座標疊到另一組座標上。鏡頭一動,參考影片裡的座標系就跟著動,而你照片裡的座標系是靜止的,兩者對不上,動作就會被拉歪。

所以流程應該是:先鎖定機位把動作套對,再考慮要不要加運鏡。真的要加,就在剪輯軟體裡後製推近,而不是在生成時讓模型同時處理兩件事。

一次完整流程

  1. 挑一段動作乾淨的參考影片。 用上面的六項檢查表過一遍,不合格就換,不要硬用。
  2. 挑一張對得上的照片。 景別、比例、光線方向一致,全身入框,短邊 1,000 畫素以上。
  3. 先做 5 秒。 5 秒只需要維持一個動作;確認動作落點正確之後再試 10 秒。
  4. 鎖定機位。 生成時不要讓鏡頭動,把畫面的變化全部留給動作。
  5. 看三個時間點。 第一格看起點對不對,中段看動作有沒有偏,最後一格看收尾有沒有停住。
  6. 定版後換 1080p 重跑。 動作對了再談畫質,順序顛倒只是把時間花在錯的版本上。

三種常見的「動作對、人卻怪」

景別對不上。 參考影片是全身,照片只有半身,模型只能把腿部動作壓進上半身,於是肩膀被拉長、腰部被壓縮。做法是換照片,或改用上半身的參考動作。

比例對不上。 參考影片裡的人是七頭身,照片裡是五頭身,動作套上去之後手腳會顯得太長。做法是先把照片裁到接近的比例,或改用動作幅度較小的片段。

遮擋沒處理。 參考影片裡有人從前面走過、或手臂橫過身體,那一塊的動作資料是壞的。做法是取沒有遮擋的那 5 秒。

輸出設定:5 秒、720p 與三種比例

動作遷移的成品通常直接進社群,所以輸出設定要在生成前就決定。

長度:5 秒先做,動作落點正確再試 10 秒。10 秒的片段需要動作有明確的段落感,兩段連續動作擠在一起反而讀不出來。

解析度:720p 用來確認動作軌跡,1080p 才是要發布的版本。低解析度的成品在手機螢幕上還過得去,放到二十七吋螢幕就會明顯變軟,品質落差一眼看得出來。

比例:直式 9:16 給 Instagram Reels、YouTube Shorts、TikTok;方形 1:1 給 Threads 與貼文;橫式 16:9 給官網或 YouTube 長片。三種比例各自生成,不要用 16:9 事後裁成直式——裁切會把動作發生的那一側切掉。全身入框的題材在直式裡最容易切到腳,取景時下方要多留一成。

常見問題

只有一張照片、沒有參考影片,可以做嗎? 可以,但那是「用提示詞描述動作」的路線,跟動作遷移不同。動作遷移的優點是動作的細節由影片決定,你不需要用文字描述每一個關節。

參考影片可以比 10 秒長嗎? 可以取其中一段。挑動作最完整、遮擋最少的那 5 秒或 10 秒,比整段丟進去更可控。

可以只換動作、不換人嗎? 這正是動作遷移在做的事。反過來,如果你想換的是人、動作沿用,那是另一個方向的做法,兩件事不要混在同一次生成裡。

動作很快的片段可以用嗎? 可以,但影格率要夠。影格太稀的快動作,中間的變化會斷,成品會看起來像跳格。

為什麼動作套上去之後,人物比例變了? 因為兩邊的景別或頭身比不一致。先把照片裁到接近的比例,再重做一次。

可以同時套兩個人的動作嗎? 不建議。多人動作需要模型同時維持兩組身分與兩組軌跡,先把一個人做對,再考慮合成。

下一步

動作要固定在一個現成舞步上,照片 跳舞講的是另一條路;要把人換掉、動作沿用,用範本替換影片角色是相反方向的做法。想先從單張照片開始,把照片變成影片講哪些材質能動、能動到什麼程度;多張照片要排成一支片,圖片 轉 影片有節奏與排序的做法。

想直接試一段動作,從範本頁挑一個開始。

不想自己先備素材,也可以直接打開動作控制工具,上傳一段參考影片和一張照片,把上面這幾步在頁面上走一遍;哪一步的輸入不合格,結果就會和本文說的一樣。

相關文章

相關工具和範本