축구 행동 탐지에 경기 맥락을 넣는 법

영상만으로 부족한 이유

축구의 패스, 크로스, 슛, 태클은 주변 선수와의 관계 속에서 의미가 정해진다. 개별 선수의 움직임만 보는 영상 모델은 비슷한 자세를 혼동하거나 이미 다른 선수가 공을 소유한 장면에서도 잘못된 이벤트를 만들 수 있다.

3D CNN과 GNN의 결합

연구는 X3D 기반의 3D CNN으로 선수별 시각 특징을 추출하고, 각 선수를 노드로 둔 그래프에서 위치·속도·팀·주변 여섯 명과의 관계를 학습한다. 997경기에서 만든 Footovision 데이터셋은 여덟 종류의 행동과 선수 추적 정보를 함께 제공한다.

평가 결과

• GNN을 결합했을 때 mAP@0.2는 59.58%에서 64.48%로, mAP@0.5는 46.4%에서 49.7%로 높아졌다.
• 재현율 80% 구간에서 오탐이 약 29% 줄었고, 특히 태클 탐지가 크게 개선됐다.
• 크로스와 슛처럼 위치와 동작이 유사한 행동은 여전히 구분하기 어려웠다.

다음 연구

현재 모델이 보는 시간은 약 2초에 불과하다. 더 긴 이벤트 시퀀스와 전체 경기 상태를 연결하고, 탐지 후 노이즈를 정제하는 과정이 필요하다.

한 선수의 동작을 제대로 읽기 위해서는 그 선수를 둘러싼 팀 전체의 상태를 함께 봐야 한다.

논문 정보와 모델 구조

이 연구는 Footovision 997경기의 8개 행동 클래스를 사용한다. X3D 기반 3D CNN이 선수별 시각 특징을 만들고, 22명의 위치·속도·팀 정보와 주변 관계를 GNN으로 결합한다. 입력은 50프레임, 약 2초이며 마지막에는 프레임별 탐지를 action tube로 연결한다.

지표	영상 모델	GNN 결합
mAP@0.2	59.58%	64.48%
mAP@0.5	46.4%	49.7%

재현율 약 80% 구간에서는 오탐이 거의 30% 줄었다. 특히 태클은 오탐이 약 48% 감소하면서 정탐이 약 14% 늘었다. 반면 크로스와 슛처럼 위치와 자세가 비슷한 행동은 여전히 혼동했다.

경기 맥락이 줄인 오류

다른 선수가 공을 몰고 있는데 화면 가장자리 선수를 스로인으로 오인하거나, 공에 닿지 못한 동작을 헤더로 판정하는 오류가 줄었다. 주변 선수의 가속과 공 주변 배치가 개별 자세만으로 알기 어려운 접촉 여부를 보완했다.

세션에서 남긴 질문

• 그래프의 이웃 수를 고정하는 방식이 전술적 관계를 충분히 표현하는가?
• 공의 위치와 소유권을 명시적으로 넣으면 혼동이 많은 행동을 줄일 수 있는가?
• 자동 태깅 도구로 연결할 때 필요한 후처리는 무엇인가?