해당 연구는 아직 시작하려면 꽤 시간이 남았지만
비디오, 오디오 데이터 분석을 입문하기 위해서는
선행 공부가 필요할 것 같아 공부 계획을 짜본다.
1. 동영상 데이터 분석
1.1 동영상 데이터 기초
- 강의/튜토리얼: 동영상 데이터 구조 및 처리 개요
- 실습: OpenCV를 사용한 동영상 파일 로드 및 기본 처리
1.2 컴퓨터 비전 기초
- 강의/튜토리얼: 이미지 및 동영상에서의 컴퓨터 비전 개념
- 실습: 이미지 처리 및 변환 (OpenCV 및 Pillow 사용)
1.3 동영상 데이터 전처리
- 강의/튜토리얼: 프레임 추출, 해상도 조정, 색상 변환
- 실습: Python을 사용한 동영상 프레임 처리
1.4 객체 탐지 및 추적
- 강의/튜토리얼: YOLO, SSD, Faster R-CNN 등의 객체 탐지 알고리즘
- 실습: Pre-trained 모델을 사용한 객체 탐지 및 추적
1.5 행동 인식
- 강의/튜토리얼: 행동 인식 모델 개요 및 LSTM, 3D-CNN 활용
- 실습: Human Activity Recognition 데이터셋을 사용한 모델 학습
1.6 감정 인식
- 강의/튜토리얼: 얼굴 표정 인식, 감정 인식 모델
- 실습: Facial Expression Recognition 데이터셋을 사용한 모델 학습
2. 오디오 데이터 분석
2.1 오디오 데이터 기초
- 강의/튜토리얼: 오디오 데이터의 구조 및 처리 개요
- 실습: Librosa를 사용한 오디오 파일 로드 및 기본 처리
2.2 오디오 특성 추출
- 강의/튜토리얼: MFCC, Spectrogram, Chroma features
- 실습: Python을 사용한 오디오 특성 추출
2.3 음성 인식
- 강의/튜토리얼: 음성 인식 기술 개요 및 주요 알고리즘
- 실습: Pre-trained 음성 인식 모델 사용
2.4 감정 인식
- 강의/튜토리얼: 음성 기반 감정 인식 모델
- 실습: RAVDESS 데이터셋을 사용한 감정 인식 모델 학습
3. 멀티모달 분석
3.1 멀티모달 데이터 통합
- 강의/튜토리얼: 동영상 및 오디오 데이터의 통합 방법
- 실습: 동영상과 오디오 데이터를 동시에 처리하는 방법
3.2 멀티모달 감정 인식
- 강의/튜토리얼: 멀티모달 감정 인식 모델 개요
- 실습: 동영상 및 오디오 데이터를 통합한 감정 인식 모델 학습
