[VideoDepression] 2024.06.15.

해당 연구는 아직 시작하려면 꽤 시간이 남았지만

비디오, 오디오 데이터 분석을 입문하기 위해서는

선행 공부가 필요할 것 같아 공부 계획을 짜본다.

 

1. 동영상 데이터 분석

1.1 동영상 데이터 기초

• 강의/튜토리얼: 동영상 데이터 구조 및 처리 개요
• 실습: OpenCV를 사용한 동영상 파일 로드 및 기본 처리

1.2 컴퓨터 비전 기초

• 강의/튜토리얼: 이미지 및 동영상에서의 컴퓨터 비전 개념
• 실습: 이미지 처리 및 변환 (OpenCV 및 Pillow 사용)

1.3 동영상 데이터 전처리

• 강의/튜토리얼: 프레임 추출, 해상도 조정, 색상 변환
• 실습: Python을 사용한 동영상 프레임 처리

1.4 객체 탐지 및 추적

• 강의/튜토리얼: YOLO, SSD, Faster R-CNN 등의 객체 탐지 알고리즘
• 실습: Pre-trained 모델을 사용한 객체 탐지 및 추적

1.5 행동 인식

• 강의/튜토리얼: 행동 인식 모델 개요 및 LSTM, 3D-CNN 활용
• 실습: Human Activity Recognition 데이터셋을 사용한 모델 학습

1.6 감정 인식

• 강의/튜토리얼: 얼굴 표정 인식, 감정 인식 모델
• 실습: Facial Expression Recognition 데이터셋을 사용한 모델 학습

 

2. 오디오 데이터 분석

2.1 오디오 데이터 기초

• 강의/튜토리얼: 오디오 데이터의 구조 및 처리 개요
• 실습: Librosa를 사용한 오디오 파일 로드 및 기본 처리

2.2 오디오 특성 추출

• 강의/튜토리얼: MFCC, Spectrogram, Chroma features
• 실습: Python을 사용한 오디오 특성 추출

2.3 음성 인식

• 강의/튜토리얼: 음성 인식 기술 개요 및 주요 알고리즘
• 실습: Pre-trained 음성 인식 모델 사용

2.4 감정 인식

• 강의/튜토리얼: 음성 기반 감정 인식 모델
• 실습: RAVDESS 데이터셋을 사용한 감정 인식 모델 학습

 

3. 멀티모달 분석

3.1 멀티모달 데이터 통합

• 강의/튜토리얼: 동영상 및 오디오 데이터의 통합 방법
• 실습: 동영상과 오디오 데이터를 동시에 처리하는 방법

3.2 멀티모달 감정 인식

• 강의/튜토리얼: 멀티모달 감정 인식 모델 개요
• 실습: 동영상 및 오디오 데이터를 통합한 감정 인식 모델 학습