또 어제 아침부터 시작해서 방금까지 연구하다가 쓰는 연구일지 ... 물론 중간중간 일도 다녀오고 연구만 24시간 한 건 아니지만...퇴근하고나서 저녁 패턴은 싸그리 무시하고, 연구에만 불태웠다... 그리고 덕분에 오늘 끝내버리고 싶던 task를 끝냈다!!대량의 데이터를 api를 이용해 수집하고내가 나중에 분석하기 편하도록 예쁘게? 정리해야 하는 task였는데너무도 복잡한 빅빅빅데이터의 구조 덕분에'자료구조'를 왜 배워야하는지 완벽히 깨달았다 ㅎ 지금까지 이렇게 대용량의 복잡한 데이터들을 다뤄본 적이 없어서 '자료구조'는 생각지도 못했었는데 오늘 하루종일 데이터 저장에만 온 신경을 쏟아부으면서 내 첫 지도 교수님 (데이터 구조 수업으로 시작된 인연...) 생각이 많이 났다. 또 확실히 점점 확신을 갖게 되..
Research Record
23일 어제 아침부터 지금 24일 아침까지의 연구 일지.. 확실히 또 한번 느낀 게 데이터 분석 연구는오류와의 싸움이다..ㅎ 오류만 빠르게 해결된다면 전체 연구 시간은 10분의 1로 줄어들 것.. 어제 아침부터 riot api를 활용해 대용량의 데이터를 수집하는 작업을 하고 있는데1. 코랩을 사용했더니 중간에 자꾸 끊긴다. (총 10시간 걸리는 작업 중도 끊김 문제 때문에 3번째 시도 중..)-> 앞으로 코랩 사용 안할 거야..2. 컴퓨터를 바로 그저께 LG에서 맥북으로 바꿨기에 비주얼 스튜디오 깔기가 귀찮아서... 코랩으로 진행했던 건데 그냥 코랩 손절하고 비주얼 스튜디오 깔았다.-> GPU도 생겼으니... 앞으로 연구는 비주얼 스튜디오 이용하기로...3. 원래 내가 했던 동기식 api 호출 (time..
1. 어제는 바로 어제 만든 최신 로그 파일로 검증했던 거고, 오늘은 상원이가 보내준 2023년 1월 17일 로그 파일로 검증해봤는데 역시 api 사용이 불가하다.-> 따라서 이번 시즌 14 (2024년 1월 10일 ~ )에 생성된 로그 파일만 모아야 한다. *** 롤 시즌제는 1년 단위인 듯
1. 어제 짠 채팅 추출 코드 잘 돌아가는지 검증-> 매우 잘 돌아감 2. api 이용 오류 해결하기오호api가 안 돌아가는 이유가 내가 input으로 넣은 파라미터 MatchId 값이 게임 내 현재 시즌 값이 아니라 그런가?? 싶었는데맞았나봄돌아간다...!!!!! 위 파라미터 문제와는 별개로 Forbidden 403 뜬다면?-> Riot api 갱신해줘야 함*** 연구 진행하면서 Riot api key 매일 갱신해줘야 함. 절대절대... 까먹지 말기... 내가 고생한다.. 3. 추출한 채팅 데이터랑 게임 승패 여부 매칭 시키기-> 완료 4. 교수님께 얼른 보여드리고 피드백 받기
해당 연구는 아직 시작하려면 꽤 시간이 남았지만비디오, 오디오 데이터 분석을 입문하기 위해서는선행 공부가 필요할 것 같아 공부 계획을 짜본다. 1. 동영상 데이터 분석1.1 동영상 데이터 기초강의/튜토리얼: 동영상 데이터 구조 및 처리 개요실습: OpenCV를 사용한 동영상 파일 로드 및 기본 처리1.2 컴퓨터 비전 기초강의/튜토리얼: 이미지 및 동영상에서의 컴퓨터 비전 개념실습: 이미지 처리 및 변환 (OpenCV 및 Pillow 사용)1.3 동영상 데이터 전처리강의/튜토리얼: 프레임 추출, 해상도 조정, 색상 변환실습: Python을 사용한 동영상 프레임 처리1.4 객체 탐지 및 추적강의/튜토리얼: YOLO, SSD, Faster R-CNN 등의 객체 탐지 알고리즘실습: Pre-trained 모델을 ..
어제 진행사항1. LOL 게임 내 채팅 데이터 추출 방안 탐색 및 코드 구축 -> 이론상으로는 성공! -> 검증 필요2. 채팅 데이터랑 게임 승패 여부 Label 매칭 시킬 방법 찾기 -> riot 공식 api 이용 -> 계속 에러남..^^ 어제 깨달은 것1) RIOT.... 개인 privacy 문제에 정말정말정말정말정말 예민하다 -> api 사용... 굉장히 어렵다...-> api 말고 롤 전적 검색 사이트 이용해야될 수도 -> 하지만 뭐랄까 방식이 깔끔하지 못하다.. (너무 야매같달까)-> 그럼 api를 사용할 방법을 찾아야 한다...... ..2) RIOT api 사용 관련 레퍼런스 자료들은 인터넷에 꽤나 있는데 하나도 적용 안된다 ㅎㅎ-> 인터넷 검색하지 말고 혼자 계속 실험하면서 해결방법 찾아내..
1. dropout 0.8로 바꾸기accuracy 1 감소 2. dropout convolution layer에 추가accuracy 1 감소 3. 기존 fc에 있던 dropout 삭제accuracy 1 감소
저번에 모델을 학습했을 때 살짝의 training data 과적합이 발생했었음.(validation loss는 약 10 에폭 동안 정체 + training loss만 떨어짐) 오늘의 목표는 과적합 경향 살짝이라도 줄여서 최종 accuracy 높이기!(기존 accuracy는 91%!!) 오버피팅을 줄이기 위해 L1, L2 정규화 기법 중 무엇을 적용할까?L1 -> 중요한 특성만 강조. 나머지 특성들을 거의 0으로 만듦L2 -> 모든 특성이 중요할 때 사용. 모든 특성들의 값 크기를 고루고루 줄임. 내가 봤을 때 이미지 분류 task에서는 하나의 이미지를 구성하는 모든 픽셀(feature)이 중요하지 않다.특정 feature들이 한 이미지의 class 분류에 있어 결정적인 역할을 할 것 같음.-> L1을 적..
여러 시험 준비(졸업, 영어 등)와 학기 병행으로 정신없이 바쁘던 게 어느 정도 정돈이 되어서 이제 다시 본격적인 연구를 시작해보려고 해당 Research Daily Record 카테고리를 만들었다. 내가 나를 보며 자극을 받기 위해 매일 꾸준히 연구 일지를 작성하고자 한다. *** 종강하고 본격적으로 시작 [연구 규칙] 0. 규모가 적당한 연구 주제 설정 - 처음부터 너무 광대한 규모의 연구를 계획을 하기 보다는, 작고 귀엽고 소중한 아이디어로부터 출발해 차근차근 몸집을 불린다는 느낌으로 - 연구 자원(GPU, 돈, 시간)이 항상 부족하다는 사실 고려해서 연구 주제 설정!! 1. 일주일에 한 연구씩 끝낸다. - 사실 진짜 꽂혀서 하면 이틀 안에도 끝낼 수 있다.. 마지노선을 일주일로 생각 2. 연구 일..
