![]()
서울대 조요한 교수님 Conversational AI 4강 정리 Contextualized Word Embedding- 하나의 단어가 여러 뜻을 가질 수 있음.-> 따라서 하나의 vector로 고정하는 게 아니라 context에 의해서 embedding이 바뀌도록 1. Transformer1) self-attentionquery * key = scoresoftmax(score) * value해서 전부 합하기 (가중합) self-attention can be computed in parallel-> query, key, value 단어 별로 따로따로 계산-> 앞에 있는 거 다 계산될 때까지 기다릴 필요 없다. = 속도 빠름 long-term dependency 2) positional encoding (P..
![]()
서울대 조요한 교수님 Conversational AI 3강 정리 Language Model- 뒤에 따라올 candidate text의 conditional probability 계산하는 것- 최신의 dialogue system은 '대부분' LMs로 이루어져 있다. [질문]그렇다면 LM 말고 다른 방법론으로 개발된 dialogue system도 있나요?규칙 기반 챗봇 말고 1. Word2vec단어를 dense vector로 표현* dense vector vs sparse vector(one-hot)* dense vector를 LM의 input으로 사용하기 시작한지 얼마 되지 않았다. Word Embedding으로 얻어야 하는 특징- 유사한 단어끼리는 좌표상에서 가까워야 함 = 유사한 벡터- 유사함의..
서울대 조요한 교수님 Conversational AI 강의 2강 정리 1. Dialogue system의 높은 주목도 & 넓은 적용력2. Dialogue system의 종류 두 가지: open domain, task-oriented3. 요즘은 open domain이랑 task-oriented 합치는 연구 활발히 진행 1. Dialogue System Structure 7단계1) Voice Activity Detection= device directed detection -> 기계한테 말한 건지 아닌지 확인 (매우 중요)왜 중요? -> privacy, response relevance 문제 때문에해결하기 위해 -> 몇몇 대화 장치는 카메라도 함께 사용 * signal processing 2) Automat..
서울대 조요한 교수님 'Conversational AI' 강의 1강 정리 1. Dialogue Systems1) open-domain dialogue systems (e.g., ChatGPT)- 사람과 대화하는 느낌의 챗봇. 주제 제한 x *Language Models = text autocomplete- 학습 데이터를 전부 외워서 확률에 의해 뱉는다) (1) 예시a. ChatGPT ( = 기존 LLM + Scoring Model + Response Model (프롬프트 + 응답 pair 학습))b. Dating Apps (미국에서 인기 짱 많음) (2) 문제점a. incorrect information b. plagiarism (표절) -> reference 제공 연구 필요c. Bias and offe..
1. Contrastive Learning1) 초기에는 이미지 task을 위해 이미지 representation만을 학습한 모델이2) language랑 멀티모달 task로 확장되는 것을 contrasting learning이라 함** 핵심은 이미지랑 의미적으로 유사한 (sementically related) text pair을 가져오는 것. 2. CLIP (Contrastive Language-Image Pre-training)1) separate encoders for images and text2) project them into a shared latent space3) the model is trained on image-text pairs4) only align image-text pairs 3..
![]()
1. VIF회귀 분석에서 특정 변수의 다중공선성을 측정하는 방법. 즉, 다른 독립 변수들과의 상관관계를 기반으로 특정 변수가 모델에 얼마나 중복되는지를 나타냄.***다중공선성: 회귀분석에서 두 개 이상의 독립 변수가 서로 강한 상관관계를 가지는 현상 2. 계산특정 변수의 VIF는 그 변수를 종속 변수로 두고 나머지 변수들을 독립 변수로 사용하여 회귀 분석을 수행한 후 결정계수 R^2를 사용하여 계산. 3. 판단 기준일반적으로 VIF 값이 5를 초과하면 다중공선성이 높은 것으로 간주. -> 해당 변수를 모델에서 제
1. 동영상 데이터 구조동영상은 프레임이라는 개별 이미지들의 시퀀스로 구성.각 프레임은 특정 시간 간격 (프레임 속도) 로 표시. 1) 프레임 (Frame): 동영상 한 개의 이미지2) 프레임 속도 (Frame rate): 초당 프레임 수. 단위는 fps (frames per second)3) 해상도 (Resolution): 프레임의 가로 세로 픽셀 수 (e.g., 1920 x 1080)4) 코덱 (Codec): 압축 및 압축 해제 알고리즘-> 코더-디코더의 줄임말 -> 압축기-압축 해제기의 줄임말e.g., H.264 (AVC), H.265 (HEVC), AAC, MP3, etc. 2. Python에서 동영상 데이터 처리OpenCV 라이브러리 사용 1) OpenCV 설치pip install opencv-..
![]()
1. Floating Point (부동소수점)- 아주 크거나 아주 작은 정수 이외 숫자 표현 방법 부동소수점의 장점: 0을 적게 쓸 수 있음 (메모리 절약) ** C에서는 float와 double 로 부동 소수점 나타냄 1) normalized forme.g., 00500에서 5 앞에 00은 필요 없는 0 필요 없는 0들 뒤에 존재하는 최초의 숫자 5 뒤에 점 찍기. -> 이진 표현이라면 항상 1 2) 이진 표현1.xxx -> significand (유효숫자) .xxx -> fraction yyy -> exponent 2. Floating Point Standard - IEEE 표준 754-1985에 의해 정의됨 - 과학적 코드의 이식성 문제를 해결하기 위해 표준 개발됨 - 2가지 표현방식 1) Sing..
![]()
1. Integer Addition 1) overflow X(+ve) + (-ve) 2) overflow O(+ve) + (+ve) -> sign bit에 1 넘어가서(-ve) + (-ve) -> sign bit가 0 돼서 *carries: 자리 올림수*+ve: positive*-ve: negative 2. Integer Subtractionsecond operand가 음수인 덧셈? + (-ve) -> subtraction 1) overflow X(+ve) - (+ve) (-ve) - (-ve) 2) overflow O(-ve) - (+ve) -> sign bit가 0 돼서(+ve) - (-ve) -> sign bit에 1 넘어가서 3. Dealing with Overflow 1) MIPS 'ad..
![]()
포아송 회귀 1. 개념회귀 분석 기법 중 하나로, 종속 변수가 이산형 데이터일 때 사용일정한 시간이나 공간 내에서 사건이 발생하는 빈도를 모델링하는 데 유용 2. 구성 요소1) 종속 변수: 0 이상의 정수 값2) Poisson 분포3) 로그 링크 함수: 종속 변수의 로그가 독립 변수의 선형 결합으로 표현4) 독립 변수: 연속형 or 범주형 둘다 가능 * λi는 사건 발생의 예상 횟수 3. 예시어떤 도시에 있는 병원에서 하루 동안 발생하는 응급실 방문 횟수를 설명
1. 개념학습 초기에 데이터가 부족해서 모델 성능이 낮은 문제. 2. 해결 방안- 기존 데이터 활용: transfer learning, data augmentation 등- 초기 데이터 수집을 위한 전략 수립: 크라우드소싱, 웹 크롤링 등
1. 개념1) 하나의 큰 모델 대신 여러 개의 작은 expert 모델로 구성2) input에 따라 일부 전문가만 선택적으로 활성화되어 계산에 참여 2. 구성 요소1) expert 모델: Linear layer, MLP, etc.을 수행하는 하위 네트워크2) Router(라우터): input data를 분석하여 어떤 전문가에 할당할지 결정 3) Gater(게이터): 라우터의 결정에 따라 전문가에 할당할 가중치 계산 3. 동작방식1) input data가 router에게 전달2) router는 input의 특성을 분석하여 가장 적합한 전문가 선택3) gater는 선택된 전문가에 대한 가중치 계산4) 선택된 전문가만 활성화되어 input data 처리5) 전문가의 출력은 gater의 가중치를 사용하여 통합됨 ..
