![]()
1. 내부 공변량 변화 문제 (Internal Covariate Shift)1) 모델 학습 중 모델의 가중치가 업데이트되며 각 층의 입력 분포가 점차 변화2) 상위 층으로 갈수록 입력 분포가 누적되어 학습 불안정 + 수렴 어려움 2. 이를 해결하기 위해 Batch or Layer Normalization 기법이 나옴1) Batch Normalization은 미치배치 단위로 정규화 수행: 층 사이의 입력 분포 변화 완화2) Layer Normalization은 동일 층 내 뉴런들 사이 정규화 수행 3. Batch Normalization batch 속 여러 instance들의 feature 별로 평균, 표준편차 구해서 정규화 수행 4. Layer Normalizationinstance 별로 평균, 표준편차..
![]()
a novel method to effectively leverage the positional information. 1. Absolute Positional Embeddings (APE) - 각 token x에 d-dimensional vector p를 더하는 형태 - trainable vector를 쓰는 경우도 있고 (BERT), Sinusoid function을 사용하는 경우도 있고(Transformer) * sinusoid function? 정현파 함수 일정한 주기를 가지고 반복되는 주기 함수 cosine, sine 함수를 sinusoid 함수라 함 2. Relative Positional Embeddings (RPE) - position m과 n 사이의 relative distance 정의 -..
GA란? 1. 노드의 weight를 결정하는 알고리즘 중 하나 2. 다른 알고리즘에 비해 잘 알려지지 않았다. 3. 성능이 좋지 않다. 4. 랜덤성이 굉장히 강한 주가 예측과 같은 금융권에서 떠올랐던 ML 기법 (19년도에) GA 기본 구성 population 안에 chromosome 안에 Gene * population: 솔루션 탐색 공간 (= 유전자 pool) * chromosome: 개별 솔루션 * Gene: 솔루션의 각 component -> 다윈의 '자연선택'과 유사한 방식으로 솔루션을 변형 시키며 -> 가장 적절한 솔루션 찾기! GA 진행 과정 1. Fitness score: 얼마나 정답과 유사한지 2. Selection: 더 높은 fitness score의 솔루션을 선택 3. Cross ov..
Computer Architecture is the conceptual design and fundamental operational structure. Understanding computer architecture is crucial for designing efficient and scalable computer systems, as well as for optimizing performance and resource utilization. 1. Instruction Set Architecture (ISA) Defines the machine language instructions that a computer can execute. It includes the set of instructions a..
![]()
1. 요구사항 관리 1) 요구사항 관리의 정의 요구사항 공학 = 요구사항 개발 + 요구사항 관리 2) 요구사항 관리 공정 3) 요구사항 관리 원칙 - 고객가치기반의 요구 우선 순위 부여, 이해관계자의 요구사항에 대한 동의 획득 - 요구 시스템의 정확한 목표 식별 (기대 관리/범위 관리) - 요구사항 변경관리 위원회 (CCB, Change Control Board) 2. 요구사항 명세 1) 요구사항 명세 기법 2) 요구사항 명세 원칙 및 주요 내용 3. 요구사항 변경 및 추적 관리 1) 요구사항 추적성 개요 모든 변경 통제 요구사항 문서내의 개별 문장 단위의 요구사항 추적
![]()
1. 테스팅 개념 및 프로세스 1) 테스팅 개념 (1) 결함의 존재성을 밝히는 활동 (무결함 증명은 불가능) (2) 완벽한 테스팅은 불가능 (모든 경우에 대해 테스트 불가능) (3) 테스팅은 개발 초기에 시작 (4) 살충제 패러독스 (동일한 테스트가 반복되면 오류들도 내성생김) (5) 테스팅은 정황에 의존적 (분야별 테스트 방식 천차만별) (6) 오류-부재의 궤변 (개발된 시스템이 사용자의 니즈와 부합하지 않다면 테스트는 무쓸모) 2) 테스팅 프로세스 3) 테스트 설계 (1) 테스트 설계 개요 a. 테스트 케이스 도출 b. 어느 수준까지 테스팅 되었나 보장 (2) 테스트 케이스의 구성 (3) 테스트 케이스 설계 기법 2. 테스팅 유형 및 기법 1) 테스팅 유형 2) 테스팅 기법 (1) 화이트박스 테스팅 ..
![]()
1. Memory Protection Overview In Memory protection, computers protect the operating system from user processes using a limit register and a relocation register. 1) relocation register: physical address 2) limit register: logical address 3) MMU (Memory Management unit): translate the logical address to physical address dynamically. 2. Need of Memory Protection 1) preventing from accessing unalloc..
![]()
1. 프로그래밍 언어 1) 저급언어/고급언어 (1) 저급언어 - 기계중심, 실행속도빠름, 기계마다 다른 코드 (e.g. 기계어(이진법), 어셈블리어) (2) 고급언어 - 자연어, 기계 독립적 (e.g. 포트란, 코볼 등) 2) 인터프리터 언어 고급 언어를 저급 언어로 번역하고 / 실행하는 것을 동시에 (e.g. LISP, PROLOG) 완전 번역 x, 번역본 저장 x 매번 필요할 때마다 실행, 실행 시간 증가, 메모리 절약 3) 컴파일러 언어 기계어로 완전 번역한 '목적 코드' 저장해둠 빠르게 재실행 가능, 실행 시간 단축 기계어로 번역하는 데 시간 오래 걸림, 메모리 낭비 가능성 2. 주요 프로그래밍 언어의 특징 1) C언어 1970, 데니스 리치 컴퓨터 언어계의 어머니 느낌 현재 유명 운체들 대부분 ..
Memory is the electronic holding place for the instructions and data. It's where information is stored for immediate use. There are generally 2 types of computer memory: primary and secondary. Primary memory is the memory, while secondary memory is storage. The storage stores data on a long-term basis. There are some types of primary memory: 1. Cache memory - temporary storage area - readily ava..
1. 사용자 인터페이스 UI (User Interface) 사용자와 시스템 사이 상호 작용 관여하는 장치 1) 일관성 필요 2) 사용자 중심 설계 3) 피드백: e.g. 사용자가 버튼 잘못 눌렀을 때 본인의 잘못을 쉽게 파악할 수 있도록 하는 4) 파괴적인 행동에 대한 확인: 사전 확인 2. 사용자 경험 UX (User Experience) 개요 사용자의 환경 개선 경험, 감정, 지각, 태도, 반응 등의 경험에 초점 3. UI와 UX의 차이점 UI - 보이는 것 UX - 안 보이는 것
1. 소프트웨어 아키텍처 개요 개발 대상 소프트웨어의 청사진 의사소통 수단 및 플젝 초기 의사결정 도구 2. 소프트웨어 아키텍처 설계 절차 1) 요구사항 분석 2) 아키텍처 분석 및 설계: 모듈 사이의 관계 기술 3) 아키텍처 검증 및 승인 절차 *프레임워크: 서브시스템 설계 도안(추상적) 3. 소프트웨어 아키텍처 스타일 1) 저장소 구조 공유 데이터 저장소 2) MVC (Model - View - Controller) 구조 GUI 설계에 많이 활용되는 프레임워크 한 객체의 여러 표현이 상호작용하도록 한 객체의 표현이 수정되면 -> 해당 객체의 모든 표현 갱신 수정 단순화 -> 재사용 수월 3) 클라이언트-서버 모델 분산 시스템 4) 계층 구조 각 계층은 특정 서비스 제공 e.g. 네트워크 프로토콜의 O..
1. What is a GPU? - Acronym for Graphics Processing Units - Specialized processor originally designed to accelerate graphics rendering * Rendering: the process of generating images - Able to process many pieces of data simultaneously (=parallel processing) - made up of many smaller and more specialized cores - used in a wide range of applications (e.g., graphics, video rendering, gaming, AI, HPC..
