Steadily

이해가 되지 않았다.기본적인 Attention에 비해, Multi-Head Attention이 갖는 이점에 대해 물었을 때,가장 먼저 들은 건 "병렬성", 그리고 "다양한 관점에서의 문장 해석"이였다. 병렬성이라는 특징은 수긍이 되었다. Query, Key, Value 각각에 h개의 헤드를 동시에 수행함으로써 이루어지는 특징이기에 빠르게 이해가 되었다.문제는 "다양한 관점에서의 문장 해석"이였다.물론 직관적으로는 이해가 되었다."Query, Key, Value 각각에 여러 헤드가 들어가있으니 한 개만 들어간 것보다는 다각적으로 볼 수 있겠지" 라는 직관이 들었다. 허나 원리적으로 이해가 되지 않았다. Self-Attention을 예로 들 때,"I have a pencil" 이라는 입력이 있다고 하면, 임..

GPT-4의 특정 도메인 내 NER 성능 평가와 관련된 블로그를 읽고 요약과 더불어 리뷰를 덧붙여본다. 원문 블로그 링크 : https://medium.com/@anthony.mensier/gpt-4-for-defense-specific-named-entity-extraction-47895b7fed6d Summary Title : GPT-4에서 보안 도메인에 특화된 Named Entity 추출 GPT-4가 최근에 등장했음에도 불구하고, LLM은 이미 다양한 산업 분야에서 혁신을 가져오고 있음. 하지만 범용적 분야가 아닌 특화된 분야에서의 보안적 취약점은 아직 괄목한 만한 성과가 없음. 이유: 특화된 분야는 전문적인 지식이 필요하지만, GPT-4의 훈련 데이터는 상대적으로 범용적이기 때문 👉🏻 실험 목표..

트랜스포머 아키텍처 원본 트랜스포머 아키텍처는 Encoder-Decoder 구조를 기반으로 한다. Encoder 입력 토큰의 시퀀스를 은닉 상태(hidden state) or 문맥(context) 이라 부르는 임베딩 벡터의 시퀀스로 변환한다. Decoder 인코더의 은닉 상태를 사용하여 출력 토큰의 시퀀스를 한 번에 하나씩 반복적으로 생성한다. 원본 트랜스포머 아키텍처는 기계 번역과 같은 Seq2Seq 작업을 위해 고안되었지만, 시간이 지나며 인코더와 디코더는 독립적인 모델로 발전되었다. 인코더 유형 텍스트 시퀀스 입력을 풍부한 수치 표현으로 변환한다. 한 토큰에 대해 계산된 표현은 왼쪽(이전 토큰)과 오른쪽(이후 토큰) 문맥에 따라 달라지는 Bidirectional Attention의 특징을 가진다. ..