Programming 5

Multi-Head Attention

이해가 되지 않았다.기본적인 Attention에 비해, Multi-Head Attention이 갖는 이점에 대해 물었을 때,가장 먼저 들은 건 "병렬성", 그리고 "다양한 관점에서의 문장 해석"이였다. 병렬성이라는 특징은 수긍이 되었다. Query, Key, Value 각각에 h개의 헤드를 동시에 수행함으로써 이루어지는 특징이기에 빠르게 이해가 되었다.문제는 "다양한 관점에서의 문장 해석"이였다.물론 직관적으로는 이해가 되었다."Query, Key, Value 각각에 여러 헤드가 들어가있으니 한 개만 들어간 것보다는 다각적으로 볼 수 있겠지" 라는 직관이 들었다. 허나 원리적으로 이해가 되지 않았다. Self-Attention을 예로 들 때,"I have a pencil" 이라는 입력이 있다고 하면, 임..

Programming/NLP,LLM 2025.01.22

[리뷰] GPT-4 for Defense specific Named Entity Extraction

GPT-4의 특정 도메인 내 NER 성능 평가와 관련된 블로그를 읽고 요약과 더불어 리뷰를 덧붙여본다. 원문 블로그 링크: https://medium.com/@anthony.mensier/gpt-4-for-defense-specific-named-entity-extraction-47895b7fed6dSummaryTitle : GPT-4에서 보안 도메인에 특화된 Named Entity 추출GPT-4가 최근에 등장했음에도 불구하고, LLM은 이미 다양한 산업 분야에서 혁신을 가져오고 있음.하지만 범용적 분야가 아닌 특화된 분야에서의 보안적 취약점은 아직 괄목한 만한 성과가 없음.이유: 특화된 분야는 전문적인 지식이 필요하지만, GPT-4의 훈련 데이터는 상대적으로 범용적이기 때문👉🏻 실험 목표최근 US..

Programming/NLP,LLM 2024.01.04

Transformers Architecture

트랜스포머 아키텍처원본 트랜스포머 아키텍처는 Encoder-Decoder 구조를 기반으로 한다.Encoder입력 토큰의 시퀀스를 은닉 상태(hidden state) or 문맥(context) 이라 부르는 임베딩 벡터의 시퀀스로 변환한다.Decoder인코더의 은닉 상태를 사용하여 출력 토큰의 시퀀스를 한 번에 하나씩 반복적으로 생성한다.원본 트랜스포머 아키텍처는 기계 번역과 같은 Seq2Seq 작업을 위해 고안되었지만, 시간이 지나며 인코더와 디코더는 독립적인 모델로 발전되었다.인코더 유형텍스트 시퀀스 입력을 풍부한 수치 표현으로 변환한다.한 토큰에 대해 계산된 표현은 왼쪽(이전 토큰)과 오른쪽(이후 토큰) 문맥에 따라 달라지는 Bidirectional Attention의 특징을 가진다.텍스트 분류, 개체..

Programming/NLP,LLM 2024.01.03

[JAVA] System.console()은 Intellij 환경에서 지원하지 않습니다.

TroubleShooting 자바를 공부하던 중, 표준 입출력 스트림 중에서 코드를 작성하다 런타임 에러가 발생했다. import java.io.*; class BRRead { public static void main(String[] args) throws IOException { char c; BufferedReader br = new BufferedReader(new InputStreamReader(System.in, System.console().charset())); } ... } Intellij 환경에서 실행했다. 하지만 실행 버튼을 누르자 다음과 같은 에러가 발생했다. Exception in thread "main" java.lang.NullPointerException: Cannot inv..

Programming/Java 2023.12.15

Github PR 자동 슬랙 알림 기능 구축기 (w AWS Lambda, Gateway)

첫 Slack-Ops 구축해 보기! 새로운 사이드 프로젝트를 시작하면서, 슬랙 채널에 깃허브 레포지토리 알림 연동작업을 진행하려던 차. 문득 이전 프로젝트들을 돌이켜보니, 슬랙에 노션 알림과 깃허브 알림이 남발하는 게 보기 싫었던 기억이 난다. 모든 알림 들을 다 받게 되면 슬랙은 마치 양치기 소년과 같아지는 것 같다. 한두 번은 알림 왔을 때 보게 되지만, 어느 순간부터는 _'아 또 노션이겠지~'_하고선 안 보게 되기 때문이다. 깃허브 알림 또한 마찬가지다. 슬랙 앱 내에 있는 Github Application을 설치해서 알림을 받게 되면 특정 채널에 모든 알림 들을 받게 되므로, 같은 채널에 속해있지만 나랑 관련 없는 알림까지 봐야 한다는 단점이 있다. 그래서 이번엔 특정 사용자에게 멘션이 된 알림만..

Programming/DevOps 2023.12.13