Steadily

re:Invent를 알고 계신가요?Preface.12월 1일부터 4일까지, 총 4일동안 Las Vegas에서 진행했던 AWS re:Invent 2024 행사에 다녀왔습니다.저는 운좋게 AWSKRUG의 커뮤니티 참관단에 선정되어 re:Invent 참가 티켓과 숙소를 지원받아 많은 부담을 덜고 참석할 수 있었습니다.이 글을 빌려, 행사 참석에 많은 도움을 주신 석찬님을 비롯한 AWSKRUG 오거나이저분들 및 히어로분들께 감사의 말씀을 드립니다. re:Invent?re:Invent는 AWS가 주관하는 클라우드 행사로써, 전세계에서 가장 크게 열리는 IT 행사들 중 하나입니다.'커봤자 얼마나 크겠어?' 라고 생각하시는 분들을 위해 숫자로 알아보자면,60,000명 이상이 행사에 참석하기 위해 라스베가스를 찾았고,..

이해가 되지 않았다.기본적인 Attention에 비해, Multi-Head Attention이 갖는 이점에 대해 물었을 때,가장 먼저 들은 건 "병렬성", 그리고 "다양한 관점에서의 문장 해석"이였다. 병렬성이라는 특징은 수긍이 되었다. Query, Key, Value 각각에 h개의 헤드를 동시에 수행함으로써 이루어지는 특징이기에 빠르게 이해가 되었다.문제는 "다양한 관점에서의 문장 해석"이였다.물론 직관적으로는 이해가 되었다."Query, Key, Value 각각에 여러 헤드가 들어가있으니 한 개만 들어간 것보다는 다각적으로 볼 수 있겠지" 라는 직관이 들었다. 허나 원리적으로 이해가 되지 않았다. Self-Attention을 예로 들 때,"I have a pencil" 이라는 입력이 있다고 하면, 임..

GPT-4의 특정 도메인 내 NER 성능 평가와 관련된 블로그를 읽고 요약과 더불어 리뷰를 덧붙여본다. 원문 블로그 링크 : https://medium.com/@anthony.mensier/gpt-4-for-defense-specific-named-entity-extraction-47895b7fed6d Summary Title : GPT-4에서 보안 도메인에 특화된 Named Entity 추출 GPT-4가 최근에 등장했음에도 불구하고, LLM은 이미 다양한 산업 분야에서 혁신을 가져오고 있음. 하지만 범용적 분야가 아닌 특화된 분야에서의 보안적 취약점은 아직 괄목한 만한 성과가 없음. 이유: 특화된 분야는 전문적인 지식이 필요하지만, GPT-4의 훈련 데이터는 상대적으로 범용적이기 때문 👉🏻 실험 목표..

트랜스포머 아키텍처 원본 트랜스포머 아키텍처는 Encoder-Decoder 구조를 기반으로 한다. Encoder 입력 토큰의 시퀀스를 은닉 상태(hidden state) or 문맥(context) 이라 부르는 임베딩 벡터의 시퀀스로 변환한다. Decoder 인코더의 은닉 상태를 사용하여 출력 토큰의 시퀀스를 한 번에 하나씩 반복적으로 생성한다. 원본 트랜스포머 아키텍처는 기계 번역과 같은 Seq2Seq 작업을 위해 고안되었지만, 시간이 지나며 인코더와 디코더는 독립적인 모델로 발전되었다. 인코더 유형 텍스트 시퀀스 입력을 풍부한 수치 표현으로 변환한다. 한 토큰에 대해 계산된 표현은 왼쪽(이전 토큰)과 오른쪽(이후 토큰) 문맥에 따라 달라지는 Bidirectional Attention의 특징을 가진다. ..

안 끝날것처럼 버티던 23년도 결국 끝나버렸다. 나중에 돌아봤을 때 23년 한 해를 헛되게 살진 않았음을 기억하고자 회고를 간단히 써보려 한다. Conferences. 우선, 23년동안 무엇을 가장 많이 활동하였는가? 라고 묻는다면 가장 먼저 컨퍼런스 행사가 떠오른다. 작년까지는 학교생활을 열심히 하는 것에 초점을 맞췄다면, 올해 초 나의 목표는 '우물 밖으로 나가보기'였다. 많은 컨퍼런스 행사들에 참석해보는 건 우물 밖으로 나가보기 가장 쉽고 유익한 방법이였다. AI Expo, NHN Cloud make IT 23, CNCF Sustainability Week...등 올해 약 7개정도의 크고 작은 컨퍼런스에 참석해 많은 기술적 지식들과 인사이트를 얻었다. 특히나 컨퍼런스들을 다니며 얻는 가장 의미있는 ..

TroubleShooting 자바를 공부하던 중, 표준 입출력 스트림 중에서 코드를 작성하다 런타임 에러가 발생했다. import java.io.*; class BRRead { public static void main(String[] args) throws IOException { char c; BufferedReader br = new BufferedReader(new InputStreamReader(System.in, System.console().charset())); } ... } Intellij 환경에서 실행했다. 하지만 실행 버튼을 누르자 다음과 같은 에러가 발생했다. Exception in thread "main" java.lang.NullPointerException: Cannot inv..

첫 Slack-Ops 구축해 보기! 새로운 사이드 프로젝트를 시작하면서, 슬랙 채널에 깃허브 레포지토리 알림 연동작업을 진행하려던 차. 문득 이전 프로젝트들을 돌이켜보니, 슬랙에 노션 알림과 깃허브 알림이 남발하는 게 보기 싫었던 기억이 난다. 모든 알림 들을 다 받게 되면 슬랙은 마치 양치기 소년과 같아지는 것 같다. 한두 번은 알림 왔을 때 보게 되지만, 어느 순간부터는 _'아 또 노션이겠지~'_하고선 안 보게 되기 때문이다. 깃허브 알림 또한 마찬가지다. 슬랙 앱 내에 있는 Github Application을 설치해서 알림을 받게 되면 특정 채널에 모든 알림 들을 받게 되므로, 같은 채널에 속해있지만 나랑 관련 없는 알림까지 봐야 한다는 단점이 있다. 그래서 이번엔 특정 사용자에게 멘션이 된 알림만..