Steadily

GPT-4의 특정 도메인 내 NER 성능 평가와 관련된 블로그를 읽고 요약과 더불어 리뷰를 덧붙여본다. 원문 블로그 링크 : https://medium.com/@anthony.mensier/gpt-4-for-defense-specific-named-entity-extraction-47895b7fed6d Summary Title : GPT-4에서 보안 도메인에 특화된 Named Entity 추출 GPT-4가 최근에 등장했음에도 불구하고, LLM은 이미 다양한 산업 분야에서 혁신을 가져오고 있음. 하지만 범용적 분야가 아닌 특화된 분야에서의 보안적 취약점은 아직 괄목한 만한 성과가 없음. 이유: 특화된 분야는 전문적인 지식이 필요하지만, GPT-4의 훈련 데이터는 상대적으로 범용적이기 때문 👉🏻 실험 목표..

트랜스포머 아키텍처 원본 트랜스포머 아키텍처는 Encoder-Decoder 구조를 기반으로 한다. Encoder 입력 토큰의 시퀀스를 은닉 상태(hidden state) or 문맥(context) 이라 부르는 임베딩 벡터의 시퀀스로 변환한다. Decoder 인코더의 은닉 상태를 사용하여 출력 토큰의 시퀀스를 한 번에 하나씩 반복적으로 생성한다. 원본 트랜스포머 아키텍처는 기계 번역과 같은 Seq2Seq 작업을 위해 고안되었지만, 시간이 지나며 인코더와 디코더는 독립적인 모델로 발전되었다. 인코더 유형 텍스트 시퀀스 입력을 풍부한 수치 표현으로 변환한다. 한 토큰에 대해 계산된 표현은 왼쪽(이전 토큰)과 오른쪽(이후 토큰) 문맥에 따라 달라지는 Bidirectional Attention의 특징을 가진다. ..

안 끝날것처럼 버티던 23년도 결국 끝나버렸다. 나중에 돌아봤을 때 23년 한 해를 헛되게 살진 않았음을 기억하고자 회고를 간단히 써보려 한다. Conferences. 우선, 23년동안 무엇을 가장 많이 활동하였는가? 라고 묻는다면 가장 먼저 컨퍼런스 행사가 떠오른다. 작년까지는 학교생활을 열심히 하는 것에 초점을 맞췄다면, 올해 초 나의 목표는 '우물 밖으로 나가보기'였다. 많은 컨퍼런스 행사들에 참석해보는 건 우물 밖으로 나가보기 가장 쉽고 유익한 방법이였다. AI Expo, NHN Cloud make IT 23, CNCF Sustainability Week...등 올해 약 7개정도의 크고 작은 컨퍼런스에 참석해 많은 기술적 지식들과 인사이트를 얻었다. 특히나 컨퍼런스들을 다니며 얻는 가장 의미있는 ..

TroubleShooting 자바를 공부하던 중, 표준 입출력 스트림 중에서 코드를 작성하다 런타임 에러가 발생했다. import java.io.*; class BRRead { public static void main(String[] args) throws IOException { char c; BufferedReader br = new BufferedReader(new InputStreamReader(System.in, System.console().charset())); } ... } Intellij 환경에서 실행했다. 하지만 실행 버튼을 누르자 다음과 같은 에러가 발생했다. Exception in thread "main" java.lang.NullPointerException: Cannot inv..

첫 Slack-Ops 구축해 보기! 새로운 사이드 프로젝트를 시작하면서, 슬랙 채널에 깃허브 레포지토리 알림 연동작업을 진행하려던 차. 문득 이전 프로젝트들을 돌이켜보니, 슬랙에 노션 알림과 깃허브 알림이 남발하는 게 보기 싫었던 기억이 난다. 모든 알림 들을 다 받게 되면 슬랙은 마치 양치기 소년과 같아지는 것 같다. 한두 번은 알림 왔을 때 보게 되지만, 어느 순간부터는 _'아 또 노션이겠지~'_하고선 안 보게 되기 때문이다. 깃허브 알림 또한 마찬가지다. 슬랙 앱 내에 있는 Github Application을 설치해서 알림을 받게 되면 특정 채널에 모든 알림 들을 받게 되므로, 같은 채널에 속해있지만 나랑 관련 없는 알림까지 봐야 한다는 단점이 있다. 그래서 이번엔 특정 사용자에게 멘션이 된 알림만..