이번에 리뷰할 논문은 NAACL 2024 findings에 등재된 논문입니다.1저자이신 장우진님을 비롯한 대부분의 사람들이 빅데이터 AI 기업인 S2W Inc 소속이시고, 카이스트 NSS 연구실과 Indiana University Bloomingtom과 함께 진행했네요.논문 보러가기 (Website)요약 슬라이드 보러가기 (PDF) 결론결론부터 찍고 내용을 살펴봅시다.이 논문은 NLE (Non-Linguistic Elements) 요소를 pretraining함에 있어, 일반적인 도메인에서처럼 NLE들을 special token으로 대체하지 않고, NLE의 타입에 따라 선별적으로 마스킹하는 기법을 적용하여 더 높은 성능을 보였다는 게 핵심입니다.Cybersecurity에서의 NLP사이버 보안 관련 분야에서..
