전체 글 (17) 썸네일형 리스트형 신입사원의 사내 해커톤 참여기 👩🏻💻 2025.09.15~2025.09.19 안녕하세요. 저는 제조업에서 AI/Data 분야 연구원 1년차로 일하고 있어요. 사내에서 좋은 기회로 마이크로소프트와 함께하는 해커톤에 참여했습니다. 저는 프론트/서버/앱 개발자가 아니지만 요즘 개발 관련 AI 서비스들이 너무 좋아지고(cursor, codex, copilot, trae,...) 이 서비스들과 함께라면 뭐든 만들 수 있겠지!하고 도전해봤어요. 월~수는 마소에서 제공하는 교육을 듣고, 목~금 오전 해커톤, 금 오후 발표로 진행되었어요. 하루만에 개발할 자신이 없어서 월~수동안 GPT-codex(https://openai.com/ko-KR/codex/), trae.ai(https://www.trae.ai/) 세팅하고 조금씩 개발하면서 익히는 시간을 가졌.. sentence embedding 저번주에 알아본 내용 💭 요즘 embedding space 관련해서 생각을 정리해보고 싶어서 관련된 paper들을 찾아보고 정리중이다. sentence embedding과 관련된 페이퍼들을 list-up하고 먼저 related work만 찾아서 쭉읽고 정리해봤다. related work를 먼저 본 이유는 각 논문에서 sentence embedding을 어떻게 보고 있는지, 어떤식으로 정리하고 있는지를 알면 전체적인 흐름 파악하기가 더 쉬울 것 같았다. 나에게는 확실히 도움되는 방식이었다. 노션에 적어둔 내용을 그대로 복붙한 것이기 때문에 노션 링크를 걸어두었다. 앞으로도 계속 업데이트 될 예정이다. https://saeran.notion.site/sentence-embedding-46f870a96d6b4.. Naver AI rush 2022 회고 https://github.com/whatsbirddd/Fake-Documents-Detection GitHub - whatsbirddd/Fake-Documents-Detection: CLOVA AI Rush 2022 @Naver AI Lab CLOVA AI Rush 2022 @Naver AI Lab. Contribute to whatsbirddd/Fake-Documents-Detection development by creating an account on GitHub. github.com 🌷 Overview 결과 : 18위(0.93)까지 2라운드 진출인데 제가 19위(0.928)라서 2라운드는 못가게 되었네요 🥺.. 주제 : 엉터리 문서 검출 엉터리 문서 정의 : 문맥이 맞지 않는 단어들로 구성된 문.. [ACL 2021]Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence 🥑 introduction the quality of the topics : Coherent topics Coherence : Fruit를 주제로, “apple pear lemon banana kiwi” > “apple, knife, lemon, banana, spoon” Bag-of-Words document 표현방식을 사용했을 때는 syntactic과 semantic relationship이 무시되었음. → pre-trained word and sentence representation, BERT와 같은 contextual representation을 통해서 보완해보겠음! Neural ProdLDA를 디벨롭하였음. ProdLDA는 sota topic model이고 black-box variationa.. WELL-READ STUDENTS LEARN BETTER: ON THE IMPORTANCE OF PRE-TRAINING COMPACT MODELS 1️⃣ Pre-trained Distillation > Pre-training + fine-tuning pretraining(unlabeld LM data) → Distillation(unlabeled transfer data) → fine-tuning(labeled data) → Final Compact Model 이전에는 heuristically initialized student로 시작했는데, 이번 연구는 pre-trained를 통해서 초기화해줌 2️⃣ statement the teacher : 높은 정확도를 가지지만 사이즈가 큰 모델. 리소스 제한이 있으면 사용하기 어렵다..🥺 students : 리소스 제한이 있을 때, 모델 사이즈를 상대적으로 조정해서 컴팩트하게 사용할 수 있는 모델 label.. project 07/19 데이터 불균형 - Class-balanced Loss Based on Effective Number of Samples : re-weighting 목적함수에 가중치를 다르게 두는 방법 effective number 제안 : 단순히 데이터의 개수가 아니라 데이터들로 부터 얻을 수 있는 정보의 총량을 의미함.데이터 1개가 추가되어도 어떤 데이터이냐를 파악해야함. 기존에 가지고 있는 데이터들과 유사한 데이터 1개가 추가된다면 큰 의미가 없지만, 가지고 있는 데이터들과 전혀 다른 데이터가 추가되면 꽤 정보를 가지고 있는 데이터가 추가되는 것임. - M2m: Imbalanced Classification via Major-to-minor Translation : generation 기반의 re-sampling기법.. project 07/14 아 굉장히 비효율적으로 코드를 짜서 쓸데없이 5000개의 document를 매번 임베딩하고 있었네.. 한번에 sample 5000개와 target 5000개를 함수에 넣어서 비교할 수 있는데, sample 1개, target 5000개를 넣어서 매번 계산하게 만들었어... 그래서 gpu를 쓰는데도 시간이 엄청 오래걸렸던거 훔,, 로그가 안보인다고 해서 가만히 있지말고 계속 확인하면서 세션 여러개 돌려보자 생각보다 겁이 많은 사람이라서 코드에도 겁이 참 많은 듯... 겁내지 말고 안되면 되게 만들면 되니까 괜찮아 Class Imbalance 관련 cross entropy loss : 잘못 예측한 경우에 패널티를 부여 이 친구의 문제점은 잘 예측한 것에 대해서는 loss가 0이어서 패널티가 없다. 하지만, .. [neurIPS 2021] Pay Attention to MLPs 혼자 보려고 기록하는 것! 짧은 시간안에 정확하게 내용을 파악할 수 있길 바라며✨ 🙌 gMLP를 제안함 transformer를 상대할 수 있는 새로운 구조를 선보임. attention mechanism은 dynamic parameterized가 필요하고, MLP는 static parameterization으로 표현할 수 있음. SGU와 [ ]의 비교 SGU는 GLU와 전반적으로 닮았지만, spatial(cross-token)상에 projection이 이루어진다. cf. GLU는 channel dimension(hidden)상 element-wise multiplication : Squeeze-and-Excite block과 관련되어 있다. SGU는 cross-channel projection을 전혀 포함.. 이전 1 2 3 다음
