반응형

인공지능 논문정리 15

[논문 요약] Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection

논문 제목: Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection논문 링크: https://arxiv.org/html/2411.15633v1게재 학회: ICML 2025(Oral)Github 링크: https://github.com/YZY-stack/Effort-AIGI-Detection Motivations기존 모델(Xception 등)이 훈련될 때, Fake Loss는 빠르게 떨어지는데, Real Loss는 학습에 고전을 합니다. 이는 Seen Fake Pattern만 빠르게 학습하여, Real Image의 특성은 제대로 배우지 못하는 비대칭 문제가 발생하는 것을 의미합니다. 만일, 단순히 진짜 이미..

[논문 요약] TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling (ICLR 2025)

0. 논문 개요제목: TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling등재된 conference: ICLR 2025요약: MLP에서 파라미터 일부분만 앙상블하는 효과로 빠르지만 강력한 성능을 내는 Table Domain에서의 딥러닝 모델공식 깃허브 링크: https://github.com/yandex-research/tabm 1. 모델 구조이해를 돕기 위해 단순 MLP 모델에서 시작하여, 한 단계씩 확장된 구조로 설명을 하고 있습니다.1단계: MLP x k (전통적 앙상블): k개의 MLP 모델을 독립적으로 학습시킨 모델, 단순 MLP 1개만 사용한 경우보다 성능은 좋지만 다소 비효율적2단계: TabM packed (Pa..

[논문 요약] A Survey of Deep Learning Approaches for OCR and Document Understanding

OCR / Document Understanding Survey 논문 리뷰 이번 글에서는 NeurIPS2020의 ML-RSA 워크숍에 등재되었던 OCR 및 문서 이해와 관련된 Survey paper의 주요 내용에 대하여 간략하고 이해하기 쉽게 정리해보도록 하겠습니다. 해당 논문의 제목은 "A Survey of Deep Learning Approaches for OCR and Document Understanding" 입니다. Document Processing & Understanding의 전체 과정 문서 이미지로부터 텍스트를 추출하여 원하는 정보를 최종적으로 가져와 사용할 수 있는 테크닉은 응용될 수 있는 분야가 방대하고 매우 가치가 높은데, 다양한 종류의 문서 이미지에서 위 과정을 잘 수행하기 위해서..

[논문 요약] Vision Transformer(ViT) 주요 특징 정리

비전 트랜스포머 특징 요약 NLP에서 주로 사용되던 트랜스포머 구조를 비전 도메인에 적용하여 vision AI 분야의 판도를 뒤바꾼 vision transformer(ViT)를 소개했던 논문을 바탕으로 ViT에 대한 주요 특징들에 대하여 간단히 정리해보도록 하겠습니다. 논문의 제목은 "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" 이며, ICLR 2021에 등재된 paper입니다. CNN vs Transformer ResNet을 비롯한 CNN 구조의 모델들은 이미지 위상 정보를 학습에 반영하기 용이하다는 점을 바탕으로 vision 도메인에서 우위를 점하고 있었습니다. 반면, BERT와 같은 transformer 구조..

[논문 요약] Non-Autoregressive Neural Machine Translation

NAR 기계 번역(NAT) Paper Review 이번 시간에는 문장의 모든 토큰을 한 번에 parallel하게 생성하는 방법인 Non-Autoregressive 기반의 기계 번역 분야의 지평을 열었던 NAT 논문에 대한 주요 내용 요약을 진행해보도록 하겠습니다. 논문의 제목은 "Non-Autoregressive Neural Machine Translation"이며, ICLR 2018에 등재된 paper입니다. 실험 배경 기존의 신경만 기반 기계 번역의 접근법은 1번에 1토큰씩 디코딩하여 생성하는 Autoregressive(AR) 방식의 번역(AT)이었습니다. 그러나, 이러한 방식은 토큰의 길이가 길어진다면 생성 시간이 많이 소요된다는 단점이 있었고, 이에 1번에 문장의 모든 토큰을 디코딩하여 생성해보려..

[논문 요약] UnitedQA: A Hybrid Approach for Open Domain Question Answering

UnitedQA Paper Review generative reader와 extractive reader 구조의 앙상블을 통하여 Open Domain Question Answering(ODQA) task에서의 성능을 크게 향상시킨 UnitedQA 논문의 주요 내용에 대한 요약을 진행해보도록 하겠습니다. 논문의 제목은 "UnitedQA: A Hybrid Approach for Open Domain Question Answering"이며, ACL 2021에 등재된 paper입니다. 실험 배경 ODQA task에서 질문의 답변을 문단 내에서 찾을 때, 답변의 start, end position을 예측하는 방식인 extractive reader가 이전의 주요 대세였고, RAG, FiD와 같이 답변 문장을 직접 ..

[논문 요약] Dense Passage Retrieval for Open-Domain Question Answering

NLP DPR Paper Review 이번 글에선 Open Domain Question Answering(ODQA) 분야에서 관련 문서 Retriever로 현재까지도 강력한 성능을 자랑하며 사용되고 있는 DPR 프레임워크에 대하여 발표했던 논문의 주요 내용들을 요약해보도록 하겠습니다. 논문의 제목은 "Dense Passage Retrieval for Open-Domain Question Answering"이며, EMNLP 2020에 등재된 paper입니다. 실험 배경 ODQA 분야에서 질문과 관련이 깊은 후보 문서 탐색(Retrieval) 후 해당 문서들 내에서 답변의 위치를 찾는 과정(Reader)으로 구성된 프레임워크가 좋은 성능을 보이고 있음이 나타났고, 이전의 Retriever 모델 구조로는 TF..

[논문 요약] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

NLP RAG Paper Review 이번 글에서는 Open Domain Question Answering(ODQA) 분야에 Generative Reader를 도입하여 성능 향상의 큰 획을 그은 RAG 논문에 대한 요약을 진행해보도록 하겠습니다. 논문의 제목은 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"이며, NeurIPS 2020에 등재된 paper입니다. 실험 배경 Extractive Reader vs Generative Reader 이전까지의 Retrieval-Reader 기반 ODQA 프레임워크에서 Reader의 구조로는 문단 내에서 답변의 시작과 끝 위치를 맞추는 Extractive Reader 구조를 택해왔었습니다. 여..

[논문 요약] REALM: Retrieval-Augmented Language Model Pre-Training

REALM Paper Review 이번 글에서는 Open-Domain QA(ODQA) 분야에 한 획을 그었던 REALM 논문에서 설명했던 기법을 간략하게 요약하여 다루어보도록 하겠습니다. 참고로, 해당 논문의 제목은 "REALM: Retrieval-Augmented Language Model Pre-Training"이며, ICML 2020 학회에 등재되었던 paper입니다. 실험 배경 트랜스포머 기반 언어 모델의 pre-train 과정은 성능에 있어 매우 중요하다는 것이 밝혀졌으며, 이 pre-train하는 과정에서는 지식들이 implicit한 방식으로 파라미터 내에 저장됩니다. 그러나 만일 언어 모델이 explicit하게 관련된 지식들을 먼저 찾을 수 있게 학습한 뒤, 해당 관련 지식을 참조하여 최종 ..

[논문 요약] Improving language models by retrieving from trillions of tokens

NLP RETRO Paper Review 2022년 구글 딥마인드에서 공개된 RETRO 논문의 핵심 내용들을 요약해보도록 하겠습니다. 논문의 제목은 "Improving language models by retrieving from trillions of tokens"입니다. 실험 배경 기존의 GPT-3 등의 대규모 언어 모델(LLM)들은 지속적으로 파라미터의 수와 데이터셋의 크기를 증가시키는 방향으로 성능 향상을 도모해왔습니다. 그러나 외부의 Knowledge base(KB)의 도움을 받게된다면 비교적 적은 수의 파라미터로도 언어 모델의 성능을 크게 향상시킬 수 있다는 발상을 했었으며, RETRO에서는 7B 정도의 파라미터로도 100B 이상의 LLM에 맞먹는 성능을 기록했었습니다. 위 Figure 1의 ..

반응형