논문 리뷰 (15) 썸네일형 리스트형 [Paper Review] BoT-SORT: Robust associations multi-pedestrian tracking [Background] 객체 추적이란? 객체 추적이란 연속된 비디오 프레임에서 객체(사람, 차량 또는 동물 등)의 위치를 추적하고 해당 객체에 ID를 부여하여 지속적으로 추적하는 기술을 말한다. 같은 객체가 시간이 지나도 ID를 유지하면서 따라가도록 하는 것이 목적이다. 초기의 객체 추적 알고리즘은 최초로 한 번 객체의 위치를 파악한 후 그 이후에는 이미지의 움직임을 이용하여 객체를 추적하는 구조이다. 하지만 이런 방식의 객체 추적은 물체가 변형되거나 조명, 크기, 방향이 변하면 추적이 실패된다. 또한 객체가 잠깐 가려지거나 사라지면 복구 불가능하며 새로운 객체가 나타나거나 사라져도 객체로 인지하지 못한다는 단점이 있다. 이러한 단점을 개선하기 위해 객체 탐지 결과를 기반으로 객체를 추적하는 알고리즘이.. [Paper Review] You only look once : Unified, Real-Time Object Detection [Background] 기존의 객체 탐지 방식은 느리고 복잡하다. 슬라이딩 윈도우나 Region Proposal 방식은 부분만 보고 탐지를 하므로 시간도 오래 걸리고 정확도도 제한된다.Object detection◎ DPM DPM은 물체를 여러 부분으로 나누어 탐지하는 방식이다. 수동으로 특징을 추출하고 슬라이딩 윈도우 방식으로 이미지 전체를 스캔한 후 SVM 기반의 분류기로 객체 존재 여부를 판단한다. 당시에는 정확한 탐지 기능을 보여주었지만 딥러닝이 아니므로 성능의 한계가 존재하고 파이프라인이 복잡하고 속도도 느리다는 단점이 존재한다. ◎ R-CNN R-CNN은 딥러닝을 이용하여 객체 탐지를 하려는 연구로 동작 방식은 다음과 같다.Selective Search로 약 2,000개의 Region Pro.. [Paper Review] Pruning vs Quantization: Which is better? [Background]- 가지치기(Pruning) - 신경망의 가중치나 뉴런을 제거하여 모델을 경량화하는 기술이다. 불필요한 가중치를 제거하면 모델의 연산량과 메모리 사용량을 줄일 수 있어 추론 속도를 향상하고 하드웨어 자원 사용을 최적화할 수 있다. 종류Unstructured Pruning(비구조적 가지치기)개별적인 가중치 단위로 제거하는 방법. 높은 압축률을 달성할 수 있지만 가중치가 불규칙하게 제거되므로 하드웨어에서 병렬 연산을 최적화하기 어렵다.Structured Pruning(구조적 가지치기)뉴런, 필터, 채널, 레이어 단위로 제거하는 방법. 하드웨어 최적화에 유리하여 실제 모델 경량화에 더 많이 사용된다.Semi-structured Pruning(반구조적 가지치기)가중치를 일정한 패턴으로 제거.. [Paper Review] Are Language Models Actually Useful for Time Series Forecasting? [Background]OneFitsAll OneFitsAll은 GPT4TS라고도 불리며 인스턴스 정규화와 패칭을 적용한 후 선형 변환을 적용한다. 이후 언어 모델(GPT-2)이 이를 입력으로 받아 처리하며 예측한다. 아래에서 언급할 TimeLLM방식과 비슷하지만 시계열 데이터를 텍스트로 정렬하는 과정이 없고 TimeLLM의 경우 백본 모델이 사전학습된 언어 모델을 사용한 점이 다른 점이다.TimeLLM TimeLLM에 대한 자세한 설명은 아래 링크를 참고바란다.https://myownproject.tistory.com/51 [Paper Review]Time-LLM: Time Series Forecasting By Reprogramming Large Language Models[Background]● 왜 .. [Paper Review] DeepSeek-R1 : Incentivizing Reasoning Capability in LLMs via Reinforcement Learning [Background]● 강화학습(Reinforcement Learning, RL) 에이전트(Agent)가 환경(Environment)과 상호작용하여 보상(Reward)을 최대화하는 행동(Action)을 학습하는 방법으로 마르코프 결정 과정(Markov Decision Process, MDP)을 기반으로 작동한다. MDPAgent : 행동을 수행하는 주체(Ex. LLM)Environment : 에이전트가 상호작용하는 대상(Ex. 텍스트 생성, 게임 환경)State : 현재 환경의 상태(Ex. 모델이 생성한 답변)Action : 에이전트가 수행하는 행동(Ex. 다음 토큰 예측)Reward : 특정 행동을 수행한 후 받는 점수(Ex. 답변의 논리성 평가)Policy : 최적의 행동을 결정하는 전략 강화 학.. [Paper Review] Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting ※ 논문을 읽고 개인적으로 정리한 것으로 틀린 해석이 있을 수 있습니다 ※ [Background]● 연구 의도 Transformer 모델은 입력 시퀀스의 길이가 길어지면 처리하는 데에 시간이 오래걸린다는 단점이 존재한다. 이러한 단점은 장기 시계열 예측에 가장 많이 드러난다. 따라서 본 논문에서는 기존 Transformer의 장기 시계열 예측에서의 문제점을 해결하고자 하였다. ● 시계열 분해 (Decomposition of Time Series) 시계열 데이터를 trend와 seasonality로 나누는 기법이다. 먼저, 원본 시계열에서 trend를 분리한다. 원래 데이터에서 trend를 제거한 값에서 기간 별 데이터의 평균을 통해 seasonal 값을 구한다. 이후 원래 데이터에서 추세와 계절성을 제.. [Paper Review] CROSSFORMER : Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting ※ 논문을 읽고 개인적으로 정리한 것으로 틀린 해석이 있을 수 있습니다 ※ [Background] ● 연구 의도 GNN이나 CNN과 같은 방법을 사용하여 시계열 예측을 수행한 이전 연구들은 시간에 대한 의존성뿐만 아니라 공간에 대한 의존성도 고려하여 시계열 예측을 수행하였다. 예를 들면, 온도를 예측하고자 할 때, 과거의 온도도 예측에 중요하지만 과거의 바람 세기도 예측에 도움이 된다. 트랜스포머 기반의 모델들은 시간에 대한 의존성을 잘 파악하지만 공간에 대한 의존성을 고려하지 않은 방법들이어서 해당 논문을 통해 공간 의존성을 고려한 시계열 예측 과업을 수행하고자 하였다.[Summary] 본 논문에서는 시간 의존성 뿐 아니라 공간 의존성을 고려하기 위해 트랜스포머 구조를 변형한다. ● DSW(Dim.. [Paper Review] Sparse transformer with local and seasonal adaptation for multivariate time series forecasting [Background]● Transformer를 이용한 다변량 시계열 예측의 한계 다변량 시계열 데이터를 예측하는 것에 트랜스포머 모델을 사용하는 것이 좋은 성능을 보이면서 트랜스포머 구조를 사용, 활용하여 시계열 예측 과업을 수행하는 연구가 진행중이다. 하지만 여기에는 두 가지 한계점이 존재한다. 첫 번째 문제는 제곱항의 시간 복잡도로 인해 시퀀스 길이가 제한된다는 것이다. 두 번째 문제는 미래 시점의 값을 예측함에 있어서 모든 이전 시점들의 데이터를 활용한다는 것이다. 미래 시점의 값을 예측하는 데에 불필요한 정보들까지 계산함으로써 불필요한 계산과정이 포함된다. 위 두 문제를 해결하고자 해당 논문에서는 Local, Stride, Vary 요소를 이용한 Dozer attention이라는 변형된 어.. 이전 1 2 다음
