GUGA 의 Time machine

리스트

• 

  AI Vision Language Action (VLA) 모델 🤖 Vision Language Action (VLA) 모델 개요 및 주요 사례 정리AI와 로보틱스의 융합은 최근 눈부신 발전을 이루고 있으며, 그 중심에는 Vision-Language-Action (VLA) 모델이 있습니다. 이 글에서는 VLA 모델의 개념부터, 대표 모델들인 SayCan, PaLM-E, RT-1, RT-2, OpenVLA까지 간단하게 정리해보겠습니다.🧠 VLA 모델이란?VLA는 로봇이 비전(카메라 등 센서)과 언어(텍스트 명령어)를 이해하고, 이를 바탕으로 적절한 행동을 수행하도록 설계된 모델입니다.기존 로봇 시스템의 한계: 특정 task에 대해서만 학습됨 → 유연한 상황 대처 불가VLA 모델의 장점:상황을 시각적으로 인식 (Vision)언어로 된 명령을 이해 (Language)적..

• 

  대학원 Meta-Learning Lec12 요약 📚 Lec12: Bayesian Meta-Learning📍 강의 개요강의명: Bayesian Meta-Learning강의코드: AAI0032 (Meta Learning)기관: 한양대학교 인공지능학과🗂️ 목차Meta-Learning Inner Loops 요약Variational Lower Bound 개념Bayesian Black-box Meta-LearningBayesian Optimization 기반 Meta-LearningBayesian Meta-Learning 방법 요약Bayesian Meta-Learner 평가 방법Ambiguous Task 평가Active Learning 평가📌 1. Meta-Learning Inner Loops 요약Meta-learning의 inner loop는 task-..

• 

  대학원 Meta-Learning Lec11 요약 📘 Lec11: Variational Inference and Generative ModelsHanyang University / Meta Learning / AAI0032🗂️ 강의 개요강의 주제: Variational Inference(변분 추론)과 생성 모델주요 내용:확률적 모델잠재 변수(latent variable) 모델Variational Inference 및 ELBOAmortized Variational InferenceVariational Autoencoder (VAE)와 Conditional Models📍 1. Probabilistic Models확률적 모델: 데이터와 불확실성을 설명하기 위해 확률 분포를 사용하는 모델학습 목적: 모델 파라미터를 찾아서 데이터의 가능도(likelihoo..

• 

  대학원 Meta-Learning Lec10 요약 📘 Lec10-Advanced-Meta-Learning-Large-scale-meta-optimization 요약📢 1. 강의 개요주제: 대규모 메타 최적화(Large-Scale Meta-Optimization)에 관한 고급 메타러닝 주제학습 목표:기존 메타러닝 접근법이 규모로 인해 실패하는 시나리오 이해하기대규모 메타 최적화를 위한 기술 이해하기📚 2. 메타러닝 방법의 확장성💡 "메타러닝 방법이 확장 가능한가?"라는 질문에서 시작하는 중요한 주제두 유형의 사전 확률 비교수작업 설계 사전 확률(Hand-designed priors) vs 데이터 기반 사전 확률(Data-driven priors)데이터 기반 접근방식이 일반적으로 더 확장성이 있다고 추정됨메타러닝 발전 과정: 머신 비전 분야에서 모델..

• 

  대학원 Meta-Learning Lec9 요약 📘 Lec9: Advanced Meta-Learning – Task Construction한양대학교 인공지능학과 AAI0032 메타러닝📌 1. 강의 개요주제: 메타러닝에서의 task construction (태스크 구성) 심화핵심 질문:메타러닝에서 태스크를 어떻게 설계할까?supervised / unsupervised setting에서 어떤 차이가 있는가?memorization 문제를 어떻게 방지할 수 있을까?🗂️ 2. 주요 내용✅ Meta-learning Terminology 복습Black-box meta-learning: 모델이 내재적으로 빠르게 적응하도록 설계Optimization-based meta-learning: MAML, Reptile 같은 최적화 기반 접근Non-parametric m..

• 

  대학원 SAM 논문 소개 Segment Anything Model (SAM)Meta AI Research의 혁신적인 세그멘테이션 모델Notion : https://gugaluv.notion.site/SAM-1e31fcd04676800f863cc6007841d792?pvs=4 목차SAM 소개 및 개요SAM의 특징모델 구조프롬프트 엔지니어링SA-1B 데이터셋활용 사례한계점결론 및 향후 방향1. SAM 소개 및 개요Segment Anything Model이란?Meta AI Research에서 개발한 프롬프트 기반 이미지 세그멘테이션 모델2023년 4월 발표새로운 태스크: Promptable Segmentation다양한 형태의 프롬프트를 통해 이미지 내 객체 분할 가능강력한 Zero-shot 성능SAM의 목표범용적인 세그멘테이션 모델 ..

• 

  AI Temporal Fusion Transformers 활용한 보행 행동 예측 아이디어 Temporal Fusion Transformers 논문 요약"Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting"은 다양한 시계열 예측 작업에 적용할 수 있는 새로운 주목 기반 아키텍처를 제안한 논문입니다.Google AI Research와 옥스포드 대학에서 공동연구하여 발표한 논문으로, 시계열 문제에서 높은 성능을 달성한 모델입니다. Transformer 구조를 사용하며 시계열 데이터 정보를 잘 추출할 수 있도록 개발한 모델로써, 미래 알 수 있는 변수와 공변량을 활용하여 예측을 수행하는 모델을 제시합니다. 당시 획기적은 구조를 제시하여 SOTA 성능을 달성하였습니다. 핵심 개념다중 시계열 통합: 정적..

• 

  아이펠_리서치 DETR + SAM 으로 Zero-shot Instance Segmentation 구현하기 개요local 환경에서 DETR 로 검출 된 object 의 bbox 를 SAM 에 prompt 입력으로 넣어 Instance Segmentation 을 수행하는 방법을 구현한다. 사용 모델Segment Anything [논문리뷰] Segment AnythingSegment Anything (SAM) 논문 요약논문에서는 Segment Anything (SA) 프로젝트를 소개하며, 이미지 분할을 위한 새로운 모델, 데이터셋, 및 태스크를 제안한다. 이를 통해 프롬프트 기반 분할(promptable segmentagugalove.tistory.com  Segment AnythingMeta AI Computer Vision Researchsegment-anything.com DETR End-to-End Obj..

• 

  아이펠_리서치 [논문리뷰] Segment Anything Segment Anything (SAM) 논문 요약논문에서는 Segment Anything (SA) 프로젝트를 소개하며, 이미지 분할을 위한 새로운 모델, 데이터셋, 및 태스크를 제안한다. 이를 통해 프롬프트 기반 분할(promptable segmentation)을 수행하는 Segment Anything Model (SAM)을 개발하고, 1B 이상의 마스크를 포함하는 SA-1B 데이터셋을 구축했다. 아래 노션에 정리한 문서를 공유 합니다.https://gugaluv.notion.site/Segment-Anything-19a1fcd046768099839ccefa410273a2 Segment Anything | Notion참고 사이트 및 이미지 출처gugaluv.notion.site

• 

  python MPS (Metal Performance Shaders) 사용 conda 가상환경 만들기 https://developer.apple.com/metal/pytorch/ Accelerated PyTorch training on Mac - Metal - Apple DeveloperPyTorch uses the new Metal Performance Shaders (MPS) backend for GPU training acceleration.developer.apple.com📌 1. Conda 가상환경 생성먼저, 원하는 Python 버전으로 Conda 가상환경을 생성conda create --name pytorch-mps python=3.10 -y 📌 2. Conda 환경 활성화아래 명령어로 만든 환경을 활성화conda activate pytorch-mps📌 3. PyTorch 설치 (MPS ..

• 

  아이펠_리서치 [논문리뷰] Masked Autoencoders Are Scalable Vision Learners Abstract이 논문에서는 Masked Autoencoders (MAE)가 컴퓨터 비전에서 확장 가능한 자가 지도 학습(Self-Supervised Learning, SSL) 방법임을 보여줍니다.우리의 MAE 접근 방식은 간단합니다. 입력 이미지의 일부 패치를 무작위로 마스킹한 후, 손실된 픽셀을 복원하는 것입니다.이 방법은 두 가지 핵심 설계를 기반으로 합니다.비대칭 인코더-디코더(Asymmetric Encoder-Decoder) 아키텍처:인코더는 마스크 토큰(mask tokens) 없이 visible patches 만 처리합니다.디코더는 경량화되어 있으며, 잠재 표현(latent representation)과 마스크 토큰을 기반으로 원본 이미지를 복원합니다.높은 비율(예: 75%)의 마스킹이 의미 ..

• 

  아이펠_리서치 [논문리뷰] ComKD-CLIP: Comprehensive Knowledge Distillation for ContrastiveLanguage-Image Pre-traning Model https://arxiv.org/abs/2408.04145 ComKD-CLIP: Comprehensive Knowledge Distillation for Contrastive Language-Image Pre-traning ModelContrastive Language-Image Pre-training (CLIP) models excel in integrating semantic information between images and text through contrastive learning techniques. It has achieved remarkable performance in various multimodal tasks. However, the deployment ofarxiv.orgComK..

• 

  아이펠_리서치 Airflow 디버깅 및 수정내용 개요MLOps 과정 'Airflow 구성하기 - 예제 2 _ 파트 2' 에서 메모리 문제로 error 발생한 부분에 대한 디버깅 및 수정 내용입니다.디버깅 후 수정이라 Airflow 개발 내용은 생략 합니다. 문제점최종 Airflow HuggingFace 데이터셋 등록 과정에서 에러 발생Hugging Face 에 gugalove/mlops_gsod 로 create_repo 는 되나 데이터셋이 업로드 안됨 수정내용도커의 메모리 부족 의심되어 아래와 같이 Memory 확장 하였으나 failed 되는 시간만 늘어나고 결국 에러 발생 함디버깅 코드 추가 하여 문제점 확인mlops-quicklab/airflow/basic/dags/bigquery_to_huggingface.py18Gb 로 확장해도 결국 메모리 ..

• 

  AI Apple M4 pro chip 에서 keras 의 Stable Diffusion 모델 사용하기 개요https://keras.io/examples/generative/random_walks_with_stable_diffusion/ Keras documentation: A walk through latent space with Stable DiffusionA walk through latent space with Stable Diffusion Authors: Ian Stenbit, fchollet, lukewood Date created: 2022/09/28 Last modified: 2022/09/28 Description: Explore the latent manifold of Stable Diffusion. ⓘ This example uses Keras 3 View in Colab • GitHk..

• 

  AI Apple M4 pro vs M1 학습 속도 비교(GPU, CPU) 개요Apple M4 Pro 칩(14코어 CPU, 20코어 GPU, 16코어 Neural Engine) 을 장착한 Macbook Pro 14 에서 tensorflow 로 구현한 ResNet 과 VGG16 의 CPU 와 GPU 의 학습 속도를 비교해 보고 M1 MacMini 와의 차이는 어느 정도인지 확인한다. 살펴보기MPS (Metal Performance Shaders)MPS (Metal Performance Shaders)는 Apple의 GPU 가속 프레임워크인 Metal API를 기반으로 한 고성능 컴퓨팅 라이브러리입니다. 주로 Apple Silicon(M1, M2, M3, M4 등)과 macOS에서 머신 러닝 및 그래픽 연산을 가속화하기 위해 사용됩니다. MPS의 주요 특징 1. Apple의 GPU..