본문 바로가기

분류 전체보기

(44)
Apple M4 pro vs M1 학습 속도 비교(GPU, CPU) 개요Apple M4 Pro 칩(14코어 CPU, 20코어 GPU, 16코어 Neural Engine) 을 장착한 Macbook Pro 14 에서 tensorflow 로 구현한 ResNet 과 VGG16 의 CPU 와 GPU 의 학습 속도를 비교해 보고 M1 MacMini 와의 차이는 어느 정도인지 확인한다. 살펴보기MPS (Metal Performance Shaders)MPS (Metal Performance Shaders)는 Apple의 GPU 가속 프레임워크인 Metal API를 기반으로 한 고성능 컴퓨팅 라이브러리입니다. 주로 Apple Silicon(M1, M2, M3, M4 등)과 macOS에서 머신 러닝 및 그래픽 연산을 가속화하기 위해 사용됩니다. MPS의 주요 특징 1. Apple의 GPU..
CPU(NumPy) and GPU(CuPy and PyTorch) 성능 비교 개요CPU(NumPy) and GPU(CuPy and PyTorch) 비교 테스트 내용행렬 곱셈 성능 비교:NumPy(CPU), CuPy(GPU), PyTorch(GPU) 구현을 비교다양한 행렬 크기 [128, 256, 512, 1024, 2048] 에 대해 테스트각 구현의 실행 시간과 CPU 대비 속도 향상을 측정실행 시간 시각화신경망 학습 성능 비교:간단한 이진 분류 신경망을 구현CPU와 GPU 기반 학습 시간을 비교다양한 히든 레이어 크기(64, 128, 256)에 대해 테스트각 설정에서의 학습 시간과 GPU 가속 효과를 측정구현 및 테스트 환경 : Colab PRO (GPU : Tesla T4)# GPU 사용 가능 여부 확인import torchprint(f"PyTorch version: {tor..
Transformer 를 사용한 seq2seq 모델 실습 개요케창딥 11장에 나오는 Transformer Encoder 코드 학습 내용을 정리 합니다.https://github.com/gilbutITbook/080315/blob/main/chapter11_part04_sequence-to-sequence-learning.ipynb 도서의 코드 저장소. Contribute to gilbutITbook/080315 development by creating an account on GitHub." data-og-host="github.com" data-og-source-url="https://github.com/gilbutITbook/080315/blob/main/chapter11_part04_sequence-to-sequence-learning.ipynb" da..
Transformer Decoder 구현 및 학습 개요케창딥 11장에 나오는 Transformer Encoder 코드 학습 내용을 정리 합니다.https://github.com/gilbutITbook/080315/blob/main/chapter11_part04_sequence-to-sequence-learning.ipynb 도서의 코드 저장소. Contribute to gilbutITbook/080315 development by creating an account on GitHub." data-og-host="github.com" data-og-source-url="https://github.com/gilbutITbook/080315/blob/main/chapter11_part04_sequence-to-sequence-learning.ipynb" da..
Transformer Encoder 구현 및 학습 개요케창딥 11장에 나오는 Transformer Encoder 코드 학습 내용을 정리 합니다.https://github.com/gilbutITbook/080315/blob/main/chapter11_part04_sequence-to-sequence-learning.ipynb 도서의 코드 저장소. Contribute to gilbutITbook/080315 development by creating an account on GitHub." data-og-host="github.com" data-og-source-url="https://github.com/gilbutITbook/080315/blob/main/chapter11_part04_sequence-to-sequence-learning.ipynb" da..
Residual Network 구현 및 학습 Residual Network (ResNet) 개요와 핵심 내용 정리Residual Network(ResNet)는 딥러닝 모델에서 신경망을 깊게 쌓을 때 발생하는 문제를 해결하기 위해 2015년 He et al.이 제안한 네트워크입니다. ResNet은 특히 딥러닝 모델의 깊이 증가에 따른 성능 저하 문제와 그래디언트 소실 문제를 해결하는 데 중요한 기여를 했습니다. 이 글에서는 ResNet의 기본 개념과 논문에서 강조된 중요한 내용들을 정리해 보겠습니다.1. ResNet의 주요 문제 해결 접근딥러닝 모델의 깊이 문제: 딥러닝에서는 일반적으로 모델의 깊이를 늘리면 더 높은 수준의 표현 학습이 가능해지지만, 지나치게 깊은 모델은 학습이 어려워지고 성능이 오히려 저하될 수 있습니다. 이러한 문제의 주요 원인 ..
KerasTuner 와 Tensorboard 로 HyperParameter 시각화하기 KerasTuner 사용하기https://keras.io/api/keras_tuner/ Keras documentation: KerasTuner APIKerasTuner API The Hyperparameters class is used to specify a set of hyperparameters and their values, to be used in the model building function. The Tuner subclasses corresponding to different tuning algorithms are called directly by the user to start thekeras.io KerasTuner 설치!pip install keras-tuner -qimport ke..
DenseNet 구현 및 학습 DenseNet(Dense Convolutional Network)은 2017년 Gao Huang 등이 발표한 딥러닝 모델로, 레이어 간의 밀집 연결(Dense Connectivity) 을 통해 네트워크의 효율성을 극대화한 구조입니다. DenseNet은 기존의 합성곱 신경망(CNN)에서 레이어 간 정보 흐름을 크게 개선하여, 파라미터 효율성과 성능 모두에서 우수한 결과를 보입니다.DenseNet의 주요 특징 및 구조Dense Connectivity (밀집 연결성)특징맵 재사용: DenseNet에서는 각 레이어가 이전 모든 레이어의 출력(특징맵)을 입력으로 받습니다. 즉, 레이어 l 의 입력은 이전 레이어들 0,1,2,...,l−1의 출력이 모두 연결된 형태입니다.수학적으로, l 번째 레이어의 입력은 다음..