MLOps (1) 썸네일형 리스트형 Airflow 디버깅 및 수정내용 개요MLOps 과정 'Airflow 구성하기 - 예제 2 _ 파트 2' 에서 메모리 문제로 error 발생한 부분에 대한 디버깅 및 수정 내용입니다.디버깅 후 수정이라 Airflow 개발 내용은 생략 합니다. 문제점최종 Airflow HuggingFace 데이터셋 등록 과정에서 에러 발생Hugging Face 에 gugalove/mlops_gsod 로 create_repo 는 되나 데이터셋이 업로드 안됨 수정내용도커의 메모리 부족 의심되어 아래와 같이 Memory 확장 하였으나 failed 되는 시간만 늘어나고 결국 에러 발생 함디버깅 코드 추가 하여 문제점 확인mlops-quicklab/airflow/basic/dags/bigquery_to_huggingface.py18Gb 로 확장해도 결국 메모리 .. 이전 1 다음
