GCP GPU - Jupyter Notebook 설치(2):트러블 슈팅

GCP-GPU 서버 운용

GCP GPU - Jupyter Notebook 설치

 

서론

우선 설치하고 중지를 했으나,

다음에 다시 실행하려고 하니 tensorflow에서 GPU인식이 안됬다.

그래서 처음부터 다시 설치하고 설정을 다시 했다.

그리고 tensorflow와 numpy 버젼 충돌 에러가 나기 때문에 설정도 다시 해야 했다.

 

문제 해결 흐름

import numpy as np
print(np.__version.__)
# 원래 설치는 버젼 1.25이였다.

# tensorflow 설치
pip install tensorflow

import numpy as np
print(np.__version.__)
# 버젼이 2.0.2로 출력이 된다.
# 알아서 설치하는 것 같다.

# 다시 numpy 버젼 수정
pip uninstall numpy
pip install "numpy<2"

# tensorflow 확인
import tensorflow as tf
print("TensorFlow version:", tf.__version__)
print("GPUs available:", tf.config.list_physical_debices('GPU'))
# TensorFlow version: 2.19.0
# GPUs available: []

# GPU 인식이 안됨
# jupyter terminal 종료하고
# cuda-toolkit cudnn 설치
conda install -c nvidia cuda-toolkit cudnn

 

conda install -c nvidia cuda-toolkit cudnn을 작성하면 [y/n]이 나온다.

y를 누르면 관련 파일을 설치 해준다.

 

환경설정

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/
echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/' >> ~/.bashrc
source ~/.bashrc

 

GPU 확인

import tensorflow as tf
print("TensorFlow version:", tf.__version__)
print("GPUs available:", tf.config.list_physical_devices('GPU'))

위 과정으로 사용 가능한 GPU가 나오고 다시 주피터 노트북으로

 

Kagglehub, keras-nlp 설치

!pip install kagglehub
import kagglehub
kagglehub.login()

# 캐글에서 발급한 이름, 토큰 기입
# 모델 필요한거 서약서도 작성해야함

# 환경설정
import os
os.environ["KERAS_BACKEND"] = "tensorflow"
os.environ["XLA_PYTHON_CLIENT_MEM_FRACTION"]="1.00"

import keras
import keras_nlp

gemma_lm = keras_nlp.models.GemmaCauslLM.from_preset("gemma_2b_en")
gemma_lm.summary()

 

드디어 딥러닝을 공부하기 위한 서버가 완성되었다.

모델을 돌리고 봤는데 벌써 10,000원 크레딧을 사용했다.

환경설정을 만들고 디스크를 만들어서 관리를 하는것이 좋을 것 같다.

인스턴스를 유지를 하는 것만으로도 비용이 나가니