애드센스


내 PC에 Google Colab 처럼 구축하기

로컬 딥러닝 환경 구축을 할 예정입니다.
로컬에 Colab 을 구축한다고 보면 됩니다.


환경구성은
 - GPU: nvidia 그래픽카드 외장(CUDA)
 - OS: 윈도우 10, 11
 - 배포환경: 아나콘다
 - IDE: jupyter notebook
 - libs: keras, tensorflow


설치 순서는
GPU&아나콘다 이후 Keras 순서입니다.
설정상 순서가 바뀌면 안됩니다.
그래픽 카드와 윈도우는 설치된 걸 가정하고 시작합니다.


1. GPU 그래픽 카드 연결
 CUDA, cuDNN을 설치해줘야 합니다.
 최신버전 깔면 됩니다.
 1050 보다 이전 그래픽 카드를 사용한다면 colab을 쓰는게 낫습니다.
  그래서 그 이후라면 그냥 최신버전 깔아주면 호환을 걱정할 필요는 없습니다.
  호환 따지지 말고 그냥 최신버전을 설치해주시면 됩니다.

  1-1. Visual Studio 설치 - https://visualstudio.microsoft.com/ko/free-developer-offers/
  위 경로에서 다운받고 작업환경을 아무것도 선택하지 않고 설치하면 된다.

  1-2. CUDA 다운로드 - https://developer.nvidia.com/cuda-downloads
  windows -> x86_64 -> 10 또는 11 -> exe 로 다운

  1-3. cuDNN 다운로드 - https://developer.nvidia.com/rdp/cudnn-download
  회원 가입을 해야함 -> windows exe 로 다운

  둘다 설치해주고 아래 환경변수를 추가해줘야 한다.
  홈페이지는 아래처럼 명령어를 치라고 되어있는데,
  잘 안먹히니 직접 녹색부분을, 설정 - (검색) 시스템 환경 변수 - Path 에 하나씩 추가해줘야 한다. 
  내가 설치한 최신 버전은 CUDA 11.6, cuDNN은 8.3 이므로 각자 설치된 버전 확인해서 입력해야 한다.

   ※ 에러가 나는 경우 cudnn의 8.2.4 버전(zip)을 다운받아 파일들을 통째로 cudnn 폴더에 덮어쓰기 해주면 해결된다.


SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include;%PATH%
SET PATH=C:\Program Files\NVIDIA\CUDNN\v8.3\bin;%PATH%

  이후 연결됐는지는 아나콘다 설치후에 확인해보자


2. 아나콘다 다운로드 & 설치
 구글에서 아나콘다를 검색하면 아래 웹사이트로 접속이 됩니다.
  https://www.anaconda.com/products/individual
  위에서 무료버전인 individual을 다운받으면 됩니다.
 
  다운받고 일반적인 방법으로 설치하면 되는데,
  중간에 PATH 환경변수 추가 등 옵션은 손대지말고 그대로 설치하면 됩니다.

  PATH를 더하라든지 여러가지 방법들을 다른데서 소개하지만 그대로 설치하는게 컴퓨터에 영향을 안줍니다.

  아래처럼 '시작'에서 최근에 추가한 'Aanaconda Powershell Prompt (anaconda 3)' 가 보이면 잘 끝난겁니다.
  


3. jypyter notebook 설정

  Anaconda Powershell Prompt (anaconda 3) 를 실행하면 창이 뜨는데
  다음 명령어를 순서대로 입력해서 라이브러리 몇 개를 설치해줍니다.

  파이썬 3.6 버전으로 가상환경 생성
  > conda create -n py36k python=3.6

  가상환경 진입
  > conda activate py36k

  가상환경에서 필수 패키지를 설치해줍니다.
  (py36k)> pip install tensorflow
  이때 1.5 버전 이후부터는 gpu 패키지를 안깔아줘도 됨, 그리고 keras도 알아서 깔림

  jupyter를 깔자
  (py36k)> pip install jupyter

  위는 필수만 설치한거고 그때그때 필요한 패키지를 설치해줘도 됩니다.


마지막. 설치 확인
  이제 노트북을 실행해보자
  (py36k)> jupyter notebook

  노트를 새로 만들고,


  아래 구문을 실행하면

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

  CPU만 뜨면 실패이고 GPU 라는 문구가 보이면 성공이다


다음에는
resnet-50으로 성능테스트를 해볼 생각이다.

colab이 불과 최근 몇년 사이에 가성비가 최악이 되었고,
현재 geforce 30 시리즈 그래픽카드의 감가보다 더 안좋다.

그래서 어느정도 차이가 나는지 간단한 비교를 해볼 생각이다.

Ubuntu 18.04 & VirtualBox 인터넷 + ssh 설정하기

항상 vmware 만 쓰다가라이선스 문제로 버박을 오랜만에 쓰다보니역시나 네트워크에서부터 막힙니다..국내 자료는 원하는 말이 딱 나오지 않기때문에 새로 작성했습니다.* 참고자료 : https://www.tecmint.com/network-between-guest-vm-and-host-virtualbox/그래서 다음에는 헤매지 않기 위해 네트워크... » 내용보기

윈도우에서 Python 안드로이드 자동화 도구(AndroidViewClient / culebra) 세팅

안녕하세요.오늘은 안드로이드를 윈도우 환경에서 조종할수있는 프로그램들을 설치해볼거에요.그래서 필요한 얘들은 3개입니다!!Android studioPython 2.7AndroidViewClient (culebra 포함)특이하게 3버전이 아닌 2를 사용합니다.설치하면서 알게되겠지만, 메인 컨트롤러인 androidviewclient가 옛날 버전이에요.기본 작... » 내용보기

bitcoin 에 대해서 알아보자 - BLOCKCHAIN CONCEPTS 1

카카오는 오래되어서 기억도 잘 안나기에 답변을 못해드릴것같습니다.최근 관심사가 생겨서 blockchain 과 bitcoin 또는 거래소 관련해서 프로그래밍 법을 공부겸 포스팅해보고자 합니다.덧글로 bitcoin이나 blockchain에 대해 궁굼한점을 남겨주시면,확인되면 설명하는 글을 포스팅하든지 하겠습니다.먼저 첫 글이니 간단한 질문과 답변으로 구성해... » 내용보기

peepdf + pyv8 설치기 (kali 1.0.6) - pdf 악성코드 분석도구

테스트 환경은 kali 1.0.6 입니다.우분투 13.04에서 했는데 의존성 등등 패키지가 없어서 오류가 너무 많이 나는군요..역시 해킹툴은 칼리나 백트랙에서..ㅎ칼리 링크입니다.http://www.kali.org/downloads/간단히 뭐하는 놈인지 설명하자면 peepdf 는 자신을 아래같이 소개하고 있습니다.peepdf is a ... » 내용보기