pyCharm 세팅

2016년 부터 파이참을 써 오다가 주변에 파이썬을 가르쳐 달라는 분이 많아져서 파이참을 참 많이도 설치해 드렸습니다.

 You probably need to delete and re-download or re-create this file.  Message from libarchive was:\n\nCould not unlink'

초반에 삽질하던 많은 부분들을 해소 해 준게 아나콘다 였는데 그 보다 더 편하게 파이참이었죠.

conda clean -a

모든 패키지 설정을 위해 아나콘다에서 모든 세팅을 하고 파이참은 그 세팅을 끌어다 쓰는 방식을 취하다가

conda update conda

파이썬 공부용 일 경우 파이참에서도 패키지 설치가 잘 되어서 새로 세팅하는 컴퓨터의 경우 아나콘다를 설치하지 않고 있습니다. 이 글을 쓰는 2020년 6월 23일에도 여전히 아나콘다가 더 최신의 패키지들을 다룹니다. 아나콘다로만 설치할 수 있는 패키지가 많죠. AI는 콘다 명령어를 알아야 합니다.

 

C:\WINDOWS\system32>TASKKILL /F /IM python.exe

성공: 프로세스 "python.exe"(PID 34740)이(가) 종료되었습니다.

성공: 프로세스 "python.exe"(PID 33204)이(가) 종료되었습니다.

성공: 프로세스 "python.exe"(PID 6692)이(가) 종료되었습니다.

성공: 프로세스 "python.exe"(PID 4596)이(가) 종료되었습니다.

오류: 프로세스 "python.exe"(PID 52972)을(를) 종료할 수 없습니다.

원인: 액세스가 거부되었습니다.

성공: 프로세스 "python.exe"(PID 53496)이(가) 종료되었습니다.

오류: 프로세스 "python.exe"(PID 53876)을(를) 종료할 수 없습니다.

원인: 액세스가 거부되었습니다.

오류: 프로세스 "python.exe"(PID 53300)을(를) 종료할 수 없습니다.

원인: 액세스가 거부되었습니다.

성공: 프로세스 "python.exe"(PID 63484)이(가) 종료되었습니다.

 

C:\WINDOWS\system32>conda install -c conda-forge libarchive

Collecting package metadata (current_repodata.json): done

Solving environment: done

 

## Package Plan ##

 

  environment location: J:\Anaconda3

 

  added / updated specs:

    - libarchive

 

 

The following NEW packages will be INSTALLED:

 

  python_abi         conda-forge/win-64::python_abi-3.7-1_cp37m

 

The following packages will be UPDATED:

 

  conda                       pkgs/main::conda-4.8.3-py37_0 --> conda-forge::conda-4.8.3-py37hc8dfbb8_1

  openssl              pkgs/main::openssl-1.1.1f-he774522_0 --> conda-forge::openssl-1.1.1g-he774522_0

 

The following packages will be SUPERSEDED by a higher-priority channel:

 

  ca-certificates    pkgs/main::ca-certificates-2020.6.24-0 --> conda-forge::ca-certificates-2020.6.20-hecda079_0

  certifi               pkgs/main::certifi-2020.6.20-py37_0 --> conda-forge::certifi-2020.6.20-py37hc8dfbb8_0

  libarchive         pkgs/main::libarchive-3.4.2-h5e25573_0 --> conda-forge::libarchive-3.3.3-h0c0e0cf_1008

 

 

Proceed ([y]/n)?

 

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

 

C:\WINDOWS\system32>

 

%matplotlib inline 그래프 바로 보이게 : pyCharm 에서 무쓸

import missingno pyCharm 에 없음. 아나콘다로만 설치 ㅠㅠ

conda install -c conda-forge missingno

Collecting package metadata (current_repodata.json): done

Solving environment: done

 

## Package Plan ##

 

  environment location: J:\Anaconda3

 

  added / updated specs:

    - missingno

 

 

The following packages will be downloaded:

 

    package                    |            build

    ---------------------------|-----------------

    matplotlib-base-3.2.1      |   py37h911224e_0         7.1 MB  conda-forge

    missingno-0.4.2            |             py_1          12 KB  conda-forge

    openssl-1.1.1g             |       he774522_0         5.7 MB  conda-forge

    ------------------------------------------------------------

                                           Total:        12.9 MB

 

The following NEW packages will be INSTALLED:

 

  matplotlib-base    conda-forge/win-64::matplotlib-base-3.2.1-py37h911224e_0

  missingno          conda-forge/noarch::missingno-0.4.2-py_1

 

The following packages will be UPDATED:

 

  conda                       pkgs/main::conda-4.8.3-py37_0 --> conda-forge::conda-4.8.3-py37hc8dfbb8_1

 

The following packages will be SUPERSEDED by a higher-priority channel:

 

  ca-certificates    pkgs/main::ca-certificates-2020.6.24-0 --> conda-forge::ca-certificates-2020.6.20-hecda079_0

  certifi               pkgs/main::certifi-2020.6.20-py37_0 --> conda-forge::certifi-2020.6.20-py37hc8dfbb8_0

  openssl                                         pkgs/main --> conda-forge

 

 

Proceed ([y]/n)? y

 

 

Downloading and Extracting Packages

matplotlib-base-3.2. | 7.1 MB    | ############################################################################################################################################################################################ | 100%

openssl-1.1.1g       | 5.7 MB    | ###############################################################################################################################################################################8             |  94% W

ARNING conda.gateways.disk.delete:unlink_or_rename_to_trash(140): Could not remove or rename J:\Anaconda3\pkgs\openssl-1.1.1g-he774522_0.tar.bz2.  Please remove this file manually (you may need to reboot to free file handles)

openssl-1.1.1g       | 5.7 MB    | ############################################################################################################################################################################################ | 100%

missingno-0.4.2      | 12 KB     | ############################################################################################################################################################################################ | 100%

 

InvalidArchiveError('Error with archive J:\\Anaconda3\\pkgs\\openssl-1.1.1g-he774522_0.tar.bz2.  You probably need to delete and re-download or re-create this file.  Message from libarchive was:\n\nCould not unlink')

 

C:\WINDOWS\system32>conda install -c conda-forge missingno

Collecting package metadata (current_repodata.json): done

Solving environment: done

 

## Package Plan ##

 

  environment location: J:\Anaconda3

 

  added / updated specs:

    - missingno

 

 

The following NEW packages will be INSTALLED:

 

  missingno          conda-forge/noarch::missingno-0.4.2-py_1

 

 

Proceed ([y]/n)?

 

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

1.  상황에 딱 맞는 솔루션이 바로 궁극의 솔루션이죠. 엔터프라이즈용 궁극의 솔루션은 리눅스 VMWARE에 pip로만 인스톨한 환경 설정입니다. --> 기업은 무료에 강한 매력을 느낍니다. VMWARE 로 설정해 놓으면 컴퓨터 갈아타며, 환경 세팅은 정말 쉽습니다. VMWARE 파일 복사하면 끝이죠.

 

아나콘다의 경우 콘다 하위 폴더에 패키지 설치가 되고, 파이참은 가상 환경 세팅되면 관련 라이브러리가 

로컬 드라이브 내가 정한 어딘가\PycharmProjects\프로젝트 이름\venv\Lib\site-packages 에 위치합니다.

https://anaconda.org/anaconda/openssl/files 얜... 따로 받아서 설치를 합니다. 콘다도 잘 안됨...

파이썬의 패키지 라이브러리들은 파이썬 파일 소스기에 사실 따로 받아서 설치가 가능합니다. include 폴더는 비워져 있고 본체인 lib만 채워져 있는 형태지요. 일전에 이 패키지들을 관리하는 메타 파일을 찾으려고 한 적이 있는데 목록 갱신이 느리고 async 한 것을 보고 그냥 폴더 읽는구나 하고 생각한 적이 있습니다. 지금도 딱히 찾아 볼 생각은 없죠. 파이참의 프로젝트는 windows server datacenter 버전에 설치하고 mstsc를 이용해서 사용합니다. python 3.7 amd 64 비트 버전이죠. 이제 3.8로 올리려고 하고 있습니다. 8이라는 숫자를 좋아해서요. 아마 3.8로 가면 또 한 4년은 그대로 쓰겠지요. 윈도우는 1년에 한 번 업데이트 한다고 끕니다.

 

제온 서버 입니다. 전기세, 네트워크 포함 1년 유지비 200 정도 보시면 됩니다.  싸게 하면 100으로 가능하리라 생각됩니다.

 

2. 개인용 궁극의 솔루션은 노트북은 저사양 노트북을 들고 다니며 mstsc 로 접속하는 윈도우 서버 환경에서의 pyCharm 입니다. 해당 pyCharm 은 궁합이 맞는, 설치가 가능한 모든 라이브러리를 포함하고 있으며 한 번 작업을 시키면 컴퓨터를 끌 필요가 없는 환경입니다.

 

삼성전자 재직 시절에도 방송대를 당당하게 광고하며 다녔는데, 저는 공부를 위해 적어도 이 정도 투자는 하고 있었습니다. 그렇게 40이 넘으니 정부던 기업이던 교육 기관이던 나름 찾아 주는 곳이 많은 것 같습니다. 모든 정보를 공개하기엔 시간이 너무 부족합니다. 계약서 써 두고 못 쓴 책도 여러 권입니다. 실무 개발자다 보니 책을 쓰는 동안 변해버리는 기술 때문에 책 쓰기가 힘들고, 사실 책을 써 보신 분은 아시겠지만 블로그 포스팅과는 차원이 다른 스트레스가 있습니다. 물론, 나쁜 스트레스는 아니지만... 누가 단어로 하나 만들어 주면 좋겠네요.

 

3. 저의 경우 제온을 썼지만 GPU 환경 설정, 그리고 AMD 가 답 입니다.

 

http://www.inews24.com/view/125791

[64비트CPU 출시1년-중] 인텔-AMD 승자는 누구

리사수 덕에 이제 AMD는 넘사벽이 되었지만 그 전에도 64비트는 AMD가 빨랐습니다. 그래서 64기가 램 + 2080 8gb(Ti는 넘 비사서...) + AMD 7 시리즈로 데탑을 구성해서 사용하고 있습니다. 파워는 1200W네요. 파워는 그 정도로 쓰지는 않지만 뽐뿌가 와서... 쓰레드 리퍼는 정품 박스 들고만 있습니다.(리사수 작품 1세대라... 영구보관 하려구요)

 케라스와 텐서플로우가 AI 프레임웍은 통일을 한 것 같습니다. GPU도 AMD 껄로 쓰고 싶었는데 엔비디아와 궁합이 더 잘 맞는 것 같아서 GPU는 결국 엔비디아로 갈 수 밖에 없고, 나중에 Sli를 하려면 80 시리즈로 갈 수 밖에 없었습니다. 아시겠지만 AI 프레임웍은 세팅에 따라 일주일 걸리는 작업이 몇 시간으로 단축됩니다.

 

최근 AI 전문가들이 프레임웍 싸움은 끝났다라고 말하고 있습니다. 뭐, 사실 잘하는 사람은 구글로 다 가버렸고, 구글에 속한 사람들보다 나은 논문을 발표할 수도, 다른 논문을 더 나은 효율로 구현할 수도 없는 상황이 되어 버렸거든요. 저 포함 남은 사람들은 구글이 만든 플랫폼 위에서 입 싸움을 하는 수 밖에 없습니다. 혹은, 좀 더 우아한 개발 싸움을 하던지요. 그렇다고 구글이 승자는 아닙니다. 결국 필요한 곳에 데이터 싸움이 될 텐데 구글이 시장을 잘 뚫어줬으니 AI 로 대체할 작은 부분들을 하면 되지요. facebook 메신저가 세계 최대의 메신저이겠지만 우리는 카톡을 쓰는 것 처럼요.

 

가족이 쓰는 기기를 제외하고 개인 것으로 맥북 에어, 맥북프로, 아이맥 프로, 서버 제온, 위에 말한 데탑을 쓰고 있네요. 아이패드 프로 포함 기타 애플 제품도 다 쓰고 있습니다. AIaaS 가 인기긴 하고 사용해 보니 서버랑 클라이언트 개발자가 AI를 다루는 것이 너무도 쉬워졌습니다. 결국 비용 싸움인데 제가 고민하고 있는 부분은 바로 학습 비용을 낮추는 부분. 그리고 데이터를 뻥튀기 하기 힘든 의료 데이터를 이용한 AI 분야 입니다.

 

암튼. 그렇습니다. 나이가 드니 본인이 애용하는 뭔가를 공개한다는게 참, 좋지 않은 피드백으로 오는 것을 많이 경험합니다. 그래도 IT는 커뮤니케이션이 답입니다.

 

=0-=0=0-=0=-0=0=-0