121

맥북으로 머신러닝 되나요?

 

알파고가 100억 넘는 컴퓨터라는 것을 사람들이 잘 아는데도 이런 질문을 받는 경우가 있다.

답변은  됩니다. 혹은, 안됩니다.

 

라고 말한다.

 

그리고 대기업 개발 쪽 아닌, 관계자가 물어봤을 때는 그냥 안된다고 말했다.

 

노트북으로 한다면 초기엔 구글 코랩이 베스트고, 구글 클라우드가 좋다. 사실, 대형 클라우드 회사는 모두 해당 플랫폼을 가지고 있다. 오라클, IBM 도 브로셔를 보내오고 마이크로소프트의 애저, 아마존의 AWS도 ML 플랫폼이 있다.  원리는 VMWARE나 도커에 파이썬, 텐서, 케라스를 깔아 놓고 돈 받는 형태라 보인다. 가장 큰 AWS도 초창기 데이터 센터 만들 때 VMWARE 기술을 썼다는 기사가 기억난다. 불혹이라 사실 이제 가물가물하다.

 

다음과 같은 플랫폼도 있다. 

 

https://www.openml.org/home

OpenML

OpenML: exploring machine learning better, together. An open science platform for machine learning.

www.openml.org

 

 

그 외 다른 ML 클라우드 회사는 10개 넘었던 것 같은데 다 망한 것 같다.

 

페북이나 구글 하드웨어 개수가 개당 500만 원씩 잡고 30만~100만 개는 될 텐데, 1조 정도 있으면 해 볼만한 사업인 것 같다. 뭐, 국가가 쓸데없는 개 타트 업에 투자해 주는 것보다 그냥 미국 하드웨어 디립따 사서 외교 잘하고 그 하드웨어로 대학교 학생들이 만든 인공지능 모델이나 잘 돌려줘도 좋은 국가 산업이 될 거라는 생각을 해 본다.

 

서론이 길었네. 좀 더 비 개발자가 알아듣기 쉬운 답변으로는

 

맥북 에어 200만 원짜리 노트북으로 돌리면 한 3시간 걸리는 간단한 트레이닝 데이터로 모델을 만들 때, 

500만 원짜리 맥북 프로로 돌리면 한 1.5시간 걸리는 것 같고,

아이맥 프로 800만 원짜리로 돌리면 16 코어 중 5 코어 놀면서 10분 정도에 끝나는 것 같다.

 

맥은 머신러닝 하기 좋은 시스템 플랫폼이 아니다.

 

AMD는 GPU 지원이 nVidia보다 못해서 난 CPU로 돌린다. pyCharm에서 gpu 패키지가 잘 안되거든... ㅡㅡ; 4년 전 Sli나 Crossfire로 GPU 4개씩 사서 머신러닝 한다고 국가 돈 타갔던 회사들은 그걸로 신나게 게임하고 있으리라 생각한다. 혹은 구석에 처박혀 있거낰ㅋㅋㅋ 리눅스에 구축한 텐서의 경우 CPU로는 돌릴 수가 없는 상태. 그래도 아이맥 프로는 plaidbench keras mobilenet 벤치를 돌렸을 때 7초 안에 프롬프트가 뜬다.

 

2년 전이었나? 3년 전이었나... 클라우드 머신으로 돌렸을 때 기억으로는 트레이닝 비용이 월 380만 원 정도가 나왔던 것 같다. 그때 트레이닝 데이터가 지금보다 더 많지는 않았던 것 같은데...(이미지 크기가 다르긴 했으니 1:1 비교는 불가겠지만)

 

암튼, 모델 짜는 것은 종이와 연필이면 충분하고 머신 러닝 돌리는 것은 휴대용에서는 안 하는 게 좋다. 클라우드는 너무 비싸. 좋은 데이터 있으면 클라우드 업체와 딜이 되긴 한다. 걔네들도 뭐, 데이터 없으면 땡이니까.

 

요샌 나 같은 경우 모델 하나로 만들지 않고 어차피 프로그래밍이 되니 여러 모델을 거치도록 설계하기 때문에 클라우드 쓸 일도 없다. 기업 담당자 잘 꼬셔서 맥 프로 최고 사양으로 뽑는 게 좋다. 뭐... AMD GPU도 아직은 아니지만 좀 더 나아지겠지 ^^;; 그리고 어차피 VR, AR 도 하니까 그리고 그래픽 카드 내구성보다는 제온 같은 CPU가 오래 돌리는데 좀 더 안정감을 느끼긴 하다. 3년 이상씩 하드웨어 고장 났을 때만 컴퓨터 끄며 그 외엔 계속 돌려도 하드 디스크 메모리, 그래픽 카드만 뻑났었지 CPU가 죽은 적은 없었기에...

 

내가 데이터 엔지니어를 하는 이유는 이미 늙었고, 했던 분야가 모두 그쪽인 이유도 있지만. 데이터 분석가, 과학자 쪽은 의사결정 쪽과는 거리가 멀다. 의사 결정 또 한 내가 하는 것이 아니다. 잘 뽑은 모델로 한 예측을 잘 보여줄 때 큰돈을 움직이는 사람들이 의사 결정을 하는 것이다. 3D로 잘 보여 주면 더 좋고.

 

3개의 글로 이 매거진의 성격은 어느 정도 파악되었으리라 생각된다.