HJH IT Logs
Windows용 Ollama로 deepseek R1 쓰기.
#집에서deepseek결론만 말하면, 쓸 수 있지만 괜찮은 답변을 원하는 경우, Windows의 경우 RTX3090 그래픽 카드는 있어야 한다. MAC Pro Apple Silicon 64GB 메모리 이상 사용자들은 대부분 쓸 수 있다. Windows용 Ollama는 run 하는 순간 GPU 메모리를 계속 잡고 있지만, MAC의 경우 답변할 때만 메모리를 쓴다. 질문하는 순간에 메모리 사용량이 올라간다.(32b모델 스샷) 만만찮게 들어간다. 일단 500자는 넘는다. deepseek R1도 파라미터 개수에 따라 성능이 다른데, 1.5b나 7b 모델은 RTX3090까지 아니더라도 8GB 램만 되면, 왠만한 게임 그래픽 카드에서 가능하다. 그러나 70b 이상은 실행은 되지만 못 쓸 수준이다. 671b가 가능한..
2024. 10. 16. 07:00
최근댓글