로컬 PC에서 사용가능한 LLM 올라마(ollama)
대형 언어모델을 PC에서 사용할 수 있다고 하길래 테스트를 해봤는데 결론부터 말하면 한글 안되는것 많고 느려서 사용 못하겠네요
무료 GPT 3.5 사용하는것이 더 좋다는 생각을 해봅니다. 요즘 구글 LLM 사용해도 되고 무료로 사용할만한것은 많습니다.
그리고 간혹 설명할때 도커에 가둬놓고 설치하는 예가 있는데 테스트 해보고 지울것이면 굳이 도커안에 설치할 필요는 없습니다. 확실하게 지울때는 깔끔할듯요~
＃ 올라마 다운로드
https://ollama.com/download/windows
＃ 설치
설치 할때 모델을 다른 디렉토리에 설치 하고 싶으면 환경 변수에 아래 추가해 주면 됩니다.
요즘은 자동으로 많이 되어 있지만 예전에 자바 설치 할 때 많이 해보셨을 거예요. path 에 넣어 주는 것
OLLAMA_MODELS = D:\ollama_model
올라마 설치는 C 드라이브에 됩니다. 보통 모델이 2G 또는 4G 이렇기 때문에 공간이 많이 남아 있는 곳에 해주는것이 좋습니다.
모델을 돌리기 위한 모델은 아래와 같다고 한다.
- 7B 모델들 8GB의 램.
- 13B 모델은 16GB의 램.
- 33B 모델은 32GB의 램.
＃ 모델 다운로드(설치) 방법
ollama pull <모델 이름>
＃ 실행
ollama run gemma
자 이제부타 실행 후 답답함을 느껴 보시고 삭제 하시면 됩니다.
개인은 이것 빠르게 하겠다고 GPU 사고 높은 사양의 컴퓨터를 구매하는 비용과 유지비를 생각했을때 사서 쓰는것이 훨씬 낳겠다 입니다.