Ollama를 이용한 로컬 LLM 구동

내 PC에서 LLM을 실행할 수는 없을까?

당연히 가능하다. 그리고 생각보다 빠르다!!

Ollama 이라는 게 있는데 제미나이가 아래와 같이 설명해준다 ㅎ

Ollama: 로컬에서 대규모 언어 모델 사용하기

Ollama는 최근 주목받는 흥미로운 프로젝트입니다. 이 프로젝트는 Llama 2, Mistral, Gemma 등 대규모 언어 모델(LLM)을 로컬에서 실행할 수 있는 프레임워크를 제공합니다. Ollama를 사용하면 다음과 같은 이점을 얻을 수 있습니다.

비용 절감: 클라우드 서비스에서 LLM을 실행하는 것은 비용이 많이 들 수 있습니다. Ollama를 사용하면 로컬 머신에서 모델을 실행하여 비용을 절감할 수 있습니다.개인정보 보호 강화: Ollama를 사용하면 모델을 로컬에서 실행하므로 데이터를 클라우드에 업로드할 필요가 없습니다. 이는 민감한 데이터를 처리할 때 특히 유용합니다.빠른 성능: Ollama는 모델을 로컬에서 실행하므로 클라우드 서비스에 연결하는 데 소요되는 시간을 줄일 수 있습니다.

https://ollama.com/ <-- 접속

자연스럽게 "Download"를 클릭해주고 설치해준다. 나는 윈도우를 사용하기에 윈도우 버젼으로 ㄱㄱ

사용 가능한 LLM 모델은 https://ollama.com/library 여기에서 확인 가능하나 일반적으로 llama, mistral, gemma를 추천해 봅니다 ㅎ

사용 방법을 https://github.com/ollama/ollama 깃 허브에 가면 간단하게 알 수 있다.

한번 사용해 보자

1. 윈도우키+R, cmd 실행

4. 결론

장점

1.LLM을 인터넷 연결과 상관없이 마음대로 쓸 수 있다

2.LLM 사용할 때 추가 비용이 들지 않는다.

3.남들은 관심이 없어서 안 하는 짓을 나는 할 수 있다고 자랑할 수 있다.4.외장 그래픽 카드가 없어서도 나름 쓸만한 속도로 대답한다

단점

1. 대부분의 LLM 모델이 영어만 주로 쓴다;;;

  - 이 부분은 번역기 api를 이용해서 개선해 볼까 함

2. CPU 부하가 큰 편이라 다른 기능과 함께 쓰기가 꺼려짐  - 그래도 많이 답답한 편은 아님

주요 ollama 명령어

ollama list (설치된 LLM 확인)

ollama rm llama2 ( 설치된 llama2  LLM 삭제)

출처: https://mdy2.tistory.com/525 [만두얏의 세상살이~ mandooyat's second life~:티스토리]