[AI] 로컬에 LLM 설치하기

 

 

✔️ 무료 LLM 의 한계와 보안 이슈
테스트 하다보니 토큰에 가로막힘 and 보안 이슈로 한계가 왔다.
일단 토큰보단 우선인건 무료모델은 야금야금 데이터들을 수집한단 거다.
 
엔터프라이즈 같은 모델은 학습에 사용하지 않는다는 서약서를 받고 하기에 문제가 없겠지만,
무료모델로 회사 poc 하기엔 문제가 있다고 판단하였다.


✔️ 그럼 어떻게 해?
로컬에 LLM(Ollama)을 깔자.
도커로 설치하는 방법과 그냥 내 PC에 네이티브로 설치하는 방법이 있는데 난 빠르게 하기위해
그냥 네이티브 설치를 하기로 하였다.

 

[개발환경]
OS : Window 11
RAM : 16GB

 

https://ollama.com/download/windows
페이지에서 다운로드받아 설치하자.

Download Ollama on Windows

 

설치하면 귀여운 라마 채팅창이 뜬다.

 

추론 모델인 딥시크도 추가로 cmd 에서 설치해주자.

ollama run deepseek-r1:8b

그런 다음 채팅을 해보면 요렇게 뜰 것이다.

 

-끝-