윈도우에서 구글 AI 직접 돌리는 방법: 설치부터 실행까지 완전 가이드

시작하며

이제 윈도우에서도 클라우드 없이 직접 구글 AI 모델을 구동할 수 있다.

Langflow 윈도우판과 Ollama 조합이면, GPT·Gemini 수준의 대화형 AI를 로컬에서 ‘완전히 무료’로 실행할 수 있는 환경이 갖춰진다.

 

1. 윈도우에서도 드디어 GPT를 직접 돌릴 수 있다

설치가 어려워 망설였다면, 이번에는 다르다.

예전에는 AI 모델을 내 컴퓨터에서 직접 구동하려면 리눅스를 설치하거나 복잡한 명령어를 다뤄야 했다. 그런데 이제는 윈도우에서도 클릭 몇 번이면 GPT 기반 언어 모델을 구동할 수 있는 환경이 열렸다.

내가 이걸 시도하게 된 이유는 단순했다.

매달 구독료를 내면서까지 GPT를 쓸 필요가 있을까?

차라리 한 번 설치하고, 내 그래픽카드에서 직접 돌리는 편이 더 경제적이었다.

 

2. Langflow 설치: 윈도우에서 이렇게 간단할 수 있다

설치 과정은 ‘넥스트-넥스트-완료’ 수준으로 간단해졌다.

Langflow 다운로드 방법

• 구글에 ‘Langflow Desktop’ 검색
• 공식 사이트에서 윈도우용 설치 파일 다운로드
• 이메일, 이름 입력 후 다운로드 진행

설치 시 주의할 점

• 설치 과정 중 Visual C++ Redistributable 같은 요소가 필요할 수 있음
• 백신 프로그램(V3 등)이 설치를 방해할 경우, 일시 중단이 필요

설치 완료 후 실행

• 바탕화면에 Langflow 아이콘 생성
• 처음 실행 시 IBM·Datastax 약관 동의 후 시작
• 설치 속도는 느릴 수 있지만, 과정은 간단하다

 

3. Ollama 설치: GPT를 윈도우에서 돌리는 핵심 툴

Ollama는 로컬 GPT 구동을 위한 ‘실행 엔진’이다.

설치 방법

• ‘Ollama’ 검색 후 공식 사이트 접속
• 윈도우용 설치 파일 다운로드 및 실행
• 설치 후 실행되면 트레이 아이콘(시계 옆)에서 실행 상태 확인 가능

환경 설정

• 설정 메뉴에서 모델 저장 경로 변경 가능 (디드라이브 등 공간 많은 곳 추천)
• 네트워크 공유 설정(공유기 안에서 다른 장비가 접근 가능 여부)

첫 실행 시 유의사항

• 실행하자마자 반응이 없더라도 당황하지 말 것
• 명령어 입력은 PowerShell에서 수행

 

🧩 어떤 모델을 선택해야 할까?

그래픽카드에 맞는 모델을 선택하는 것이 중요하다.

기준은 ‘비디오 램 용량’

• 예: GTX 1060이라면 VRAM이 6GB
• 너무 큰 모델을 올리면 실행 불가
• 4~5GB 이하 모델 추천

추천 모델: Gemma 3B

• 구글의 경량 LLM
• 한국어 대응 가능
• V-RAM 4~5GB로도 안정적 구동 가능

모델 설치 방법 (PowerShell 명령어)

• ollama pull gemma:3b
• 다운로드 후 모델 실행은 ollama run gemma:3b
• 실행되면 GPU 사용량이 급증하는 것 확인 가능

 

4. Langflow에서 Ollama 모델 연결하기

이제 Langflow에서 GPT 스타일 인터페이스를 구성해보자.

Langflow 실행 후, 새로운 플로우 생성

• ‘Create First Flow’ 클릭
• ‘Simple Agent’ 선택

Ollama 노드 추가 및 설정

• 검색창에서 ‘ollama’ 검색
• 입력창(input) → Ollama → 출력창(output) 연결
• 버그 우회: 코드 보기 → 모델 네임 임의 입력 → 저장 후 새로고침

URL 설정 확인

• 기본 주소: http://localhost:11434
• Langflow 내부에서 스트리밍 설정 ON

테스트 예시

• “안녕. 넌 누구야?” → 실시간 응답 출력
• 작은 모델일수록 반응 속도 빠름

 

5. 이런 오류가 생길 수 있다

처음 설치하거나 실행할 때 다음과 같은 문제가 생길 수 있다.

• Langflow 실행 시 에러 → Visual C++ 재배포 패키지 설치 필요
• 모델 실행 시 램 부족 오류 → 더 작은 모델 선택 필요 (예: 3B 또는 2B 모델)
• Langflow 내 모델 리스트가 안 보일 때 → 코드 수정 후 수동 입력으로 해결 가능

 

6. 내가 직접 써보며 느낀 점

이 정도면 일반 사용자도 충분히 도전할 만하다.

솔직히 말하면, 설치 전에 많이 망설였다.

윈도우에서 제대로 될까 싶었고, 도중에 버그나 충돌도 걱정됐다.

그런데 해보니 생각보다 잘 돌아갔다.

내 컴퓨터(GTX 1060, 16GB RAM) 기준으로 Gemma 3B 모델은 꽤 빠르게 응답했다.

물론 초등학생 수준의 지능이라고 해도, 간단한 응답·대화 수준에서는 충분히 쓸 수 있다.

더 강력한 GPU가 있다면 7B 이상도 도전 가능할 것으로 보인다.

 

7. 왜 로컬 AI가 중요한가?

외부 유출 걱정 없는 ‘프라이빗 AI’를 구축할 수 있다.

회사/개인 정보 보호

• 클라우드 기반 GPT는 항상 인터넷에 연결되어 있음
• 로컬 AI는 정보 유출 걱정이 없음

인터넷 없이도 사용 가능

• 한번 설치한 모델은 오프라인 상태에서도 구동됨

장기적인 비용 절감

• GPT 구독료 없이 자체 구동
• 특히 반복적 업무 자동화에 유용

 

마치며

이제 윈도우에서도 GPT 스타일의 AI를 직접 구동할 수 있는 시대가 왔다.

Langflow와 Ollama만 설치하면, 무료로 대화형 AI를 구성할 수 있다.

내 컴퓨터 한 대로도 충분히 가능하며, 그 경험은 꽤 실용적이다.

다음엔 도구 호출 기능이 포함된 에이전트 설정까지 확장해볼 생각이다.