내 컴퓨터에서 도는 AI 설치하기

클라우드 AI(ChatGPT 등)는 입력한 내용이 회사 서버로 전송되지만, 내 컴퓨터 안에서 도는 AI는 컴퓨터 밖으로 나가지 않습니다. 대신 응답 품질이 낮고 속도가 느리며, 기관 PC는 관리자 권한이 막혀 설치 자체가 안 될 수 있습니다. 만능 대체재는 아니어서, 개인정보가 들어가는 짧은 업무에만 쓰고 나머지는 여전히 클라우드 AI에 정보를 지운 뒤 넣습니다.

[이 글은 2026년 8월 기준으로 작성되었습니다. 소개하는 프로그램과 모델은 빠르게 바뀌는 분야라, 실제 화면과 다를 수 있습니다.]

AI에 이용자 정보 넣어도 될까 글에서 실명·연락처는 대괄호로 바꿔 넣으라고 안내했습니다. 이 글은 그 원칙을 아예 우회하는 방법을 다룹니다. 인터넷에 연결하지 않고 내 컴퓨터 안에서만 작동하는 AI를 설치하면, 애초에 대괄호로 바꿀 필요 없이 실명이 든 메모를 그대로 넣을 수 있습니다. 다만 이 방법에는 분명한 한계가 있고, 이 글은 그 한계부터 먼저 말합니다.

---

클라우드 AI와 무엇이 다른가

ChatGPT·클로드·제미나이 같은 대화형 AI는 클라우드 AI입니다. 입력창에 글자를 치는 순간, 그 내용은 내 컴퓨터가 아니라 AI 회사의 서버로 전송되어 처리됩니다. 결과가 화면에 뜨는 짧은 순간에도, 내용은 이미 외부로 나가 있는 상태입니다.

로컬 AI는 반대입니다. AI 모델(응답을 만들어내는 프로그램)을 내 컴퓨터에 직접 설치해두고, 입력한 내용을 내 컴퓨터 안에서만 처리합니다. 인터넷 연결을 완전히 끊은 상태에서도 대화가 됩니다. 서버로 나갈 내용 자체가 없으니, 실명이 든 메모를 넣어도 외부로 전송될 일이 없습니다.

이 차이 하나가 개인정보 문제의 핵심입니다. 클라우드 AI는 아무리 조심해도 “전송 이후”를 내가 통제할 수 없지만, 로컬 AI는 애초에 전송이 일어나지 않습니다.

---

무엇이 있어야 하는가

로컬 AI는 컴퓨터 사양과 설치 프로그램, 모델 파일 세 가지가 필요합니다.

• 컴퓨터 사양 — 메모리(RAM)가 넉넉해야 합니다. 부족하면 프로그램이 아예 안 켜지거나 계속 멈춥니다. 그래픽카드(GPU)가 있으면 응답 속도가 확실히 빠르지만, 없어도 실행은 됩니다. 다만 이 경우 체감할 정도로 느립니다.
• 설치 프로그램 — LM Studio, Ollama 같은 프로그램이 대표적입니다. AI 모델을 내려받고 대화창에서 실행할 수 있게 해주는 역할입니다. 두 프로그램 모두 무료로 내려받아 쓸 수 있습니다.
• 한국어가 되는 모델 — 로컬 AI로 쓸 수 있는 모델은 여러 종류가 있고, 그중 한국어 응답 품질이 괜찮은 계열이 따로 있습니다. 특정 모델 이름을 고정해 안내하지는 않습니다. 새 모델이 계속 나오고 순위가 바뀌기 때문에, 설치 프로그램 안에서 “한국어”로 검색하거나 최근 평가가 좋은 모델을 골라 받는 편이 낫습니다.

---

어떤 업무에 쓸 수 있나

로컬 AI는 개인정보가 들어가는 짧은 글을 정리하는 데 맞습니다.

• 방문 메모를 사례기록 초안으로 정리하기
• 상담 중 남긴 짧은 메모를 요약하기
• 실명이 섞인 메모를 다듬어 문장 형태로 바꾸기

이런 작업은 입력 길이가 짧고, 결과물도 사람이 다시 확인하고 다듬는 것을 전제로 합니다. 로컬 AI의 부족한 품질을 사람이 메꿀 수 있는 범위라는 뜻입니다.

---

어디까지가 한계인가

로컬 AI를 쓰기 전에 아래 한계를 먼저 알아둡니다.

• 품질이 클라우드 AI보다 낮습니다. 같은 요청을 넣어도 문장이 어색하거나, 요청한 형식을 제대로 못 지키는 경우가 클라우드 AI보다 많습니다.
• 느립니다. 그래픽카드가 없는 일반 사무용 PC라면, 응답 하나 받는 데 클라우드 AI보다 훨씬 오래 걸립니다.
• 긴 문서는 버겁습니다. 사업계획서나 평가보고서처럼 분량이 긴 글은 로컬 AI가 처리하기 어렵거나, 처리해도 앞뒤 맥락을 놓치는 경우가 늘어납니다.
• 기관 PC는 설치가 안 될 수 있습니다. 관리자 권한이 막힌 업무용 PC라면 프로그램 설치 자체가 불가능합니다.
• 설치와 관리를 스스로 해야 합니다. 클라우드 AI처럼 회사가 알아서 업데이트해주지 않습니다. 프로그램과 모델을 내려받고, 문제가 생기면 스스로 원인을 찾아야 합니다.

---

결론 — 전부를 대체하지 않습니다

로컬 AI는 클라우드 AI를 통째로 대신하는 도구가 아닙니다. 개인정보가 들어가는 특정 업무에만 로컬 AI를 쓰고, 나머지 업무(제안서 작성, 자료 조사, 긴 글 다듬기 등)는 여전히 클라우드 AI를 쓰되 AI에 이용자 정보 넣어도 될까 글의 기준대로 개인정보를 지우거나 대괄호로 바꿔 넣습니다.

두 방법을 업무 성격에 따라 나눠 쓰는 것이, 로컬 AI 하나로 모든 걸 해결하려는 것보다 현실적입니다.

---

다음 단계

로컬 AI로 개인정보가 들어간 업무를 처리하는 방법을 익혔다면, 나머지 업무에서 클라우드 AI를 안전하게 쓰는 기준은 AI에 이용자 정보 넣어도 될까 에서 확인할 수 있습니다. 아직 클라우드 AI를 써본 적이 없다면 대화형 AI 시작하는 법 부터 시작해보세요.

---

자주 묻는 질문

그래픽카드가 없는 컴퓨터에서도 쓸 수 있나요?

가능은 합니다. 다만 응답을 받기까지 걸리는 시간이 그래픽카드가 있는 컴퓨터보다 훨씬 깁니다. 짧은 메모 요약처럼 가벼운 작업 위주로 쓰는 것을 권합니다.

기관 업무용 PC에 설치해도 되나요?

먼저 정보보호 담당자나 상급자에게 확인하세요. 관리자 권한이 없는 PC는 애초에 설치가 막혀 있을 수 있고, 설치가 되더라도 기관의 소프트웨어 설치 규정을 따라야 합니다.

로컬 AI를 쓰면 개인정보 지우는 절차(대괄호 치환)는 안 해도 되나요?

로컬 AI에 넣는 내용에는 대괄호 치환이 필요 없습니다. 컴퓨터 밖으로 나가지 않기 때문입니다. 다만 로컬 AI로 처리하기 버거운 긴 문서나 복잡한 업무는 여전히 클라우드 AI를 쓰게 되고, 그때는 AI에 이용자 정보 넣어도 될까 의 절차대로 개인정보를 지우고 넣어야 합니다.