내 컴퓨터에서 도는 AI 설치하기

로컬 AI는 모델 계산을 내 컴퓨터에서 수행합니다. 그렇다고 설치 프로그램 전체가 자동으로 오프라인이 되는 것은 아닙니다. 모델 검색·다운로드, 업데이트 확인, 오류 보고, 사용량 측정, 플러그인과 클라우드 백업이 인터넷을 사용할 수 있습니다. 외부 통신을 확인하지 않은 로컬 AI에 실명이나 상담기록을 그대로 넣으면 안 됩니다.

이 글은 2026년 9월 20일을 기준으로 개인정보 보호법과 개인정보보호위원회의 생성형 AI 개발·활용 개인정보 처리 안내를 확인해 고쳤습니다. 특정 프로그램의 최신 통신 방식은 버전과 설정에 따라 달라지므로, 설치할 때 해당 프로그램의 공식 개인정보 처리방침과 설정을 다시 확인해야 합니다.

**AI에 이용자 정보 넣어도 될까**의 대괄호 치환은 위험을 줄이는 기본 절차입니다. 로컬 AI에서도 외부 통신 차단, 저장 장치 보호, 기관 승인을 확인하기 전에는 이 절차를 생략하지 않습니다.

---

클라우드 AI와 무엇이 다른가

ChatGPT·클로드·제미나이 같은 대화형 AI는 클라우드 AI입니다. 입력창에 글자를 치는 순간, 그 내용은 내 컴퓨터가 아니라 AI 회사의 서버로 전송되어 처리됩니다. 결과가 화면에 뜨는 짧은 순간에도, 내용은 이미 외부로 나가 있는 상태입니다.

로컬 AI는 AI 모델(응답을 만드는 프로그램)의 계산을 내 컴퓨터에서 수행합니다. 다만 모델을 실행하는 앱의 다른 기능까지 로컬이라는 뜻은 아닙니다. 인터넷을 끊어도 이미 받은 모델로 대화가 되는지, 실행 중 외부 접속이 발생하지 않는지 별도로 확인해야 합니다.

아래 그림은 모델 계산 위치만 비교한 도식입니다. 프로그램의 업데이트·오류 보고·백업 통신까지 안전하다는 뜻은 아닙니다.

---

무엇이 있어야 하는가

로컬 AI는 컴퓨터 사양과 설치 프로그램, 모델 파일 세 가지가 필요합니다.

• 컴퓨터 사양 — 메모리(RAM)가 넉넉해야 합니다. 부족하면 프로그램이 아예 안 켜지거나 계속 멈춥니다. 그래픽카드(GPU)가 있으면 응답 속도가 확실히 빠르지만, 없어도 실행은 됩니다. 다만 이 경우 체감할 정도로 느립니다.
• 설치 프로그램 — LM Studio, Ollama 같은 프로그램이 대표적인 예입니다. AI 모델을 내려받고 대화창에서 실행할 수 있게 해줍니다. 업무 이용 가능 범위와 비용·약관은 설치할 때 각 프로그램의 공식 문서를 확인합니다.
• 한국어가 되는 모델 — 로컬 AI로 쓸 수 있는 모델은 여러 종류가 있고, 그중 한국어 응답 품질이 괜찮은 계열이 따로 있습니다. 특정 모델 이름을 고정해 안내하지는 않습니다. 새 모델이 계속 나오고 순위가 바뀌기 때문에, 설치 프로그램 안에서 “한국어”로 검색하거나 최근 평가가 좋은 모델을 골라 받는 편이 낫습니다.

---

개인정보를 넣기 전 확인할 조건

실명이나 상담기록을 다루려면 아래 조건을 모두 확인합니다. 하나라도 확인하지 못하면 개인정보를 넣지 않고 대괄호로 바꾼 자료만 사용합니다.

• 오프라인 실행 확인 — 모델을 내려받은 뒤 인터넷을 끊어도 필요한 기능이 작동하는지 확인합니다.
• 외부 통신 확인 — 자동 업데이트, 오류 보고, 사용량 측정, 온라인 검색, 플러그인과 원격 API 기능을 끄거나 기관이 허용한 방식으로 통제합니다.
• 저장 위치 확인 — 대화 기록, 임시 파일, 로그와 모델 입력 내용이 어디에 남는지 확인합니다.
• 장치 보호 — 기관 계정으로만 로그인하고, 저장 장치 암호화·화면 잠금·접근 권한을 기관 기준에 맞춥니다.
• 백업 확인 — 바탕화면·문서 폴더가 개인 클라우드나 자동 백업으로 동기화되지 않는지 확인합니다.
• 삭제 확인 — 대화 기록과 임시 파일을 지우는 방법, 삭제 뒤 휴지통·백업에 남는 범위를 확인합니다.
• 기관 승인 — 개인정보 보호책임자나 정보보호 담당자가 사용 목적, 입력 항목, 보관 기간과 담당자를 승인했는지 확인합니다.

---

어떤 업무에 쓸 수 있나

위 조건을 모두 확인하고 기관 승인을 받은 로컬 AI는 승인된 개인정보 항목이 들어가는 짧은 글을 정리하는 데 쓸 수 있습니다.

• 방문 메모를 사례기록 초안으로 정리하기
• 상담 중 남긴 짧은 메모를 요약하기
• 실명이 섞인 메모를 다듬어 문장 형태로 바꾸기

이런 작업은 입력 길이가 짧고, 결과물도 사람이 다시 확인하고 다듬는 것을 전제로 합니다. 로컬 AI의 부족한 품질을 사람이 메꿀 수 있는 범위라는 뜻입니다.

---

어디까지가 한계인가

로컬 AI를 쓰기 전에 아래 한계를 먼저 알아둡니다.

• 품질이 클라우드 AI보다 낮습니다. 같은 요청을 넣어도 문장이 어색하거나, 요청한 형식을 제대로 못 지키는 경우가 클라우드 AI보다 많습니다.
• 느립니다. 그래픽카드가 없는 일반 사무용 PC라면, 응답 하나 받는 데 클라우드 AI보다 훨씬 오래 걸립니다.
• 긴 문서는 버겁습니다. 사업계획서나 평가보고서처럼 분량이 긴 글은 로컬 AI가 처리하기 어렵거나, 처리해도 앞뒤 맥락을 놓치는 경우가 늘어납니다.
• 기관 PC는 설치가 안 될 수 있습니다. 관리자 권한이 막힌 업무용 PC라면 프로그램 설치 자체가 불가능합니다.
• 설치와 관리를 스스로 해야 합니다. 클라우드 AI처럼 회사가 알아서 업데이트해주지 않습니다. 프로그램과 모델을 내려받고, 문제가 생기면 스스로 원인을 찾아야 합니다.
• 로컬이라는 이름만으로 안전하지 않습니다. 업데이트·원격측정·플러그인·백업 설정에 따라 정보가 외부로 나갈 수 있습니다.

---

전부를 대체하지 않습니다

로컬 AI는 클라우드 AI를 통째로 대신하는 도구가 아닙니다. 기관이 승인한 기기·프로그램·업무 범위에서만 사용합니다. 클라우드 AI를 쓸 때는 **AI에 이용자 정보 넣어도 될까**의 기준대로 개인정보와 다시 알아볼 수 있는 단서를 먼저 줄입니다.

두 방법을 업무 성격에 따라 나눠 쓰는 것이, 로컬 AI 하나로 모든 걸 해결하려는 것보다 현실적입니다.

---

다음 단계

로컬 AI로 개인정보가 들어간 업무를 처리하는 방법을 익혔다면, 나머지 업무에서 클라우드 AI를 안전하게 쓰는 기준은 AI에 이용자 정보 넣어도 될까 에서 확인할 수 있습니다. 아직 클라우드 AI를 써본 적이 없다면 대화형 AI 시작하는 법 부터 시작해보세요.

---

자주 묻는 질문

그래픽카드가 없는 컴퓨터에서도 쓸 수 있나요?

가능은 합니다. 다만 응답을 받기까지 걸리는 시간이 그래픽카드가 있는 컴퓨터보다 훨씬 깁니다. 짧은 메모 요약처럼 가벼운 작업 위주로 쓰는 것을 권합니다.

기관 업무용 PC에 설치해도 되나요?

먼저 정보보호 담당자나 상급자에게 확인하세요. 관리자 권한이 없는 PC는 애초에 설치가 막혀 있을 수 있고, 설치가 되더라도 기관의 소프트웨어 설치 규정을 따라야 합니다.

로컬 AI를 쓰면 개인정보 지우는 절차(대괄호 치환)는 안 해도 되나요?

자동으로 생략할 수 없습니다. 외부 통신, 로그, 임시 파일, 백업, 접근 권한을 기관이 확인하고 해당 개인정보 항목의 처리를 승인한 경우에만 승인 범위에서 판단할 수 있습니다. 조건을 확인하지 못했거나 개인 PC에서 시험하는 단계라면 **AI에 이용자 정보 넣어도 될까**의 절차대로 정보를 줄여서 사용하세요.

---

확인한 공식 자료

• 개인정보 보호법 — 국가법령정보센터
• 생성형 인공지능 개발·활용을 위한 개인정보 처리 안내서 발표 — 개인정보보호위원회
• 생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드 — 개인정보보호위원회

확인 기준일은 2026년 9월 20일입니다. 특정 프로그램 버전의 원격측정 여부와 기관의 내부 설치 기준은 이 자료만으로 확정할 수 없어, 도입 시 프로그램 공식 문서와 기관 정보보호 담당자가 따로 확인해야 합니다.