AI를 업무에 도입하려는 기업이라면 누구나 한 번쯤 이 길을 떠올린다. ChatGPT 같은 범용 LLM을 가져다가, 우리 회사 데이터를 넣고 파인튜닝하거나 RAG로 연결하는 것. 빠르고, 저렴하고, 결과물도 꽤 그럴듯해 보인다. 그런데 막상 전문 업무 현장에 붙여놓으면 어느 순간 이상한 일이 생기기 시작한다. 쉬운 질문에는 잘 되는 것 같다가, 조금만 복잡한 케이스가 오면 답이 흔들린다. 결국 담당자가 AI 결과를 다시 검토하고 검증하는 데 더 많은 시간을 쓰게 된다. 이건 사용 방법의 문제가 아니다. AI를 만드는 방식의 구조적 차이다.
범용 LLM이 데이터를 이해하는 방식
먼저 범용 LLM이 무엇인지를 정확히 이해해야 한다. ChatGPT, Claude, Gemini 같은 범용 LLM이 학습한 데이터는 무엇인가. 뉴스 기사, 위키백과, 블로그, SNS, 소설, 코드. 인터넷에 존재하는 방대한 텍스트다. 이것이 범용 LLM의 본질이다. 수천억 개의 텍스트 예시를 통해 언어의 통계적 패턴을 학습한 거대한 확률 모델이다. 문장을 이해한다기보다, 문장의 패턴을 극도로 정교하게 예측한다. 범용 LLM이 나쁜 것이 아니다. 글쓰기, 요약, 번역, 코딩 보조. 이 용도에서는 사람 수준에 가까운 성과를 낸다. 문제는 이 도구를 전문 도메인에 그대로 가져왔을 때다.
파인튜닝(Fine-Tuning)이란?
파인튜닝(Fine-tuning)은 범용 모델에게 추가 데이터를 보여주며 출력 방향을 조정하는 작업이다. "우리 분야 질문에는 이런 방식으로 대답해"라고 패턴을 추가 학습시키는 것이다. 여기서 핵심을 짚어야 한다. 파인튜닝은 모델의 출력 스타일을 바꾸는 것이지, 모델이 이해하고 학습하는 논리 구조를 바꾸는 것이 아니다.
파인튜닝은 모델이 내놓는 답변의 방향을 조정하는 작업이다. "이런 질문에는 이런 식으로 대답해"라는 패턴을 추가로 학습시키는 것이지, 모델이 추론하는 방식의 뼈대를 바꾸는 것이 아니다. 겉은 바뀌어도 속은 여전히 범용 언어 패턴 위에 서 있다. 그래서 아무리 많은 도메인 데이터를 파인튜닝으로 주입해도, 그 도메인의 논리 구조 자체를 모델이 이해하게 만들 수는 없다.
왜 이것이 전문 현장에서 문제가 될까?
파인튜닝 모델의 문제는 결국 도메인의 논리가 모델 안에 없다. 학습 데이터에서 본 패턴과 비슷한 상황이면 잘 되지만 조금만 달라지면 무너지게 된다. 더 큰 문제는 그 오류가 틀린 것처럼 안 보인다는 것이다. AI가 왜 그 결론을 냈는지 설명하지 못하기 때문에, 검토하는 사람도 그냥 넘어간다. 신뢰할 수 없는 결과를 신뢰한 채로 의사결정을 내리게 된다. 그래서 처음부터 다시 설계하는 방법이 필요하다.
프롬 스크래치(From Scratch)란 무엇인가
프롬 스크래치(From Scratch)는 모델이 언어를 배우기 시작하는 가장 첫 단계, 사전 학습(Pre-training)부터 해당 도메인의 논리 체계를 모델 안에 새기는 방식이다.
AI 모델은 사전 학습 단계에서 세상을 이해하는 방식을 결정한다. 어떤 개념이 같고 다른지, 원인과 결과를 어떻게 연결할지, 맥락을 어떻게 해석할지. 이것들이 모두 이 단계에서 모델의 기반 레이어에 새겨진다. 파인튜닝은 이 기반을 건드리지 않는다. 그래서 아무리 많은 도메인 데이터를 파인튜닝으로 주입해도, 기반 레이어에 없는 논리는 모델이 진짜로 이해하지 못한다. 프롬 스크래치는 처음부터 도메인의 언어로 설계되어 그 언어를 단순 번역하지 않고, 처음부터 그 언어로 생각하고 답한다.
프롬 스크래치 VS 파인튜닝 무엇이 중요한가?
각 도메인은 고유한 논리 체계를 가지고 있고, 그 논리는 일반 언어 패턴으로 환원되지 않는다. 생각해보면 간단하다. 과학기술 문서를 생각해 보자. 기호, 수식, 화학식,도면까지 일반적인 텍스트와 다른 형식과 구조를 가지고 있다. 다른 분야인 특허 문서 또한 "누가 어떤 기술을 먼저 발명했는가"를 법적으로 증명하기 위해 쓰인 문서다. 모든 문장이 권리 주장을 위해 설계되어 있고, 단어 하나의 선택이 그 권리의 범위를 결정한다. 같은 텍스트처럼 보이지만 각각이 담고 있는 논리 구조가 근본적으로 다르다. 도메인이 다르다는 건 단순히 분야가 다른 게 아니라, 각 도메인이 정보를 구조화하는 논리 자체가 다른 것이다. 결론적으로 도메인의 전문적인 지식을 활용해야 한다면 AI를 처음부터 만들어야 활용 가치가 증가한다.
파인튜닝과 프롬 스크래치를 결정하는 한 가지
범용 LLM을 파인튜닝한 결과는 결국 '참고용'에 머문다. 전문가가 다시 검증하고, 보고 전에 사람이 한 번 더 판단해야 한다. 이 검증 단계가 존재하는 한 AI 도입의 효과는 절반에 그친다. 반면 프롬 스크래치로 설계된 도메인 AI는 도메인의 논리 위에서 추론하기에 근거가 있고, 근거가 있기에 사람이 검증할 수 있다. 결과를 참고 자료가 아닌 의사결정의 근거로 써야 한다면, 처음부터 도메인의 논리로 설계된 AI가 필요하다.