프롬프트란? — 같은 질문인데 답이 달라지는 이유

• 프롬프트는 질문 한 줄이 아니라 AI에게 건네는 입력 전체입니다
• 같은 질문에 답이 달라지는 이유는 AI가 뜻을 알아서가 아니라 앞에 놓인 말 뒤에 이어질 말을 고르기 때문입니다
• 외워 두는 마법 문구는 없습니다. 역할·배경·지시·형식 중 빠진 조각을 채우는 습관이 결과를 바꿉니다

어제는 쓸 만한 답이 나왔는데 오늘은 같은 것을 물어도 엉뚱한 답이 돌아온 경험이 한 번쯤 있으실 겁니다. 옆 사람은 같은 AI로 그럴듯한 결과를 뽑아내는데 내 화면에서는 뻔한 말만 나올 때도 있습니다. 그 차이를 만드는 것이 프롬프트입니다. 프롬프트란 AI에게 건네는 입력 전체, 즉 질문과 지시와 배경과 예시와 형식 요구를 모두 합친 것입니다. 흔히 물어보는 말 한 줄로만 생각하지만, 실제로 AI가 읽는 범위는 그보다 훨씬 넓습니다.

이 구분이 왜 중요한지는 조금만 생각해 보면 분명해집니다. 사람에게 일을 시킬 때 우리는 말로 다 하지 않아도 되는 부분이 많습니다. 상대가 우리 회사 사정을 알고, 지난주에 무슨 일이 있었는지 알고, 이 문서를 어디에 쓸지 짐작하기 때문입니다. AI는 그 사정을 하나도 모릅니다. 내가 화면에 적어 넣은 것만이 전부이고, 적지 않은 것은 없는 것과 같습니다.

그래서 이 글은 이렇게 쓰면 잘 나온다는 문구 모음이 아닙니다. 왜 같은 질문에 답이 달라지는지부터 짚고, 프롬프트를 이루는 네 조각을 하나씩 뜯어본 다음, 흔히 하는 오해와 오늘 바로 바꿀 수 있는 것까지 순서대로 정리하겠습니다. 원리를 한 번 잡아 두면 남이 만든 문구를 베끼지 않아도 스스로 쓸 수 있게 됩니다.

프롬프트란 결국 무엇을 가리키나요?

원래 프롬프트라는 영어 단어는 무언가를 시작하도록 툭 건드리는 신호를 뜻합니다. 연극에서 배우가 대사를 잊었을 때 옆에서 첫마디를 살짝 알려 주는 사람을 프롬프터라고 부르는데, 같은 뿌리입니다. 컴퓨터 화면에서 명령을 기다리며 깜빡이는 표시도 프롬프트라고 불러 왔습니다.

AI에서도 뜻은 같습니다. AI가 답을 만들어 내도록 앞에 놓아 주는 말 전체가 프롬프트입니다. 여기서 중요한 것은 전체라는 말입니다. 내가 마지막으로 친 한 줄만이 아니라, 그 앞에 붙여 넣은 자료, 앞서 주고받은 대화, 서비스가 내 눈에 보이지 않게 미리 붙여 둔 안내문까지 모두 한 덩어리로 묶여서 AI 앞에 놓입니다.

이것을 모르면 답답한 순간이 자주 생깁니다. 가령 대화를 길게 이어 가다가 말투가 갑자기 달라지는 일이 있는데, 이는 AI의 기분이 바뀐 것이 아니라 앞에 놓인 말 무더기가 달라졌기 때문입니다. 반대로 새 창을 열고 같은 질문을 던지면 답이 또 달라지는데, 이것도 같은 이유입니다. 한 대화에 담을 수 있는 분량에는 한계가 있고, 그 한계를 컨텍스트 윈도우라고 부릅니다.

정리하면 프롬프트는 명령문이 아니라 상황 전체에 가깝습니다. 질문만 바꾸는 사람과 상황을 짜는 사람의 결과가 다른 이유가 여기에 있습니다. 잘 쓰는 사람은 문장을 화려하게 쓰는 것이 아니라, AI 앞에 놓이는 말 무더기를 의도적으로 구성합니다.

왜 같은 질문인데 답이 달라질까요?

여기서 한 가지 오해를 먼저 걷어 내야 합니다. 많은 분이 AI가 질문을 읽고 뜻을 이해한 다음 정답을 찾아 준다고 생각합니다. 실제 동작은 그와 꽤 다릅니다. 오늘의 AI는 주어진 말 뒤에 이어질 법한 말을 한 조각씩 골라 붙이는 기계에 가깝습니다.

비유하자면 이렇습니다. 아주 많은 글을 읽고 나서 이런 말 뒤에는 대개 이런 말이 온다는 감각만 남긴 장치를 떠올려 보십시오. 이 장치는 사실을 확인하지 않습니다. 대신 앞에 놓인 말을 보고 다음에 올 말로 가장 그럴듯한 것을 고릅니다. 그것을 고르고 나면 그 말까지 포함해서 다시 다음 말을 고릅니다. 이 과정을 아주 빠르게 반복한 결과가 우리가 보는 문장입니다.

이 구조를 받아들이면 같은 질문에 답이 달라지는 이유가 저절로 설명됩니다. 앞에 무엇이 놓였느냐가 다음에 올 말의 후보를 통째로 바꾸기 때문입니다. 앞에 아무것도 없으면 가장 무난한 말이 이어지고, 그래서 뻔한 답이 나옵니다. 앞에 조건과 상황이 놓여 있으면 그 조건에 어울리는 말이 이어집니다. 질문은 그대로여도 앞에 깔린 판이 달라지면 결과가 달라집니다.

또 하나, AI는 매번 가장 점수가 높은 말만 고르지도 않습니다. 비슷하게 그럴듯한 후보 중에서 조금씩 다르게 고르도록 만들어져 있습니다. 그래서 완전히 같은 입력을 넣어도 문장이 똑같이 나오지는 않습니다. 답이 매번 조금씩 다른 것은 고장이 아니라 설계입니다. 우리가 할 수 있는 일은 결과를 하나로 고정하는 것이 아니라, 답이 흔들릴 수 있는 폭을 좁혀 주는 것입니다.

프롬프트는 어떤 조각으로 이루어지나요?

폭을 좁히는 방법이 바로 조각을 채우는 일입니다. 프롬프트는 크게 네 조각으로 나누어 볼 수 있습니다. 역할, 배경, 지시, 형식입니다. 넷을 항상 다 쓸 필요는 없지만, 답이 마음에 들지 않을 때 어디가 비었는지 찾는 지도로는 아주 잘 듣습니다.

첫째는 역할입니다. 누구의 입장에서 답할지를 정해 주는 조각입니다. 나쁜 예는 “계약서를 봐 주십시오.”처럼 아무 입장도 주지 않는 경우입니다. 좋은 예는 “처음 가게를 여는 사람 편에서 계약서를 검토해 주십시오.”처럼 서는 자리를 정해 주는 경우입니다. 역할이 정해지면 어떤 것을 위험으로 볼지, 무엇을 먼저 말할지가 함께 정해집니다.

둘째는 배경입니다. AI가 모르는 내 사정을 넣어 주는 조각이고, 네 조각 중에 효과가 가장 큽니다. 나쁜 예는 “홍보 문구를 만들어 주십시오.”입니다. 좋은 예는 “동네에서 3년째 하는 작은 반찬 가게이고, 주 손님은 혼자 사는 직장인입니다. 홍보 문구를 만들어 주십시오.”입니다. 앞 문장 두 개가 붙었을 뿐인데 결과의 결이 통째로 달라집니다.

셋째는 지시입니다. 무엇을 해 달라는 것인지 동사로 분명히 적는 조각입니다. 나쁜 예는 “이 자료 어떻습니까.”처럼 감상을 묻는 것인지 고쳐 달라는 것인지 알 수 없는 경우입니다. 좋은 예는 “이 자료에서 사실과 의견을 나누고, 근거가 약한 문장 세 개를 짚어 주십시오.”입니다. 시킬 일이 하나로 좁혀질수록 답이 흔들리지 않습니다.

넷째는 형식입니다. 결과를 어떤 모양으로 내놓을지 정해 주는 조각입니다. 나쁜 예는 “정리해 주십시오.”이고, 좋은 예는 “세 줄로, 각 줄 마흔 자 안쪽으로, 존댓말로 정리해 주십시오.”입니다. 형식을 비워 두면 AI는 대체로 길고 장황한 쪽을 고릅니다. 길이와 말투와 모양을 적어 주는 것만으로 그대로 붙여 쓸 수 있는 결과가 나올 확률이 크게 올라갑니다.

실제로 얼마나 달라지나요?

말로만 보면 잘 와닿지 않으니 실제 예를 두 개만 보겠습니다. 두 예 모두 내용을 더 잘 안 것이 아니라 빠진 조각을 채웠을 뿐이라는 점을 눈여겨보시면 좋겠습니다.

두 예에서 새로 알려 준 정보는 거의 없습니다. 원래 내 머릿속에 있었지만 적지 않았던 것을 적었을 뿐입니다. 프롬프트를 잘 쓴다는 말은 대부분 이 뜻입니다. 없는 재주를 부리는 것이 아니라, 당연해서 생략했던 것을 밖으로 꺼내 놓는 일입니다.

프롬프트를 잘 쓴다는 말은 당연해서 생략한 것을 적어 준다는 뜻입니다.내가 적지 않은 것은 AI에게는 처음부터 없는 것입니다.

프롬프트 엔지니어링이라는 말은 왜 나왔나요?

몇 해 전만 해도 AI는 말귀를 지금처럼 알아듣지 못했습니다. 같은 뜻인데 단어 하나만 바꿔도 결과가 크게 흔들렸고, 단계별로 생각해 보십시오 같은 문구를 붙이면 정답률이 눈에 띄게 올라가는 일도 있었습니다. 그래서 잘 듣는 문구를 찾아 모으고 다듬는 일이 하나의 기술처럼 다뤄졌고, 그것을 프롬프트 엔지니어링이라고 불렀습니다.

그런데 모델이 좋아지면서 이 문구 요령의 값이 빠르게 떨어졌습니다. 요즘 모델은 굳이 주문을 붙이지 않아도 스스로 차근차근 따져 보고 답하는 쪽으로 만들어져 있습니다. 예전에 효과가 컸던 문구를 지금 붙이면 별 차이가 없거나 오히려 답만 길어지는 경우도 흔합니다.

대신 다른 것이 중요해졌습니다. 어떤 자료를 함께 놓아 주느냐입니다. 규정집을 붙여 주었는지, 지난 회의록을 넣었는지, 우리 회사 용어 설명을 같이 두었는지에 따라 결과가 갈립니다. 이렇게 AI 앞에 놓이는 자료를 고르고 배치하는 일을 요즘은 컨텍스트 엔지니어링이라고 부릅니다. 문구를 다듬는 일에서 자료를 고르는 일로 무게가 옮겨간 셈입니다.

두 말은 사실 반대말이 아닙니다. 컨텍스트 엔지니어링은 프롬프트의 범위를 넓게 본 것에 가깝습니다. 다만 한 번에 놓을 수 있는 자료의 양에는 한계가 있어서, 무엇을 넣고 무엇을 뺄지 고르는 판단이 핵심이 됩니다. 이 한계와 다루는 요령은 컨텍스트 윈도우란?에서 따로 정리해 두었습니다.

개인 이용자에게 이 이야기가 주는 교훈은 간단합니다. 어디서 본 문구를 외우기보다, 지금 이 일에 필요한 자료를 같이 넣어 주는 편이 훨씬 효과가 큽니다. 메일 초안을 부탁할 때 이전 메일을 붙여 넣는 것, 보고서를 다듬어 달라고 할 때 회사 양식 한 장을 같이 넣는 것이 어떤 주문보다 확실합니다.

흔히 하는 오해 세 가지

첫째, 좋은 프롬프트를 주문처럼 외워 두면 된다는 생각입니다. 인터넷에는 이것만 넣으면 답이 달라지는 문장이 많이 돌아다닙니다. 몇몇은 실제로 쓸모가 있지만, 어디까지나 네 조각 중 무언가를 대신 채워 주기 때문에 듣는 것입니다. 남의 상황에 맞춰 만든 문구는 내 배경이 다르면 그대로 듣지 않습니다. 외울 것은 문장이 아니라 빠진 조각을 찾는 순서입니다.

둘째, 길게 쓸수록 좋다는 생각입니다. 조각을 채우라고 하면 무조건 길게 쓰는 쪽으로 가기 쉬운데, 이는 역효과가 납니다. 앞에 놓인 말이 길어질수록 AI가 중요한 부분을 놓칠 여지가 커지고, 쓸 수 있는 분량도 토큰이라는 단위로 계산되어 빠르게 줄어듭니다. 필요한 조각을 채우되, 필요 없는 말은 덜어 내는 편이 낫습니다.

셋째, 영어로 써야 잘한다는 생각입니다. 초기 모델에서는 한국어 결과가 눈에 띄게 아쉬웠고, 그 시절 경험이 아직 이야기로 남아 있습니다. 지금은 한국어로 물어도 품질 차이가 크지 않은 수준까지 왔습니다. 오히려 익숙하지 않은 언어로 쓰다가 조건을 빠뜨리는 손해가 더 큽니다. 한국 사정이 걸린 일이라면 한국어로 쓰는 편이 대체로 낫습니다.

오늘 바로 바꿀 수 있는 것 세 가지

첫째, 보내기 전에 네 조각 중 빠진 것을 한 번만 확인하십시오. 누구 입장인지, 어떤 상황인지, 정확히 무엇을 해 달라는 것인지, 어떤 모양으로 받고 싶은지 넷입니다. 이 확인은 십 초면 끝나는데, 다시 묻는 시간을 몇 분씩 줄여 줍니다.

둘째, 한 번에 끝내려 하지 말고 고쳐 달라고 하십시오. 처음 답이 마음에 들지 않을 때 프롬프트를 통째로 다시 쓰는 분이 많은데 대개 손해입니다. 세 번째 항목만 더 구체적으로 바꿔 주십시오처럼 고칠 곳을 짚어 주면 훨씬 빠릅니다. 프롬프트는 한 번 던지는 주문이 아니라 주고받으며 다듬는 대화에 가깝습니다.

셋째, 잘 나온 프롬프트를 메모해 두십시오. 다만 문장을 통째로 베끼듯 모으지 마시고, 어떤 조각을 채웠기에 잘 나왔는지를 한 줄로 적어 두십시오. 그렇게 서너 개만 쌓여도 나에게 맞는 뼈대가 생깁니다. 남이 만든 문구 백 개보다 내가 만든 뼈대 세 개가 훨씬 오래 갑니다.

원리를 잡아 두면 어떤 AI를 열어도 같은 방식으로 쓸 수 있습니다.문구를 외우는 사람은 도구가 바뀌면 처음부터 다시 시작합니다.

같이 보면 좋은 글

• 컨텍스트 윈도우란? — 한 번에 놓을 수 있는 말의 한계
• 토큰이란? — 프롬프트 길이가 무엇으로 세어지는지
• 프롬프트 인젝션이란? — 붙여 넣은 글이 명령이 되는 문제
• RAG란? — 필요한 자료를 찾아 프롬프트에 붙이는 구조
• AI 사전 전체 목록

다음 편에서는 컨텍스트 윈도우를 이어서 다루겠습니다. 이 글에서 앞에 놓이는 말 전체라고 설명한 그 자리에는 크기 제한이 있는데, 대화가 길어지면 앞부분을 잊는 현상이 바로 여기서 나옵니다. 왜 그런 한계가 생기는지, 그리고 긴 작업을 어떻게 나눠야 덜 잊게 되는지를 같은 방식으로 정리하겠습니다.