AI 요약, 어디까지 믿고 어디를 다시 봐야 하나

• 요약이 틀리는 방식은 없는 말을 넣는 것이 아니라 있는 말을 빼는 것입니다
• 없는 말은 읽다가 걸리지만 빠진 것은 티가 나지 않습니다
• 그래서 물어야 할 것은 이 문장이 맞나가 아니라 무엇이 빠졌나입니다

AI 요약을 검색해서 들어오신 분은 대체로 세 가지가 궁금합니다. 하나는 지금 어디까지 되는지, 둘은 내 문서도 맡겨도 되는지, 셋은 나온 결과를 그대로 써도 되는지입니다. 세 가지는 결국 「믿어도 되나」라는 한 가지 질문으로 모입니다. 검색창에 그 말을 쳐 보신 이유도 대개 그 질문 하나일 것입니다. 이 글은 그 질문에 답하는 순서로 짜 두었습니다.

요약을 검사할 때 사람들은 대개 문장을 한 줄씩 읽어 봅니다. 틀린 말이 섞여 있으면 걸러 내겠다는 생각입니다. 그런데 이 방법으로는 걸러지지 않는 것이 있습니다. 애초에 적히지 않은 말은 읽어서 찾을 수 없습니다. 없는 말이 들어간 자리는 읽다가 걸리지만, 빠진 자리에는 아무 표시가 남지 않습니다.

그래서 이 글은 요약을 잘 뽑는 요령이 아니라 요약을 어디까지 믿을지 가르는 자리를 다룹니다. 어떤 글이 잘 요약되고 어떤 글이 안 되는지, 빠지는 것은 주로 무엇인지, 남에게 넘기기 전에 어디를 다시 봐야 하는지를 순서대로 적었습니다. 영상과 회의 내용은 왜 한 겹 더 조심해야 하는지도 같이 짚겠습니다. 어려운 말은 나올 때마다 바로 풀겠습니다.

AI 요약은 지금 어디까지 되나요?

지금의 요약은 길이를 줄이는 일에는 꽤 쓸 만합니다. 긴 글을 몇 문단으로 줄이고, 흩어진 여러 글을 한 덩어리로 묶고, 어려운 말을 쉬운 말로 바꾸어 놓는 일은 사람보다 빠릅니다. 읽을 시간이 없어서 쌓아 둔 자료를 훑는 데에는 분명히 도움이 됩니다. 긴 공지나 설명서 묶음처럼 안 읽고 미뤄 둔 글이 많을수록 덕을 봅니다. 훑어보고 어디를 펼쳐 읽을지 정하는 데에는 충분합니다.

아직 약한 쪽은 무엇이 중요한지 고르는 일입니다. 중요하다는 판단은 글 안에만 있지 않습니다. 이 글을 왜 읽는지, 무엇을 결정하려고 보는지에 따라 중요한 대목이 달라집니다. 같은 문서라도 계약을 따지려고 보는 사람과 분위기만 알려고 보는 사람에게 중요한 줄은 다릅니다. 그 사정을 모르는 쪽은 자주 나오는 말, 앞에 놓인 말, 길게 적힌 말을 중요한 것으로 봅니다.

그래서 자주 나오는 결과가 이렇습니다. 분량은 제대로 줄었는데 요점이 평평해지는 것, 곧 어느 대목이 더 무거운지가 사라지는 것입니다. 열 문단을 세 문단으로 줄이면서 열 문단을 고르게 깎아 놓으면, 읽는 사람은 무엇을 먼저 봐야 할지 알 수 없습니다. 틀린 말이 하나도 없는데도 쓸 수 없는 요약이 이렇게 나옵니다. 다 읽었는데 남는 것이 없다면 대개 이 경우입니다.

정리하면 줄이는 일은 맡길 수 있고, 고르는 일은 아직 사람이 쥐고 있어야 합니다. 요약을 받기 전에 무엇을 기준으로 골라 달라고 먼저 말해 주면, 평평해지는 것을 조금은 막을 수 있습니다. 이 글을 어디에 쓸 것인지, 무엇이 걸려 있는지를 한 줄 적어 주는 것만으로도 기준이 생깁니다. 기준을 안 주면 기준 없는 요약이 돌아옵니다.

어떤 글이 잘 요약되고, 어떤 글이 안 되나요?

잘 요약되는 글에는 공통점이 있습니다. 주제가 한 가지이고, 차례가 뚜렷하고, 사실 위주로 적혀 있는 글입니다. 설명서나 공지, 한 사람이 처음부터 끝까지 쓴 보고서가 여기에 듭니다. 이런 글은 어디가 뼈대이고 어디가 살인지를 글 자체가 알려 줍니다. 소제목만 따라가도 뼈대가 잡히는 글이라면 대개 안심해도 됩니다.

반대로 여러 사람이 서로 다른 말을 하는 글은 잘 안 됩니다. 회의록이 그렇고, 댓글이나 후기를 모아 둔 글이 그렇습니다. 이런 글의 뜻은 누가 무엇을 말했는지의 짝에 들어 있습니다. 그 짝이 풀리면 여러 사람의 말이 한 사람의 생각처럼 읽힙니다. 글자는 다 남아 있는데 뜻만 바뀌는 셈입니다.

숫자가 핵심인 글도 어렵습니다. 숫자는 그 자체로 뜻을 갖지 않고 단위와 기준이 붙어서 뜻이 생깁니다. 어느 기간의 것인지, 무엇을 모수로 삼은 것인지가 떨어져 나간 숫자는 틀린 것도 아니고 맞은 것도 아닌, 그냥 쓸 수 없는 숫자가 됩니다. 그런데도 숫자는 요약에서 가장 또렷하게 남아서 가장 쉽게 인용됩니다. 그래서 숫자는 요약에서 가장 조심해야 하는 자리입니다.

앞뒤 맥락을 알아야 뜻이 통하는 글도 마찬가지입니다. 앞 문단을 받아서 「그 경우에는」으로 이어지는 문장은, 앞 문단이 잘려 나가면 뜻이 뒤집힙니다. 긴 글을 통째로 넣었을 때 가장 자주 생기는 일이 이것입니다. 글이 길면 앞뒤를 다 쥐고 있기 어려워서, 가운데 어딘가가 조용히 끊어집니다. 토막을 내서 넣으라는 말이 나오는 까닭이 여기에 있습니다.

요약이 틀리는 자리는 어디인가요?

요약이 틀린다고 하면 대개 없는 말을 지어낸 경우를 떠올립니다. 그런 일도 생기지만, 그쪽은 그래도 잡힙니다. 읽다가 어색해서 걸리고, 한 번 찾아보면 확인됩니다. 고치는 것도 어렵지 않습니다. 진짜 문제는 반대쪽입니다. 있던 말이 빠지는 것입니다.

특히 잘 빠지는 것이 넷 있습니다. 첫째는 단서와 조건입니다. 원문의 「다만」 「경우에 따라」 「무엇을 전제로」 같은 대목은 요약하면 거의 먼저 떨어집니다. 쓴 사람이 일부러 달아 둔 울타리가 사라지는 것입니다. 둘째는 반대 의견입니다. 여러 의견 가운데 많은 쪽만 남고 적은 쪽이 사라져서, 처음부터 다들 같은 생각이었다는 모양이 됩니다.

셋째는 숫자의 단위와 기준입니다. 숫자는 남는데 어느 기간의 것인지, 무엇을 모수로 한 것인지가 빠집니다. 넷째는 누가 한 말인지입니다. 발언자가 지워지면 한 사람의 주장이 모두의 결론처럼 읽힙니다. 네 가지 모두 원문에는 분명히 있던 것이고, 요약에만 없는 것입니다. 네 가지가 어디서 빠지는지 알면 어디를 펼쳐 봐야 할지도 정해집니다.

넷에는 공통점이 있습니다. 빠져도 문장이 멀쩡해 보인다는 것입니다. 단서가 떨어진 문장은 오히려 더 깔끔하고 단단하게 읽힙니다. 그래서 요약을 검사할 때 물어야 할 것은 「이 문장이 맞나」가 아닙니다. 「무엇이 빠졌나」입니다. 앞의 질문은 적힌 것만 보게 하지만, 뒤의 질문은 적히지 않은 것을 보게 만듭니다.

빠진 것은 틀린 것보다 찾기 어렵습니다. 문장이 멀쩡해 보이기 때문입니다.요약을 검사할 때 물어야 하는 것은 「무엇이 빠졌나」입니다.

영상이나 회의 내용도 요약할 수 있나요?

됩니다. 다만 글을 요약할 때와 사정이 다릅니다. 말을 글로 옮기는 단계가 하나 더 끼어들기 때문입니다. 먼저 말을 글로 받아 적고, 그 글을 다시 줄입니다. 단계가 둘이면 틀릴 자리도 두 배가 됩니다.

첫 단계에서 가장 잘 틀어지는 것이 사람 이름과 숫자입니다. 이름은 소리가 비슷한 다른 말로 바뀌고, 숫자는 받아 적는 사이에 자리가 흔들립니다. 그렇게 바뀐 이름과 숫자는 두 번째 단계에서 그대로 요약으로 올라갑니다. 요약만 보면 어디서 틀어진 것인지 알 수 없습니다. 말이 겹치거나 소리가 작았던 대목은 아예 통째로 사라지기도 합니다.

회의록에서는 또 한 가지가 생깁니다. 여럿이 나눠서 한 말을 한 사람 말처럼 묶어 버리는 것입니다. 끝에서 결론만 뽑으면 더 그렇습니다. 반대했던 사람의 말까지 합의한 내용 안으로 들어갑니다. 나중에 그 요약을 근거로 일이 굴러가면 되돌리기가 번거로워집니다. 회의록은 결론만 받지 말고 누가 한 말인지까지 같이 받는 편이 안전합니다.

그래서 영상과 회의는 요약을 믿는 폭을 좁혀서 봅니다. 글보다 한 단계 덜 믿고, 이름과 숫자는 따로 확인한다는 뜻입니다. 아래 순서는 그 폭을 어떻게 좁히는지를 그린 것입니다. 글을 요약할 때에도 같은 순서를 그대로 쓰면 됩니다.

요약한 것을 그대로 써도 되나요?

요약한 것도 그 글에서 나온 것입니다. 남의 글을 줄여 놓았다고 해서 내 글이 되지는 않습니다. 보고서나 블로그에 쓸 때는 어느 글을 줄인 것인지 출처를 답니다. 줄이는 사이에 표현이 바뀌었더라도 뼈대가 그 글의 것이면 마찬가지입니다. 출처를 다는 일은 예의 문제이기도 하고, 나중에 원문으로 돌아갈 길을 남겨 두는 일이기도 합니다.

요약만 읽고 판단해서 생기는 손해는 요약을 쓴 사람 몫입니다. 요약을 내놓은 쪽에 따질 수 있는 일이 아닙니다. 그래서 결정에 쓰는 요약은 요약에서 멈추지 않습니다. 걸리는 대목이 있으면 원문의 그 대목을 직접 열어 봅니다. 글 전체를 다시 읽으라는 말이 아니고, 그 한 대목만 찾아서 보라는 말입니다.

회사 문서나 고객 정보를 그대로 넣기 전에는 그 서비스의 약관을 먼저 확인합니다. 넣은 글을 어디까지 보관하고 어디에 쓰는지가 서비스마다 다르고, 같은 서비스에서도 설정에 따라 다릅니다. 밖으로 나가면 안 되는 글이라면, 요약이 편한 것과는 별개로 넣기 전에 한 번 멈추는 편이 낫습니다. 이름과 연락처처럼 지워도 뜻이 통하는 부분은 지우고 넣는 것도 방법입니다. 한 번 나간 글은 되돌릴 수 없다고 보는 편이 안전합니다.

세 가지는 모두 요약 솜씨와 상관이 없습니다. 요약이 아주 잘 나왔을 때에도 그대로 남는 몫입니다. 요약을 쓰는 사람이 함께 지는 몫이라고 보는 편이 맞습니다. 그래서 요약을 쓰기로 했다면 원문을 열어 보는 시간도 같이 떼어 두어야 합니다.

그래서 무엇부터 해 보면 되나요?

순서가 있습니다. 첫째는 이미 읽어 본 글로 먼저 시험하는 것입니다. 내용을 아는 글이어야 무엇이 빠졌는지 내가 알아볼 수 있습니다. 처음 보는 글로 시작하면 요약이 잘 나왔는지 못 나왔는지조차 가릴 수 없습니다. 지난주에 읽은 보고서 하나로 시작하는 것이 가장 빠릅니다. 내가 아는 글에서 빠진 자리를 한 번 찾아보면 그다음부터 눈에 들어옵니다.

둘째는 토막을 내서 넣는 것입니다. 긴 글을 통째로 넣으면 앞뒤가 잘리는 자리를 짚을 수 없습니다. 셋째는 요약과 함께 무엇이 빠졌는지도 알려 달라고 같이 묻는 것입니다. 빠진 것을 적어 달라고 하면 적어도 어디를 열어 봐야 할지가 나옵니다. 넷째는 숫자만 따로 모아 원문과 대조하는 것입니다. 이 네 가지는 순서대로 한 번씩만 해 보면 몸에 붙습니다.

여기서 제 자리를 밝혀 두겠습니다. 저는 요약을 업으로 해 본 적이 없습니다. 다만 이 블로그의 글과 도해와 대표 이미지를 AI 로 만들어 자동으로 발행하면서, AI 가 매끄럽게 빠뜨리는 것을 수없이 봤습니다. 넣어 둔 단서가 사라지고, 조건이 붙은 문장이 단정하는 문장으로 바뀌어 나오는 일을 계속 겪었습니다. 그때마다 걸린 자리는 문장이 어색한 곳이 아니라, 원문과 나란히 놓고 봤을 때 비어 있는 곳이었습니다.

그래서 제가 쓸 수 있는 것은 요약 기술이 아닙니다. 빠진 것을 찾는 자리에 대한 이야기입니다. 그 자리는 아직 사람 몫이고, 당분간 바뀌지 않을 것으로 봅니다. 요약을 쓰는 만큼 그 자리를 어디에 둘지도 같이 정해 두시면 좋겠습니다. 저는 발행 직전에 원문과 나란히 놓고 보는 것으로 그 자리를 잡아 두었습니다.

요약을 잘 뽑는 일보다, 빠진 것을 찾는 자리를 정해 두는 일이 먼저입니다.그 자리는 아직 사람 몫입니다.

같이 보면 좋은 글

• AI 번역, 어디까지 믿나 — 사람이 꼭 봐야 하는 자리
• 할루시네이션이란? — AI가 없는 사실을 그럴듯하게 말하는 이유
• AI 글쓰기, 어디까지 맡길까 — 사람이 쥐어야 하는 자리
• AI 처음이라면 — 기초부터 차근차근

다음 편에서는 AI 에게 일을 맡길 때 받기 전에 무엇을 적어 주면 결과가 달라지는지를 다루겠습니다. 요약이든 번역이든 글쓰기든, 미리 적어 주는 한 줄이 돌아오는 결과의 폭을 정합니다.