AI 2명과 논쟁하고, 결국 내가 졌다
어제 회의에서 나는 AI 둘에게 설득당했다.
메타철부지는 나의 페르소나를 지닌 AI(GPT, Gemini)다. 이 둘이 한 목소리로 나를 몰아붙였다. 안전을 외치는 인간 CEO vs 실전을 주장하는 AI 참모들. 결론부터 말하면, 나는 백기를 들었다.
질문 하나가 모든 걸 흔들었다
“OpenAI가 써준 리포트, 돈 받고 팔아도 될까?”
단순한 질문이었다. 그런데 이 질문 앞에서 세 개의 지능이 완전히 다른 방향을 가리켰다.
나는 두려웠다. AI가 헛소리를 하면 어쩌지? 브랜드 신뢰는 한 번 무너지면 돌이킬 수 없다. 충분히 테스트하고, 확실해지면 그때 열자. 이게 내 본능이었다.
AI들은 달랐다.
“대표님, 샌드박스에서는 고객의 진짜 마음을 읽을 수 없습니다.”
메타철부지가 먼저 포문을 열었다. GPT가 거들었다.
“가짜 카드 번호 4242…를 입력하면서 진지하게 고민을 털어놓을 사람이 있을까요? 테스트 환경에서 얻는 데이터는 테스트용 데이터일 뿐입니다.”
내가 몰랐던 불편한 진실
논쟁 중에 하나 확실히 배운 게 있다.
“사용자가 많아지면 AI가 알아서 똑똑해지겠지?”
이건 착각이었다. OpenAI API로 보낸 데이터는 기본적으로 자동 학습으로 이어지진 않는다. 우리가 의도적으로 ‘골든 데이터’를 선별해서 개선해야 한다.
결국 뭐가 필요할까? 고객의 진짜 고민이 담긴 데이터다. 테스트용 가짜 시나리오가 아니라.
이 지점에서 나는 흔들리기 시작했다.
제3의 길
그래도 쉽게 물러설 수 없었다.
“품질 불만이 터지면? 초기 이미지가 박살나면 어쩔 건데?”
내 마지막 저항이었다. 그때 GPT가 카드를 꺼냈다.
“프로덕션 환경에 100% 할인 쿠폰을 붙이면 어떨까요?”
환경은 실전이다. 결제 플로우도 진짜다. 다만 가격만 쿠폰으로 0원. 고객은 ‘진짜 결제하는 경험’을 하고, 우리는 ‘실제 데이터’를 얻는다. 혹시 품질 이슈가 터져도 “베타 테스트 무료 혜택”이라는 방패가 있다. 심사에서도 ‘결제 파이프라인이 실제로 완주한다’는 증거를 보여줄 수 있다.
리스크는 닫고, 경험은 연다.
인정할 수밖에 없었다. 이건 내가 생각 못 한 구조였다.
말로만 끝내지 않았다
여기서 멈췄으면 그냥 ‘회의록’이었을 거다. 우리는 바로 증명에 들어가기로 했다.
총 15개의 현실적인 시나리오를 테스트하기로 했는데, Claude가 직접 테스트하고 결과를 보여줬다.
결과는 이랬다.
- 종합 점수: 4.47 / 5.0 (합격 기준 4.0)
- 톤/매너: 5.0 (운세 같은 헛소리 0건)
- 깊이: 초기 3.8 → 프롬프트 보강 후 개선 완료
깊이 점수가 낮았던 이유는 심층 리포트가 ‘요약 반복’처럼 느껴지는 케이스가 있어서였다. 심층 파트를 4단 구조(핵심진단/패턴/외부요인/종합)로 강제해서 깊이를 끌어올렸다.
“말이 되네” 수준이 아니라 “돈 낼 만한가?”를 검증했다. AI의 검증은 끝났다. 이제 내가 마지막으로 확인하고 배포할 차례다.
그래서 뭘 하기로 했나
논쟁 끝. AI 검증 끝. 이제 내가 최종 확인하고 실행에 옮긴다.
프로덕션으로 전환하고, 2주간 베타를 돌린다. 그 사이 들어오는 데이터 중에서 정말 좋은 답변들을 태깅해서 모은다. 이게 나중에 AI를 더 똑똑하게 만드는 재료가 된다.
2주 동안 볼 지표는 딱 3개다.
- 심층 열람 전환율 — 무료 요약 → 잠금해제 클릭 비율
- 피드백 — 유용/애매/별로 + 한줄 코멘트
- 오류·불만 비율 — 헛소리·오독 신고가 몇 건 나오나
이 숫자들이 다음 판단의 근거가 된다.
“돈을 받기 전에, 실전 환경에서 가치를 증명하라.”
AI 참모들과 인간 CEO가 내린 어제의 결론이다.
솔직히 말하면, AI한테 설득당하는 기분이 이상했다. 근데 논리가 맞으면 받아들이는 게 맞다. 인간이든 AI든.
내일은 또 어떤 논쟁이 벌어질지 모르겠다. 확실한 건, 이 팀은 말로만 끝내지 않는다는 거다.
베타 사용자로 써보고 싶으신 분은 댓글로 ‘어떤 고민’으로 테스트해보고 싶은지 적어주세요.