어떻게 하면 AI에게서 좋은 답변을 받을까
AI 스터디에서 The spelled-out intro to neural networks and backpropagation: building micrograd 후기를 발표했어요. 발표 중에 제가 "LLM 한테 '왜?'라고 계속 물어보면서 공부했다"는 이야기를 했는데, 발표가 끝나자 한 분이 이렇게 물어봤어요. 돌이켜보면 제 답은 '좋은 프롬프트'에 대한 게 아니라, 좋은 답변을 꾸준히 받기 위한 제 나름의 접근에 가까웠던 것 같아요.
Q.
LLM 한테 '왜'라고 계속 물어보셨다고 했는데, 혹시 질문을 던지는 데, 그러니까 프롬프트에 노하우가 있으신가요?
A.
거창한 노하우라기보다는, 사람마다 다를 것 같아요. 결국에는 본인의 취향 같은 걸 계속 쌓아가는 거예요. 그래서 제가 중요하게 생각하는 건 그 피드백을 한 세션에서만 머물다 사라지게 두지 않는 것이에요.
예를 들어 저는 클로드를 주로 쓰는데, 클로드의 메모리 기능을 적극적으로 활용해요. 답변을 보다 보면 "이건 다음에도 쓸모 있겠는데" 싶은 게 있잖아요. 저 같은 경우엔 이 친구가 줄임말 쓰는 걸 싫어하고, 한국어로 답할 때 번역투로 말하는 것도 싫어하거든요. 그러면 그걸 기억하라고 시켜요. 그렇게 한번 기억시켜 두면 다음 세션에서도 그 취향이 이어져요.
그런데 이 메모리가 기본적으로는 숨겨진 폴더(~/.claude 안쪽)에 쌓여요. 저는 두 가지가 마음에 안 들었어요. 하나는 메모리가 숨겨져 있어서 제가 들여다보기 어렵다는 것, 다른 하나는 클로드 말고 코덱스(Codex)를 쓸 때도 있는데 그 메모리를 코덱스는 못 읽는다는 것이었어요.
그래서 며칠 전에 그 메모리 폴더를 제 Obsidian Vault 안의 특정 폴더로 빼냈어요. 클로드 안에 갇혀 있던 '뇌' 같은 메모리를 밖으로 꺼낸 거죠. 이렇게 하니까,
- 코덱스도 같은 메모리를 읽을 수 있고
- 제가 직접 파일을 열어서 어떤 식으로 저장돼 있는지 볼 수 있고
- Obsidian 의 파일 변경 추적으로 언제 무엇이 업데이트됐는지 따라갈 수 있어요.
결국 프롬프트에 무슨 비법이 있는 건 아니에요. 그때그때 준 피드백을 한 세션에서만 쓰고 버리지 말고 계속 쌓아가는 것, 그게 더 중요한 것 같아요.