배포 4주 결산

4주 전체

먼저 숫자부터 다 펼쳐요. 대시보드와 같은 정의를 쓰고, 9/15 수치는 대시보드와 한 자리도 다르지 않게 맞췄어요.

주차별 전 지표

퍼널 — 탭을 본 사람 100명 중 채택까지 가는 사람은 5명

유저-일 기준이에요. 가장 크게 새는 곳은 탭을 보고도 패널에 안 들어가는 구간(14.1%만 들어와요)이고, 일단 말을 걸면 그 뒤는 잘 흘러요(발화 → 툴 호출 76.7%, 툴 호출 → 채택 70.4%).

툴별 채택률

분모가 둘로 갈려요. 목록 노출형(검색 3종)은 목록을 보여준 횟수가 분모이고, 결과 제시형(이미지 생성·폰트·꾸미기·배경 제거·리라이팅)은 결과 하나를 놓고 쓸지 말지 정한 횟수가 분모예요. 3~4주에 요소 검색이 33.3% → 23.0%, 사진 검색이 42.8% → 31.4%로 내려앉은 게 눈에 띄어요.

유입 구좌별

발화의 83%가 템플릿탭과 AI 디자이너 패널 두 곳에서 나와요. 검색결과 sticky 하단은 2,282 유저-일에 노출됐는데 말을 건 사람이 55명뿐이에요 — 자리값을 못 하고 있어요.

퀵액션바는 노출 이벤트가 없어 «—»로 뒀어요. 미분류 1.1%는 뺐어요.

돌아오는 사람

주간 발화 유저는 3,593 → 2,870명으로 줄었지만, 그중 전에 써본 사람의 비중은 0% → 45%로 늘었어요. 새로 들어오는 사람이 줄어드는 것이지, 쓰던 사람이 빠져나가는 것은 아니에요.

목표에 닿았나

목표선이 걸린 숫자는 넷이에요 — 에셋 전환율·채택률·2번째 턴 전환율·NPS. 넷 다 못 넘었어요. 나머지는 목표선이 없어 «나쁘지 않다» 수준으로만 읽을 수 있어요.

세로 막대가 목표선이에요. 목표가 없는 지표는 막대만 그렸어요.

왜 평평한가 — 4주 동안 기능이 하나도 안 늘었어요

Langfuse에 찍힌 툴 호출을 전부 세어 보면 18종이 9월 15일에도 10월 12일에도 똑같이 있어요. 새로 생긴 툴도, 사라진 툴도 없어요. 호출 구성만 조금 움직였는데 요소 생성(1,591 → 2,266)과 사진 생성(792 → 1,315)이 늘고 검색 계열이 줄었어요. 기능을 안 늘렸으니 지표가 안 움직이는 게 당연해요. 4주차 결산에서 물어야 할 것은 «왜 안 올랐나»가 아니라 «무엇을 넣으면 오르나»예요.

딱 하나 오른 것 — 편집 성공률 +6.0%p. 그런데 제품이 아니라 사람이 변했어요

편집 계열 발화의 수행률이 1~2주 40.4%에서 3~4주 46.4%로 올랐어요. 기능이 그대로인데 왜 올랐는지 계정의 첫 발화 시점으로 갈라 봤어요.

3~4주에 처음 온 사람은 44.4%로 1~2주 신규(40.4%)와 큰 차이가 없어요. 반면 1~2주부터 쓰던 사람은 49.1%까지 올라가고, 같은 사람만 추려도 42.9% → 49.1%로 올라가요. 오른 6%p 가운데 4%p 남짓이 «같은 사람이 익숙해진 몫»이에요. 제품·프롬프트 쪽 몫은 많아야 2%p 정도로 보여요.

ABT가 이미 답한 것 — 효과는 없었고, 템플릿 채택은 깎였어요

같은 기간 AI_AGENT_KR ABT가 4군으로 돌았어요(끝자리 6 · 유료 · 국내). 이 리포트는 그 결과를 다시 재지 않고 그대로 인용해요 — agent-abt-result.miridih.app.

PRD는 에셋 전환율 1.3배를 8주 타깃으로 적었는데 실측은 0.98~1.00배예요. B·D는 통계적으로 유의하게 낮아졌고, 줄어든 건 템플릿 채택이에요. 반대로 첫 화면을 AI로 둔 B·D는 발화 전환이 C보다 +5.3%p·+4.8%p 높아요(p<1e-24). 읽으면 이렇게 돼요 — 말을 걸게 만드는 데는 성공했고, 말을 건 다음에 아무것도 못 해줬어요.

계측이 틀린 곳 세 군데

2주차 리포트는 맞았나

9월 29일 리포트의 주장 9개를 4주 전수 데이터로 다시 재봤어요. 8개는 그대로 유지되고, 1개는 틀렸다기보다 상황이 바뀌었어요. 2주차 분석은 13일치·추석 포함이었는데도 비율이 거의 그대로 재현돼요 — 표본이 충분했다는 뜻이에요.

2주차 수치와 4주 수치 나란히

무엇이 막는가

«못 한다»고 답한 발화가 4주에 7,923건이에요. 전체 발화의 16.1%고, 가드레일 지표가 말하는 8.5%의 두 배예요. 그런데 이게 여기저기 흩어져 있지 않아요.

미지원이 어디서 나오나

의도별로 «못 한다»가 몇 건씩 나왔는지예요. 막대 길이가 그 의도에서 날아간 발화 수예요.

«못 한다»를 들으면 절반이 대화를 닫아요

직전 발화의 결과에 따라 유저가 다음에 무엇을 하는지 세어 봤어요.

«수행함»을 들으면 34.7%가 닫는데, «못 한다»를 들으면 51.2%가 닫아요. 더 눈에 띄는 건 같은 의도로 다시 시도하는 비율이 36.2% → 12.0%로 떨어진다는 점이에요. 말을 바꿔서라도 해보려 하지 않고 그냥 나가요. «응답 없음»은 68.1%로 가장 나빠요.

수요가 옮겨가고 있어요 — 검색에서 생성으로

1~2주와 3~4주의 의도 구성을 비교하면 방향이 분명해요. 검색 계열은 전부 줄고, 생성·이미지 계열은 전부 늘었어요. 2주차 리포트가 «가장 많은 요청»으로 꼽은 이미지 부분 편집은 4주 기준 3위지만 증가율은 +41.8%로 1위예요.

툴 호출 수로도 같은 게 보여요 — 요소 생성 1,591 → 2,266, 사진 생성 792 → 1,315으로 늘고 템플릿 검색 1,014 → 682, 요소 검색 1,296 → 936으로 줄었어요. 유저가 에이전트를 «찾아주는 도구»가 아니라 «만들어주는 도구»로 쓰기 시작했어요. 요소·사진 검색의 채택률이 3~4주에 10%p 가까이 떨어진 것도 같은 흐름으로 읽혀요 — 찾아온 결과로는 성에 안 차는 거예요.

Phase 2 우선순위 — 건수가 아니라 «날아간 발화»로 다시 세우면

2주차 PRD는 세부 기능을 요청 건수 순으로 P1~P3에 넣었어요. 그런데 건수가 많아도 이미 잘 되는 것이 있고, 건수가 적어도 전부 막히는 것이 있어요. «요청 × 미지원률 = 실제로 날아간 발화»로 다시 세우면 순서가 바뀌어요.

그래서 어떻게 할까

왜 접지 않는가

정직하게 — 고치면 얼마나 오를까

지금 «못 한다»고 답한 사이즈·레이아웃과 색상 변경을 전부 수행으로 바꿨다고 가정하고 산술로 올려봤어요. 낙관적인 상한이에요(품질 실패는 0으로 뒀으니까요).

결정이 필요한 것 셋

하지 말 것 둘

유저가 직접 한 말

NPS 자유 코멘트 89건을 분류했어요. 표본이 작아 방향만 읽어요. 1~2주에 7건이던 «기존 동선을 밀어냈다»(창이 자꾸 뜬다·되돌려달라)가 3~4주에는 2건으로 줄었고, 대신 «느리다·끊긴다»가 0건에서 4건으로 생겼어요 — 응답시간 중앙값이 12.5초에서 18.5초로 늘어난 것과 맞아요.

데이터와 한계

무엇을 셌나

믿지 말아야 할 것