에이전트 4주 결산

4주 지표

운영 대시보드와 같은 정의를 썼어요. 9월 15일 수치가 대시보드와 한 자리도 다르지 않은 걸 확인하고 시작했어요.

목표를 걸어둔 숫자는 넷인데 넷 다 못 넘었어요. 채택률은 4주 내내 32~35% 사이를 오갔고, NPS는 오히려 내려갔어요. 눈에 띄는 건 응답 시간이에요. 중간값이 12.5초에서 18.4초로 늘었고, 느리다는 불만도 3~4주에 처음 나왔어요.

목표 대비

세로선이 목표예요.

사람들이 어디서 새나

에이전트 탭이 뜬 사람 100명 중 패널까지 들어오는 사람은 14명이에요. 일단 들어와서 말을 걸면 그다음은 잘 흘러가요. 말을 건 사람의 77%에서 툴이 돌고, 그중 70%가 결과를 채택해요. 가장 크게 새는 곳은 탭을 보고도 안 들어오는 구간이에요.

돌아오는 사람은 늘고 있어요

주간 발화 유저는 3,593명에서 2,870명으로 줄었어요. 그런데 그중 전에 써본 사람 비중은 0%에서 45%로 올랐어요. 쓰던 사람이 빠져나가는 게 아니라 새로 들어오는 사람이 줄어드는 거예요.

요소 검색이 33.3%에서 23.0%로, 사진 검색이 42.8%에서 31.4%로 내려갔어요. 찾아온 결과로는 성에 안 차는 거라고 봐요. 같은 기간 이미지 생성 쪽 호출은 오히려 늘었거든요.

무엇이 막혔나

못 한다고 답한 발화가 4주에 7,923건이에요. 전체의 16%쯤 되고, 흩어져 있지 않아요.

어떤 요청에서 나오나

사이즈·레이아웃에서 2,091건, 색상 변경에서 1,146건. 둘을 합치면 못 한 것의 41%예요. 여기에 텍스트 추가와 폰트까지 넣으면 절반을 넘어요. 전부 캔버스 위에 이미 있는 걸 직접 건드리는 일이에요.

나머지 절반은 두 덩어리예요. 발표자료를 만들어 달라는 요청이 1,022건인데 AI 프레젠테이션으로 가라고 안내하고 끝나요. 이미지 품질 쪽이 1,469건이고요.

못 한다는 말을 들으면 절반이 나가요

수행했다는 답을 들으면 35%가 대화를 닫아요. 못 한다는 답을 들으면 51%가 닫아요. 더 눈에 띄는 건 다시 시도하는 비율이에요. 36%에서 12%로 떨어져요. 말을 바꿔서라도 해보려 하지 않고 그냥 나가요.

답이 아예 없을 때가 제일 나빠요. 68%가 거기서 끝내요.

수요가 생성 쪽으로 옮겨가고 있어요

1~2주와 3~4주를 견주면 방향이 분명해요. 검색 계열은 전부 줄고 생성·이미지 계열은 전부 늘었어요. 이미지 부분 편집이 42% 늘어 증가폭 1위고, 템플릿 검색은 17% 줄었어요. 사람들이 에이전트를 찾아주는 도구가 아니라 만들어주는 도구로 쓰기 시작한 거예요.

어느 기능부터 열면 되나

2주차 리포트는 요청이 많은 순으로 우선순위를 매겼어요. 그런데 요청이 많아도 이미 잘 되는 게 있고, 요청이 적어도 전부 막히는 게 있어요. 요청 수에 못 한 비율을 곱해서 실제로 날아간 발화로 다시 세면 순서가 바뀌어요.

정렬·위치와 캔버스 규격이 1·2위로 올라와요. 2주차에는 둘 다 뒷순위였어요. 반대로 이미지 속 사물 색은 요청이 1,865건으로 가장 많은데 막히는 비율이 16%뿐이에요. 기능을 넣을 자리가 아니라 품질을 올릴 자리예요. 페이지 추가·삭제는 요청이 278건으로 적은데 78%가 막혀요. 통째로 비어 있어요.

그래서 어떻게

왜 접지 않나

첫째, 수요가 확인됐어요. 첫 화면을 AI로 둔 군은 탭을 본 사람의 24%가 말을 걸어요. 템플릿 화면으로 시작한 군은 19%고요. 군을 무작위로 갈랐으니 원래 말 걸 사람이 몰렸다는 설명은 안 돼요. 우연일 가능성은 사실상 0이에요.

둘째, 지금 배치는 손해가 없어요. 템플릿 화면을 그대로 두고 에이전트를 네 번째 탭에 둔 군은 에셋 전환율도 템플릿 채택도 대조군과 차이가 없어요. 반대로 첫 화면을 AI로 바꾼 군은 템플릿 채택을 1.5%p 깎아요. 기능이 찰 때까지는 지금 자리가 맞아요.

셋째, 고칠 곳이 좁아요. 흩어진 백 가지를 손봐야 하는 상황이 아니에요. 한 문장이 3,057번 나왔고, 그 거절을 겪은 사람이 말을 건 사람의 23%예요.

고치면 얼마나 오르나

지금 못 한다고 답하는 사이즈와 색상을 전부 해낸다고 치고 산술로 올려봤어요. 품질 실패를 0으로 둔 낙관적인 상한이에요.

정할 것 세 가지

안 했으면 하는 것

하나는 온보딩으로 메우는 거예요. 사람들이 잘 못 쓰는 건 맞아요. 쓰던 사람은 편집 성공률이 43%에서 49%로 올라가니까요. 그런데 그 상승이 전체에서는 2.9%p로 희석돼요. 매주 들어오는 새 사람이 다시 끌어내리거든요. 학습으로 메우려면 매주 새로 가르쳐야 해요. 기능이 늘면 학습은 따라와요.

다른 하나는 진입 구좌를 더 만드는 거예요. 탭은 이미 충분히 뜨고 있어요. 검색결과 아래쪽 자리는 2,282번 노출되는 동안 말을 건 사람이 55명이에요. 자리를 늘리는 건 이미 해봤고 답이 아니었어요.

유저가 직접 한 말

NPS에 글을 남긴 89명을 분류했어요. 표본이 작아서 방향만 읽어요. 1~2주에 7건이던 기존 동선을 밀어냈다는 불만이 3~4주에는 2건으로 줄었어요. 대신 느리다는 말이 0건에서 4건으로 생겼어요. 응답 시간이 늘어난 것과 맞아떨어져요.

2주차 리포트는 맞았나

9월 29일 리포트의 주장 아홉 개를 4주 데이터로 다시 재봤어요. 여덟 개는 그대로 유지돼요. 2주차 분석이 13일치였고 추석까지 끼어 있었는데도 비율이 거의 같게 나왔어요. 일괄 적용 요구는 5.7%라고 썼는데 제가 재니 5.68%였어요.

바뀐 게 하나 있어요. 가장 많은 요청이 이미지 부분 편집이라고 했는데, 4주로 늘리면 1위는 이미지 생성이에요. 이미지 부분 편집은 3위고요. 순위가 뒤집힌 게 아니라 그사이 수요가 생성 쪽으로 움직인 거예요.

하나는 선을 다시 그어야 해요. 편집이 섞인 조합은 전부 성공률 51% 이하라고 썼는데, 순서는 맞지만 51%라는 선은 재는 방식이 바뀌면 안 맞아요. 발화 단위로 다시 재면 생성+편집이 65%예요. 진짜로 낮은 건 문의와 편집이 섞인 경우 하나(23%)고요. 편집이 섞이면 떨어진다기보다 못 하는 요청과 섞이면 떨어진다가 정확해요.

그리고 편집 성공률은 2주차가 말한 20% 안팎보다 더 나빠요. 한 가지 요청만 한 대화로 좁혀 보면 사이즈·레이아웃 5%, 색상 9%, 텍스트 11%예요.

이미지 생성만 차이가 커요. 2주차는 결과를 채택까지 했는지를 섞어 본 것 같아요.

데이터와 한계

믿지 말아야 할 것

이 문서의 비율은 전부 에이전트를 쓴 사람들 안쪽 이야기예요. 대조군과의 비교는 10월 12일에 나온 ABT 결과에만 있고, 그 답은 에셋 전환율이 목표에 못 미친다는 거예요. 쓴 날과 안 쓴 날 비교처럼 관찰로 구한 숫자는 그날의 작업 의욕이 고정되지 않아 과장돼요.

유효채택과 다운로드는 KR1 마트에 그날 기록이 있는 사람만 셀 수 있어요. 에이전트를 쓴 사람-하루의 절반쯤만 거기 있어요. 그리고 10월 12일은 마트가 아직 안 올라와서 그 계열 숫자는 11일까지만 썼어요.

주간 리텐션이 10% 선으로 낮게 나오는 건 브라우저 식별자 기준이라 그래요. 쿠키가 바뀌면 이탈로 잡혀요. 계정 기준으로 세면 4주차 발화 유저의 45%가 재방문이에요.

NPS는 458명, 글을 남긴 건 89명이에요. 방향만 읽어야 해요.

무엇을 어떻게 셌나