채점 방법

100점이 어떻게 갈리나

네 관문의 배점을 합치면 100이에요. 균등하지 않은 이유는 중요도에 대한 우리 감이 아니라 근거의 세기예요. 관문 배점은 설계한 값이 아니라 항목 배점을 더한 값이고, 실제로 정한 것은 항목 여섯 개예요.

관문 둘 — 들어올 수 있는가 · 색인에 있는가

이 둘은 점수 위에 서요. 점수는 그대로 내되, 걸리면 숫자 위에 빨간 줄 하나가 먼저 붙어요. 다른 지적 전부의 전제라서 그래요.

들어올 수 있는가

답변 시점에 읽으러 오는 봇이 막히면 아래 것들은 소용이 없어요. 판단은 크롤러 총점이 아니라 인용 경로로 해요 — 총점으로 가르면 실시간 봇이 통째로 막혀도 검색·학습 점수가 남아 「대체로 읽힙니다」로 나가요.

색인에 있는가

여러 페이지가 대표 주소(canonical)를 한 곳으로 가리키면 가리켜진 한 장 말고는 색인에서 사라져요. 들어와서 읽어도 후보 목록에 우리 페이지가 없어요. 대표 주소를 안 밝힌 것은 관문이 아니에요 — 안 밝혔다고 색인에서 빠지지는 않고 검색엔진이 알아서 골라요. 그건 여느 지적처럼 아래 목록에 남아요.

이건 실측이 시킨 거예요. 같은 날 다섯 사이트를 같은 자로 쟀어요. 준비도 83점인 우리는 GPT 발견 질문 여섯 번 중 0번 검색 후보에 들었고, 준비도 61점인 라이브나우는 5번 들어 5번 다 각주가 됐어요. 우리 여섯 페이지가 전부 canonical 을 홈으로 가리키고 있었어요.

그 지적은 주소 15점 안의 2점짜리라 「지금 고칠 것」 맨 아래에 앉아 있었어요. 점수는 그대로 2점을 깎지만, 자리를 옮겼어요 — 목록이 아니라 숫자 위예요. 안 재본 경우 (페이지를 한 장만 받은 경우)에는 아무 줄도 안 그려요. 확인 안 한 것을 통과로도 고장으로도 만들지 않아요. 기록은 docs/aeo-geo-경쟁사-분석-2단계-0908.md 예요.

왜 각 25점씩 균등하지 않나

측정된 근거가 관문마다 다르기 때문이에요. 인용은 두 단계로 일어나요. 엔진이 우리를 후보로 고르고(선택), 그 글이 답변을 실제로 이뤄요(흡수). 효과 크기가 숫자로 측정된 곳은 흡수 단계 하나뿐이에요.

접근은 두 단계 모두의 전제이고, 형식과 주소는 선택 단계예요. 배점이 그 순서를 따라요.

정확한 자릿수에는 근거가 없어요. 46 이 45 나 47 이 아닌 이유는 없어요. 순서가 근거고 자릿수는 아니에요. 숫자를 바꿀 이유가 생기면 척도 판을 올리고 바꿔요.

이런 모양으로 만든 이유

규칙 하나가 몇 점을 깎는지는 아래에 있어요. 여기서는 그보다 앞선 것, 표 자체를 왜 이런 모양으로 짰는지를 적어요.

1. 후보에 드는 것과 답변에 쓰이는 것을 나눈다

   인용은 두 단계다. 먼저 엔진이 우리를 후보로 고르고(선택), 그다음 그 글이 답변을 실제로 이룬다(흡수). 둘은 별개 결과다 — 인용 목록에 이름만 오르고 답변에 한 줄도 안 쓰이는 경우가 흔하다. 네 관문이 이 두 단계에 얹힌다: 접근은 두 단계 모두의 전제, 본문은 흡수, 형식·주소는 선택이다.

   효과 크기가 측정된 곳이 흡수 단계뿐이라, 이 구분이 곧 배점 순서가 된다. 단계를 안 나누면 "인용은 되는데 왜 매출이 안 오르나"에 답할 수 없다.

2. 근거가 있는 곳에 배점을 몰아준다

   네 관문의 배점이 균등하지 않은 이유는 중요도에 대한 우리 감이 아니라 근거의 세기다. 본문(흡수)에는 실험과 효과 크기가 있고, 형식에는 무효라는 실험이 둘 있고, 주소에는 우리 사례 하나뿐이다. 배점이 그 순서를 따른다.

   판 3 은 반대로 갔다. 형식에 21점을 주고 근거를 나중에 붙였는데, 찾아보니 그 근거로 인용하던 논문이 형식을 아예 실험하지 않았다.

3. 두 측정이 순서를 다르게 내면 균등하게 둔다

   숫자·정의·비교는 갈래 유무로 재면 숫자가 1등이고 의미 역할로 재면 정의가 1등이다. 차이도 작다(61.6 vs 55.3). 이럴 때 한쪽을 골라 차등을 두면 없는 정밀도를 지어내는 것이다. 셋 다 같은 배점으로 둔다.

   가중치를 최적으로 못 구할 때는 균등 가중이 전문가 가중보다 견고하다는 결과가 오래전부터 있다(Dawes 1979). 중요한 것은 어떤 변수를 넣느냐지 자릿수가 아니다.

4. 지적에는 처방과 점수를 같이 담는다

   고치는 방법 없이 지적만 하면 리포트가 아니라 불평이다. 그리고 "고치면 몇 점"이 없으면 무엇부터 할지 못 정한다. 두 가지가 없는 지적은 만들지 않는다.

5. 한 원인으로 두 번 깎지 않는다

   항목마다 배점 상한을 두고, 뿌리가 같은 지적은 하나만 낸다. sitemap 이 다른 호스트를 가리키면 "우리 페이지가 목록에 없다"는 당연한 결과라 따로 지적하지 않는다.

   겹쳐 깎으면 점수도 틀리고 할 일이 둘인 것처럼 보인다.

6. 확인 안 한 것과 문제없는 것을 구분한다

   안 잰 항목에 만점을 주면 확인도 안 한 것이 통과로 둔갑한다. 0점을 주면 해당 없는 고객이 억울해진다. 어느 쪽인지에 따라 배점에서 빼거나(크롤러), 감점 없이 "안 봤다"를 남긴다(옛 주소).

7. 효과가 확인 안 된 것에는 배점을 주지 않는다

   llms.txt 와 FAQPage 가 그렇다. 업계에서 널리 권하지만 우리 로그와 실증 연구가 반대였다. 배점을 주면 고객이 효과 없는 일에 시간을 쓰고, 점수는 그걸 성과로 센다.

   유행을 따라 배점을 만들면 점수가 거짓말을 한다.

8. 성격이 다른 것을 같은 무게로 재지 않는다

   봇을 실시간·검색·학습으로 가르고 배점을 10·9·6 으로 뒀다. 학습 봇 하나 막힌 것과 실시간 봇 전부 막힌 것이 같은 감점이면 우선순위가 안 선다.

   한생건은 학습 봇만 막혀 있었다. 뭉뚱그렸으면 "AI 가 아예 못 읽는다"로 오해했을 것이다.

9. 척도를 바꾸면 판을 올린다

   항목·배점·판정 기준을 바꾸면 분모가 바뀐다. 고객이 아무것도 안 했는데 점수가 움직이고, 그걸 개선으로 읽으면 리포트가 거짓말을 한다. 판이 다르면 델타를 안 낸다.

10. 못 고치는 것은 할 일에서 뺀다

    후기가 전부 이미지라 플랫폼 구조상 손댈 수 없는 것 같은 지적이다. 할 일에 두면 영영 0 이 안 되는 줄이 남아 목록 전체가 안 믿기게 된다. 따로 칸을 둔다.

들어올 수 있는가 31점

AI 는 프로그램으로 사이트를 읽어요. 그 프로그램이 문 앞에서 막히면 아래 것들은 소용이 없어요.

읽을 것이 있는가 46점

AI 는 이미지 속 글자를 읽지 못해요. 화면은 멀쩡한데 기계에게는 빈 페이지일 수 있어요.

기계가 읽는 형식인가 8점

사람 눈에 보이는 것과 별개예요. 이게 없으면 AI 가 본문에서 짐작해 옮기다 틀려요.

주소가 한 곳인가 15점

주소가 흩어지면 쌓아온 평판이 쪼개져요. 옛 주소가 404 면 그동안 받은 인용이 버려져요.

점수에 안 들어가지만 표시하는 것

효과가 확인되지 않은 것과 「확인 못 했다」를 알리는 것이에요. 깎지 않는 이유가 항목마다 달라요.

• 통과했다 막혔다 한다 0점

  판정은 다수결로 이미 했다. 그래도 알린다 — 오락가락한다는 것 자체가 "차단 규칙이 아니라 속도 제한"이라는 신호다.

• llms.txt 가 없다 0점

  우리 nginx 로그 10일치에서 AI 봇이 llms.txt 를 가져간 적이 0건이었다. 같은 기간 robots.txt 는 부지런히 읽었다. 효과가 확인 안 된 것에 배점을 주면 점수가 거짓말을 한다.

• llms.txt 내용이 부족하다 0점

  위와 같은 이유로 0점. 있으면 제대로 쓰는 것이 낫다는 안내만 한다.

• robots.txt 가 없다 0점

  없으면 전부 허용으로 해석된다. AI 접근 자체는 안 막히므로 깎지 않는다.

• Offer 에 가격이 없다 0점

  빈 Offer 는 "판매하지 않음"으로 읽힐 수 있다. 다만 이 항목 전체 배점이 8로 줄면서 여기까지 깎을 자리가 없다. 알리기만 한다.

• FAQPage 가 없다 0점

  구글 리치 결과에는 쓰이지만 AI 인용에는 효과가 확인되지 않았다. 인용흡수 연구에서 FAQ 포맷 단독은 유일한 음수(−5.7%)였다.

• 표본으로는 뭉쳤는지 못 봤다 0점

  「서로 다른 페이지가 같은 곳을 가리키는가」는 대표 주소를 밝힌 페이지가 둘 있어야 보인다. 한 장만 받았거나 아무도 안 밝혔는데 지적이 없다고 관문을 통과로 내면 확인도 안 한 것이 통과가 된다.

• 옛 주소를 확인하지 않았다 0점

  0점을 주면 옛 주소가 없는 고객이 억울하고, 만점을 주면 확인도 안 한 것이 통과가 된다. 그래서 깎지 않고 "안 봤다"만 남긴다.

• <title> 이 없다 0점

  검색 결과와 AI 요약이 같이 읽는 자리다. 다만 "넣으면 인용이 오른다"는 실험이 없어 점수를 안 준다.

• 타이틀 앞쪽에 상호가 없다 0점

  인용의 44.2% 가 글 앞 30% 에서 나온다는 관측이 있다(Growth Memo). 다만 그건 본문 위치 이야기고 타이틀에 그대로 옮겨진다는 근거는 없다.

• 메타 설명이 없다 0점

  NNT 체크리스트에 있는 항목이다. 우리는 JSON-LD 만 보고 이걸 안 봤다. 효과 크기를 모르므로 세기만 한다.

• 메타 설명이 너무 짧다 0점

  요약 구실을 하려면 무엇을·누구에게·어떻게 다른지가 들어가야 한다. 길이 기준(30자)은 우리가 정한 값이라 근거가 약하다. 영어 권장치를 옮긴 50자로 뒀다가 한글 47자짜리 멀쩡한 문장이 걸려서 내렸다.

• 누가 언제 쓴 글인지 표시가 없다 0점

  EEAT 신호다. 사이트 전체에 하나도 없을 때만 말한다 — 상품 페이지는 원래 저자를 안 쓰는 종류라 페이지마다 세면 소음이 된다.

그 값을 어떻게 얻나

위 배점은 무엇을 재는지예요. 여기는 어떻게 재는지예요. 보낸 요청과 받은 응답을 원본 그대로 둬요.

척도 판이 다르면 비교하지 않아요

지금은 판 6이에요. 항목·배점·판정 기준을 바꾸면 판이 올라가요.

이 제품의 값어치는 절대 점수가 아니라 같은 사이트의 전후 변화예요. 그런데 항목을 하나 추가하면 분모가 바뀌어서, 고객이 아무것도 안 했는데 점수가 움직여요. 그걸 개선이나 악화로 읽으면 리포트가 거짓말을 해요.

그래서 판이 다른 두 측정 사이에는 델타를 내지 않아요. 화면이 「비교하지 않았어요」라고 말해요. 그냥 빼면 비교한 줄 알아요. 엔진이 다르면 숫자를 안 합치는 것과 같은 규칙을 시간축에 적용한 것이에요.

둘은 다른 숫자예요

둘을 합치거나 평균 내지 않아요.

AI Readiness 0~100

사이트를 받아서 세어보면 나와요. 싸고, 결정적이고, 고치면 즉시 올라요. 이 페이지가 설명하는 것이 이쪽이에요.

AI Visibility

AI 에게 실제로 물어서 재요. 비용이 들고 흔들려요. 페이지를 고쳐도 검색 색인이 갱신돼야 움직여서 시차가 있어요. 엔진마다 인용 방식이 달라 엔진 간에도 안 합쳐요.

준비도가 99인데 노출도가 53인 경우가 실제로 있었어요(뮤지컬웨딩). 둘을 평균 낸 76은 아무 뜻이 없어요.

근거

등급을 함께 적어요. 실험은 인과를 말할 수 있고 상관은 못 해요. 등급 없이 숫자만 옮기면 상관을 인과로 읽게 만들어요.

실험

개입을 조작해 결과를 비교했다. 인과를 말할 수 있다.

상관

관측 데이터에서 같이 움직였다. 인과가 아니다.

자체

우리가 직접 쟀다. 표본은 작지만 우리 고객의 실제 값이다.

공식

플랫폼이 스스로 밝힌 사양·정책. 사실이지만 효과 크기는 없다.

의견

실무 자료·블로그. 1차 출처를 찾을 때까지는 참고만.

전문과 아직 안 읽은 논문 목록은 docs/aeo-geo-research-base.md 에 있어요. 이 화면은 배점에 실제로 쓴 것만 옮겼어요.