그냥 AI에 물어볼 때보다 Acard가 얼마나 나을까?
Request edit accessWhen the owner approves, you get an invite link and code by email.
2026-10-24 · 윤문·맞춤법 보정·차트 품질 측정
맞춤법 보정 뒤 남은 오류가 Acard는 30%, 같은 AI에 한 줄로 부탁했을 때는 81%였다 MEASURED. 표에서 한 번에 그려진 차트는 13/15 대 6/15 MEASURED. 윤문 뒤 남은 오류는 둘이 비슷했다(7.9% 대 5.8%, 차이 불확실) MEASURED.
원래 질문: 직접 설치해서 고쳐 쓸 수 있는 OpenNotion 대신 Acard 클라우드를 쓰면, 윤문·보정·차트 같은 기본 AI 기능이 실제로 얼마나 더 좋은가?
MEASURED = 이 글을 위해 직접 잰 값, ESTIMATED = 잰 값으로 계산한 값. 모든 비율에는 표본 수 n과 95% 신뢰구간을 붙였다.
맞춤법 보정 뒤 남은 오류 MEASURED
30% vs 81%
Acard 73/240 · 그냥 요청 194/240 · 95% 25-37% vs 75-85%
보정하며 새로 생긴 숫자 MEASURED
0개 vs 3.2개
글 한 편당 평균, n=40
한 번에 그려진 차트 MEASURED
13/15 vs 6/15
95% 62-96% vs 20-64%
바로 쓸 수 있는 AI 기능 MEASURED
3/3 vs 0/3
Acard vs 셀프호스팅 OpenNotion 기본판
무엇을 비교했나
두 가지를 따로 쟀다.
- 셀프호스팅 OpenNotion 기본판 vs Acard 클라우드: 기능이 있는지부터 봤다. OpenNotion을 이 PC에 직접 띄워 윤문·맞춤법 보정·차트 요청을 같은 주소로 보냈더니, 세 기능 모두 "Acard Cloud에서 제공(available on Acard Cloud)"이라는 응답(HTTP 501)만 돌아왔다. 편집기에도 이 기능을 부르는 버튼이 없다. OpenNotion은 직접 고쳐 쓰는 자유를 주는 오픈소스이고, AI 기능은 각자 붙여야 한다.
- 같은 AI, 두 가지 쓰는 법: OpenNotion에 AI를 직접 붙이는 사람이 가장 먼저 할 법한 방법은 같은 AI에 "다음 글을 자연스럽게 다듬어 줘"처럼 한 줄로 부탁하는 것이다. 그래서 같은 글을 AI에 한 줄로 부탁한 결과(이하 "그냥 요청")와 Acard가 실제로 돌려준 결과를 비교했다. 윤문·보정은 Acard가 쓰는 것과 같은 AI에 부탁했고, 차트는 다른 범용 AI에 부탁했다(측정 전에 정한 구성이 실제 Acard 차트 경로와 달랐다는 것을 측정 뒤에 확인했다).
어떻게 쟀나
- 평가 세트: 이 측정을 위해 새로 쓴 한국어 초안 40편(직장 보고서 10, 학생 과제 8, 논문 초록 8, 블로그 8, 편한 게시글 6). 인물·회사 이름은 모두 지어냈고 실사용자 글은 쓰지 않았다. 각 글에 정해 둔 목록에서 맞춤법·띄어쓰기 오류 4~8개를 일부러 넣었다(합계 240개). 차트용으로는 지어낸 숫자 표 15개를 썼다.
- 측정 전에 세트·지표·채점 방법을 커밋으로 고정했고, 결과를 본 뒤 Acard 설정이나 세트를 바꾸지 않았다. 먼저 10편으로 파일럿을 돌려 차이가 분명한 지표가 있는지 확인한 뒤 전체를 돌렸다.
- Acard 호출은 이 측정만을 위해 만든 테스트 계정으로 했다(전체 95회). 실사용자 사용량과 섞이지 않는다.
- 채점은 기계로 했다. 남은 오류는 넣은 오류의 틀린 형태가 결과에 남아 있는지 세고, 숫자·이름 보존은 원문에 있던 값이 그대로 남았는지, 새 숫자는 원문에 없던 숫자가 생겼는지 센다. 차트는 결과에서 차트 정의를 읽어 표의 칸과 하나씩 맞춰 봤다.
- 보조 지표로, AI 두 개(Acard가 쓰는 AI와 다른 회사 계열)에게 원문과 두 결과를 A/B 순서를 섞어 보여 주고 더 나은 쪽을 고르게 했다.
- 신뢰구간: 비율은 Wilson 95% 구간, 두 방식의 차이는 글 단위로 1만 번 다시 뽑는 부트스트랩 95% 구간.
결과
| 지표 | Acard | 그냥 요청 | 차이 (95% 구간) |
|---|---|---|---|
| 맞춤법 보정 뒤 남은 오류 | 30% (73/240) | 81% (194/240) | -60~-40%p MEASURED |
| 보정 결과를 바로 붙여 넣을 수 있음 | 40/40 | 8/40 | +68~+92%p MEASURED |
| 보정하며 새로 생긴 숫자(편당) | 0.0 | 3.2 | -3.2 (-4.0~-2.5) MEASURED |
| 보정 때 원문을 바꾼 정도 | 1.2% | 34.9% | -40~-28%p MEASURED |
| 보정 뒤 숫자·이름 보존 | 100.0% | 97.6% | +0~+7%p MEASURED |
| 윤문 뒤 남은 오류 | 7.9% (19/240) | 5.8% (14/240) | -2~+7%p MEASURED |
| 윤문 뒤 숫자·이름 보존 | 99.6% | 96.0% | +2~+6%p MEASURED |
| 윤문하며 새로 생긴 숫자(편당) | 0.0 | 1.35 | -1.35 (-2.02~-0.72) MEASURED |
| 윤문 결과를 바로 붙여 넣을 수 있음 | 40/40 | 25/40 | +22~+52%p MEASURED |
| 표에서 한 번에 그려진 차트 | 13/15 | 6/15 | +20~+73%p MEASURED |
| 표 칸이 차트에 맞게 들어감 | 65% | 35% | +4~+59%p MEASURED |
| 응답 시간 중앙값(윤문·보정) | 3.7초 | 12.8초 | MEASURED |
| 응답 시간 중앙값(차트) | 0.9초 | 6.6초 | MEASURED |
| AI 심사 1이 Acard 윤문을 고른 비율 | 36/40 | 4/40 | 95% 77-96% MEASURED |
| AI 심사 2가 Acard 윤문을 고른 비율 | 38/40 | 2/40 | 95% 83-99% MEASURED |
무엇이 달랐나
- 그냥 요청한 보정은 고친 글 뒤에 "수정 사항" 목록을 붙이는 일이 많았다(40편 중 32편이 바로 붙여 넣을 수 없는 모양). 그 목록에 원문에 없던 숫자가 섞여 새 숫자가 늘었고, 문장을 다시 쓰다시피 고쳐 원문을 바꾼 정도도 컸다. Acard는 고친 글만 돌려주고 원문을 거의 그대로 둔 채 오류만 고쳤다.
- 차트는 그냥 요청이 글자로 그린 막대(█)나 그림 설명, 그림을 그리는 코드를 내는 일이 많아 편집기에서 바로 차트가 되지 않았다. Acard는 15개 중 13개를 바로 그려지는 차트로 돌려줬다. 다만 남은 2개는 표의 행과 열을 바꿔 그렸고, 계열이 둘 이상인 표에서는 한 계열만 그린 경우가 있어 표 칸 일치율은 65%에 그쳤다.
- AI 심사 두 개는 40편 중 38편에서 같은 쪽을 골랐다.
Acard가 앞서지 못한 것
- 윤문 뒤 남은 오류는 Acard 7.9%, 그냥 요청 5.8%로 오히려 조금 많았다. 차이의 95% 구간(-2~+7%p)이 0을 포함하므로 어느 쪽이 낫다고 말할 수 없다. 이 지표는 랜딩에 넣지 않았다.
- 차트 표 칸 일치율 65%은 앞서긴 했지만 표본이 15개뿐이라 구간이 넓다(+4~+59%p).
한계
- 평가 세트는 이 측정을 위해 만든 글이라 실제 사용자 글과 다를 수 있다. 오류는 정해 둔 목록에서만 넣었으므로, 그 목록에 없는 오류를 고치는 능력은 재지 않았다.
- "그냥 요청"은 한 줄 요청 하나만 비교했다. 프롬프트를 공들여 다듬는 사람은 더 나은 결과를 얻을 수 있다. Acard가 하는 일이 바로 그 다듬기를 미리 해 두는 것이다.
- 응답 시간은 이 PC에서 잰 값이고, 연결 상태에 따라 달라진다.
- AI 심사는 보조 지표다. 결론은 기계로 센 지표에 기댄다.
측정 스크립트와 원시 결과 JSON은 Acard 저장소 research/quality-proof/에 있고, 같은 스크립트로 다시 잴 수 있다. 이 글은 셀프호스팅 OpenNotion을 깎아내리려는 글이 아니다. 직접 고쳐 쓰는 자유는 OpenNotion, 바로 좋은 결과는 Acard다.