설정
문체에 따라 토큰 밀도가 달라집니다.
모델이 첫 글자를 내놓기 전까지의 침묵. 디코딩 속도와 별개입니다.
이 기본값은 측정값이 아닙니다 — 쓰는 환경에서 직접 재야 하는 값입니다. 왜 대푯값이 없나
실측 예 (RTX 3090 · 27B Q4): 짧은 질문 0.8초, 1만 토큰 문서 11초. 측정값
스트리밍 비교
시스템 설정이 「모션 줄이기」라서 애니메이션 대신 시간대별 스냅샷으로 보여줍니다.
tok/s가 내 언어에서 실제로 얼마나 빠른지, 내가 읽는 속도에 견줘 재봅니다.
문체에 따라 토큰 밀도가 달라집니다.
모델이 첫 글자를 내놓기 전까지의 침묵. 디코딩 속도와 별개입니다.
이 기본값은 측정값이 아닙니다 — 쓰는 환경에서 직접 재야 하는 값입니다. 왜 대푯값이 없나
실측 예 (RTX 3090 · 27B Q4): 짧은 질문 0.8초, 1만 토큰 문서 11초. 측정값
시스템 설정이 「모션 줄이기」라서 애니메이션 대신 시간대별 스냅샷으로 보여줍니다.