ChatGPT vs Claude, 같은 질문에도 비용이 다른 이유: ‘토큰 산출 격차’의 비밀 | 인사이트리포트 | 삼성SDS - Samsung SDS

 ì´ ê¸ì IDGì ìí°í´ì ì ì¬íì¬ ì ê³µí©ëë¤. [ì문보기] ChatGPT, Claude Cowork, GitHub Copilotê³¼ ê°ì ëê·ëª¨ ì¸ì´ëª¨ë¸(LLM)ì ì½í ì¸ ìì±, ì½ë ìì± ì§ì, íì ì 무 ë±ìì ê°ì¸ê³¼ ì¡°ì§ì´ ì¸ê³µì§ë¥ê³¼ ìí¸ìì©ì íë ë°©ìì 근본ì ì¼ë¡ ë°ê¿ëììµëë¤. ê·¸ë¦¬ê³ ì´ë¬í ë°ì ì ì¤ì¬ìë âí í°í(Tokenization)âë¼ë ê°ë ì´ ì리 ì¡ê³ ììµëë¤. í í°íë ì¬ì©ìì ì ë ¥ì 모ë¸ì´ ì´ë»ê² í´ìíê³ ì²ë¦¬í ì§, ëìê° ì´ë¤ 기ì¤ì¼ë¡ ê³¼ê¸í ì§ë¥¼ ê²°ì íë íµì¬ì ì¸ ê³¼ì ì ëë¤. ê·¸ ë문ì í í°í를 ì´í´íë ì¼ì íì© í¨ì¨ì ëì´ê³ ë¹ì©ì ì측íë ¤ë 기ì ì 문ê°ë ë¬¼ë¡ , 주ì AI íë«í¼ ê°ì ì¸ë°í ì°¨ì´ë¥¼ íì íë ¤ë ì¬ì©ììê²ë íìì ì ëë¤. ëê·ëª¨ ì¸ì´ 모ë¸(LLM)ì ì¸ê°ì ì¸ì´ë¥¼ ì´í´íê³ ìì±íë ê³¼ì ìì âí í°(Token)âì´ë¼ë ë¨ì를 기ë°ì¼ë¡ ìëí©ëë¤. í í°íë ì ë ¥ë í ì¤í¸ë¥¼ ë ìì ë¨ìë¡ ë¶í´íë ê³¼ì ì¼ë¡, ë¨ì´ë³´ë¤ ë ì¸ë°í ìì¤ìì ì미를 ì²ë¦¬í ì ìëë¡ í©ëë¤. í í°ì ë¨ì´ ëë 문ì¥ì²ë¼ ëª íí ì¸ì´íì ê²½ê³ë¡ 구ë¶ëì§ ììµëë¤. íëì ë¨ì´ê° ì¬ë¬ ê°ì í í°ì¼ë¡ ëë ì ìì¼ë©°, 문ì ë¨ì ëë ë¨ì´ ì¼ë¶ ííë¡ ë¶ë¦¬ë기ë í©ëë¤. ì를 ë¤ì´ ìì´ ë¨ì´ âunbelievableâì ì¬ì©ëë í í¬ëì´ì ì ë°ë¼ âunâ, âbelievâ, âableâê³¼ ê°ì´ ì¬ë¬ ê°ì í í°ì¼ë¡ ëë ì ììµëë¤. ì´ë¬í ë°©ìì ë¤ìí ì¸ì´ì ë³µì¡í ì´í, íë¡ê·¸ëë° ë¬¸ë²ê¹ì§ ëì± í¨ì¨ì ì¼ë¡ ì²ë¦¬í ì ìê² í´ì¤ëë¤. ê²°ê³¼ì ì¼ë¡ í í°íë ë¨ì´ ëë ë¬¸ì¥ ë¨ì ë¶ì ë³´ë¤ í¨ì¬ ë ì¸ë°í êµ¬ì¡°ë¡ ëì´ ìì¼ë©°, ì´ë¬í ë°©ìì ë¤ìí ì¸ì´ì ë³µì¡í ííì í¨ì¨ì ì¼ë¡ ì²ë¦¬íë ë° ì 리í©ëë¤. ê²°ê³¼ì ì¼ë¡ í í°íë LLMì´ ë¬¸ë§¥ì ì´í´íê³ ìëµì ìì±íë íµì¬ 기ë°ì´ ë©ëë¤. í롬íí¸ê° LLMì ê±°ì¹ë ê³¼ì ì ì¬ì©ìê° ì§ë¬¸, ì§ì문, ì½ë ì¡°ê° ë±ì ì ë ¥íë ìê°ë¶í° ììë©ëë¤. ì ë ¥ë í ì¤í¸ë 먼ì í´ë¹ íë«í¼ ê³ ì ì í í¬ëì´ì 를 íµí´ í í° ìíì¤ë¡ ë³íë©ëë¤. ê° í í°ìë ê³ ì í ìë³ ë²í¸ê° ë¶ì¬ëë©°, ì´ ê³¼ì ì íµí´ í롬íí¸ë ì«ì 기ë°ì ííì¼ë¡ ë°ëê² ë©ëë¤. LLMì ì´ ì«ì ìíì¤ë¥¼ ì ë ¥ë°ì ì ê²½ë§ ìí¤í ì²ë¥¼ íµí´ ì²ë¦¬í©ëë¤. 모ë¸ì ì´ì í í°ì 기ë°ì¼ë¡ ë¤ì í í°ì ì측íë ë°©ìì¼ë¡ ìëµì ìì±íë©°, ì´ ê³¼ì ì ë°ë³µì ì¼ë¡ ì´ë£¨ì´ì§ëë¤. ì´ ê³¼ì ì ìµë í í° íëì ëë¬íê±°ë ìíì¤ ì¢ ë£ ë§ì»¤ë¥¼ ë§ë ëê¹ì§ ë°ë³µë©ëë¤. ì´ ì¡°ê±´ì ëë¬íë©´ ìì±ì´ ì¢ ë£ëê³ , í í° ìíì¤ë ë¤ì ì¬ëì´ ì½ì ì ìë í ì¤í¸ë¡ ë³íë©ëë¤. ì´ ê³¼ì ìì ì¤ìí ì ì ì ë ¥ê³¼ ì¶ë ¥ì´ 모ë í í°ì¼ë¡ ê³ì°ëë¤ë ì ì ëë¤. ì¦, ì¬ì©ì ì§ë¬¸ë¿ ìëë¼ ëª¨ë¸ì ìëµê¹ì§ ë¹ì© ì°ì ì í¬í¨ë©ëë¤. í í° ì¬ì©ëì LLM ìë¹ì¤ ì¬ì©ìì ì ê³µì 모ëìê² ì¤ìí ì§íì ëë¤. ì±ë¥ê³¼ ë¹ì©, ëê·ëª¨ ëì ì íë¹ì±ì ì§ì ì ì¸ ìí¥ì 미ì¹ê¸° ë문ì ëë¤. ëë¶ë¶ì íë«í¼ì í롬íí¸ì í¬í¨ë í í° ìì ìëµì í¬í¨ë í í° ì를 í©ì°í´ ì¬ì©ëì ê³ì°í©ëë¤. ì를 ë¤ì´ ì¬ì©ìê° 50 í í°ì¼ë¡ 구ì±ë í롬íí¸ë¥¼ ì ë ¥íê³ , 모ë¸ì´ 100 í í°ì¼ë¡ 구ì±ë ìëµì ë°ííë¤ë©´ ì´ 150ê°ì í í°ì´ ì¬ì©ë ê²ì¼ë¡ ê³ì°ë©ëë¤. ì´ ë°©ìì ì¬ì©ìì ìì²ì´ ì구í ì°ì°ëì ë¹ë¡í´ ë¹ì©ì ë¶ê³¼íë êµ¬ì¡°ë¡ ìì²ì´ 길거ë ë³µì¡í ìë¡ ë¹ì©ì´ ì¦ê°íë íí를 ê°ì§ëë¤. í í°íë ë§¤ì° ì¸ë°íê² ì´ë¤ì§ê¸° ë문ì ëì¼í 문ì¥ì´ë¼ë ì¬ì© ì¸ì´, 문ì¥ë¶í¸, ëë ì ì©ë í í¬ëì´ì ìê³ ë¦¬ì¦ì ë°ë¼ í í° ìê° ë¬ë¼ì§ ì ììµëë¤. ê·¸ ê²°ê³¼, ê°ì í롬íí¸ë¥¼ ì ë ¥íëë¼ë 모ë¸ì´ë íë«í¼ì ë°ë¼ í í° ì¬ì©ëì ì°¨ì´ê° ë°ìí ì ììµëë¤. ì´ë íë«í¼ ê° ë¹ì© ì°¨ì´ë¥¼ ë°ììí¤ë 주ì ìì¸ì ëë¤. í í°íì 기본 ì리ë íë«í¼ ì ë°ìì ì ì¬íì§ë§, ì¤ì 구í ë°©ìê³¼ ìµì í ì ëµì ìë¹ì¤ë§ë¤ ë¤ë¦ ëë¤. OpenAIê° ê°ë°í ChatGPTë ë°ì´í¸ íì´ ì¸ì½ë©(Byte Pair Encoding, BPE) ê¸°ë° í í¬ëì´ì 를 ì¬ì©í©ëë¤. ì´ë í ì¤í¸ë¥¼ ìë¸ìë ë¨ìë¡ ëë ì²ë¦¬ í¨ì¨ì±ê³¼ ì´í ë²ì ê° ê· íì ë§ì¶ë ë°©ìì ëë¤. ìí¸ìì©ë¹ í í° íëì ê³¼ê¸ êµ¬ì¡°ê° ë¹êµì ëª ííê² ë¬¸ìíë¼ ìì´ ì¬ì©ìë í í° ìë¹ëì ë¹êµì ì ííê² ì측í ì ììµëë¤. ì¤í¸ë¡í½ì í´ë¡ë 모ë¸ì 기ë°ì¼ë¡ í Claude Cowork ìì ìë¸ìë ê¸°ë° í í°í를 ì¬ì©í©ëë¤. ë¤ë§ ì¬ì©íë BPEì ííê° ë¤ë¥´ê³ , íìµ ë°ì´í° í¹ì±ì ë§ì¶ ê³ ì ìê³ ë¦¬ì¦ì ì ì©í기 ë문ì í í° ë¶ì ë°©ìê³¼ ì¬ì©ë ê³ì° ì¸ë¶ 구조ë OpenAIì ì ê·¼ ë°©ìê³¼ ì¼ë¶ ì°¨ì´ê° ìì ì ììµëë¤. Claude Coworkë ìì ì±ê³¼ 문맥 ì ì§ì ìëì ì¼ë¡ ë í° ë¹ì¤ì ë¡ëë¤. ì´ë¬í ì¤ê³ ì² íì í롬íí¸ë¥¼ ë¶í´íê³ ì²ë¦¬íë ë°©ììë ìí¥ì 미ì¹ê¸° ë문ì ëì¼í ì ë ¥ì´ë¼ë ChatGPTìë ë¤ë¥¸ í í° ìê° ì°ì¶ë ì ìë ê²ì ëë¤. GitHub Copilotì ì½ë ì§ìì í¹íë ë구ë¡, ì¤íAIì GPT ìí¤í ì²ë¥¼ 기ë°ì¼ë¡ í ì½ë±ì¤ 모ë¸ì íì©í©ëë¤. íë¡ê·¸ëë° ì¸ì´ì ìµì íë í í¬ëì´ì 를 ì ì©í´ ì½ë 문ë², ë¤ì¬ì°ê¸°, 주ì ë±ì ëì ì íëë¡ ì²ë¦¬í©ëë¤. ê·¸ ê²°ê³¼ ì½ë 구조ì ë§¤ì° ë¯¼ê°íê² ë°ìíë©°, ì¥í©íê±°ë ë³µì¡í ì½ë ì¡°ê°ììë í í° ì¬ì©ëì´ ê¸ì¦í ì ììµëë¤. ëí ê°ë° íê²½ì íµí©ë¼ ìëí기 ë문ì ì¬ì©ìë í í° ìë¹ë¥¼ ì§ì ì¸ì§íì§ ëª»íë ê²½ì°ê° ë§ìµëë¤. ë¤ìì ChatGPT, Claude Cowork, GitHub Copilotì í í°í ë°©ìê³¼ ê³¼ê¸ êµ¬ì¡°, ì¬ì©ì ê²½íì ë¹êµí ë´ì©ì ëë¤. | êµ¬ë¶ | ChatGPT | Claude Cowork | GitHub Copilot | |---|---|---|---| | í í° ì¬ì©ë | BPE ê¸°ë° í í¬ëì´ì 를 ì¬ì©íì¬ í ì¤í¸ë¥¼ ìë¸ìë ë¨ìë¡ ë¶í´íë©°, ìí¸ìì©ë¹ í í° íëê° ëª ííê² ë¬¸ìíëì´ ìì´, í í° ì¬ì©ëê³¼ íëê° ëª ííê² ê³µê°ë©ëë¤. | ìë¸ìë ê¸°ë° í í°í를 ì¬ì©íë©°, ëª¨ë¸ í¹ì±ì ë§ì¶ ê³ ì ìê³ ë¦¬ì¦ì ì¬ì©í ì ììµëë¤. ìì ì±ê³¼ 문맥 ì ì§ì ì´ì ì ëë©° ìì²´ ìê³ ë¦¬ì¦ ìµì íë¡ ì¸í´ í í° ë¶í ê³¼ ì¬ì©ëì´ ë¤ë¥´ê² ëíë ì ììµëë¤. | ì½ëì ìµì íë í í¬ëì´ì 를 ì¬ì©íë©°, íë¡ê·¸ëë° ë¬¸ë²ê³¼ 구조ì 민ê°í©ëë¤. ë³µì¡í ì½ëììë í í° ì¬ì©ëì´ ì¦ê°í ì ìì¼ë©° ì¼ë°ì ì¼ë¡ ì¬ì©ììê² ì¬ì©ëì´ ì§ì ë ¸ì¶ëì§ ììµëë¤. | | í롬íí¸ ë¹ ë¹ì© | í í° ì를 기ì¤ì¼ë¡ í í¬ëª í ê³¼ê¸ ì²´ê³ë¥¼ ì ê³µí´ í롬íí¸ë³ ë¹ì© ìì¸¡ì´ ì½ìµëë¤. | í í° ìë¹ëì 기ì¤ì¼ë¡ ê³¼ê¸íë©°, ìê³ ë¦¬ì¦ ì°¨ì´ì ë°ë¼ ì¸ë¶ ìê¸ êµ¬ì¡°ê° ë¤ì ë¬ë¼ì§ ì ììµëë¤. | ë´ë¶ì ì¼ë¡ë í í° ì¬ì©ë 기ë°ì´ì§ë§ ì¬ì©ììê²ë 구ë í ê³¼ê¸ ë°©ìì¼ë¡ ì ê³µëë ê²½ì°ê° ë§ìµëë¤. | | 모ë¸ì ë¤ìì± | GPT-3.5, GPT-4 ë± ë¤ìí ëª¨ë¸ ìµì ì ì ê³µí©ëë¤. | Claude ê³ì´ ëª¨ë¸ ì¤ì¬ 구ì±ëì´ ìì¼ë©° íì ë° ë³´ì ì¤ì¬ íê²½ì ì í©íëë¡ êµ¬ì±ëì´ ììµëë¤. | GPT ìí¤í ì² ê¸°ë°ì¼ë¡ ì½ëì í¹íí´ íì¸íë ë Codex 모ë¸ì ì£¼ë¡ ì¬ì©íë©°, ì 기ì ì¼ë¡ ì ë°ì´í¸ê° ì´ë¤ì§ëë¤. | | ì¬ì©ì ê²½í | ë²ì© ëíí ì¸í°íì´ì¤ë¡ ì측í ì ìê³ ì§ê´ì ì¸ ì¬ì©ì ê²½íì ì ê³µí©ëë¤. | íì ìí¬ì¤íì´ì¤ì ì´ì ì ë§ì¶ë©° ìì ì±ê³¼ 긴 문맥 ì²ë¦¬ì ê°ì ì´ ììµëë¤. | ì½ë í¸ì§ê¸°ì ì§ì íµí©ë¼ ê°ë° íë¦ì ë°©í´íì§ ìì¼ë©´ì ì¤ìê°ì¼ë¡ ì½ë를 ì ìí©ëë¤. | | ë¼ì´ì ì¤ ë¹ì© | ë¬´ë£ íëê³¼ ì ë£ êµ¬ë ìµì ì í¬í¨í 구ë ê¸°ë° ëª¨ë¸ì ì´ìí©ëë¤. | ê°ì¸ ë° ê¸°ì ì© ë¼ì´ì ì¤ë¥¼ ì ê³µí©ëë¤. | ì/ì° ë¨ì 구ë 모ë¸ì´ë©°, ì´ê¸° ì¬ì©ì를 ìí ë¬´ë£ ì²´í 기ê°ì ì ê³µíë ê²½ì°ê° ë§ìµëë¤. | | 기í í¹ì§ | API ì ê·¼ ë° ë¤ìí ìì¤í ì°ëì ì§ìí©ëë¤. | ìì ì±ê³¼ ì¤ë¦¬ì± ì¤ì¬ì¼ë¡ ìëµì´ ì¤ê³ëì´ ìì¼ë©°, ë³µì¡í ìì ì ìí´ ë 긴 문맥 ì°½ì ì§ìí©ëë¤. | ìíí¸ì¨ì´ ê°ë° ì 무ì í¹íë¼ ìì¼ë©°, 주ì íµí©ê°ë°íê²½(IDE)ê³¼ ê¹ì´ ì°ëëê³ ë¤ìí íë¡ê·¸ëë° ì¸ì´ë¥¼ ì§ìí©ëë¤. | ì´ì²ë¼ ì¸ íë«í¼ì í í° ê¸°ë° êµ¬ì¡°ë¥¼ ê³µì íë©´ìë, 목ì ê³¼ ì¬ì©ì íê²½ì ë°ë¼ ìë¡ ë¤ë¥¸ ìµì í ì ëµì ì ì©íê³ ììµëë¤. ê° íë«í¼ì í¹ì ì¬ì©ì ì구를 충족íëë¡ ì¤ê³ëì´ ìì¼ë©°, í í°í ë°©ìê³¼ ê³¼ê¸ êµ¬ì¡°, ì¬ì©ì ì¸í°ëì ì ëµ ìì 주ì íê¹ì¸µì ë§ì¶° 구ì±ëì´ ììµëë¤. ChatGPTë ë²ì© ì§ìì ëí´ í¬ëª ì±ê³¼ ì측 ê°ë¥ì±ì ì ê³µíê³ , Claude Coworkë íì ê³¼ ë³´ì ì¤ì¬ íê²½ì ë§ì¶° ì¤ê³ëë¤. GitHub Copilotì ì½ë ì¤ì¬ ì 무ì ìµì íëì´ ììµëë¤. ë¹ì©ê³¼ ì¬ì©ëì ëª íì±ì ì¤ìíëì§, íì 기ë¥ì íìë¡ íëì§, í¹ì 매ëë¬ì´ ì½ë ì§ìì ìíëì§ì ë°ë¼ ì í©í íë«í¼ì ë¬ë¼ì§ëë¤. ì´ë¬í ì°¨ì´ë¥¼ ì´í´íë©´ ìì ì 목ì ì ê°ì¥ ë¶í©íë ìë¹ì¤ë¥¼ ì íí ì ììµëë¤. ê³ ëíë LLM íë«í¼ì í¨ì¨ì ì¼ë¡ íì©íë ¤ë©´ í í° ì¬ì©ì ìµì ííë ì ëµì´ íìí©ëë¤. í롬íí¸ êµ¬ì¡°ì ì²ë¦¬ ë°©ìì ì ì¤íê² ì¤ê³íë©´ ë¶íìí í í° ìë¹ë¥¼ ì¤ì´ê³ ìëµì ê°ê²°íê² ì ì§í ì ìì¼ë©°, ê¶ê·¹ì ì¼ë¡ ë¹ì© ì ê°ì í¨ê³¼ë¥¼ ì»ì ì ììµëë¤. GitHub Copilotì ì¬ì©í ê²½ì°, ê°ë°ìë ì½ë 주ìì ê°ê²°íê² ìì±íê³ í롬íí¸ì ê³¼ëí ì¤ëª ì í¬í¨íì§ ìë ê²ì´ ë°ëì§í©ëë¤. ì를 ë¤ì´ 모ë ì구ì¬íì ì¥í©íê² ëì´íê¸°ë³´ë¤ â리ì¤í¸ë¥¼ ì ë ¬íë íì´ì¬ í¨ì ìì±âì²ë¼ ëª ííê³ êµ¬ì²´ì ì¸ ì§ì를 ì ìíë©´ ì ì í í°ì¼ë¡ë ì íí 결과를 ì»ì ì ììµëë¤. ëí ë³µì¡í ìì ì ì¬ë¬ ê°ì ìì í롬íí¸ë¡ ëëë ê²ì´ í í° ê³¼ë¤ ì¬ì©ì ë°©ì§íë ë° ëìì´ ë©ëë¤. Claude Coworkì ê°ì íì íë«í¼ììë ìí©ê³¼ ì°¸ì¬ìì ë§ì¶° í롬íí¸ë¥¼ ì¡°ì íë ì ëµì´ í¨ê³¼ì ì ëë¤. ê°ê²°í 문ì¥ì ì¬ì©íê³ ì¤íí ì ìë ìì²ì ì§ì¤íë©´ í ë¨ì ë ¼ì ê³¼ì ìì í í°ì í¨ì¨ì ì¼ë¡ ë°°ë¶í ì ììµëë¤. ì를 ë¤ì´ ì¥ë¬¸ì ë°°ê²½ ì¤ëª ëì âì¤ë íë¡ì í¸ íì ë´ì©ì ìì½âì´ë¼ê³ ìì²íë©´ ë³´ë¤ ì ííê³ ê°ê²°í ìëµì ì»ì ì ììµëë¤. ChatGPT를 ì¬ì©í ëë ì¤ë³µ ííì í¼íê³ , ê´ë ¨ë ì§ë¬¸ì ê°ë¥í í íëì í롬íí¸ë¡ íµí©íë ê²ì´ ì¢ìµëë¤. ì¬ë¬ ê°ì ê°ë³ ì§ë¬¸ì ëì´íê¸°ë³´ë¤ âíë«í¼ Xì íµì¬ 기ë¥ì 무ìì¸ê°?âì²ë¼ 구조íë ì§ë¬¸ì ì ìíë©´ ë ì ì í í°ì¼ë¡ í¬ê´ì ì¸ ëµë³ì ë°ì ì ììµëë¤. ë¶ë¦¿ì´ë ë²í¸ 목ë¡ì íì©í´ ì구ì¬íì ëª íí íë ê²ë í¨ê³¼ì ì ëë¤. í í°íì í í° ìë¹ êµ¬ì¡°ì ëí ì´í´ë ê³ ê¸ LLM íë«í¼ì íì©íë ì 문ê°ìê² íìì ì¸ ì§ìì ëë¤. í í°ì ë¨ìí 기ì ììê° ìëë¼ ë¹ì©, ì±ë¥, ì¬ì©ì ê²½íì ëìì ê²°ì íë ì¤ìí 기ì¤ì ëë¤. í í°ì´ ë¨ì´ ëë 문ì¥ë³´ë¤ ë ì¸ë°í ë¨ìë¡ ìëíë¤ë ì ì ì¸ìíë©´, ë³´ë¤ í¨ì¨ì ì¸ í롬íí¸ë¥¼ ì¤ê³íê³ ì¬ì© ë¹ì©ì ì íí ì측í ì ììµëë¤. ChatGPT, Claude Cowork, GitHub Copilotì í롬íí¸ ì ë ¥ë¶í° ìëµ ìì±ê¹ì§ì 기본 ìì 주기ììë ê³µíµì ì ë³´ì´ì§ë§, 구í ë°©ìê³¼ 목ì ì ë°ë¼ ì°¨ë³íë í¹ì±ì ë³´ì ëë¤. ì´ë¬í ì°¨ì´ë¥¼ ì´í´íë ê²ì AI ëì ì ëµ ì립과 ë¹ì© ê´ë¦¬ 측면ìì ë§¤ì° ì¤ìí©ëë¤. ê²°êµ í¨ê³¼ì ì¸ í롬íí¸ ì¤ê³ì íë«í¼ í¹ì±ì ëí ì´í´ê° ìµì ì í í° íì©ì ì´ëë íµì¬ ììì´ë©°, ì´ë¥¼ ì ëµì ì¼ë¡ íì©íë ê²ì´ AI íì© í¨ì¨ì±ì ê·¹ëíí ì ìë ê¸¸ì´ ë ê²ì ëë¤. í í°ì AI 모ë¸ì´ í ì¤í¸ë¥¼ ì²ë¦¬íë ìµì ì미 ë¨ìì ëë¤. ìì´ ë¨ì´ íëê° íëì í í°ì´ ë ìë ìì§ë§, 'unbelievable'ì²ë¼ 길거ë ë³µì¡í ë¨ì´ë ì¬ë¬ ê°ì í í°(un + believ + able)ì¼ë¡ 쪼ê°ì§ê¸°ë í©ëë¤. ì´ë ê² ìë¸ìë(Subword) ë¨ìë¡ ëëë©´ 모ë¸ì´ ì²ì ë³´ë ë¨ì´ë ì ì°íê² í´ìí ì ìê³ , ë¤ìí ì¸ì´ì í¹ì 기í¸ë¥¼ í¨ì¬ í¨ì¨ì ì¼ë¡ ì²ë¦¬í ì ì기 ë문ì ëë¤. ê° íë«í¼ì´ ì¬ì©íë 'í í¬ëì´ì (Tokenizer)' ìê³ ë¦¬ì¦ê³¼ íìµ ë°ì´í°ê° ë¤ë¥´ê¸° ë문ì ëë¤. OpenAIë ë²ì©ì ì¸ BPE ë°©ìì ì¬ì©íë ë°ë©´, ì¤í¸ë¡í½ì Claudeë ë³´ìê³¼ 긴 문맥 ì ì§ì ìµì íë ê³ ì ìê³ ë¦¬ì¦ì ì ì©í©ëë¤. ë°ë¼ì ê°ì 문ì¥ì ì ë ¥í´ë íë«í¼ì ë°ë¼ ìì±ëë í í° ìê° ë¬ë¼ì§ë©°, ì´ë ìµì¢ ê³¼ê¸ì¡ì ì°¨ì´ë¡ ì´ì´ì§ëë¤. ì¼ë°ì ì¼ë¡ ê·¸ë ìµëë¤. ëë¶ë¶ì ê¸ë¡ë² LLM í í¬ëì´ì ê° ìì´ ê¸°ë° ë°ì´í°ë¡ íìµëì기 ë문ì, íêµì´ë í ê¸ìê° ì¬ë¬ ê°ì í í°ì¼ë¡ ë¶ë¦¬ëë ê²½ì°ê° ë§ìµëë¤. íì§ë§ ìµê·¼ 모ë¸ë¤ì íêµì´ í¨ì¨ì±ì ëì¸ ìê³ ë¦¬ì¦ì ëì íê³ ìì´ ê²©ì°¨ê° ì¤ì´ëë ì¶ì¸ì ëë¤. ë¹ì©ì ìë¼ë ¤ë©´ ì¤ë³µë ííì ì¤ì´ê³ ëª íí ëª ì¬ ìì£¼ë¡ í롬íí¸ë¥¼ 구ì±íë ê²ì´ ì¢ìµëë¤. ì½ë±ì¤(Codex) 모ë¸ì ë¤ì¬ì°ê¸°, 주ì, ì½ë 구조ì ë§¤ì° ë¯¼ê°í©ëë¤. ë°ë¼ì ë무 ì¥í©í 주ìë³´ë¤ë 'í¹ì 기ë¥ì ìííë íì´ì¬ í¨ì ìì±'ê³¼ ê°ì´ 목ì ì´ ëª ííê³ ì§§ì ì§ìì´ë¥¼ ì¬ì©íë ê²ì´ í¨ì¨ì ì ëë¤. ë³µì¡í ë¡ì§ì 구íí ëë í ë²ì 모ë ê²ì ìì²íê¸°ë³´ë¤ ë¨ê³ë¥¼ ëëì´ ìì²íë©´ í í° ê³¼ë¤ ìë¹ë¥¼ ë°©ì§í ì ììµëë¤. ë¤, ê·¸ë ìµëë¤. ëë¶ë¶ì LLM ìë¹ì¤ë ì¬ì©ìê° ì ë ¥í 'í롬íí¸ í í°'ê³¼ 모ë¸ì´ ìì±í 'ìëµ í í°'ì í©ì°íì¬ ê³¼ê¸í©ëë¤. ë°ë¼ì ì§ë¬¸ì ì§§ê² íëë¼ë 모ë¸ì´ ë무 ê¸¸ê² ëµë³íëë¡ ì¤ì (ì: "ì주 ìì¸íê² ì¤ëª í´ì¤")íë©´ ë¹ì©ì´ ê¸ê²©í ì¦ê°í ì ììµëë¤. íìí ì ë³´ë§ ì¶ë ¥íëë¡ íìì ì§ì íë ê²ì´ ë¹ì© ê´ë¦¬ì íµì¬ì ëë¤. ⶠí´ë¹ ì½í ì¸ ë ì ìê¶ë²ì ìíì¬ ë³´í¸ë°ë ì ìë¬¼ë¡ ê¸°ê³ ììê² ì ìê¶ì´ ììµëë¤. ⶠí´ë¹ ì½í ì¸ ë ì¬ì ëì ìì´ 2ì°¨ ê°ê³µ ë° ì리ì ì¸ ì´ì©ì ê¸íê³ ììµëë¤. ì´ ê¸ì´ ì¢ì¼ì ¨ë¤ë©´ 구ë &ì¢ìì ì¬ë¬ë¶ì â구ë âê³¼ âì¢ììâë ì ììê² í° íì´ ë©ëë¤.