TLDR : Cohere는 'Command A'라는 새로운 AI 모델을 공개했습니다. 이 모델은 성능과 효율성을 결합하여 기업의 요구를 충족시키며, 운영 비용을 줄이는 데 도움을 줍니다.
캐나다의 유니콘 기업 Cohere는 최근 자사의 최신 모델 “Command A”를 공개했습니다. 이 모델은 이전 버전과 마찬가지로 기업의 요구를 충족시키기 위해 특별히 설계되었으며, 1110억 개의 매개변수를 가진 이 LLM은 성능과 에너지 효율성을 결합하여 GPT-4o 및 DeepSeek-V3와 같은 주요 모델들과 경쟁합니다.
기업을 위한 Command A의 주요 장점 중 하나는 최소한의 하드웨어 요구사항입니다. 대부분의 유사 모델이 최대 32개의 GPU를 필요로 하는 반면, Command A는 단 두 개의 GPU A100 또는 H100으로 효율적으로 작동하여 비용과 지연 시간을 크게 줄이고 실행 속도를 높입니다. 첫 번째 토큰 생성 속도가 더 빠를 뿐만 아니라, 최대 156 토큰/초까지 생성할 수 있어 GPT-4o보다 1.75배, DeepSeek-V3보다 2.4배 높은 처리량을 자랑합니다.
Command A의 성능
Cohere는 GPT-4o 및 DeepSeek-V3와 비교하여 Command A의 성능을 MMLU(일반 지식), MATH, IFEval(명령어 추적), 지능형 에이전트 테스트(BFCL, Taubench), 코딩 벤치마크(MBPPPlus, SQL, RepoQA) 등의 학술 벤치마크를 통해 평가했습니다.
명령어 추적, 코딩, 특히 SQL 및 에이전트 작업에서 경쟁사를 능가하는 능력을 보여주었습니다.
인간 평가 테스트에서 Command A는 23개의 주요 언어를 아우르며, 특히 방언 아랍어에서 GPT-4o 및 DeepSeek-V3보다 일관되고 정확하게 나타났습니다. 지역적 맥락에 적응할 수 있는 이 능력은 국제적으로 운영되는 기업에 전략적 자산으로 작용합니다.
기업을 위한 최적화된 기능
이전 버전이 128,000 토큰의 컨텍스트 길이를 지원했던 것과 달리, Command A는 256 토큰의 컨텍스트 길이를 갖추고 있어 긴 기업 문서를 분석하는 데 적합합니다. 검증 가능한 인용을 포함한 증강 생성(RAG) 및 안전한 에이전트 도구 사용 같은 고급 기능을 통합하고 있습니다.
특히 효과적인 분야는 다음과 같습니다:
- 대규모 금융 보고서에서 정보 분석 및 추출;
- 현지 특성에 맞춘 HR 정책 관리;
- 복잡한 법규 검증 및 해석.
North와의 원활한 통합을 통해, Cohere의 AI 에이전트 플랫폼인 Command A는 기업이 맞춤형 AI 솔루션을 개발하면서도 높은 수준의 보안과 준수성을 유지할 수 있게 합니다.
이용 가능성 및 가격
Cohere 플랫폼에서 이미 이용 가능하며, 주요 클라우드 제공업체에서도 곧 지원될 예정인 Command A는 입력 1백만 토큰당 2.50달러, 출력 1백만 토큰당 10.00달러의 비용으로 제공됩니다. Hugging Face에서 연구 목적으로도 접근 가능합니다.
더 잘 이해하기
LLM이란 무엇이며 기업에 왜 중요한가요?
LLM(대형 언어 모델)은 방대한 양의 데이터를 사용하여 자연어를 이해하고 생성하며 조작하는 인공지능 모델입니다. 기업에 있어서 이는 고객 서비스를 간소화하고 복잡한 데이터를 분석하며 의사소통과 의사결정을 개선함으로써 운영을 혁신할 수 있습니다.
검색 증강 생성(RAG)이 Command A와 같은 LLM의 기능을 어떻게 향상시킬 수 있습니까?
RAG, 즉 검색 증강 생성은 LLM이 현재 및 관련 있는 외부 데이터로 응답을 풍부하게 할 수 있게 해 줍니다. 이는 외부 데이터베이스나 문서를 참조하여 제공된 정보를 검증하고, 생성된 출력의 정확성과 관련성을 높이는 방식으로 이루어집니다.