Mistral.AI의 전략 메모 (설립 4주 만에 €1억 500만 펀딩)

파리 기반의 AI 스타트업 미스트랄(Mistral)이 제품 없이 설립 4주 만에, 그리고 첫 직원 고용 며칠 후에 1억 500만 유로를 모금하자 반응은 엇갈렸습니다. 일부는 이를 유럽 기술 분야의 큰 이정표로 환영했으며, Meta와 Google 출신의 최상급 인재들이 본국으로 돌아와 OpenAI와 같은 경쟁자를 설립하는 것을 가능하게 했습니다.

다른 이들은 이를 AI 열풍으로 인해 벤처 캐피털(VC)들이 진정한 가치를 식별하는 데 어려움을 겪고 있는 신호로 보았으며, 2021년의 신속 배달 회사나 지난해의 메타버스 스타트업에 대한 막대한 투자 라운드를 떠올리게 했습니다.

이제 Sifted는 미스트랄이 Lightspeed, 프랑스 억만장자 Xavier Niel, 전 Google CEO Eric Schmidt와 같은 투자자들을 설득하는 데 사용된 피치 덱을 보았습니다. 이 피치 덱은 많은 스타트업들이 작성하는 고도로 제작된 슬라이드보다는 구글 문서에 가깝습니다.

다음은 피치 덱 전체와 주요 요약 사항입니다:

mistral.ai strategic memo.pdf

Google Docs

소수의 핵심 연구자들이 대규모 언어 모델(LLM)을 구축하는 방법을 알고 있습니다

피치 덱은 OpenAI의 ChatGPT와 같은 제품이 전 세계적으로 "몇 개의 소규모 팀"에 의해 개발된 방법에 대한 설명으로 시작합니다. GPT-4와 같은 대규모 모델을 구축한 경험이 있는 소수의 사람들이 "이 분야에서 가장 희소한 리소스"라고 언급합니다.

팀은 계산된 예산(computational budget)으로 "가장 강력한 모델"을 만들 수 있는 고효율 AI 시스템을 훈련할 수 있는 전문 지식을 가지고 있다고 덧붙입니다. Timothée Lacroix, Guillaume Lample, Arthur Mensch로 구성된 창립 팀은 Meta와 Google의 DeepMind에서 AI와 머신 러닝 분야에서 거의 20년 간의 경험을 쌓았습니다.

한 미스트랄 투자자는 창립자들이 가진 경험이 희소하다는 는 점이 팀을 지원하는 주요 이유였다고 말합니다.

생성형 AI의 가치는 생성모델 구축에서 나올 것입니다

피치 덱은 OpenAI의 GPT-4와 같은 생성 모델 위에 인터페이스를 구축하는 "수십 개의 제3자 스타트업"이 등장하고 있다고 설명합니다.

미스트랄은 "신흥 생성 AI 시장의 대부분의 가치는 만들기 어려운 기술, 즉 생성 모델 자체에 위치할 것"이라고 믿고 있다고 주장합니다.

유럽은 아직 기본 모델을 구축하는 데 진지한 경쟁자가 등장하지 않았으며, 미스트랄은 이 "중대한 지정학적 문제"에서 큰 역할을 할 것이라고 덧붙입니다.

오픈 소스 모델이 더 많은 가치를 창출할 것입니다

미스트랄은 OpenAI와 같은 대형 생성 AI 플레이어들이 "폐쇄된 기술 접근법"을 채택하고 있다고 설명합니다. 즉, 그들이 구축한 모델을 공개하지 않고 사람들에게 API를 통해서만 접근할 수 있게 한다는 것입니다.

피치 덱은 기업들이 이러한 "블랙 박스" 시스템에 민감한 데이터를 넣고 싶어하지 않을 것이라고 주장합니다. 또한 "모델을 완전히 공개"함으로써 기업들이 폐쇄형 모델 기반 제품보다 "더 좋고 빠른" 제품을 만들 수 있게 할 것이라고 말합니다.

오픈 소스 접근 방식은 회사가 "최고의 연구자"를 채용하는 데 도움이 될 것이라고 덧붙입니다.

고품질 데이터

피치 덱은 OpenAI와 같은 회사들이 모델을 훈련하는 데 사용하는 데이터를 비밀로 유지하고 있다고 설명합니다. 미스트랄의 모델은 "고품질 데이터"로 훈련될 것이며, 이 데이터의 사용은 라이선스 계약을 통해 협상될 것이라고 설명합니다. 이는 "현재 사용 가능한 모델보다 훨씬 나은 모델"을 만들어 낼 것이라고 주장합니다.

또한 회사의 초기 투자자들이 "유럽의 콘텐츠 제공자"이기도 하며 "고품질 데이터 세트를 확보하는 데 필요한 모든 문을 열 것"이라고 덧붙입니다.

유럽에 특화

피치 덱은 미스트랄이 미국에서 생성형 AI 모델을 구축하는 회사들에 대한 유럽의 대응 역할을 할 것이라고 강조하며, "유럽 시장에 특화"되는 것이 "그 자체로 방어 가능한 노력을 창출할 것"이라고 말합니다.

회사는 독일 Aleph Alpha와 같은 유럽의 대부분의 생성형 AI 회사들과 같은 관점을 공유하며, 이들 역시 유럽 기업들을 대상으로 서비스하는 데 중점을 두고 있다고 설명합니다.

<이하, 전체 본문>

생성형 AI는 변혁적인 기술입니다

지난해에는 생성형 AI의 놀라운 가속화가 있었습니다. 텍스트 및 이미지를 기반으로 텍스트/이미지를 생성할 수 있는 시스템이 개발되었습니다. 이러한 시스템은 인간을 도울 수 있습니다:

• 탁월한 창의적 콘텐츠(텍스트, 코드, 그래픽)를 제작합니다.
• 비정형 콘텐츠 스트림을 인간보다 수천 배 빠르게 읽고, 처리하고, 요약합니다.
• 자연 인터페이스나 애플리케이션 인터페이스를 통해 세상과 상호 작용하여 워크플로우를 이전보다 훨씬 빠르게 실행합니다.

생성형 AI의 힘은 ChatGPT의 출시로 일반 대중에게 갑작스럽게 시연되었습니다. 이러한 종류의 제품은 전 세계적으로 소수의 소규모 팀에 의해 개발되었습니다. 이 팀의 연구자들은 이제 이 분야에서 새로운 경제적 주체를 만드는 데 제한 요소가 되고 있습니다.

생성형 AI는 모든 분야에서 생산성을 높이고 새로운 산업(2022년 기준 시장 규모 100억 달러, 2030년까지 1100억 달러로 예상되며 연평균 성장률 35%로 예상됨)을 창출할 것입니다. 이는 인간의 지능을 기계의 역량과 원활하게 통합하여 전 세계 경제에 변혁적인 기술을 제공하며, 긍정적인 사회적 변화를 가져올 것입니다.

과점이 형성되고 있습니다

생성형 AI 기술은 여러 산업 및 학계에서 오랜 연구를 바탕으로 하고 있습니다. 최종 돌파구, 즉 인터넷 전체 데이터와의 스케일링 훈련 및 인간 피드백과의 정렬 모델은 마침내 많은 사람들이 사용할 수 있게 만들었습니다. 이러한 돌파구는 매우 적은 수의 주체에 의해 이루어졌으며, 그중 가장 큰 주체(OpenAI)는 시장에 대한 패권 의도를 가진 것으로 보입니다.

이 극소수의 주체들은 생성형 모델을 훈련시키고 자산으로 보유합니다. 이 모델들은 수천 개의 제3자 생산성 향상 제품에 서비스를 제공합니다. 또한 수십 개의 제3자 스타트업이 매달 이러한 생성형 모델에 다양한 인터페이스를 구축하기 위해 생성됩니다.

우리는 신흥 생성형 AI 시장에서 대부분의 가치는 생성형 모델 자체와 같은 만들기 어려운 기술에 위치할 것이라고 믿습니다. 이러한 모델은 수천 대의 매우 강력한 기계에서 수조 개의 단어로 훈련되어야 하며, 이는 진입 장벽을 높이는 한 가지 요인입니다. 주요 기업들은 현재 미국에 기반을 두고 있으며, 유럽에서는 아직 진지한 경쟁자가 등장하지 않았습니다.

이는 이 새로운 기술의 강점(및 위험성)을 고려할 때 중요한 지정학적 문제입니다. 미스트랄.ai는 생산성과 창의성 증진 AI에서 유럽의 리더가 되어 다가오는 새로운 산업 혁명을 이끌 것입니다.

현재의 생성형 AI는 시장 제약을 충족하지 못합니다

OpenAI와 현재의 경쟁자들은 폐쇄된 기술 접근 방식을 채택하여 시장 접근 범위를 크게 줄일 것입니다. 이러한 접근 방식에서는 모델이 비공개로 유지되며 텍스트-텍스트 API 엔드포인트를 통해서만 제공됩니다. 이는 다음과 같은 중요한 비즈니스 문제를 야기합니다:

• 생성형 AI 기술을 사용하려는 기업들은 중요한 비즈니스 데이터와 민감한 사용자 데이터를 블랙박스 모델에 입력해야 합니다. 이는 공공 클라우드에 배포되는 경우가 일반적입니다. 이는 안전 문제를 일으킵니다: 비밀로 유지되는 모델은 안전성을 보장하기 위해 검증 될 수 없으며, 따라서 안전이 중요한 애플리케이션에 배포되는 것을 막습니다. 또한, 개인 데이터를 회사의 법적 관할권 외부로 전송할 때 법적 문제, 특히 역외 관할권에 속하는 문제를 야기합니다.
• 모델의 출력을 공개하는 대신 모델 전체를 공개하지 않으면 다른 구성 요소(데이터베이스 검색, 구조 입력, 이미지 및 소리 등)와 연결하기 어려워집니다. 현재 수백 개의 제품이 모델 출력과 입력을 상호 연결하여 조합된 기능(메모리, 비전 등)을 생성하는 방식으로 구축되고 있습니다. 이러한 제품들은 화이트박스 모델로 사용될 경우 훨씬 더 잘 작동하고 빠를 것입니다(예: 비전 및 텍스트 모델을 텍스트+비전 모델로 결합하는 Flamingo 모델 참조).
• 모델을 훈련하는 데 사용되는 데이터가 비공개로 유지되므로, 출처가 불분명한 기계에 의존하게 되어 통제할 수 없는 출력을 생성할 수 있습니다. 이 문제를 해결하기 위한 필터링 노력은 단지 슬림하고 깨지기 쉬운 보장만을 제공하여 모델이 훈련된 민감한 콘텐츠를 출력하지 않을 것을 보장할 뿐입니다. 2023년 4월 현재, 이 문제는 이탈리아에서 ChatGPT 금지의 기초를 형성했습니다.

유럽에서 시장을 변화시키기

mistral.ai를 설립함으로써, 우리는 현재의 폐쇄형 모델 제품들과 대립되는 최첨단 모델을 훈련하고자 합니다. 우리의 비전은 이 분야의 선도적인 주체가 되는 것이며, 유럽 산업 및 그 너머에서 이러한 모델을 통합하는 데 매우 가치 있는 사업을 개발하는 것입니다.

mistral.ai는 생성형 AI 분야의 연구 리더가 되어 궁극적으로 4년 이내에 최고의 기술을 제공할 것입니다. 이를 위해 우리는 다음의 몇 가지 주요 요소에 집중할 것입니다.

기술적 차별화

우리의 초기 차별화 요소로, 경쟁자의 전략에서 간과되고 있는 부분은 다음과 같습니다:

• 모델 개발에 더 개방적인 접근을 취합니다. 우리는 경쟁 범주에서 크게 앞서는 관대(open-source)한 오픈 소스 소프트웨어 라이선스를 가진 모델을 출시할 것입니다. 이러한 화이트박스 모델의 힘을 활용할 수 있는 도구를 배포하고, 우리의 상표를 중심으로 개발자 커뮤니티를 만들 것입니다. 이 접근 방식은 OpenAI와의 이념적 차별화 요소이며, 고도로 갈망되는 최고 연구자들을 채용하는 데 매우 강력한 논거가 됩니다. 또한, 동기부여된 해커들로부터 많은 하위 애플리케이션에 대한 문을 열어 개발을 가속화하는 강력한 촉진제가 될 것입니다. 이는 비즈니스 개발을 위한 우리의 접근성을 향상시킬 것입니다. 우리는 가장 강력하고 전문화된 모델을 협상된 접근을 위해 예약하면서, 오픈 소스 전략을 우리의 경제적 이익과 균형을 맞출 것입니다.
  • 우리의 자금의 1%를 오픈 소스 커뮤니티 개발을 담당하는 비영리 재단에 할당할 것입니다.
• 오픈 소스이든 라이선스이든, 모델의 내부(아키텍처 및 훈련된 가중치)는 항상 고객에게 접근할 수 있게 할 것입니다. 이를 통해 고객의 워크플로우와의 긴밀한 통합이 가능해질 것이며, 콘텐츠를 입력 텍스트로 직렬화하여 블랙박스 API에 전달하는 대신 심층 모델의 다양한 부분으로 피드될 수 있습니다.
• 데이터 소스와 데이터 제어에 대한 집중을 증가시킬 것입니다. 우리의 모델은 라이선스 계약을 협상할 고품질 데이터 콘텐츠(스크랩된 콘텐츠 외에도)로 훈련될 것입니다. 이를 통해 현재 사용 가능한 모델들보다 훨씬 나은 모델을 훈련할 수 있을 것입니다(예: Llama). 심층적인 기술(전문가 혼합 및 검색 증강 모델)을 사용하여, 우리는 선택적 데이터 소스 접근을 제공하는 모델을 제공할 것입니다: 유료 프리미엄을 통해 특정 모델이 금융/법률 등 특정 분야에 전문화될 수 있습니다(이는 상당한 성능 향상을 제공합니다). 유사한 기술을 통해 우리의 모델은 회사의 지적 재산에 대한 다른 견해를 가진 직원들에게 차별화된 데이터 접근을 실시간으로 제공할 수 있을 것입니다.
• 보안 및 개인정보 보호에 대한 비할 데 없는 보장을 제안합니다. 우리의 모델은 개인 클라우드에 배포 가능하며, 선택적으로 장치에서 직접 배포 가능하여 효과적으로 문제 있는 흐름을 제거하여 개인정보 보호를 비우려한 문제가 되지 않게 할 것입니다. 이를 위해, 우리는 시장에서 가장 높은 품질/비용 비율을 가진 매우 효율적인 모델을 제안하는 작은 규모의 그러나 매우 효율적인 모델 훈련을 위한 R&D 노력을 기울일 것입니다. 우리의 오픈 소스 전략은 또한 중요한 산업(특히 이중 및 건강 분야)에서 우리의 모델을 배포할 때 감사 가능성을 보장할 것입니다. 유럽 시장에 특화된 첫 번째 단계는 방어 가능한 노력을 창출할 것이며 — 기술적 차별화는 우리의 매력을 더욱 높일 것입니다. 많은 LLM 분야의 인재들이 유럽에서 나오기 때문에, 우리가 광범위하게 테스트한 바에 따르면 많은 인재들이 우리 프로젝트에 힘을 합칠 수 있습니다.

비즈니스 개발

비즈니스 측면에서 우리는 생성형 AI와 함께 비즈니스 워크플로우를 혁신할 신흥 AI-as-a-service 산업에 가장 가치 있는 기술 요소를 제공할 것입니다. 우리는 유럽 통합업체 및 산업 고객들과 통합 솔루션을 공동 구축하고, 이를 통해 유럽에서 AI를 활용하려는 모든 기업에 주요 도구가 될 수 있는 매우 가치 있는 피드백을 받을 것입니다.

수직 통합은 모델(훈련된 가중치 포함)에 대한 전체 접근을 허가하는 라이선싱, 수요에 따른 모델의 전문화, 통합업체/컨설팅 회사와의 협력을 통해 완전한 통합 솔루션을 위한 상업 계약을 체결하는 등 다양한 마케팅 형태를 취할 수 있습니다. 우리의 로드맵에 자세히 설명된 대로, 우리는 기술 개발과 병행하여 최상의 접근 방식을 탐색하고 식별할 것입니다.

AI 분야의 리더가 되기 위해 필요한 것

가장 희귀한 팀

창립 팀은 DeepMind와 Meta에서 일했던 분야의 주요 연구원들, 경험 많은 프랑스 기업가들 및 영향력 있는 공공 리더들로 구성되어 있습니다.

• Arthur Mensch — CEO — 전 DeepMind 연구 과학자
  • LLM에 대한 주요 기여의 주요 저자: Chinchilla, Retro, Flamingo
• Guillaume Lample — 최고 과학자 — 전 Meta의 수석 연구 과학자
  • Llama 리드, Meta의 대규모 언어 모델 분야 주요 기여자
• Timothée Lacroix — CTO — 전 Meta의 수석 소프트웨어 엔지니어
  • Llama의 기술 리드
• Jean-Charles Samuelian
  • Alan의 CEO
• Charles Gorintin
  • Alan의 CTO
• Cédric O
  • 전 프랑스 디지털 담당 국무장관

이미 확인된 첫 다섯 명의 직원은 주요 기술 회사에서 경험을 쌓은 연구원들입니다. 이들은 유럽 및 오픈 소스 각도에서 크게 동기부여를 받으며, 생성형 AI의 빠른 발전으로 인해 지속적인 재편성을 겪는 회사를 떠나는 관점에서 동기부여를 받고 있습니다.

인프라 및 데이터 소스

경쟁력 있는 모델을 훈련하려면 최소 몇 달 동안 엑사스케일 클러스터가 필요합니다. 우리는 오픈 소스 및 상용 모델을 모두 개발하기 위해 전체 연도 동안 이러한 클러스터를 임대할 계획입니다.

우리는 이미 Tier 1 클라우드 서비스 제공업체에서 계산 자원을 임대하는 경쟁력 있는 계약을 협상했습니다. 또한, Mistral.ai는 강력한 유럽 기반을 가지고 있어 유럽의 주요 클라우드 제공업체들과 협력할 계획입니다.

대규모 스케일에서 모델을 훈련한 경험은 우리가 계산 예산을 고려하여 가장 강력한 모델을 훈련하는 방법을 알 수 있게 해줍니다. 우리의 창립자들과 초기 직원들은 정확히 무엇을 해야 하는지 알고 있습니다.

우리의 초기 투자자들은 유럽의 콘텐츠 제공업체이기도 하며, 고품질 데이터셋을 확보하는 데 필요한 모든 문을 열 것입니다.

주요 고객에게 사용 탐색 접근

팀은 이미 주요 프랑스 및 유럽 산업체들과의 비즈니스 탐색을 조직하고 있습니다. 소규모 제품 지향 팀(첫 해 말에 최대 10명)은 기술팀이 가치 있는 기술적 요소를 제공합니다. 모델 팀은 기술적 요소에 집중하여 분산을 방지할 것입니다.

비즈니스 개발은 다음 전략을 사용하여 첫 모델 제품군 개발과 병행하여 시작될 것입니다:

• 유럽 시장에 우선 접근하고, 비즈니스 흐름을 주도할 수 있는 피드백을 제공받기 위해 대규모 산업체와의 협력에 중점을 둡니다.
• 생성형 AI 제품에 중점을 둔 소수의 신흥 파트너들과 제품 공동 설계

비즈니스와의 탐색을 통해 두 번째 세대 모델의 설계가 추진될 것입니다.

로드맵

첫 해

우리는 비즈니스 통합을 병행하여 두 세대의 모델을 훈련할 것입니다. 첫 번째 세대는 부분적으로 오픈 소스가 될 것이며, 팀이 잘 마스터한 기술에 의존할 것입니다. 이는 클라이언트, 투자자 및 기관에서 우리의 역량을 검증할 것입니다. 두 번째 모델 세대는 현재 모델의 주요 단점을 해결하여 기업들이 안전하고 경제적으로 사용할 수 있도록 할 것입니다.

최고의 오픈 소스 표준 모델 훈련

2023년 말에는 ChatGPT 3.5와 Bard March 2023를 능가하는 텍스트 생성 모델군을 대형 마진으로 훈련할 것입니다. 이 모델군의 일부는 오픈 소스로 공개할 것이며, 커뮤니티가 이를 기반으로 구축하고 이를 오픈 표준으로 만들 것입니다.

우리는 이러한 모델들을 경쟁사와 동일한 엔드포인트로 제공하여 제3자 사용 데이터를 확보하고, 제3자 사용 데이터와 일차 사용 데이터를 위한 몇 가지 사용자 인터페이스를 만들 것입니다.

비즈니스 요구에 맞춘 맞춤화 및 차별화

다음 6개월 동안 이러한 모델들은 검색을 위한 의미적 임베딩 모델, 다중 모달 입력 처리를 위한 멀티모달 플러그인을 의미하는 전문가 모델들로 구체화될 것입니다. 협상된 고품질 데이터 소스를 재훈련한 전문 모델은 보다 나은 성능을 제공합니다.

비즈니스 개발은 첫 모델 제품군 개발과 병행하여 진행될 것이며, 2024년 1분기 말까지 개념 증명이 완료될 것입니다.

기술 측면에서, 2024년 1분기 동안 우리는 기업들이 과소평가한 두 가지 주요 측면에 중점을 둘 것입니다:

• 16GB 랩톱에서 실행될 만큼 작은 모델 훈련
• 수백만 개의 추가 단어를 효과적으로 병합하여 언어 모델과 검색 시스템을 훈련

병행하여, 파트너십과 데이터 확보를 통해 데이터세트의 훈련과 조정이 지속적으로 향상될 것입니다.

2024년 2분기 말까지의 목표

• 텍스트 및 시각적 출력이 가능한 최고의 오픈 소스 텍스트 생성 모델 배포
• 높은 가치/비용 비율을 가진 일반 모델 및 전문 모델 소유
• 제3자 통합업체에 대한 대규모 및 가치 있는 API 제공
• 우리의 기술을 사용하여 한두 개의 주요 산업 부문과 특권적인 상업적 관계 확보

다음 단계 (Next Stages)

OpenAI와 같은 경쟁자를 극복하고 이기기 위해서는 후속 단계에서 더 큰 투자가 필요합니다(GPT-4는 수억 달러의 비용이 들었습니다). 첫 해의 목적은 AI 경쟁에서 최고의 팀 중 하나임을 입증하고, 최대의 배우자들과 맞먹는 쇼핑 모델 및 모델 제공을 가능하게 하는 것입니다. 우리는 LLM 연구자로서의 경험을 통해 이 분야를 발견하거나 이를 향해 나아가는 회사들보다 초기 단계에서 훨씬 더 자본 효율적이 될 수 있습니다.

Mistral.ai의 주요 목표 중 하나는 안전성입니다: 우리는 잘 계획된 방식으로 모델을 출시하여, 모델이 우리의 가치에 맞게 사용될 수 있도록 할 것입니다. 이를 위해 "레드 팀"에 접근할 수 있는 제안을 통해 부적절한 행동을 밝혀내고 수정할 것입니다.

따라서 우리는 공공 및 민간 기관이 안전하고 통제 가능한 효율적인 기술을 구축하는 우리의 능력을 신뢰하도록 설득할 것입니다. 이를 통해 인류가 이 과학적 돌파구의 혜택을 누릴 수 있게 할 것입니다 — 효과적으로 기관과 국가들을 Serie A 라운드에 유치할 것입니다. 그 라운드에서(2024년 3분기), 우리는 GPT-4 용량을 초과하는 모델을 훈련하기 위해 2억 유로를 조달해야 할 것으로 예상합니다.

강력한 자금 조달을 통해 더 큰 인프라에서 모델을 훈련할 수 있게 되어, 유럽 산업의 주요 제공자가 될 AI 연구 리더로서 우리를 확립할 것입니다.