팔란티어의 '온톨로지' 의미 쉽게 이해하기

데이터에 감춰진 지식을 찾아내기 (Unlocking the Knowledge Encoded in Data)

"그 데이터 더미 속에 환자의 삶을 바꾸거나 세상을 바꿀 수 있는 지식이 숨어 있습니다."
— Atul Butte

데이터에는 그래프가 있다는 말을 종종 들어보셨을 겁니다. Neo4J 커뮤니티에 참여하는 사람이라면 누구나 이 말을 한 번쯤은 들어보셨을 것입니다. 데이터로 충분히 오래 작업한 사람이라면 누구나 올바른 모델을 통해 매출과 날씨 사이의 관계를 깨닫거나 소셜 미디어 트렌드가 주식 시장 움직임을 예측하는 방법을 찾는 등 숨겨진 관계를 발견할 수 있습니다. 이러한 인사이트는 단순한 우연이 아니라 데이터 세트 내의 복잡한 연결망에 기반합니다. 이러한 인사이트를 실현하기 위해 팔란티어 파운드리와 같은 플랫폼의 기본 온톨로지 개념이 등장했습니다. 이러한 복잡한 관계를 발견하고 이해하여 조직이 시스템의 미래 상태를 예측할 수 있도록 하는 기반이 됩니다.

온톨로지는 그 자체로 인공지능의 한 형태입니다. 온톨로지는 자연 세계에 대한 인간의 지식과 이해를 기계가 처리할 수 있는 구조화된 형식으로 캡슐화합니다. 특히 지식 그래프에서 이러한 구조화된 지식을 통해 AI 시스템은 정교한 추천 엔진에서 관찰되는 것과 같은 지능적인 행동을 보여줄 수 있습니다. 온톨로지의 지능은 인간의 추론을 반영하는 데이터 내의 복잡한 관계망을 모델링하는 능력에서 비롯되며, 이를 통해 기계는 놀라울 정도로 인간과 유사한 방식으로 추론하고 패턴을 인식하며 결과를 예측할 수 있습니다. 온톨로지는 엔티티와 엔티티 간의 의미 관계를 모두 인코딩함으로써 단순한 데이터 저장 이상의 풍부한 정보 태피스트리를 제공하고, 그것이 나타내는 도메인에 대한 깊은 이해를 구현합니다.

실제 세계를 정확하게 반영하는 온톨로지를 모델링하는 것은 복잡한 과정입니다. 정형, 반정형, 비정형 데이터를 포괄하는 비즈니스 환경과 같이 시스템 내에서 데이터 세트 간의 관계를 발견하려면 다각적인 접근 방식이 필요합니다. 처음에는 문제 또는 목표를 명확히 정의하여 분석의 초점을 안내하는 것으로 프로세스가 시작됩니다. 그 다음에는 다양한 출처와 형식의 데이터를 정확하게 집계할 수 있도록 세심한 데이터 수집이 이어집니다. 준비 단계에서는 데이터를 정리하고 변환하여 불일치 및 오류를 제거하는 것이 중요하며, 이는 후속 분석의 정확성을 유지하는 데 매우 중요합니다. 그런 다음 클러스터링, 연관 규칙, 의사 결정 트리, 회귀 분석, 시계열 분석과 같은 기술을 사용하여 이렇게 준비된 데이터 세트를 분석함으로써 데이터 스펙트럼 전반에 걸쳐 숨겨진 패턴과 관계를 발견할 수 있습니다.

이러한 분석의 결과를 해석하는 것은 데이터 모델링 프로세스에서 매우 중요합니다. 데이터 세트 간의 역학 관계와 상호 연결을 이해하면 기업은 실제 세계가 어떻게 작동하는지에 대해 정보에 입각한 의사 결정을 내릴 수 있습니다. 또한 편견으로 인코딩된 논리적 모델에도 정보를 제공할 수 있습니다. 데이터 마이닝에서 얻은 인사이트를 데이터 환경 전체에 적용하면 복잡한 시스템의 동작에 대한 선입견과 모델의 균형을 유지할 수 있습니다.

온톨로지에 인코딩된 관계와 규칙을 활용함으로써 AI 시스템은 인간의 사고 프로세스와 일치하는 방식으로 맥락, 선호도, 뉘앙스를 이해하여 복잡한 상호 의존성에 대한 미묘한 이해를 바탕으로 의사 결정이나 추천을 내릴 수 있습니다. 이러한 기능은 온톨로지를 인공 지능의 초석으로 전환하여 AI에 인간 지식의 발판을 불어넣어 원시 데이터와 의미 있는 인사이트 사이의 간극을 메워줍니다.

온톨로지를 AI 시스템, 특히 에이전트에 통합하면 AI가 실제 세계에 영향을 미치는 작업을 수행할 수 있는 프레임워크가 제공됩니다. 온톨로지는 데이터 이해를 향상시키고 복잡한 추론 프로세스를 지원하는 의미론적 프레임워크를 제공합니다. AI 에이전트에게 이는 데이터의 의미를 이해하는 능력, 즉 데이터 자체뿐만 아니라 데이터의 맥락과 관계를 이해하는 능력을 의미합니다. 이러한 이해는 의사 결정이나 문제 해결 전략을 실행해야 하는 에이전트에게 매우 중요합니다. 에이전트는 구조화된 온톨로지 기반의 데이터 보기를 통해 직접적인 효과와 간접적이고 돌발적인 행동을 고려하여 시스템 내에서 다양한 작업의 잠재적 결과를 추론할 수 있습니다. 이 기능은 요소 간의 상호 작용이 시스템의 전반적인 행동에 큰 영향을 미칠 수 있는 역동적이고 복잡한 환경에서 매우 유용합니다.

팔란티어 파운드리는 이 프레임워크를 실현하기 위해 특별히 설계되었습니다. 파운드리의 핵심은 AI 에이전트가 작동할 수 있는 자연 세계의 디지털 표현을 구축하는 데 필요한 모든 데이터 통합, 처리, 모델링 및 작업 레이어를 포함하는 온톨로지 모델링 시스템입니다. 이를 통해 경험적이고 합리적인 방법을 사용하여 단일 플랫폼에서 시스템을 모델링할 수 있습니다. 이 모델링 프로세스는 시스템의 상태뿐만 아니라 관계와 동작을 인코딩하는 온톨로지에서 정점을 찍습니다. 온톨로지 계층 자체에는 AI 에이전트가 활용할 수 있는 다음과 같은 기능이 포함되어 있습니다:

1. 시뮬레이션 및 가정 분석 - Foundry의 Vertex를 사용하면 시뮬레이션을 실행하고 "가정"에 대한 질문을 할 수 있습니다.
2. 액션 - Foundry에는 복잡한 비즈니스 로직과 동작을 인코딩할 수 있는 서버리스 함수 및 API가 포함되어 있습니다.
3. 오케스트레이션 - Foundry의 쓰기백 및 웹후크 기술을 통해 외부 시스템을 오케스트레이션할 수 있습니다.
4. 에이전트 - AIP Logic은 온톨로지를 활용하여 액션과 오케스트레이션을 사용하여 실제 세계에 영향을 미칠 수 있는 작업을 수행하는 AI 에이전트를 구축하기 위한 시각적 인터페이스입니다.

파운드리를 사용하면 특정 부문/세부 부문의 비즈니스를 지원하는 기반 온톨로지를 생성할 수 있습니다. 분야별 전문가가 모델링한 이러한 기성 온톨로지는 조직의 비용과 복잡성을 제거하고 AI 경쟁에서 출발선에서 유리한 고지를 점할 수 있게 해줍니다. 기본 온톨로지는 정의상 AI 시스템이며 에이전트 형태의 한계 인력을 포함합니다. 예를 들어, 소비자 온라인 소매업을 위한 사소한 개념의 기초 온톨로지를 상상해 보세요. 이 온톨로지에는 아래 그림과 같이 주요 비즈니스 지표가 서로 어떻게 연관되어 있는지에 대한 모델이 포함될 것입니다.

이러한 메트릭은 데이터에 다음과 같은 관계가 포함된 데이터 세트에서 파생되었을 것입니다:

1. 도달을 위한 마케팅 지출(Marketing Spend to Reach): 마케팅 지출을 늘리면 도달 범위가 증가합니다.
2. 도달 대비 전환 (Reach to Conversions): 도달 범위가 넓을수록 더 많은 전환으로 이어집니다.
3. ARPU로의 전환 (Conversions to ARPU): 전환이 많을수록 ARPU가 증가하는데, 이는 새로운 전환이 수익을 생성하기 때문입니다.
4. 신규고객의 MRR 전환 (New Logos to MRR): 신규 고객은 MRR을 증가시킵니다.
5. ARPU 대비 MRR (ARPU to MRR): 일반적으로 ARPU가 높을수록 MRR이 높아집니다.
6. MRR 대비 이탈률 (MRR to Churn): 고객이 만족하면 MRR이 높아져 이탈률이 낮아질 수도 있고, 이탈을 줄이면 MRR을 유지하거나 높이는 데 기여할 수도 있습니다.
7. Churn 대비 LTV (Churn to LTV): 이탈률이 낮을수록 고객이 더 오래 머무르고 시간이 지남에 따라 더 많은 수익에 기여하므로 LTV가 높아집니다.
8. LTV 대비 인게이지먼트 (LTV to Engagement): LTV가 높을수록 참여도가 높아지거나 그 반대의 결과가 나타날 수 있습니다.
9. LTV 대비 NPS (LTV to NPS): NPS가 높을수록 LTV가 높습니다.
10. CAC 대비 ROE (CAC (Customer Acquisition Cost) to ROE (Return on Equity): CAC는 ROE에 영향을 미치며, 일반적으로 CAC가 낮을수록 ROE가 향상됩니다.
11. CAC 대비 신규 고객 (CAC to New Logos): 고객 수는 CAC와 직접적인 관련이 있습니다.
12. CAC 대비 MRR (CAC to MRR): 이 관계는 CAC가 MRR에 영향을 미치며, 효율적인 고객 유입이 MRR을 향상시킬 수 있음을 시사합니다.

이 기초 온톨로지를 통해 운영자는 다음과 같은 질문을 할 수 있습니다:

1. 고객유입비용(CAC)은 고객의 생애가치(LTV)에 어떤 영향을 미칠까요?
2. 사용자당 평균 수익(ARPU)을 높이면 월별 반복 수익(MRR) 및 이탈률에 어떤 영향을 미칠까요?
3. 순추천고객지수(NPS)와 고객 인게이지먼트의 상관관계는 무엇이며, 이러한 관계가 궁극적으로 churn(이탈)과 LTV에 어떤 영향을 미칠까요?

그리고 이러한 질문은 종합된 답변에 따라 지속적으로 인사이트와 수행할 작업을 찾는 에이전트로 인코딩할 수 있습니다.

이러한 에이전트가 추론하는 데 사용하는 기본 모델은 다음과 같은 간단한 QA 쌍을 사용하여 Foundry에서 파인튜닝(fine-tuning)할 수도 있습니다:

Q: 웹사이트 홈페이지에서 인게이지먼트가 감소하는 경우 어떻게 해야 하나요?
A: 애널리틱스 보고 툴을 사용하여 인게이지먼트 분석을 실행하여 지난 며칠간의 추세를 확인하세요. 그런 다음 SEO 및 SKU 최적화 툴의 결과를 사용하여 근본 원인 분석을 수행하세요. 또한 실험 보고서를 사용하여 적극적인 실험을 고려해 보세요. 상관관계가 발견되면 Slack 알림 툴을 사용하여 '인게이지먼트' 채널에 알림을 보냅니다.

이미 준비된 데이터 변환 파이프라인(ready-made data transformation pipelines), ML 운영 구성 요소(피드백 루프 포함), 상태 확인 및 감사 로그(health checks and audit logs)와 같은 운영 애플리케이션과 함께 기본 온톨로지를 제공할 수 있습니다! 이는 파운드리의 마켓플레이스 애플리케이션을 사용해 모든 구성 요소를 패키징하고 배포하여 파운드리 온톨로지를 사용할 수 있도록 합니다. 기업들은 하이드레이션 프로세스(hydration process)를 더욱 쉽게 진행하기 위해 하이퍼오토 (HyperAuto) 및 파이프라인빌더(PipelineBuilder )와 같은 소스 데이터 통합을 위한 파운드리의 내장 AI 솔루션을 추가로 활용할 수 있습니다.

물론 기초 온톨로지를 만드는 데 필요한 주제별 전문가와 데이터에 접근하는 것은 정말 어려운 일입니다. 이 도전은 모든 산업 분야의 대기업으로부터 수십 년 동안 데이터와 인사이트를 수집해온 세계 최대 컨설팅 회사들에게 기회입니다. 혁신적인 기업들은 기존의 경영 컨설팅이 기성 기반 온톨로지를 기반으로 운영되는 파인튜닝(fine-tuned) AI 시스템을 활용해 지속적으로 인사이트를 제공하고 성과를 측정할 수 있는 이러한 기반 온톨로지로 대체될 것임을 깨닫게 될 것입니다.

세계 최대 규모의 조직들이 AI 경쟁의 출발선에 서 있습니다. 이들은 비즈니스 가치를 창출하지 못하는 얕은 사용 사례의 막다른 골목에 갇혀 있습니다. 팔란티어 파운드리와 같은 기술을 통해 제공되는 기본 온톨로지가 해결책이 될 수 있습니다.

참고 링크

Sources and Additional Reading

1. https://graph.build/resources/ontology
2. https://www.palantir.com/docs/foundry/ontology/overview/
3. https://www.palantir.com/docs/foundry/vertex/scenarios-overview/
4. https://www.palantir.com/docs/foundry/marketplace/overview/
5. https://www.palantir.com/docs/foundry/logic/overview/
6. https://www.upgrad.com/sg/blog/uncovering-hidden-patterns-strategies-for-effective-data-mining/
7. https://plato.stanford.edu/entries/logic-ontology/