신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정

a16z가 선정한, "세계에서 가장 많이 사용되는 GenAI Consumer Application"에 두 차례 연속 Top10에 기재된 Liner는 신뢰할 수 있는 참조 문서와 답변이 누구보다 중요한 Researchers, Graduate Students, Univ. Students를 대상으로 AI 검색 제품을 만들어 나가는 스타트업입니다.

이처럼 Liner는 어떤 기업보다도 AI 검색이라는 도메인에 진심으로 임하고 있으며, 해당 기술을 제품을 통해 풀어냈을 때 창출할 수 있는 부가 가치가 굉장히 크다는 믿음 하에 기술적, 제품적 난제를 해결해나가고 있습니다. 본 슬라이드는 Liner가 정의한 AI 검색이란 무엇인지, 이를 넘어 어떠한 기술적 문제들을 더 해결해나가고자 하는지 등에 대해 다룹니다.

Transcript

2. 허 훈 (Technical Lead @Liner) 신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정
3. 세계에서 두 번째로 많이 사용되는 AI 검색 엔진이자, 세계 9위 GenAI 제품 (a16z 연속 Top 10)
4. 신뢰할 수 있는 문서와 답변을 찾는 대학생 이상 사용자 타겟
5. San Francisco와 서울 중심으로 조직 구성
6. 목차 AI 검색이란? AI 검색 핵심 컴포넌트 현재 AI 검색의 기술적 한계 Liner가 도전하고 있는 영역
7. AI 검색이란?
8. AI 검색이란? 검색 과정 및 경험의 재개편
9. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
10. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
11. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
12. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
13. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
14. AI 검색이란?: 전통 검색 검색 선별 열람 탐색 🙂↔
15. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
16. AI 검색이란?: 전통 검색 검색 선별 열람 탐색 🙂↔
17. AI 검색이란?: 전통 검색 검색 선별 열람 탐색
18. AI 검색이란?: 전통 검색 검색 선별 열람 탐색 🫠
19. AI 검색이란?: AI 검색 검색 선별 열람 탐색
20. AI 검색이란?: AI 검색 검색 선별 열람 탐색
21. AI 검색이란?: AI 검색 검색 선별 열람 탐색
22. AI 검색이란?: AI 검색 검색 선별 열람 탐색 선별 및 열람
23. AI 검색이란?: AI 검색 검색 선별 열람 탐색 탐색
24. AI 검색이란? 전통 검색: 검색어를 떠올리는 것부터 문서 선별, 문서 내 유관 정보 탐색 까지 사람이 모두 수행하는 기술
25. AI 검색이란? 전통 검색: 검색어를 떠올리는 것부터 문서 선별, 문서 내 유관 정보 탐색 까지 사람이 모두 수행하는 기술 AI 검색: 사람은 의도만 전달하고, 좋은 검색어 생성부터 문서 선별 그리고 문서 내 유관 정보 탐색까지 모두 기계가 대신 수행해주는 기술
26. AI 검색 핵심 컴포넌트
27. AI 검색 핵심 컴포넌트
28. AI 검색 핵심 컴포넌트: 에이전트 시스템
29. AI 검색 핵심 컴포넌트: 에이전트 시스템
30. AI 검색 핵심 컴포넌트: 에이전트 시스템 사용자 질의가 들어왔을 때 난이도 파악 (i.e. 한 번에 해결할 수 있는 질의인지)
31. AI 검색 핵심 컴포넌트: 에이전트 시스템
32. AI 검색 핵심 컴포넌트: 에이전트 시스템 한 번에 해결하기 어려운 질의인 경우, 보다 작은 단위 질의로 분할하여 해결
33. AI 검색 핵심 컴포넌트: 에이전트 시스템
34. AI 검색 핵심 컴포넌트: 에이전트 시스템 질의 해결을 위해 가장 적합한 검색어 생성
35. AI 검색 핵심 컴포넌트: 에이전트 시스템
36. AI 검색 핵심 컴포넌트: 에이전트 시스템 검색 시스템 결과 참조하여 신뢰할 수 있는 답변 및 근거 생성
37. AI 검색 핵심 컴포넌트: 검색 시스템
38. AI 검색 핵심 컴포넌트: 검색 시스템
39. AI 검색 핵심 컴포넌트: 검색 시스템 생성된 검색어에 기반하여 검색 엔진으로부터 문서 검색
40. AI 검색 핵심 컴포넌트: 검색 시스템
41. AI 검색 핵심 컴포넌트: 검색 시스템 검색어 ↔ 문서, 문서 ↔ 문서 간 유사도 및 관련성 파악해 불필요한 문서 제거 (Shallow) ✂
42. AI 검색 핵심 컴포넌트: 검색 시스템
43. AI 검색 핵심 컴포넌트: 검색 시스템 검색어 ↔ 문서 간 유사도 및 관련성 파악해 최종적으로 문서 줄세우기 (Deep) 🔢
44. 현재 AI 검색의 기술적 한계
45. 현재 AI 검색의 기술적 한계: 검색 엔진
46. 현재 AI 검색의 기술적 한계: 검색 엔진 💩 💩 💩 💩 💩
47. 현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어 LLM의 주된 역할은 추론과 답변 생성
48. 현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어 LLM의 주된 역할은 추론과 답변 생성 환각과 성능 상 병목을 만드는 가장 큰 영역은 검색 엔진
49. 현재 AI 검색의 기술적 한계: 검색 엔진 검색 에이전트에 있어 LLM의 주된 역할은 추론과 답변 생성 환각과 성능 상 병목을 만드는 가장 큰 영역은 검색 엔진 따라서 검색 엔진의 성능에 따라 Upper-limit이 설정되게 됨
50. 현재 AI 검색의 기술적 한계: 평가 여러 추론 정보와 문서 등을 활용해 생성된 답변
51. 현재 AI 검색의 기술적 한계: 평가 신뢰할 수 있는 답변이라는 것을 어떻게 알 수 있을까? 🧐
52. 현재 AI 검색의 기술적 한계: 평가 생성의 시대이자 비정형의 시대로 넘어오며 전통적인 측정이 불가능해짐 🙅
53. 현재 AI 검색의 기술적 한계: 비용 최적화 지난 1년 반 동안 LLM 비용 측면에서 많은 절감이 이루어졌음
54. 현재 AI 검색의 기술적 한계: 비용 최적화 그럼에도 스케일이 커질수록 여전히 비싼 가격으로 인해 비즈니스 마진을 키우기 어려움
55. Liner가 도전하고 있는 영역
56. Liner가 도전하고 있는 영역 Optimization Evaluation Passage Ranking Search Engine
57. Liner가 도전하고 있는 영역: Search Engine Optimization Evaluation Passage Ranking Search Engine
58. Liner가 도전하고 있는 영역: Search Engine XXX 에이전트에서 중요한 기술은 에이전트가 아니라 XXX
59. Liner가 도전하고 있는 영역: Search Engine 검색 에이전트를 개발하는 Liner에게 가장 중요한 기술은 “검색 시스템”
60. Liner가 도전하고 있는 영역: Search Engine 검색에는 크게 네 가지 유형이 존재
61. Liner가 도전하고 있는 영역: Search Engine Informational 특정 주제 관련 정보를 찾고자 하는 검색
62. Liner가 도전하고 있는 영역: Search Engine Informational Commercial 특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색
63. Liner가 도전하고 있는 영역: Search Engine Informational Commercial Transactional 특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색 상품을 정하고 구매하기 위한 검색
64. Liner가 도전하고 있는 영역: Search Engine Informational Commercial Transactional Navigational 특정 주제 관련 정보를 찾고자 하는 검색 상품 간 비교를 하기 위한 검색 특정 사이트로 이동하기 위한 검색 상품을 정하고 구매하기 위한 검색
65. Liner가 도전하고 있는 영역: Search Engine Liner가 집중하고자 하는 검색은
66. Liner가 도전하고 있는 영역: Search Engine Liner가 집중하고자 하는 검색은 Informational 특정 주제 관련 정보를 찾고자 하는 검색
67. Liner가 도전하고 있는 영역: Search Engine 제품 목적 달성을 위해서는 범용적으로 사용되는 검색 엔진에서부터 벗어나야 함 🙅
68. Liner가 도전하고 있는 영역: Search Engine 보다 Knowledge-intensive 한 질의를 다룰 수 있는 지식 특화 검색 엔진 개발 중 🙅 🙆
69. Liner가 도전하고 있는 영역: Passage Ranking Optimization Evaluation Passage Ranking Search Engine
70. Liner가 도전하고 있는 영역: Passage Ranking 신뢰할 수 있는 문서, 근거 그리고 답변 생성을 위해서는 검색 엔진을 넘어 검색 시스템 구축 필요
71. Liner가 도전하고 있는 영역: Passage Ranking 사용자 질의를 해결하는데 가장 필요한 문서를 선별하는 Ranking 모델 자체 학습 및 활용 (참조)
72. Liner가 도전하고 있는 영역: Passage Ranking 문서 단위 넘어 답변 생성에 가장 필요한 문단 단위 Ranking 학습 통해 근거 인용 능력 강화 “LLM Evaluation” 🔢
73. Liner가 도전하고 있는 영역: Evaluation Optimization Evaluation Passage Ranking Search Engine
74. Liner가 도전하고 있는 영역: Evaluation “신뢰할 수 있다”라는 개념은 어떻게 측정할 수 있을까?
75. Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가 달리 되어야 함
76. Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가 달리 되어야 함 검색어, 문서 그리고 근거 등에 대해 다각도로 평가되어야 함
77. Liner가 도전하고 있는 영역: Evaluation 사용자 질의 의도에 따라 평가가 달리 되어야 함 검색어, 문서 그리고 근거 등에 대해 다각도로 평가되어야 함 실험 기반 개선 위해 벤치마크 데이터셋을 구축해야 함
78. Liner가 도전하고 있는 영역: Evaluation Natural Language Inference 기반 Evidence <> Claim 간 Factuality 분석 모델링
79. Liner가 도전하고 있는 영역: Evaluation LLM 평가 관련 뛰어난 연구 진행 중인 KAIST KIXLAB과의 벤치마크 연구
80. Liner가 도전하고 있는 영역: Optimization Optimization Evaluation Passage Ranking Search Engine
81. Liner가 도전하고 있는 영역: Optimization Phase 1 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 PEFT
82. Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 PEFT PEFT
83. Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 Phase 3 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 GPU 클러스터 확보해 직접 모델 학습 및 서빙 최적화 PEFT PEFT PEFT Full-parameter tuning Post-training
84. Liner가 도전하고 있는 영역: Optimization Phase 1 Phase 2 Phase 3 OpenAI, Anthropic, Gemini 등 Provider 활용해 어플리케이션 구현 Fireworks AI, Together AI 등 모델 학습 및 서빙 플랫폼 활용 GPU 클러스터 확보해 직접 모델 학습 및 서빙 최적화 PEFT PEFT PEFT Full-parameter tuning Post-training
85. Liner가 도전하고 있는 영역: Optimization Fine-tuning 통해 외부 모델 대비 비용 및 속도 경쟁력 있는 모델 내재화
86. Liner가 도전하고 있는 영역 Optimization Evaluation Passage Ranking Search Engine
87. 마치며...
88. 마치며... 현재 Liner는 기술에 의한 전략적 변곡점 (Strategic Inflection Point)에 서있음
89. 마치며... Liner에게는 Preferable Future를 꿈꾸고 그려나갈 수 있는 좋은 기회
90. 마치며... 앞으로 시장에서 여러 도전 함께 해나가며 서로가 서로에게 도움이 될 수 있었으면
91. 엔지니어 적극 채용 중 React Native Engineer ML Engineer Senior Frontend Engineer Search Engineer Inference Engineer System Engineer
92. 감사합니다