효율적인 Agentic 아키텍처 구성을 위한 개발 Tip

Lablup Conf 2025_테디노트_이경록

Transcript

2. 효율적인 Agentic 아키텍처 구성을 위한 개발 Tip. 테디노트 이경록
3. 소개
4. 브레인크루 • 사내 업무 지원(도메인 번역, 정합성 검증 등) RAG 시스템 개발 • 사용자 Intent 수집 에이전트 개발 • 재난 안전 관리시스템 개발 • sLM 모델 RAG 시스템 평가 및 벤치마크 시스템 개발 • 망분리 환경 RAG 시스템 / 보고서 작성 에이전트 개발 • 금융 / 건설 / 광고 도메인 특화 RAG 시스템 개발 • 상품 인식(Vision) 카테고리 분류 시스템 개발 • 해외 Market 지 daily 요약 시스템 및 뉴스레터 발간 시스템 개발 • (환경 규제 참조) ESG 보고서 작성 멀티 에이전트 개발 • 엔터프라이즈 향 MCP 기반 RAG 시스템
5. 브레인크루 2025년 진행한 프로젝트 • 솔루션 개발 3개 (엔터프라이즈 향 Agent 플랫폼, 발화 데이터 분석, RAG MCP) • 기업 프로젝트 10개 • 소규모 RAG, Agent 워크플로우 단일 단위 개발 37개 그동안 경험한 내용을 토대로 공유드리겠습니다.
6. Agent Platform
7. Agent Platform 오픈 1개월 • 일일 최대 2400만 토큰 사용량 • 700개 이상의 에이전트 제작 및 공유 • 연말까지 2,400개의 에이전트 목표 • 멀티 에이전트 협업 네트워크 지원 최대 성과: 구성원이 직접 문제를 정의하고 스스로 문제를 해결하기 시작
8. MCP 기반 지식관리 서비스
9. 상당한 시간, 노력, 자원이 투입되는 DB 구축 평균적으로 60~70% 이상이 Knowledge Base 구축에 시간 할애 • 문서 Parsing(OCR, Layout) • 임베딩 • Vector DB 데이터 적재 • 데이터 전처리 파이프라인 • 문서 관리 도구 (GUI) • 고급 Retrieve 전략 • MCP 도구 연동
10. langconnect-pro-demo.mp4
11. 왜 Agent 가 핫한가?
12. ReAct Agent
13. Agent 개발 특징 1. 구현이 쉽다 2. 유지보수가 쉽다 3. Agent 의 성능은 다소 LLM 성능에 의존적 4. 확장성과 유연성(도구 연계)
14. Agent 개발이 더더욱 탄력받는 이유 검색이 가능하게 해주세요. MCP(도구) 연동하고 싶어요. 사람의 개입을 최소화 하고 싶어요. 여러 개의 Agent 가 협업하는 구조를 만들고 싶어요 이미지 출처: https://aiminds.substack.com/p/collaborative-ai-agents-for- your?utm_campaign=post&utm_medium=web
15. Agent 개발이 더더욱 탄력받는 이유 큰 틀에서 정리하면 1. 도구와의 연동성 > 웹 검색, 문서 검색, 3rd party MCP 도구 등과의 연동성 1. Agent 단위의 모듈화 > 검색 에이전트, 문서 작성 에이전트 등과 같이 특화된 Agent 를 모듈화하여 구성하고 이를 재사용하기에 용이함
16. 그럼 Agent 의 기술적 기능에 대해서 알아봅시다
17. Recursion
18. ReAct 구조의 Recursion 기능
19. ReAct 구조의 Recursion 기능
20. Routing
21. Router
22. Router
23. GPT-5 System Card https://openai.com/index/gpt-5-system-card/
24. 분기 처리 조건부 분기 처리 • 조건에 따른 분기(Conditional Edge) 로직을 도입하여, 직관적이고 유연한 라우팅 처리를 지원
25. 라우팅(Routing) • Agent Routing • 도구 선택: 각 도구의 Tool Name 과 Description 을 상세하게 작성 • 도구를 추가하는 것만으로도 쉽게 Routing 옵션을 추가할 수 있음 • Function Calling • More like “Rule Based Selection” • 선택의 주체인 LLM 의 시스템 프롬프트에 상세히 정의. 또한, Schema 에도 각 옵션의 선택 가이드를 상세하게 작성
26. 라우팅(Routing) Agentic Routing Structured Output (Function Calling)
27. 워크플로우 흐름 관리
28. 메모리 (단기/장기 메모리)
29. 단기 메모리(Short Term Memory) Checkpointer • thread_id 로 context 관리 • 멀티턴 대화의 핵심
30. 단기 메모리(Short Term Memory) Time Travel 기능(개발시 단위 테스트에 유용) • 체크포인터를 활용하여 특정 시점(Snapshot) 으로 되돌리기 기능
31. 장기 메모리(Long Term Memory) MemoryStore • User 의 Personal Information 을 추출하여 장기 메모리에 저장 • 이름, 직업, 취향, 선호하는 음식, 취미 등 변하지 않는 User 의 고유 정보를 대화에서 추출하여 장기메모리에 저장 • 여러 thread 에서 User 별 특성을 장기 기억할 수 있음
32. 메모리 저장 & 활용
33. 메모리 장기 메모리: MemoryStore 장기 메모리 활용 과정 1. 추출하고자 하는 Personal Entity 정의 2. 대화내용 중 Personal Entity 를 추출 3. 장기 기억에 업데이트 4. 신규 대화 쓰레드 Open 시 System 프롬프트에 장기 기억 메모리를 주입 참고: https://github.com/teddynote-lab/langgraph-tutorial/
34. 메모리
35. 사용자의 신뢰를 얻는 방법
36. Human In The Loop(HITL) 인간의 개입을 통한 결과 검증 및 피드백 루프를 지원하여 시스템 신뢰성을 높이는 방법
37. Model Context Protocol
38. MCP 생태계 MCP 생태계 덕분에 다양해진 도구 선택지 (6961개 도구 등록, 2025.09.22 기준)
39. 연동성 OpenAI, Anthropic, Cursor AI 등 MCP 지원
40. 연동성 즉, MCP Server 로 개발하면! 다양한 MCP Host(ChatGPT, Cursor AI, Claude Desktop, LangGraph, etc) 와 연동할 수 있음
41. MCP Server 의 쉬운 구현 https://gofastmcp.com/getting-started/welcome
42. MCP Inspector npx @modelcontextprotocol/inspector
43. MCP Server: Resources 리소스를 통해 데이터를 노출 • GET 엔드포인트와 비슷하게 생각 • LLM의 컨텍스트에 정보를 로드하는 데 사용
44. MCP Server: Prompts 프롬프트는 재사용 가능한 메시지 템플릿 @mcp.prompt 데코레이터를 사용하여 이러한 템플릿을 간단하게 정의
45. MCP Server: Tools LLM이 외부 시스템과 상호 작용/코드 실행/학습 데이터에 없는 데이터에 액세스하는 등의 핵심 구성 요소 *docstring: 툴 선택의 핵심 요소. LLM 이 잘 판단할 수 있도록 description 을 적는 것이 중요
46. 통신 방식 - stdio 표준 입출력(stdin / stdout) 기반 로컬 프로세스 통신 특징 • 저지연, 단순 구조 • 네트워크 불필요 → 보안성 높음 • 원격 통신 불가, 확장성 제한
47. 통신 방식 - SSE(deprecated) 방식: HTTP 요청 + Server-Sent Events(서버 → 클라이언트 단방향 스트리밍) 특징 • 원격 환경에서 사용 가능 • 지속 연결 필요 • 재연결/데이터 누락 복원 어려움
48. 통신 방식 - Streamable HTTP HTTP 기반 양방향 스트리밍 + 상태 없음(stateless) 통신 특징 • 확장성 우수, 신뢰성 높은 스트리밍 • 재개(resume) 지원
49. 독립적인 Knowledge Base
50. Agent + MCP(RAG MCP) Agent (몸체) • 여러 Tool 을 MCP 도구화 • MCP를 활용한 RAG 서버 연동 • 3rd Party App 연동 Key Idea • 지식 데이터 베이스를 Agent 가 활용하기 용이한 MCP 도구화 • MCP 도구 호출의 계층적인 호출 구조를 만들어 Context 관리 최적화 • MCP Server 의 플러그인 방식을 활용하여 유지보수 용이
51. 그래서 시작한 MCP 기반 Knowledge Base 구축
52. RAG 를 위한 데이터베이스 구축
53. DB 와 MCP Server 의 연결
54. 다양한 Host 가 붙을 수 있는 구조 마련
55. 전체 구조
56. 구조의 변화
57. 계층적인 호출 구조 • 문서 변경사항 반영 어려움 • Context Window 초과 • 검색 성능 저하
58. RAG MCP 의 보안을 고려한 아키텍처
59. RBAC
60. MCP 요청 과정
61. MCP Token 기반 요청
62. Agent 평가
63. 다양한 세부 수준에서 평가 필요성
64. (1) 생성된 답변에 대한 평가
65. (2) Triage에 대한 평가
66. (3) 도구 호출에 대한 평가
67. 정형 vs 비정형에 따른 평가 방식의 차이
68. Evaluation
69. LangChain 에코 시스템 통합 추적 및 모니터링 • LangSmith 추적 시스템 LangGraph Studio • 개발 및 디버깅에 용이
70. 대시보드 - 실험결과 추적
71. 툴 사용 추적
72. Trajectory 관찰
73. 도구 사용 추적 및 평가
74. 도구 사용 추적 및 평가
75. 비개발자도 이해할 수 있는 Metric 활용 <에이전틱 시스템 개발> 개발자 1인의 온전한 책임이 아닌 팀으로의 확장
76. 멀티 에이전트 협업 네트워크
77. 멀티 에이전트 협업 네트워크 • 하나의 에이전트가 활용할 수 있는 도구의 개수는 제한적 • 따라서, 1개의 에이전트가 사용하는 도구를 제한 • 1개 에이전트의 역할을 특화(System Prompt 를 narrow down) • 여러 에이전트를 협업하여 작업을 수행하는 디자인 패턴 연구 • Supervisor 패턴이 가장 효율적
78. 에이전트는 다양한 모델에 의존 • 모델 마다 잘 하는 분야가 다름 (코딩, 글쓰기, 등) • LangChain 으로 빠르게 다양한 모델을 통합할 수 있어야 함
79. LangChain > OpenAI SDK
80. Ambient Agent
81. Ambient Agent
82. Ambient Agent • ChatGPT 는 대화창 UX 에 의존 • 하지만, 이러한 UX 는 일부 사용자에게는 유용하나, 제한이 될 수 있음 • 한 번에 한 가지 대화만 할 수 있음 • 이러한 UX 패러다임 shift 가 요구 • 채팅과 같은 대화에만 의존하면 안됨 • 여러 에이전트를 동시에 실행 • 여기서 중요한 역할이 Human-in-the-loop • Agent 의 판단(의사결정) 에 대한 위험성을 낮춤 • 인간의 커뮤니케이션 방식을 모방하여 사용자 - Agent 간 신뢰를 구축 • 장기 기억의 학습을 강화 • Email > 답장 (어조를 business 형식에 맞게 교정해줘)
83. Agent Inbox 여러 Agent 를 통합 관리할 수 있는 도구
84. AgentInbox-Demo.mp4
85. 에이전틱 시스템 구조도 (Email Assistant)
86. Human in the Loop Interrupt: 사용자의 제품(서비스)에 대한 신뢰도를 올릴 수 있는 중요한 방법!
87. Action Item
88. Triage Router Query Router 와 비슷하지만, Interrupt 의 종류를 Routing
89. Human Feedback > Memory Update
90. Human Feedback
91. Human Feedback 반영 결과!
92. 장기 메모리(Long Term Memory) 반영 장기 메모리에 저장된 정보는 이후 Action 에 영향
93. 장기 메모리(Long Term Memory) 활용 다른 메일의 초안 작성에 장기 메모리 반영
94. Ｑ＆Ａ teddy@brain-crew.com