Upgrade to Pro — share decks privately, control downloads, hide ads and more …

생성형 AI 어디까지 알아보고 오셨어요? - 김현수

Lablup Inc.
November 28, 2023
36

생성형 AI 어디까지 알아보고 오셨어요? - 김현수

Lablup Conf 2023

Lablup Inc.

November 28, 2023
Tweet

More Decks by Lablup Inc.

Transcript

  1. 컨텐츠 생성 요약 / 번역 코드 생성 검색 고객 사용

    분야 교육 고객센터 서적 전자상거래 금융 지식관리시스템 KMS
  2. 좋은 질문 시작 외부 데이터 활용 GPT 모델 선택 UX

    진화 No Code 맞춤형 LLM LLM APP 완성 Use Case
  3. ž 무슨 역할을 수행하는지 특정 페르소나 ž 주어진 목표 달성을

    위해 무엇을 해야 하는지, 원하는 출력의 형식과 길이를 정의 ž 신뢰할 수 있는 관련 데이터를 제공 ž 어떤 고객 대상인지 말투나 스타일을 정의
  4. 정보 검색 시스템을 이용해 증강 생성 User Question LLM Workflow

    Query My Data Add Results to Prompt Query Model Send Results Azure Cognitive Search Azure OpenAI
  5. 정보 검색 시스템을 이용해 증강 생성 App UX Query ß

    Knowledge Prompt Knowledge ß Response App Server, Orchestrator User Apps Orchestration Data Sources Retrieval Files RDBMS NoSQL Storage LLM 1 1 2 3 Indexing Query Azure Cognitive Search Azure OpenAI
  6. 정보 검색 시스템을 이용해 증강 생성 App UX Vector data

    ß Knowledge Prompt Knowledge ß Response App Server, Orchestrator User Apps Orchestration Data Sources Retrieval Files RDBMS NoSQL Storage LLM 1 1 3 4 Contents Embeddings Query Azure Cognitive Search Azure OpenAI Vector Search 2.1, 1.2, 0.2 … 0.1, 0.5, 0.9… 1.7, 0.9, 1.6 … 2 Query Embedding ß Vector data
  7. 추론 시간 비용 성능 gpt 35 turbo 4k gpt 35

    turbo instruct 4k gpt 35 turbo 16k 1 GPT 4 8k GPT 4 32k 2 text embedding ada 002 3
  8. 사람이랑 대화하듯 소통 – 관련 링크 Speech 서울 날씨 어때?

    User Azure AI Speech to Text Function Calling 서울 날씨 어때? Azure OpenAI GPT 3.5 Turbo get directions get future directions get current time get current weather Kakao Mobility 서울 위/경도 서울 날씨 Generation { "Weather_main": "Clear", "Weather_description": "clear sky", "Temperature_Celsius": 15.83, "Humidity": 94, "Cloudiness": 0 } You are an agent that tells the user about the weather. 서울의 현재 날씨는 맑은 하늘이며, 기온은 섭씨 15.83도입니다. 습도는 94%이고 구름이 거의 없습니다. Azure OpenAI GPT 3.5 Turbo Azure AI Text to Speech 한국마이크로소프트에서 래블업까지 얼마나 걸려? 한국마이크로소프트에서 래블업까지는 약 12.67km 거리이며, 약 49분 53초 정도 소요됩니다. 택시 요금은 18,600원이며, 톨비는 없습니다.
  9. Prompt – 비용 Time Foundation Model Prompt Engineering i.e. few

    shot Prompt Completion 비용 Time Fine Tuned Model Hosting Token Count Savings Token Count Training
  10. 좋은 질문 시작 외부 데이터 활용 GPT 모델 선택 UX

    진화 No Code 맞춤형 LLM LLM APP 완성 Use Case