Upgrade to Pro — share decks privately, control downloads, hide ads and more …

기업을 위한 생성형 AI 솔루션

기업을 위한 생성형 AI 솔루션

Avatar for Lablup Inc.

Lablup Inc.

December 04, 2024
Tweet

More Decks by Lablup Inc.

Other Decks in Technology

Transcript

  1. About a Speaker ▪ Academic – Ph.D. of ECE in

    UMCP – MS/BS of ECE in Seoul National University ▪ Industry – Co-Founder, CDO, and Head of Research in Sionic AI – Leader of Various AI R&D Teams in NAVER CLOVA – Co-Founder and Head of Research in Company.AI – Data Scientist in Pikicast – Senior Engineer in Samsung Electronics
  2. AI : Too Much Spend, Too Little Benefit? ▪ 골드만삭스

    보고서 ('24.06) – AI는 향후 10년간 미국 GDP를 0.9%~6.1% 올릴 것이며 모든 작업의 약 25%까지 담당할 것 – 향후 수년간 1조 달러의 투자가 예상. → 단기간에 AI가 보여주는 성과는 비용 대비 미미한 수준 ▪ 구글 2분기 Earning Call ('24.07) – AI에 대한 과잉 투자에 대한 위험보다 과소 투자로 인한 위험이 "dramatically" 더 크다 ▪ 결국 승자에게는 투자가 되고, 패자에게는 버블이 될 것 – 과거 90년대 닷컴 버블과 비슷한 상황 – 따라서 현재는 너도나도 AI에 대해서 GO를 외치는 상황
  3. 왜 AI에 대한 관심이 뜨거울까? : A Needle in a

    Haystack ▪ 매일 폭발적으로 생산/소비되는 데이터 – 2023년 생산 데이터량 ✓ 329 Exabytes / Day ✓ 120 Zettabytes / Year – 매년 지속적으로 20~40%씩 꾸준히 증가 ▪ 데이터 처리는 AI가 잘 할 수 있는 영역 – 사람은 모든 데이터를 살펴볼 수 없음 – AI가 데이터를 수집하고 이해하며 사람이 필요한 정보를 제공하는 보조 역할 ▪ 특히 기업 활동에 있어 매우 필요한 능력
  4. 기업들이 AI에 기대는 것 : 기업 고유의 Core Intelligence ▪

    수 년 전부터 미래의 새로운 해자(New Moat)로 언급[1] – 기업에서는 수많은 데이터를 생산되나 제대로 활용하지 못함 – AI 기술의 발전으로 기업에서 생산하는 모든 지식을 저장하고 이해하며 손쉽게 활용할 수 있는 수단으로서 관심이 높아짐 ▪ 앞으로 기업내 데이터의 생성, 저장, 활용 등 모든 면이 AI-native 형태로 변할 것 [1] https://news.greylock.com/the-new-moats-53f61aeac2d9
  5. Data ▪ 2가지 방향으로 전개될 것 – AI가 쉽게 활용할

    수 있는 데이터 생성 → AI 기반 앱을 만들고 운영하면서 자연스럽게 축적되고, 이것이 기업의 Core Intelligence를 강화하는 방향으로 나아갈 것 – 기존 데이터를 AI가 활용할 수 있는 형태로 변환 → AI 기반의 데이터 ETL이 점점 주목받을 것 https://www.databricks.com/blog/databricks-mosaicml https://techcrunch.com/2023/06/26/databricks-picks-up-mosaicml-an-openai-competitor-for-1-3b/ https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
  6. Core Intelligence : 언어 모델이 중심 ▪ 표현력이 뛰어남 –

    대부분의 정보는 ‘글’의 형태로 변환하여 표현 가능 – 인류 역사의 대부분의 지식은 ‘글’의 형태로 저장되어 전해 내려오고 있음 ▪ 효율성이 높음 – 글은 정보를 가장 적은 양으로 표현할 수 있는 수단 – 따라서 동일한 지식 및 정보를 학습할 때 필요한 비용 크게 낮음 ▪ 따라서 Core Intelligence는 LLM 중심으로 발전 – LLM : 두뇌 역할 – 그 외 Modality(이미지, 음성, 동영상 등) : 감각 기관 역할
  7. LLM이란 무엇인가? ▪ LLM = Large Language Model = 초거대

    언어 모델 ▪ 언어 모델 : 현재의 입력을 바탕으로 다음 단어 확률을 예측하는 모델 ▪ 초거대 언어 모델 : 엄청나게 큰 언어 모델 언어 모델의 예시
  8. LLM의 대표적인 아키텍처 : Transformer ▪ Seminal Paper from Google

    in 2017 Essential AI Adept AI Essential AI Adept AI Character.AI Inceptive Cohere Sakana AI OpenAI Pagoda
  9. LLM의 발전 트렌드 ▪ 파라미터 10B+ 이상 기준 2023.09- Current

    Mixtra l Qwen Yi Orion Miqu Gemini Mi:dm HyperCLOVA X Grok Claude 3 A Survey of LLMs(https://arxiv.org/abs/2303.18223)의 그림을 편집
  10. Some Weaknesses of LLM ▪ Hallucination – 문장 생성은 반복적으로

    다음 토큰을 선택하는 과정 – 모델이 모르는 내용이 들어올 때 → Hallucination 확률 ↑ ▪ Frozen Knowledge – LLM은 학습하지 않은 정보(최신 정보, Private 지식 등)를 알 수 없음 – 반면 많은 기업들은 그들의 내부 데이터를 활용한 application을 원함 ▪ High Cost and Latency (in both training and inference)
  11. 기업들이 비즈니스에 LLM을 활용하려면 ▪ 일정 수준 이상의 품질을 보장해야

    함 ▪ 비용이 효율적이어야 함 ▪ 쉽고 편리하게 만들고 운영할 수 있어야 함 ▪ 사용 및 운영하면서 지속적으로 쌓이는 지식을 습득하고 똑똑하게 되며, 고객에 맞게 Customize되어야 함 ▪ 기업 고유의 비즈니스 로직과 레거시 시스템과의 연동이 자연스러워야 함 ▪ 등등 매우 다양하고 많은 요구사항들...
  12. LLM을 활용하기 위한 방법론들 ▪ 적절하게 LLM을 제어하고 정보를 주입하며,

    비용 효율적으로 활용하기 위한 노력 ▪ 종류 – Prompt Tuning – Supervised Finetuning – Parameter Efficient Tuning – Retrieval-Augmented Generation (RAG) – ...
  13. LLM이 등장하면서 잘할 수 있게 된 능력 : 추론 ▪

    추론 : 미리 알려진 사실을 근거로 새로운 판단 또는 결론을 이끌어 냄 ▪ 대표적인 방법론 : Chain of Thoughts(CoT) – 풀이 과정을 LLM이 자연어로 생성. 답변 작성에 활용 Scratchpads Chain of Thoughts 기술 블로그 : https://blog.sionic.ai/llm- Scratchpads : https://arxiv.org/abs/2112.00114 CoT : https://arxiv.org/abs/2201.11903
  14. LLM에게 추론을 시키자 : RAG ▪ 사람에 비유하면 오픈북 시험을

    보는 것과 유사 ▪ 기업이 원하는 Private 지식을 주입하는 효과적인 방법 ▪ 텍스트 임베딩 모델을 통하여 사용자의 질문과 연관된 문서를 가져와서 LLM에서 추론할 재료를 공급
  15. RAG를 잘하기 위한 요소 1 : Embedding Model ▪ Massive

    Text Embedding Benchmark (MTEB) – Embedding Dimension이 증가 추세 https://huggingface.co/spaces/mteb/leaderboard https://openai.com/index/new-embedding-models-and-api-updates/
  16. Embedding Dimension이 커지면? ▪ 차원이 높아질수록 Recall 성능이 크게 하락

    ▪ 검색 품질을 손해보지 않으면서 QPS를 높이는 것이 중요!
  17. RAG를 잘하기 위한 요소 2 : LLM ▪ LLM을 실제

    활용하는데 있어 '추론' 능력이 중요 – 최근 multi-lingual LLM의 발전 속도도 매우 빠름 – 그렇지만 여전히 한국어 추론 능력이 뛰어난 오픈소스 모델은 제한적 ▪ LLM의 종합적인 체감 성능과 일치하는 한국어 벤치마크의 부재 – 기존 벤치마크는 객관식 형태의 특정 task 성능 측정이 대부분 – 전반적으로 뛰어난 성능의 모델과 해당 task만 잘하는 모델을 구분하기 어려움
  18. LogicKor : 한국어 능력 평가 ▪ 특히 추론과 Instruction Following

    능력을 중점적으로 평가 https://lk.instruct.kr/
  19. Korean LLM of Sionic AI ▪ LLaMa 3, 3.1 기반

    최초의 한국어 튜닝 LLM 공개 https://ai.meta.com/blog/meta-llama-3/ https://github.com/sionic-ai/xionic-ko-llama-3-70b https://github.com/sionic-ai/xionic
  20. 이슈들 : RAG vs Long-context LLM ▪ 문서를 LLM에 직접

    주입하는 방식이 효과적이라는 주장 존재 ▪ Multi-hop 으로 해결할 문제를 Single-hop으로 접근해서 발생한 이슈
  21. 이슈들 : 다양한 스타일의 문서 처리 ▪ 복잡한 형태의 고객

    문서를 처리하고 활용할 수 있어야 함
  22. What’s More? : 관리 및 운영 측면 ▪ 편리한 배포

    관리 ▪ 비즈니스 로직 및 레거시 시스템과 유기적인 연동 ▪ 생성 결과에 대한 손쉬운 피드백 관리 및 지속적인 개선 ▪ 사용자의 행동 패턴에 따른 Customization 장기 기억 단기 기억
  23. 잃어버린 30년 And ▪ 생산가능인구 감소, 생산설비 노후화 및 기술

    부족, 기술 투자 부진, 글로벌 산업 패러다임 변화의 4중고 ▪ 디지털 트랜스포메이션(DX)을 통한 생산성 향상이 필요하다고 인식
  24. 국가 차원에서의 적극적인 투자 ▪ 생성 AI 기술을 활용하여 그

    동안 뒤쳐진 IT 기술을 한번에 따라잡겠다는 목표 ▪ 경제산업성에서 2024년 2월 GENIAC 프로젝트 착수
  25. 일본 독자 LLM 모델 현황 ▪ 일본어 특화에 초점을 맞추고

    있음 ▪ 자사 서비스 및 업무에 먼저 도입하는 경향 기업명 공개 시기 크기 ABEJA '23.03 13B LINE(Softbank) '23.09 4B / 82B NEC '23.07 13B NTT '23.12 7B 오르츠 '23.05 10B / 160B 후지츠 '24.05 13B Lightblue '24.03 72B Preferred Network '23.09 13B Stockmark '24.05 100B
  26. 왜 일본인가? ▪ B2B SaaS 시장 규모 및 잠재력 →

    Enterprise Solution 시장 규모 글로벌 2위 → 매년 두 자릿수의 기업용 SaaS 시장 성장률 ▪ 코로나 이후 AI Transformation 트렌드 → 늦은 디지털 개혁으로 인해 오히려 AI로의 전환이 용이한 상황 ▪ B2B 사업 경험 및 네트워크 → LINE, Softbank, Yamato 과제 등 AI 사업 경험 보유
  27. 일본은 기회의 땅? ▪ 일본의 DX시장 규모는 지속 확대될 것이며,

    AI분야에 대한 수요도 지속될 것으로 예상 ▪ 민간 뿐 아니라 정부 차원에서 글로벌 경쟁에서 뒤쳐지지 않기 위한 노력이 계속될 것이라 전망
  28. Wrap-up ▪ 지금은 생성 AI의 시대. 점차 더 다양한 영역으로

    확장될 것 ▪ 특히, 기업은 고유의 Core Intelligence를 만들고 비즈니스에 적용하는 방향으로 AI를 활용하려고 할 것 ▪ (현재) 공급자 중심의 발전 → (미래) 수요자 중심의 발전 예상 ▪ 기업이 LLM을 활용하기 위해서는 많은 현실적인 문제를 해결해야 함 ▪ 향후 이러한 문제에 효과적인 솔루션을 제공하여 각 기업의 AI Transformation을 가속화하는 곳들에게 큰 기회가 있을 것
  29. • Email : [email protected] • HP : 01062156110 • Linkedin

    : https://www.linkedin.com/in/woomyoung-park-2579832b/ • Articles : https://blog.sionic.ai