Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ABS2024: Azure AI Deep Dive with Ausgleichskass...

ABS2024: Azure AI Deep Dive with Ausgleichskasse Basel Stadt by Jörg Bieri & Ivan Babic

⭐️ Azure AI deep dive with Ausgleichskasse Basel Stadt#
Witihin this session, we will demonstrate how we implemented a “Chat GPT” like solution at the Ausgleichskasse Basel Stadt. We will dive into the technical details and present our learnings.
🙂 JÖRG BIERI ⚡️ CTO @ GARAIO AG
🙂 IVAN BABIC ⚡️ Developer @ GARAIO AG

More Decks by Azure Zurich User Group

Other Decks in Technology

Transcript

  1. GARAIO Facts since 1994 70 Employees 12 Mio Rev BERN

    & ZÜRICH SOFIA MICROSOFT SOLUTION PARTNER
  2. Ausgleichskasse Basel Stadt in numbers ▪70 employees ▪39,000 customers, 45,000

    pension recipients, 20,000 FAK beneficiaries (30,000 eligible children) ▪450 million AHV/IV/EO contributionsand 1 billion in benefits ▪9,000 on-site consultations,400,000 postal deliveries, 130,000 phone calls, 50,000 emails ▪AKBS motto: Competence – Performance – Trust.
  3. Initial situation ▪Individuals spend up to 30% of their working

    time searching for information. ▪Result of CAS transfer work: The greatest potential lies in search processes within legal texts. ▪Current search approach: Sequential keyword search across various legal levels (WL, KS, VO, BG)
  4. Questions and use cases Nr.Fachfrage Lösung Stichwortsuche Quellen Zeitaufwand bisher

    1Eltern sind geschieden. Beide Elternteilesind erwerbstätig. Die Kinder leben bei der Kindsmutter. Wer hat Anspruch auf Familienzulagen? Die Kindsmutter hat Anspruch, da die Kinder überwiegend bei Ihr leben. Anspruchskonkurrenz Art. 7 Abs. 1 lit. c FamZG 3 min. 2Besteht Anspruch auf Familienzulagen, wenn ein 17- jähriges Kind krankheitshalber die Schule nicht besuchen kann? Es besteht solange Anspruch auf Familienzulagen, wie ein ärztliches Zeugnis die Krankheit bescheinigt. Längstens aber 12 Monate seit Krankheitsunterbruch. Krankheit Rz. 3373 RWL 3 min.
  5. Solution [10],[72],[63],[22] [10],[72],[63],[22] [10],[72],[63],[22] Vector Store Wer hat Anspruch auf

    Kinderzulagen? [10],[22],[83],[22] Search Vector Semantic Ranked Results LLM & History (Token) Anspruch auf Zulagen hat…..
  6. Solution Walkthrough Azure resources Full-Text + vector + hybrid search

    engine Azure AI Search LLM & Embedding (= vector representation) AI Document Intelligence App service
  7. Learnings ▪ Prompt Engineering is key ▪ Content is key

    ▪ Splitting (chunks) content is key ▪ Data privacy is key ▪ Fast moving tech ▪ Tons of new things to learn ▪ At the end it’s fun!
  8. Linksammlung ▪ AKBS Blog und Lösungsbeschrieb Künstliche Intelligenz: Chatbot für

    die Kundendienst-Mitarbeitenden der AKBS (garaio.com) ▪ Intro to AI Wo ist bloss die Intelligenz bei der künstlichen Intelligenz? Einleitung - Teil 1 einer 7-teiligen Blogserie zu KI (garaio.com) ▪ Machine Learning Blog Machine Learning in Azure (garaio.com) ▪ Azure Open AI search demo – github Repository GitHub - Azure-Samples/azure-search-openai-demo: A sample app for the Retrieval-Augmented Generation pattern running in Azure, using Azure AI Search for retrieval and Azure OpenAI large language models to power ChatGPT-style and Q&A experiences.