Automatisch differentiëren

Transcript

1. AUTODIFF Photo by Matt Duncan on Unsplash Michiel Stock @michielstock 
 michiel.stock@ugent.be KERMIT 1
2. Automatisch differentiëren 2 Automatisch differentiëren (autodiff) is het automatisch numeriek berekenen van afgeleiden en gradiënten van stukjes code door de computationele graaf aan te passen. een computerpakket voor autodiff
3. Wat is het niet? 3 symbolisch afleiden df(x) dx ≈ f(x + d) − f(x) d numeriek afleiden
4. Methode van Babylon 4 De methode van Babylon is een algoritme om de vierkantswortel van een getal te berekenen x merk op dat je enkel optellen en delen gebruikt in de berekeningen
5. Duale nummers 5 Duale nummers zijn een heel eenvoudige manier om autodiff te implementeren. Dit is een nieuw soort ‘getal’ dat zowel de waarde als de afgeleide bijhoudt. d (x) dx = 1 2 √ x Dit werkt!
6. Vergel ij k met symbolisch… 6 Vier stapjes van methode van Babylon uitgeschreven: Boeltje afleiden maakt het nog erger…
7. Arti fi ciële intelligentie 7 Een artificieel neural netwerk is een grote functie met parameters: f(θ) Men definieert dan een verliesfunctie die zegt hoe goed het netwerk werkt: ℒ( f(θ)) De afgeleide zegt hoe je de parameters moet aanpassen om het netwerk better te doen laten werken: θ ∂ℒ( f(θ)) ∂θi
8. Alles kan afgeleid worden! 8 vloeistofsimulaties eiwitstructuren robots fysicamodellen