Upgrade to Pro — share decks privately, control downloads, hide ads and more …

El presente y futuro del computo cientifico con Python

Tania Allard
December 11, 2021

El presente y futuro del computo cientifico con Python

Tania Allard

December 11, 2021
Tweet

More Decks by Tania Allard

Other Decks in Technology

Transcript

  1. El presente y futuro del computo

    Cientifico
    Tania Allard, PHD
    Quansight Labs
    Con python
    https:/
    /bit.ly/scipy-latam

    View full-size slide

  2. Co-directora en Quansight Labs
    Entusiasta del FOSS (Software libre y abierto)
    PSF Fellow y Parte de la Junta Directiva
    GDE - Google Developer Expert Machine
    Learning
    www.trallard.dev
    https:/
    /twitter.com/ixek
    Pueden encontrarme en
    Acerca de mi

    View full-size slide

  3. Mexico Magico
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  4. ¿DE QUE VAMOS A HABLAR?
    01
    El ecosistema de
    cómputo científico
    INTRODUCCION
    02
    Los retos técnicos del
    ecosistema
    La comunidad
    03
    Los retos sociales del
    ecosistema
    @ixek. https:/
    /bit.ly/scipy-latam
    04
    Sustentabilidad en el
    ecosistema

    View full-size slide

  5. Todos los días interactuamos con código
    abierto… cuando usamos nuestros
    teléfonos inteligentes, al leer las noticias,
    revisar nuestras cuentas bancarias, al
    manejar nuestros vehículos.
    El codi
    go
    abierto y el
    computo cientifico
    estan en todos lados
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  6. Queremos ver
    mas FOSS en el
    mundo
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  7. Queremos ver
    Mejor FOSS en el
    mundo
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  8. Queremos ver
    Mejor computo
    cientifico en el
    mundo
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  9. Primer parte

    El presente del ecosistema
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  10. @ixek. https:/
    /bit.ly/scipy-latam https:/
    /octoverse.github.com/#top-languages-over-the-years

    View full-size slide

  11. Usos de python - 2020
    https:/
    /www.jetbrains.com/lp/python-developers-survey-2020/
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  12. @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  13. @ixek. https:/
    /bit.ly/scipy-latam https:/
    /www.nature.com/articles/s41586-020-2649-2

    View full-size slide

  14. Las librerias mas usadas - ML
    https:/
    /www.jetbrains.com/lp/python-developers-survey-2020/
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  15. Que herramientas usamos
    https:/
    /www.kaggle.com/kaggle-survey-2021
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  16. posicionamiento
    #1 para aplicaciones de cómputo científico,
    Ciencia de datos, ML y AI
    El status del ecosistema: pydata
    Usuarios
    Base de usuarios estimada en 25-40 millones
    Ecosistema
    Un ecosistema sumamente vasto y con
    proyectos de alta visibilidad
    @ixek. https:/
    /bit.ly/scipy-latam
    Black Hole M87 (Image Credits: Event Horizon
    Telescope Collaboration)

    View full-size slide

  17. Posicionando a latam - codigo libre
    https:/
    /octoverse.github.com/#geographical-distribution-of-active-users
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  18. https:/
    /octoverse.github.com/
    Posicionando a latam - codigo libre (2020)

    View full-size slide

  19. Posicionando a latam - Machine
    Learning
    https:/
    /www.kaggle.com/kaggle-survey-2021
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  20. Segunda parte

    Los retos tecnicos del ecosistema
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  21. Desde la perspectiva tecnica
    1. Empaquetamiento - PyPi, conda, mamba, GPU …
    2. Deuda técnica - aún hay un montón de Fortran 77 en el mundo,
    fin de la vida útil de librerías como distutils
    3. Falta de paralelismo nativo en el ecosistema
    4. Alto nivel de fragmentación en muchos niveles
    5. Necesitamos un Python más rápido
    @ixek. https:/
    /bit.ly/pycon-chile-foss

    View full-size slide

  22. Empaquetamiento
    @ixek. https:/
    /bit.ly/scipy-latam
    https:/
    /imgs.xkcd.com/comics/python_environment.png

    View full-size slide

  23. Empaquetamiento
    @ixek. https:/
    /bit.ly/scipy-latam
    https:/
    /imgs.xkcd.com/comics/python_environment.png
    https:/
    /labs.quansight.org/blog/2021/01/python-packaging-brainstorm/
    https:/
    /discuss.python.org/t/what-to-do-about-gpus-and-the-built-distributions-that-support-them/7125/27
    How to make package managers cry video
    https:/
    /www.youtube.com/watch?v=NSemlYagjIU

    View full-size slide

  24. Mas alla de pipy
    @ixek. https:/
    /bit.ly/scipy-latam https:/
    /developer.ibm.com/blogs/use-python-for-scientific-research/
    1. Solo provee soporte para librerías nativas de Python
    2. Depende mayormente del autor (no hay garantías en cuanto a
    reproducibilidad o robustez)
    3. El usuario hace instalaciones directamente de la fuente

    View full-size slide

  25. Deuda tecnica
    @ixek. https:/
    /bit.ly/scipy-latam
    No somos los únicos … 218 paquetes de R usan
    Fortran 77

    View full-size slide

  26. Performance o por que necesitamos un
    python mas rapido
    @ixek. https:/
    /bit.ly/scipy-latam
    1. NumPy y Scipy dependen de librerías como LAPACK (linear
    algebra package) y BLAS (Basic Linear Algebra Subprogram) 📦
    2. Contraposición entre simplicidad y robustez contra desempeño
    al usar hilos (threads) 🧵⚡

    View full-size slide

  27. Performance o por que necesitamos un
    python mas rapido
    @ixek. https:/
    /bit.ly/scipy-latam
    3. El GIL (Global lock interpreter) en CPython que limita la
    ejecución a un solo hilo 🧵
    4.Python delega concurrencia al sistema operativo 💻
    5. Se necesita una capa uniforme para facilitar el soporte nativo
    de multihilos

    View full-size slide

  28. En donde queda python ahora
    @ixek. https:/
    /bit.ly/scipy-latam https:/
    /developer.ibm.com/blogs/use-python-for-scientific-research/

    View full-size slide

  29. Tercera parte

    Los retos sociales del ecosistema
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  30. Una unidad social de
    personas que
    comparten una vision y
    mision
    Que rayos es comunidad
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  31. Los proyectos de código
    abierto son similares a un
    grupo de ciudadanos que
    de juntan y deciden crear
    caminos, puentes y
    carreteras

    Nadia Eghbal
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  32. Los proyectos de código
    abierto son similares a un
    grupo de ciudadanos que
    de juntan y deciden crear
    caminos, puentes y
    carreteras

    Nadia Eghbal
    Para conectar comunidades que antes
    se encontraban aisladas
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  33. Nuestros retos
    @ixek. https:/
    /bit.ly/scipy-latam
    1. Es muy difícil encontrar fondos a largo plazo para
    mantenimiento
    2. Burnout por parte del equipo base de proyectos
    3. Falta de diversidad y representación

    View full-size slide

  34. Porque antes muchos de los que se
    benefician del código abierto no tenían ni
    idea de cuan precaria es la situación en
    realidad
    Abriendo los
    ojos
    Un parteaguas
    https:/
    /www.fordfoundation.org/work/learning/research-reports/roads-and-bridges-the-unseen-
    labor-behind-our-digital-infrastructure/
    @ixek

    View full-size slide

  35. Fondeo y metodos indirectos
    1. Liberapay
    2. Open collective
    3. GitHub Sponsors
    4. Linux Foundation Community Bridge
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  36. Depender de labor no
    remunerada es extremadamente
    excluyente
    Sobre todo en el Sur Global (inc. LatAm)
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  37. Diversidad de representacion

    Y diversidad de pensamiento
    Para reflejar cómo es la comunidad
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  38. La falta de representacion puede exacerbar
    injusticias y sistemas de opresion
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  39. Factores que contribuyen a la participacion
    https:/
    /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  40. Incremento de tension
    entre comunidad y
    organizaciones de lucro
    Un concepto popular en America Latina
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  41. Tercera parte

    Sustentabilidad presente y futuro
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  42. Fundamentos de sustentabilidad
    01
    Talento, dinero, y tesoro
    -
    Tiffany Farriss @farriss
    contribuir
    02
    Herramientas, procesos, gente
    y geografía
    Diversidad humana y
    del entorno
    03
    A nivel comunitario
    Seguridad
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  43. Factores que contribuyen a la participacion
    https:/
    /octoverse.github.com/sustainable-communities/#mentorship-at-work-and-open-source
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  44. Contribuyendo las tres T’s
    01
    💪
    Talento
    02

    Tiempo
    03
    💸
    Tiempo
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  45. El acceso (abierto) no solo
    se trata de leer, sino de
    tener una voz para
    establecer la dirección, y
    los modelos económicos y
    estructurales

    Juan Pablo Alperín
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  46. La cooperativa
    Un concepto popular en America Latina
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  47. La cooperativa es una
    empresa de participación
    social libre y democrática
    donde la participación de
    cada socio es determinado
    por el trabajo incorporado
    al bien común
    “ Participación == shares o dividendos
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  48. Una cooperativa moderna
    💪

    💸
    Collaborative work orders
    Ambos + Labs
    Maintainers Industria
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  49. Una cooperativa moderna
    💪

    💸 Collaborative work orders
    @ixek. https:/
    /bit.ly/scipy-latam

    View full-size slide

  50. Como participar hoy
    @ixek. https:/
    /bit.ly/scipy-latam
    1. Cualquiera de las tres 💪 ⌛ 💸
    2. Repensar mecanismos de sustentabilidad en términos locales,
    regionales y globales

    View full-size slide

  51. Gracias
    trallard.dev
    @ixek.
    https:/
    /bit.ly/scipy-latam

    View full-size slide