El ecosistema de ingeniería de datos evoluciona a altísima velocidad. Ya es tiempo de que subas de level y conozcas más allá de numpy, pandas y matplotlib.
🐍Abro hilo pythónico
🧵[1/x]
#python #dataengineering
🐍Abro hilo pythónico
🧵[1/x]
#python #dataengineering
Redpanda 🐼 : redpanda.com
Redpanda ofrece un performance superior a Apache Kafka y manteniendo la compatibilidad con el API.
¿Será tan poderoso como Google PubSub?
🧵[2/x]
#python #dataengineering
Redpanda ofrece un performance superior a Apache Kafka y manteniendo la compatibilidad con el API.
¿Será tan poderoso como Google PubSub?
🧵[2/x]
#python #dataengineering
DuckDB 🦆 : duckdb.org
DuckDB nos permite hacer OLAP desde nuestro navegador web y tener un motor que funciona bastante bien con Parquet. MotherDuck motherduck.com está buscando ofrecer como Saas DuckDB a gran escala.
🧵[3/x]
#python #dataengineering
DuckDB nos permite hacer OLAP desde nuestro navegador web y tener un motor que funciona bastante bien con Parquet. MotherDuck motherduck.com está buscando ofrecer como Saas DuckDB a gran escala.
🧵[3/x]
#python #dataengineering
Polars 🐻 : pola.rs
Polars permite como Pandas procesar dataframes pero a velocidades superiores y sin depender 100% de que los datos quepan en memoria.
🧵[4/x]
#python #dataengineering
Polars permite como Pandas procesar dataframes pero a velocidades superiores y sin depender 100% de que los datos quepan en memoria.
🧵[4/x]
#python #dataengineering
Ray ⚡: ray.io
Ray es una alternativa a Spark y Dask que nos permite paralelizar y distribuir código de Python.
🧵[5/x]
#python #dataengineering
Ray es una alternativa a Spark y Dask que nos permite paralelizar y distribuir código de Python.
🧵[5/x]
#python #dataengineering
Pydantic: docs.pydantic.dev
Estas herramientas nos permiten tener las características de static typing y robustecer nuestros pipelines. Así como cuando en Java tienes que declarar los tipos, estos sería el equivalente en python
🧵[6/x]
#python #dataengineering
Estas herramientas nos permiten tener las características de static typing y robustecer nuestros pipelines. Así como cuando en Java tienes que declarar los tipos, estos sería el equivalente en python
🧵[6/x]
#python #dataengineering
Ruff 🔦 : lnkd.in/gvHx83eW
Ruff es un linter extremadamente veloz incluso en repositorios grandes.
Ruff es un linter extremadamente veloz incluso en repositorios grandes.
Comparto sobre data/AI. Sígueme para más contenido similar.
• • •
Missing some Tweet in this thread? You can try to
force a refresh
