DatenWG Library · tool
Delta Lake
Instant Shortcuts, die automatisch in das Delta-Format umwandeln, funktionierten zum Zeitpunkt der Aufnahme noch nicht für Parquet-Dateien. (Stand 2025-07) Ein selbstgeschriebenes Python-Skript exportiert SQL-Server-Tabellen als Delta-Parquet-Dateien direkt in den OneLake-Speicher, wo sie sofort als Tabelle über den SQL-Endpunkt verfügbar sind. (Stand 2025-07) Aktuell werden Quellsysteme häufig tabellenweise per CDC oder als Delta Lake direkt in den Data Lake geschrieben, was ohne Ordnungsstruktur schnell zu einem sogenannten Data Swamp wird. (Stand 2025-07)
Aliase
Delta Parquet Delta Parquet
Kernaussagen
- Instant Shortcuts, die automatisch in das Delta-Format umwandeln, funktionierten zum Zeitpunkt der Aufnahme noch nicht für Parquet-Dateien.
- Die wenige Tage zuvor angekündigte automatische CSV-zu-Delta-Umwandlung im Shortcut ist als Preview-Feature noch instabil und bricht bei Delta-inkompatiblen Spaltennamen ohne aussagekräftige Fehlermeldung ab.
- Aktuell werden Quellsysteme häufig tabellenweise per CDC oder als Delta Lake direkt in den Data Lake geschrieben, was ohne Ordnungsstruktur schnell zu einem sogenannten Data Swamp wird.
- Ein selbstgeschriebenes Python-Skript exportiert SQL-Server-Tabellen als Delta-Parquet-Dateien direkt in den OneLake-Speicher, wo sie sofort als Tabelle über den SQL-Endpunkt verfügbar sind.
- Business-Central-Spaltennamen mit Sonderzeichen lassen sich nicht direkt in Parquet-Dateien laden, weil Parquet dafür keine kompatiblen Spaltennamen zulässt.
- Shortcut Transformations wandeln CSV-, JSON- oder Parquet-Dateien direkt im Shortcut in Delta-Tabellen um, ohne separate ETL-Strecke.
- Die OneLake Table API erlaubt den nativen Zugriff auf Delta- oder Iceberg-Tabellen und ermöglicht die bidirektionale Nutzung mit Snowflake.
- Mit der Shortcut-Transformation wird eine per Shortcut verlinkte CSV-Datei automatisch in eine Delta-Tabelle umgewandelt, ohne dass dafuer ein Notebook laufen muss.
- Das Delta-Format hat strengere Restriktionen bei erlaubten Zeichen in Tabellennamen als CSV, was bei der Shortcut-Transformation zu Verwirrung durch Fehlermeldungen fuehren kann.
Dokumente
- Microsoft Fabric — Einsteiger-Guide
- Daten-WG Thinkers Talk nr.65
- Mythos Data Vault und richtig große Modelle
- Power BI von A bis Z — Einsteiger-Guide (End-to-End)
Nachbarthemen
- Microsoft Fabric
- OneLake
- Lakehouse
- SQL
- Direct Lake
- Warehouse
- Power BI
- Notebook
- Dataflow
- Refresh
- Data Pipeline
- Performance
- Spark
- DirectQuery
- Fabric Capacity
Hinweise
Kernaussagen und Beziehungen sind maschinell erzeugt und nicht redigiert. Heuristische Kanten zählen Erwähnungen, keine Bedeutung. Bei Widersprüchen gilt das Video.