DatenWG Library · tool
Data Pipeline
User Data Functions ermöglichen es, Business Logic zu implementieren und zu kapseln und sie anschließend in einem Lakehouse, einer Data Pipeline und einem Warehouse wiederzuverwenden. (Stand 2025-04) Die neue Variable Library kann sowohl in Dataflows bzw. Data Pipelines als auch im CI/CD-Kontext genutzt werden, um workspace-spezifische Zielwerte für Variablen abzulegen. (Stand 2025-04) Shortcut Transformations wandeln CSV-, JSON- oder Parquet-Dateien direkt im Shortcut in Delta-Tabellen um, ohne separate ETL-Strecke.
Aliase
Pipelines Data Factory Pipeline
Kernaussagen
- Beim SAP-Projekt wurden die taeglich abgelegten Delta-Dateien ueber ein Notebook eingelesen, das anhand von Tagesordnern erkennt, welche Tage bereits in der Zieltabelle liegen.
- Bei einem groesseren SAP-Konzernprojekt wurden Bronze und Silber als Warehouse aufgebaut, weil das Pipeline-Feature zum Refresh der SQL-Endpunkt-Metadaten damals noch nicht existierte.
- Eine Connection für Notebooks lässt sich aktuell nicht direkt unter Connections anlegen, sondern nur über den Umweg einer Data Pipeline.
- Bei neueren Dataflow-Generationen sind Datenverbindungen an die erstellende Person gebunden, weshalb empfohlen wird, Connections konsequent freizugeben und nach Möglichkeit einen Service Principal für die Verbindung zu nutzen.
- Für Business Central existiert kein direkter Connector für Fabric-Pipelines, weshalb der Zugriff stattdessen über einen OData-basierten Dataflow mit Service Principal erfolgen muss.
- Fabric-Pipelines eignen sich vor allem zum Kopieren von Dateien und zum Orchestrieren von Web-APIs, weniger für inkrementelles Laden.
- User Data Functions ermöglichen es, Business Logic zu implementieren und zu kapseln und sie anschließend in einem Lakehouse, einer Data Pipeline und einem Warehouse wiederzuverwenden.
- Die neue Variable Library kann sowohl in Dataflows bzw. Data Pipelines als auch im CI/CD-Kontext genutzt werden, um workspace-spezifische Zielwerte für Variablen abzulegen.
- Der erste Quickwin beim Umstieg auf Fabric ist laut Artur, Daten überhaupt persistent abzulegen, statt sie bei jeder Aktualisierung neu zu laden.
- Im Projekt orchestrierten etwa acht bis neun Fabric-Pipelines mit einer metadatengetriebenen Architektur rund 600 Quelltabellen zu 150 Zieltabellen.
- Shortcut Transformations wandeln CSV-, JSON- oder Parquet-Dateien direkt im Shortcut in Delta-Tabellen um, ohne separate ETL-Strecke.
- Copy Jobs in der Fabric Data Factory unterstützen jetzt in der Vorschau automatisch Slowly Changing Dimension Typ 2, wodurch manueller Notebook-Code für diesen Zweck überflüssig wird.
- Dataflows sind mittlerweile vollwertig in Pipelines nutzbar und ihre Ziele lassen sich parametrisieren, sodass Parameter und Variablen aus Pipelines an Dataflows uebergeben werden koennen.
Dokumente
- Microsoft Fabric — Einsteiger-Guide
- Starting with Microsft Fabric the Skills you need
- Fabric & Power BI Quarterly | 2025 Q2
- Daten-WG Deep Dive Financial Reporting
- Fabric & Power BI Quarterly · 2025 Q4
- Realtalk zu Self Service mit Power BI
- Power BI von A bis Z — Einsteiger-Guide (End-to-End)
- Fabric & Power BI Quarterly · 2026-1
- Fabric & Power BI Quarterly · 2026-2
Nachbarthemen
- Dataflow
- Dataflow
- Dataflow
- Notebook
- Microsoft Fabric
- Power BI
- Lakehouse
- SQL
- Warehouse
- Workspace
- Reporting
- OneLake
- Direct Lake
- Fabric Capacity
- Performance
Hinweise
Kernaussagen und Beziehungen sind maschinell erzeugt und nicht redigiert. Heuristische Kanten zählen Erwähnungen, keine Bedeutung. Bei Widersprüchen gilt das Video.