{
 "id": "tool:data-pipeline",
 "name": "Data Pipeline",
 "typ": "tool",
 "slug": "data-pipeline",
 "stand": "2026-09-07",
 "build": "20260907-1949",
 "zitieren_als": "Daten-WG, <Dokumenttitel>, <mm:ss>, <url>",
 "url": "https://datenwgknowledgekitchen.com/wissensgraph/thema/data-pipeline.html",
 "canonical": "https://datenwgknowledgekitchen.com/wissensgraph/thema/data-pipeline.html",
 "markdown": "https://datenwgknowledgekitchen.com/wissensgraph/library/data-pipeline.md",
 "json": "https://datenwgknowledgekitchen.com/wissensgraph/library/data-pipeline.json",
 "dokumente_gesamt": 9,
 "kernaussagen_gesamt": 13,
 "mit_kernaussagen": 10,
 "aliase": [
  "Pipelines",
  "Data Factory",
  "Pipeline"
 ],
 "einordnung": "User Data Functions ermöglichen es, Business Logic zu implementieren und zu kapseln und sie anschließend in einem Lakehouse, einer Data Pipeline und einem Warehouse wiederzuverwenden. (Stand 2025-04) Die neue Variable Library kann sowohl in Dataflows bzw. Data Pipelines als auch im CI/CD-Kontext genutzt werden, um workspace-spezifische Zielwerte für Variablen abzulegen. (Stand 2025-04) Shortcut Transformations wandeln CSV-, JSON- oder Parquet-Dateien direkt im Shortcut in Delta-Tabellen um, ohne separate ETL-Strecke.",
 "nachbarn": [
  {
   "id": "tool:dataflow",
   "name": "Dataflow",
   "kantentyp": "setzt-voraus",
   "belastbarkeit": "automatisch extrahiert, Quellenstelle vorhanden",
   "gemeinsame_segmente": 28,
   "beleg": "so eine Datenpipeline zu nehmen und die zwei Dataflows hintereinander zu hängen",
   "datei": "dataflow.md"
  },
  {
   "id": "tool:dataflow",
   "name": "Dataflow",
   "kantentyp": "gegensatz",
   "belastbarkeit": "automatisch extrahiert, Quellenstelle vorhanden",
   "gemeinsame_segmente": 28,
   "beleg": "Bei Dataflus geht's garantiert.",
   "datei": "dataflow.md"
  },
  {
   "id": "tool:dataflow",
   "name": "Dataflow",
   "kantentyp": "teil-von",
   "belastbarkeit": "automatisch extrahiert, Quellenstelle vorhanden",
   "gemeinsame_segmente": 28,
   "beleg": "ich kann Dataflow nehmen und in der Pipeline einbauen",
   "datei": "dataflow.md"
  },
  {
   "id": "tool:notebook",
   "name": "Notebook",
   "kantentyp": "setzt-voraus",
   "belastbarkeit": "automatisch extrahiert, Quellenstelle vorhanden",
   "gemeinsame_segmente": 33,
   "beleg": "wenn ich aus der Pipeline heraus das anlege, dann geht's",
   "datei": "notebook.md"
  },
  {
   "id": "tool:microsoft-fabric",
   "name": "Microsoft Fabric",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 40,
   "beleg": "",
   "datei": "microsoft-fabric.md"
  },
  {
   "id": "tool:power-bi",
   "name": "Power BI",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 36,
   "beleg": "",
   "datei": "power-bi.md"
  },
  {
   "id": "tool:lakehouse",
   "name": "Lakehouse",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 27,
   "beleg": "",
   "datei": "lakehouse.md"
  },
  {
   "id": "tool:sql",
   "name": "SQL",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 24,
   "beleg": "",
   "datei": "sql.md"
  },
  {
   "id": "tool:warehouse",
   "name": "Warehouse",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 23,
   "beleg": "",
   "datei": "warehouse.md"
  },
  {
   "id": "tool:workspace",
   "name": "Workspace",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 21,
   "beleg": "",
   "datei": "workspace.md"
  },
  {
   "id": "topic:reporting",
   "name": "Reporting",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 19,
   "beleg": "",
   "datei": "reporting.md"
  },
  {
   "id": "tool:onelake",
   "name": "OneLake",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 18,
   "beleg": "",
   "datei": "onelake.md"
  },
  {
   "id": "tool:direct-lake",
   "name": "Direct Lake",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 15,
   "beleg": "",
   "datei": "direct-lake.md"
  },
  {
   "id": "tool:fabric-capacity",
   "name": "Fabric Capacity",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 15,
   "beleg": "",
   "datei": "fabric-capacity.md"
  },
  {
   "id": "topic:performance",
   "name": "Performance",
   "kantentyp": "ko-vorkommen",
   "belastbarkeit": "Heuristik, gezählt",
   "gemeinsame_segmente": 13,
   "beleg": "",
   "datei": "performance.md"
  }
 ],
 "kernaussagen": [
  {
   "typ": "Fakt",
   "dokument": "Daten-WG Life-Update | Fabric Architekturen",
   "dokument_id": "yt:J-lN5JN-F5I",
   "sekunde": 131,
   "zeit": "02:11",
   "url": "https://www.youtube.com/watch?v=J-lN5JN-F5I&t=131s",
   "aussage": "Beim SAP-Projekt wurden die taeglich abgelegten Delta-Dateien ueber ein Notebook eingelesen, das anhand von Tagesordnern erkennt, welche Tage bereits in der Zieltabelle liegen."
  },
  {
   "typ": "Fakt",
   "dokument": "Daten-WG Life-Update | Fabric Architekturen",
   "dokument_id": "yt:J-lN5JN-F5I",
   "sekunde": 760,
   "zeit": "12:40",
   "url": "https://www.youtube.com/watch?v=J-lN5JN-F5I&t=760s",
   "aussage": "Bei einem groesseren SAP-Konzernprojekt wurden Bronze und Silber als Warehouse aufgebaut, weil das Pipeline-Feature zum Refresh der SQL-Endpunkt-Metadaten damals noch nicht existierte."
  },
  {
   "typ": "Fakt",
   "dokument": "BI Thinkers Talk n.72",
   "dokument_id": "yt:luk4S4ukKmg",
   "sekunde": 2255,
   "zeit": "37:35",
   "url": "https://www.youtube.com/watch?v=luk4S4ukKmg&t=2255s",
   "aussage": "Eine Connection für Notebooks lässt sich aktuell nicht direkt unter Connections anlegen, sondern nur über den Umweg einer Data Pipeline."
  },
  {
   "typ": "Empfehlung",
   "dokument": "BI Thinkers Talk nr.67",
   "dokument_id": "yt:G8s96sHUHac",
   "sekunde": 2483,
   "zeit": "41:23",
   "url": "https://www.youtube.com/watch?v=G8s96sHUHac&t=2483s",
   "aussage": "Bei neueren Dataflow-Generationen sind Datenverbindungen an die erstellende Person gebunden, weshalb empfohlen wird, Connections konsequent freizugeben und nach Möglichkeit einen Service Principal für die Verbindung zu nutzen."
  },
  {
   "typ": "Fakt",
   "dokument": "BI Thinkers Talk nr.67",
   "dokument_id": "yt:G8s96sHUHac",
   "sekunde": 2602,
   "zeit": "43:22",
   "url": "https://www.youtube.com/watch?v=G8s96sHUHac&t=2602s",
   "aussage": "Für Business Central existiert kein direkter Connector für Fabric-Pipelines, weshalb der Zugriff stattdessen über einen OData-basierten Dataflow mit Service Principal erfolgen muss."
  },
  {
   "typ": "Meinung",
   "dokument": "Daten-WG Deep Dive Financial Reporting",
   "dokument_id": "yt:TYmKrreMO3I",
   "sekunde": 3192,
   "zeit": "53:12",
   "url": "https://www.youtube.com/watch?v=TYmKrreMO3I&t=3192s",
   "aussage": "Fabric-Pipelines eignen sich vor allem zum Kopieren von Dateien und zum Orchestrieren von Web-APIs, weniger für inkrementelles Laden."
  },
  {
   "typ": "Fakt",
   "dokument": "Fabric & Power BI Quarterly | 2025 Q2",
   "dokument_id": "yt:lAh9ajR2Nrw",
   "sekunde": 1307,
   "zeit": "21:47",
   "url": "https://www.youtube.com/watch?v=lAh9ajR2Nrw&t=1307s",
   "aussage": "User Data Functions ermöglichen es, Business Logic zu implementieren und zu kapseln und sie anschließend in einem Lakehouse, einer Data Pipeline und einem Warehouse wiederzuverwenden."
  },
  {
   "typ": "Fakt",
   "dokument": "Fabric & Power BI Quarterly | 2025 Q2",
   "dokument_id": "yt:lAh9ajR2Nrw",
   "sekunde": 1809,
   "zeit": "30:09",
   "url": "https://www.youtube.com/watch?v=lAh9ajR2Nrw&t=1809s",
   "aussage": "Die neue Variable Library kann sowohl in Dataflows bzw. Data Pipelines als auch im CI/CD-Kontext genutzt werden, um workspace-spezifische Zielwerte für Variablen abzulegen."
  },
  {
   "typ": "Empfehlung",
   "dokument": "Microsoft Fabric — braucht das wirklich jemand?",
   "dokument_id": "yt:mTVeZzshLzE",
   "sekunde": 722,
   "zeit": "12:02",
   "url": "https://www.youtube.com/watch?v=mTVeZzshLzE&t=722s",
   "aussage": "Der erste Quickwin beim Umstieg auf Fabric ist laut Artur, Daten überhaupt persistent abzulegen, statt sie bei jeder Aktualisierung neu zu laden."
  },
  {
   "typ": "Fakt",
   "dokument": "600 SQL-Tabellen in Fabric",
   "dokument_id": "yt:RtUiF1J5XEg",
   "sekunde": 1005,
   "zeit": "16:45",
   "url": "https://www.youtube.com/watch?v=RtUiF1J5XEg&t=1005s",
   "aussage": "Im Projekt orchestrierten etwa acht bis neun Fabric-Pipelines mit einer metadatengetriebenen Architektur rund 600 Quelltabellen zu 150 Zieltabellen."
  },
  {
   "typ": "Fakt",
   "dokument": "Fabric & Power BI Quarterly · 2025 Q4",
   "dokument_id": "yt:9TsHkV8sIRo",
   "sekunde": 1260,
   "zeit": "21:00",
   "url": "https://www.youtube.com/watch?v=9TsHkV8sIRo&t=1260s",
   "aussage": "Shortcut Transformations wandeln CSV-, JSON- oder Parquet-Dateien direkt im Shortcut in Delta-Tabellen um, ohne separate ETL-Strecke."
  },
  {
   "typ": "Fakt",
   "dokument": "Fabric & Power BI Quarterly · 2026-2",
   "dokument_id": "yt:pTTYySb0Cyg",
   "sekunde": 1291,
   "zeit": "21:31",
   "url": "https://www.youtube.com/watch?v=pTTYySb0Cyg&t=1291s",
   "aussage": "Copy Jobs in der Fabric Data Factory unterstützen jetzt in der Vorschau automatisch Slowly Changing Dimension Typ 2, wodurch manueller Notebook-Code für diesen Zweck überflüssig wird."
  },
  {
   "typ": "Fakt",
   "dokument": "Fabric & Power BI Quarterly · 2025 Q3",
   "dokument_id": "yt:lZvpCBMKASM",
   "sekunde": 1922,
   "zeit": "32:02",
   "url": "https://www.youtube.com/watch?v=lZvpCBMKASM&t=1922s",
   "aussage": "Dataflows sind mittlerweile vollwertig in Pipelines nutzbar und ihre Ziele lassen sich parametrisieren, sodass Parameter und Variablen aus Pipelines an Dataflows uebergeben werden koennen."
  }
 ],
 "dokumente": [
  {
   "id": "page:fabric_einsteiger_guide_v1",
   "titel": "Microsoft Fabric — Einsteiger-Guide",
   "datum": "2026-08-31",
   "abdeckung": "nur-text",
   "anteil": 0.279,
   "url": "https://datenwgknowledgekitchen.com/fabric_einsteiger_guide_v1.html",
   "sprungmarken": [
    {
     "label": "Abschnitt",
     "url": "https://datenwgknowledgekitchen.com/fabric_einsteiger_guide_v1.html#:~:text=Wer%20geht%20wo%20auf%3F",
     "sekunde": null
    },
    {
     "label": "Abschnitt",
     "url": "https://datenwgknowledgekitchen.com/fabric_einsteiger_guide_v1.html#:~:text=Die%20Workload-Landkarte%20%28Stand%202026%29",
     "sekunde": null
    },
    {
     "label": "Abschnitt",
     "url": "https://datenwgknowledgekitchen.com/fabric_einsteiger_guide_v1.html#:~:text=Die%20Bausteine",
     "sekunde": null
    }
   ]
  },
  {
   "id": "yt:m3xNYfVih0Q",
   "titel": "Starting with Microsft Fabric the Skills you need",
   "datum": "2024-08-01",
   "abdeckung": "nur-zeitstempel",
   "anteil": 0.194,
   "url": "https://www.youtube.com/watch?v=m3xNYfVih0Q",
   "sprungmarken": [
    {
     "label": "08:08",
     "url": "https://www.youtube.com/watch?v=m3xNYfVih0Q&t=488s",
     "sekunde": 488
    },
    {
     "label": "16:07",
     "url": "https://www.youtube.com/watch?v=m3xNYfVih0Q&t=967s",
     "sekunde": 967
    },
    {
     "label": "17:44",
     "url": "https://www.youtube.com/watch?v=m3xNYfVih0Q&t=1064s",
     "sekunde": 1064
    }
   ]
  },
  {
   "id": "yt:lAh9ajR2Nrw",
   "titel": "Fabric & Power BI Quarterly | 2025 Q2",
   "datum": "2025-04-01",
   "abdeckung": "kernaussagen+zeitstempel",
   "anteil": 0.171,
   "url": "https://www.youtube.com/watch?v=lAh9ajR2Nrw",
   "sprungmarken": [
    {
     "label": "21:39",
     "url": "https://www.youtube.com/watch?v=lAh9ajR2Nrw&t=1299s",
     "sekunde": 1299
    },
    {
     "label": "28:42",
     "url": "https://www.youtube.com/watch?v=lAh9ajR2Nrw&t=1722s",
     "sekunde": 1722
    },
    {
     "label": "29:17",
     "url": "https://www.youtube.com/watch?v=lAh9ajR2Nrw&t=1757s",
     "sekunde": 1757
    }
   ]
  },
  {
   "id": "yt:TYmKrreMO3I",
   "titel": "Daten-WG Deep Dive Financial Reporting",
   "datum": "2025-05-01",
   "abdeckung": "kernaussagen+zeitstempel",
   "anteil": 0.135,
   "url": "https://www.youtube.com/watch?v=TYmKrreMO3I",
   "sprungmarken": [
    {
     "label": "44:08",
     "url": "https://www.youtube.com/watch?v=TYmKrreMO3I&t=2648s",
     "sekunde": 2648
    },
    {
     "label": "45:48",
     "url": "https://www.youtube.com/watch?v=TYmKrreMO3I&t=2748s",
     "sekunde": 2748
    },
    {
     "label": "52:11",
     "url": "https://www.youtube.com/watch?v=TYmKrreMO3I&t=3131s",
     "sekunde": 3131
    }
   ]
  },
  {
   "id": "yt:9TsHkV8sIRo",
   "titel": "Fabric & Power BI Quarterly · 2025 Q4",
   "datum": "",
   "abdeckung": "kernaussagen+zeitstempel",
   "anteil": 0.098,
   "url": "https://www.youtube.com/watch?v=9TsHkV8sIRo",
   "sprungmarken": [
    {
     "label": "27:23",
     "url": "https://www.youtube.com/watch?v=9TsHkV8sIRo&t=1643s",
     "sekunde": 1643
    },
    {
     "label": "30:41",
     "url": "https://www.youtube.com/watch?v=9TsHkV8sIRo&t=1841s",
     "sekunde": 1841
    },
    {
     "label": "49:49",
     "url": "https://www.youtube.com/watch?v=9TsHkV8sIRo&t=2989s",
     "sekunde": 2989
    }
   ]
  },
  {
   "id": "yt:27rC2zefFOU",
   "titel": "Realtalk zu Self Service mit Power BI",
   "datum": "2024-02-01",
   "abdeckung": "nur-zeitstempel",
   "anteil": 0.077,
   "url": "https://www.youtube.com/watch?v=27rC2zefFOU",
   "sprungmarken": [
    {
     "label": "20:05",
     "url": "https://www.youtube.com/watch?v=27rC2zefFOU&t=1205s",
     "sekunde": 1205
    }
   ]
  },
  {
   "id": "page:power_bi_einsteiger_guide_v4",
   "titel": "Power BI von A bis Z — Einsteiger-Guide (End-to-End)",
   "datum": "2026-08-31",
   "abdeckung": "nur-text",
   "anteil": 0.066,
   "url": "https://datenwgknowledgekitchen.com/power_bi_einsteiger_guide_v4.html",
   "sprungmarken": [
    {
     "label": "Abschnitt",
     "url": "https://datenwgknowledgekitchen.com/power_bi_einsteiger_guide_v4.html#:~:text=Wie%20es%20funktioniert",
     "sekunde": null
    },
    {
     "label": "Abschnitt",
     "url": "https://datenwgknowledgekitchen.com/power_bi_einsteiger_guide_v4.html#:~:text=Operationen%2C%20die%20NICHT%20foldet",
     "sekunde": null
    },
    {
     "label": "Abschnitt",
     "url": "https://datenwgknowledgekitchen.com/power_bi_einsteiger_guide_v4.html#:~:text=Hover%20f%C3%BCr%20Details",
     "sekunde": null
    }
   ]
  },
  {
   "id": "yt:TYp5xCAU2AU",
   "titel": "Fabric & Power BI Quarterly · 2026-1",
   "datum": "2026-01-01",
   "abdeckung": "kernaussagen+zeitstempel",
   "anteil": 0.054,
   "url": "https://www.youtube.com/watch?v=TYp5xCAU2AU",
   "sprungmarken": [
    {
     "label": "31:33",
     "url": "https://www.youtube.com/watch?v=TYp5xCAU2AU&t=1893s",
     "sekunde": 1893
    },
    {
     "label": "50:46",
     "url": "https://www.youtube.com/watch?v=TYp5xCAU2AU&t=3046s",
     "sekunde": 3046
    }
   ]
  },
  {
   "id": "yt:pTTYySb0Cyg",
   "titel": "Fabric & Power BI Quarterly · 2026-2",
   "datum": "",
   "abdeckung": "kernaussagen+zeitstempel",
   "anteil": 0.027,
   "url": "https://www.youtube.com/watch?v=pTTYySb0Cyg",
   "sprungmarken": [
    {
     "label": "21:26",
     "url": "https://www.youtube.com/watch?v=pTTYySb0Cyg&t=1286s",
     "sekunde": 1286
    }
   ]
  }
 ],
 "hinweise": [
  "Kernaussagen und Beziehungen sind maschinell erzeugt und nicht redigiert. Heuristische Kanten zählen Erwähnungen, keine Bedeutung. Bei Widersprüchen gilt das Video."
 ],
 "wiki_url": "https://datenwgknowledgekitchen.com/wissensgraph/#n=tool%3Adata-pipeline",
 "graph_url": "https://datenwgknowledgekitchen.com/wissensgraph/graph.html#n=tool%3Adata-pipeline&f=tool%3Adata-pipeline"
}