Een migratie naar Microsoft Fabric bestaat zelden alleen uit het verplaatsen van data. Het meeste werk zit in het opnieuw opbouwen van transformaties, het bewaken van bedrijfsregels en het aantonen dat de uitkomst klopt.
Met de Fabric data engineering agent, ook bekend als Project Osmos, wil Microsoft precies dat werk grotendeels overnemen. In deze blog lees je wat de agent doet, hoe je hem inzet bij migraties en waar je tijdens de preview rekening mee houdt.
De data engineering agent is een autonome functie in Microsoft Fabric die data engineering-taken plant, uitvoert en controleert. Je beschrijft het gewenste eindresultaat en de agent werkt dat uit tot notebooks, Delta-tabellen en validatieresultaten.
Het verschil met een gewone AI-assistent is dat de agent niet alleen code voorstelt. Hij bekijkt de data in je lakehouse, draait de code zelf op Fabric Spark en past de aanpak aan op basis van de echte uitkomsten.
Een taak draait als beheerde eenheid in Fabric en loopt door als je eigen computer uit staat. Collega's met toegang tot dezelfde lakehouse kunnen de voortgang volgen en zo nodig input geven.
Microsoft noemt migratie-ondersteuning en lakehouse-modernisering expliciet als toepassingen. Denk aan het omzetten van legacy-extracten naar een model dat klaar is voor Fabric, met behoud van bedrijfsregels en controle op totalen.
In de aankondiging van de preview positioneert Microsoft de agent daarnaast voor grotere trajecten, zoals dataplatformmigraties, ERP-consolidatie en het moderniseren van ETL-processen.
Voor het overzetten van Synapse-notebooks en Spark-items heeft Fabric een aparte Spark Migration Assistant, ook in preview. Die tool verplaatst items, maar het herschrijven van code en het valideren van resultaten blijft daarna jouw taak.
Project Osmos richt zich op het data engineering-werk zelf: data die al in OneLake of je lakehouse staat omzetten, testen en reconciliëren. Zie het dus als aanvulling op je migratieaanpak, niet als vervanging ervan.
Je start een taak vanuit een lokale agent, zoals GitHub Copilot CLI, Claude Code of Codex. Daarin installeer je de collectie Skills for Fabric, waar de Osmos-skill onderdeel van is.
Vervolgens beschrijf je een Project outcome: het complete resultaat dat je wilt hebben. De agent behandelt dat als één project en verzorgt zelf de planning en volgorde van de stappen.
Voordat de taak start, stelt de agent instellingen voor die je kunt aanpassen. Daarna volg je de voortgang in de lakehouse explorer van Fabric of vraag je de status op via je lokale agent.
Bij migraties werk je vaak met data die niet kapot mag. Daarom laat de agent je vooraf kiezen hoe hij schrijft, hoe hij omgaat met herhaalde runs en of het schema mag veranderen.
De permission boundary in de taakinstellingen stuurt de agent, maar is geen beveiliging. De echte grens blijven de rechten in Fabric en OneLake, dus bescherm gevoelige bronnen daar.
De instelling voor modellen van OpenAI als Microsoft-subprocessor is optioneel en wordt aanbevolen voor prestaties. Bekijk vooraf met je organisatie of dat past binnen je eisen voor gegevensverwerking.
Je hebt SAP-data in je lakehouse geladen en wilt een bruikbaar order-to-cash-model. De agent onderzoekt welke tabellen en documentrelaties aanwezig zijn, test verschillende joins en controleert onder meer ontbrekende documentkoppelingen en de aansluiting van order tot factuur.
Bestaande notebooks laden elke nacht alles opnieuw. Je vraagt de agent een incrementeel ontwerp te bouwen, het naast de huidige aanpak te testen op staging-tabellen en de migratie- en terugdraaistappen te documenteren.
Een oude verkooptabel heeft tekstvelden voor datums en bedragen. De agent zet die om naar een gedocumenteerd schema met juiste datatypes, laat de brontabel ongemoeid en reconcilieert aantallen en omzettotalen.
De agent is krachtig, maar nog in preview. Gebruik hem bij voorkeur op representatieve data en niet direct op productiedata.
Draai je meerdere taken op een gedeelde capaciteit, spreid ze dan in de tijd en stem het gebruik af met je capaciteitsbeheerder. Zo voorkom je dat throttling andere processen raakt.
Status: Preview. De Fabric data engineering agent (Project Osmos) is op dit moment in preview volgens de officiële documentatie van Microsoft. Controleer de actuele status, voorwaarden en beschikbaarheid bij publicatie, omdat deze snel kunnen veranderen.
Nee, niet als volledige migratietool. De agent helpt vooral bij het omzetten, testen en valideren van data en transformaties in je lakehouse, naast tools zoals de Spark Migration Assistant.
Je start taken vanuit GitHub Copilot CLI, Claude Code of Codex met de Skills for Fabric-plugin. De voortgang bekijk je daarnaast in je lakehouse in Fabric.
Nee. Je hebt een workspace op een geschikte Fabric-capaciteit nodig, trial-SKU's worden niet ondersteund.
Je kiest vooraf een schrijfpatroon, zoals staging of clone-and-promote. De echte bescherming komt wel uit de rechten in Fabric en OneLake, dus regel die goed.
Een taak verbruikt capaciteitseenheden voor taalmodeltokens en voor Spark-compute. De actuele verbruikstarieven vind je op de officiële consumptiepagina van Microsoft.
Twijfel je of de data engineering agent past bij jouw migratie- of moderniseringstraject? Mount Data denkt graag met je mee over de aanpak, de randvoorwaarden en een veilige proef op representatieve data.
Neem contact op via https://mountdata.nl voor een vrijblijvend gesprek.
Deze website maakt gebruik van cookies voor een goede werking van de site.
Cookies zijn kleine tekstbestanden die door websites kunnen worden gebruikt om de gebruikerservaring efficiënter te maken. Volgens de wet mogen wij cookies op uw apparaat opslaan als ze strikt noodzakelijk zijn voor het functioneren van deze site. Voor alle andere soorten cookies hebben wij uw toestemming nodig. Deze site maakt gebruik van verschillende soorten cookies. Sommige cookies worden geplaatst door diensten van derden die op onze pagina’s worden weergegeven.