5 Schritte für ein erfolgreiches BI-Projekt ⚙️
Torben Jaacks
28. Juni 2023
Success Story
chembid
🔗 Automatisierung zeitaufwendiger Prozesse
chembid ist die weltweit größte Suchmaschine für die chemische Industrie.
Seit 2017 können Chemikalieneinkäufer und -experten auf chembid.com alle im Internet verfügbaren Informationen zu Produktangeboten in Sekundenschnelle suchen und entsprechend ihrer Anforderungen miteinander vergleichen. Neben Einkäufern profitieren auch Hersteller und Händler von der Plattform, indem sie ihre Chemikalien auf chembid zentral anbieten und so erfolgreich neue Kunden für sich gewinnen können.
Mehr als 6 Millionen chemische Angebote von über 80.000 Lieferanten sind über die chembid Suchmaschine zugänglich. Um das passende Angebote oder den passenden Anbieter zu finden, können Anwender mittels intelligenter und branchenspezifischer Filter- und Suchfunktionen nach ihren Bedürfnissen selektieren.
📍 Headquarter: Oldenburg
🚀 Founded: 2016
🏢 Industry: Chemieindustrie
💪 Die Herausforderung
Millionen an chemischen Produktdaten sind über die Zusammenführung einer großen Anzahl unterschiedlicher Quellen digital verfügbar. Neben der reinen Anzahl an Datenquellen stellt dabei auch die Bandbreite an benötigten Datenpunkten eine extreme Herausforderung dar.
Als Suchmaschine und damit zentrale Anlaufstelle für den Erhalt und die händlerübergreifende Vergleichbarkeit von Produktinformationen ist chembid darauf spezialisiert, diese Masse an unstrukturierten Daten zu strukturieren und zu standardisieren. Die unterschiedlichsten Formate und Darstellungen gilt es so zu vereinheitlichen, dass über die Suchfunktionen stets die benötigten Chemikalien gefunden werden können – händlerübergreifend und miteinander vergleichbar.
"Die Datenwelt in der Chemie ist meist unstrukturiert, wenig standardisiert und daher digital aufwendig zu bearbeiten. chembid's Kernkompetenz sind Technologien und Werkzeuge, um Daten zu chemischen Produkten für digitale Dienste nutzbar zu machen. Die chembid Suchmaschine ist so ein Dienst."
Stefan Schweikart
CEO
Das Ziel des Projekts lag darin, chembid dabei zu unterstützen die bis dato teilweise individuelle Erstellung von Datenpipelines weitestgehend zu automatisieren und effiziente QA-Tools für die Weiterverarbeitung der Daten zu implementieren.
🪚 Die Umsetzung
Zu Beginn des Projekts sprachen wir gemeinsam mit Stefan (CEO) und Achim (CTO) von chembid über die Anforderungen und Zielsetzungen zur automatisierten Verarbeitung der vorhandenen Datenmengen. Im gemeinsamen Austausch entwickelten wir ein Bild über die zukünftige Toollandschaft und skizzierten Lösungswege, wie der Modern Data Stack für die Strukturierung nicht standardisierter Rohdaten eingesetzt werden kann
“Wir wollten gemeinsam herausfinden, ob der Modern Data Stack seine Stärken auch im Bereich der Produktstammdaten-Verarbeitung ausspielen kann. Dabei war eine sehr angenehme und agile Arbeitsweise der sikwel-Kollegen ein wichtiger Faktor in der Zusammenarbeit”, so Achim Mahnke (CTO).
Um die Vollständigkeit und Vergleichbarkeit der Daten mittels moderner Datenarchitektur zu gewährleisten, startete die operative Umsetzung des Projekts mit dem Aufbau einer modernen Cloud-Infrastruktur, basierend auf folgendem Tech-Stack:
⚙️ Der Tech Stack
Zu Beginn werden die Informationen aus den verschiedensten Produktdatenblättern mitsamt unterschiedlicher Dateiformate mit Hilfe von Airbyte in das neue Cloud Data Warehouse (snowflake) geladen.
Nach Zentralisierung der Daten im Cloud Data Warehouse, wurden die relevanten Rohdaten entsprechend der skizzierten Modellierungsvorlagen und -logiken vollautomatisch transformiert. Ein hierfür individuell entwickelter Generator wird zukünftig die Transformationsschritte entsprechend der definierten Businesslogik programmatisch erstellen. Dadurch wird es möglich sein, Datenpipelines für neue Quellen deutlich schneller als bisher zu testen und zu deployen. Dabei spielte die Möglichkeit, dbt-Transformationen in CI/CD-Prozesse einzubetten eine entscheidende Rolle.
Company Data Platform
🚀 Das Ergebnis
Zielsetzung war die Automatisierung stark manueller Prozesse zur Vereinheitlichung und Vergleichbarkeit von Daten. Bereits nach wenigen Wochen konnten wir Ergebnisse erzielen, die das Wachstum von chembid fortan erfolgreich unterstützen:
sikwel hat durch agiles Vorgehen, individuelle Schulung und äußerst professionelle Implementierung chembid einen “Jumpstart” in der Automatisierung von Datenpipelines ermöglicht. Erst dadurch war es so schnell möglich, eine produktive Basis für die skalierbare Entwicklung von ETL-Strecken zu legen.
Achim Mahnke
CTO
Starte heute dein Datenprojekt!
Lass‘ uns gemeinsam deine Idee zum Leben erwecken. Unser Team freut sich auf deinen Anruf oder deine Mail. Auch über LinkedIn kannst du uns erreichen.
In einem unverbindlichen und selbstverständlich kostenfreien Austausch klären wir, ob wir auch eine Lösung für deine Herausforderung haben.
Du hast noch Fragen?
Torben ist unser Experte für die Konzeption von nachhaltigen Datenstrategien. Als CEO von siːkwəl und ehemaliger Chief Strategy Officer eines erfolgreichen E-Commerce-Unternehmens beantwortet er gerne deine Fragen, wie man konkrete Use Cases identifiziert und es schafft, dass Datenlösungen echten Business Impact haben. 👋
