chembid ist die weltweit größte Suchmaschine für die chemische Industrie.
Seit 2017 können Chemikalieneinkäufer und -experten auf chembid.com alle im Internet verfügbaren Informationen zu Produktangeboten in Sekundenschnelle suchen und entsprechend ihrer Anforderungen miteinander vergleichen. Neben Einkäufern profitieren auch Hersteller und Händler von der Plattform, indem sie ihre Chemikalien auf chembid zentral anbieten und so erfolgreich neue Kunden für sich gewinnen können.
Mehr als 6 Millionen chemische Angebote von über 80.000 Lieferanten sind über die chembid Suchmaschine zugänglich. Um das passende Angebote oder den passenden Anbieter zu finden, können Anwender mittels intelligenter und branchenspezifischer Filter- und Suchfunktionen nach ihren Bedürfnissen selektieren.
📍 Headquarter: Oldenburg
🚀 Founded: 2016
🏢 Industry: Chemieindustrie
Millionen an chemischen Produktdaten sind über die Zusammenführung einer großen Anzahl unterschiedlicher Quellen digital verfügbar. Neben der reinen Anzahl an Datenquellen stellt dabei auch die Bandbreite an benötigten Datenpunkten eine extreme Herausforderung dar.
Als Suchmaschine und damit zentrale Anlaufstelle für den Erhalt und die händlerübergreifende Vergleichbarkeit von Produktinformationen ist chembid darauf spezialisiert, diese Masse an unstrukturierten Daten zu strukturieren und zu standardisieren. Die unterschiedlichsten Formate und Darstellungen gilt es so zu vereinheitlichen, dass über die Suchfunktionen stets die benötigten Chemikalien gefunden werden können – händlerübergreifend und miteinander vergleichbar.
Das Ziel des Projekts lag darin, chembid dabei zu unterstützen die bis dato teilweise individuelle Erstellung von Datenpipelines weitestgehend zu automatisieren und effiziente QA-Tools für die Weiterverarbeitung der Daten zu implementieren.
Zu Beginn des Projekts sprachen wir gemeinsam mit Stefan (CEO) und Achim (CTO) von chembid über die Anforderungen und Zielsetzungen zur automatisierten Verarbeitung der vorhandenen Datenmengen. Im gemeinsamen Austausch entwickelten wir ein Bild über die zukünftige Toollandschaft und skizzierten Lösungswege, wie der Modern Data Stack für die Strukturierung nicht standardisierter Rohdaten eingesetzt werden kann
“Wir wollten gemeinsam herausfinden, ob der Modern Data Stack seine Stärken auch im Bereich der Produktstammdaten-Verarbeitung ausspielen kann. Dabei war eine sehr angenehme und agile Arbeitsweise der sikwel-Kollegen ein wichtiger Faktor in der Zusammenarbeit”, so Achim Mahnke (CTO).
Um die Vollständigkeit und Vergleichbarkeit der Daten mittels moderner Datenarchitektur zu gewährleisten, startete die operative Umsetzung des Projekts mit dem Aufbau einer modernen Cloud-Infrastruktur, basierend auf folgendem Tech-Stack:
Zu Beginn werden die Informationen aus den verschiedensten Produktdatenblättern mitsamt unterschiedlicher Dateiformate mit Hilfe von Airbyte in das neue Cloud Data Warehouse (snowflake) geladen.
Nach Zentralisierung der Daten im Cloud Data Warehouse, wurden die relevanten Rohdaten entsprechend der skizzierten Modellierungsvorlagen und -logiken vollautomatisch transformiert. Ein hierfür individuell entwickelter Generator wird zukünftig die Transformationsschritte entsprechend der definierten Businesslogik programmatisch erstellen. Dadurch wird es möglich sein, Datenpipelines für neue Quellen deutlich schneller als bisher zu testen und zu deployen. Dabei spielte die Möglichkeit, dbt-Transformationen in CI/CD-Prozesse einzubetten eine entscheidende Rolle.
Zielsetzung war die Automatisierung stark manueller Prozesse zur Vereinheitlichung und Vergleichbarkeit von Daten. Bereits nach wenigen Wochen konnten wir Ergebnisse erzielen, die das Wachstum von chembid fortan erfolgreich unterstützen:
Mit Hilfe von Reverse ETL gelingt es Unternehmen, automatisierte und intelligente Entscheidungen zu treffen. Von unserem Analytics Engineer Jan-Henrik erfährst du, wie Reverse ETL funktioniert, welche Vorteile es bringt und wie auch du von Reverse ETL profitieren kannst.
Mit Hilfe von Reverse ETL gelingt es Unternehmen, automatisierte und intelligente Entscheidungen zu treffen. Von unserem Analytics Engineer Jan-Henrik erfährst du, wie Reverse ETL funktioniert, welche Vorteile es bringt und wie auch du von Reverse ETL profitieren kannst.
Ein Cloud Data Warehouse spielt eine entscheidende Rolle auf deinem Weg zu schnellen, besseren Entscheidungen. Unser Technical Lead Dennis erklärt in unserem Blogeintrag, was dahinter steckt und welche Vorteile du mit dem Wechsel in die Cloud nutzen kannst.
