Success Story
chembid
🔗 Automatisierung zeitaufwendiger Prozesse
chembid ist die weltweit größte Suchmaschine für die chemische Industrie.
Seit 2017 können Chemikalieneinkäufer und -experten auf chembid.com alle im Internet verfügbaren Informationen zu Produktangeboten in Sekundenschnelle suchen und entsprechend ihrer Anforderungen miteinander vergleichen. Neben Einkäufern profitieren auch Hersteller und Händler von der Plattform, indem sie ihre Chemikalien auf chembid zentral anbieten und so erfolgreich neue Kunden für sich gewinnen können.
Mehr als 6 Millionen chemische Angebote von über 80.000 Lieferanten sind über die chembid Suchmaschine zugänglich. Um das passende Angebote oder den passenden Anbieter zu finden, können Anwender mittels intelligenter und branchenspezifischer Filter- und Suchfunktionen nach ihren Bedürfnissen selektieren.
📍 Headquarter: Oldenburg
🚀 Founded: 2016
🏢 Industry: Chemieindustrie
💪 Die Herausforderung
Millionen an chemischen Produktdaten sind über die Zusammenführung einer großen Anzahl unterschiedlicher Quellen digital verfügbar. Neben der reinen Anzahl an Datenquellen stellt dabei auch die Bandbreite an benötigten Datenpunkten eine extreme Herausforderung dar.
Als Suchmaschine und damit zentrale Anlaufstelle für den Erhalt und die händlerübergreifende Vergleichbarkeit von Produktinformationen ist chembid darauf spezialisiert, diese Masse an unstrukturierten Daten zu strukturieren und zu standardisieren. Die unterschiedlichsten Formate und Darstellungen gilt es so zu vereinheitlichen, dass über die Suchfunktionen stets die benötigten Chemikalien gefunden werden können – händlerübergreifend und miteinander vergleichbar.
![](https://sikwel.de/wp-content/uploads/2022/07/stefan.png)
Das Ziel des Projekts lag darin, chembid dabei zu unterstützen die bis dato teilweise individuelle Erstellung von Datenpipelines weitestgehend zu automatisieren und effiziente QA-Tools für die Weiterverarbeitung der Daten zu implementieren.
🪚 Die Umsetzung
Zu Beginn des Projekts sprachen wir gemeinsam mit Stefan (CEO) und Achim (CTO) von chembid über die Anforderungen und Zielsetzungen zur automatisierten Verarbeitung der vorhandenen Datenmengen. Im gemeinsamen Austausch entwickelten wir ein Bild über die zukünftige Toollandschaft und skizzierten Lösungswege, wie der Modern Data Stack für die Strukturierung nicht standardisierter Rohdaten eingesetzt werden kann
“Wir wollten gemeinsam herausfinden, ob der Modern Data Stack seine Stärken auch im Bereich der Produktstammdaten-Verarbeitung ausspielen kann. Dabei war eine sehr angenehme und agile Arbeitsweise der sikwel-Kollegen ein wichtiger Faktor in der Zusammenarbeit”, so Achim Mahnke (CTO).
Um die Vollständigkeit und Vergleichbarkeit der Daten mittels moderner Datenarchitektur zu gewährleisten, startete die operative Umsetzung des Projekts mit dem Aufbau einer modernen Cloud-Infrastruktur, basierend auf folgendem Tech-Stack:
⚙️ Der Tech Stack
![](https://sikwel.de/wp-content/uploads/2022/07/Unbenannt.png)
Zu Beginn werden die Informationen aus den verschiedensten Produktdatenblättern mitsamt unterschiedlicher Dateiformate mit Hilfe von Airbyte in das neue Cloud Data Warehouse (snowflake) geladen.
Nach Zentralisierung der Daten im Cloud Data Warehouse, wurden die relevanten Rohdaten entsprechend der skizzierten Modellierungsvorlagen und -logiken vollautomatisch transformiert. Ein hierfür individuell entwickelter Generator wird zukünftig die Transformationsschritte entsprechend der definierten Businesslogik programmatisch erstellen. Dadurch wird es möglich sein, Datenpipelines für neue Quellen deutlich schneller als bisher zu testen und zu deployen. Dabei spielte die Möglichkeit, dbt-Transformationen in CI/CD-Prozesse einzubetten eine entscheidende Rolle.
-
Zeiteinsparung
Die Zeitspanne von dem Moment der Identifizierung und Anbindung neuer Datenquellen bis zur Fertigstellung einer automatisierten Datenpipeline für diese Quellen ist deutlich verkürzt worden.
-
Automatisierung
Von der Extraktion der Daten aus den vorhandenen Quellsystemen bis zur Anwendung in der Suchmaschine sind alle Workflows vollständig automatisiert. Dadurch können Datendienste und Nutzer der chemid-B2B-Suchmaschine auf einen jederzeit aktuellen Katalog chemischer Produktdaten zugreifen.
-
Wartbarkeit
Durch den flexiblen Aufbau der Modellierungsvorlagen lassen sich notwendige Anpassungen an zentraler Stelle vornehmen und automatisiert in alle entwickelten Modelle übertragen. No Cut and Paste!
-
Erweiterbarkeit
Der Generatoransatz erlaubt es, neue Modellvorlagen zu testen und in kürzester Zeit für alle bereits vorhandenen Pipelines auszurollen.
-
Skalierbarkeit
Wachsen die Anforderungen, wächst die Infrastruktur mit. Unabhängig von der Anzahl der Quellsysteme ist chembid dafür gewappnet, auch in Zukunft dank flexibler Dateninfrastruktur dem Wachstum zu folgen.
Company Data Platform
🚀 Das Ergebnis
Zielsetzung war die Automatisierung stark manueller Prozesse zur Vereinheitlichung und Vergleichbarkeit von Daten. Bereits nach wenigen Wochen konnten wir Ergebnisse erzielen, die das Wachstum von chembid fortan erfolgreich unterstützen:
![](https://sikwel.de/wp-content/uploads/2022/07/achim.png)
Starte heute dein Datenprojekt!
Lass‘ uns gemeinsam deine Idee zum Leben erwecken. Unser Team freut sich auf deinen Anruf oder deine Mail. Auch über LinkedIn kannst du uns erreichen.
In einem unverbindlichen und selbstverständlich kostenfreien Austausch klären wir, ob wir auch eine Lösung für deine Herausforderung haben.
Du hast noch Fragen?
Torben ist unser Experte für die Konzeption von nachhaltigen Datenstrategien. Als CEO von siːkwəl und ehemaliger Chief Strategy Officer eines erfolgreichen E-Commerce-Unternehmens beantwortet er gerne deine Fragen, wie man konkrete Use Cases identifiziert und es schafft, dass Datenlösungen echten Business Impact haben. 👋
![](https://sikwel.de/wp-content/uploads/2021/10/Torben_Profile_Footer-819x1024.png)