Implementation of Data Mining at Water Utilities

Techniques for extracting knowledge from (combinations of) databases, often presented under the flags of ‘machine learning’ and ‘data mining’, have shown significant progress over recent years. Many such techniques are already being used every day in all kinds of contexts (often without our being aware of it). Also, more and more data is being collected, both in general and specifically by the water companies. This is expected to only increase in the future (through, for example, developments in sensors and robotics). Initial attempts have been made at applying these techniques in the water sector with the objective of ‘obtaining more insight from the available data’. However, these attempts have not yet produced ‘revolutionary’ results. That is not to say that results to date have not been interesting. These results make clear that there are significant opportunities for the application of data mining techniques in many areas in the drinking water chain, from source to tap.
In the context of the BTO exploratory research project VO datamining, we aim to provide an overview of opportunities for the water companies, to offer a perspective on the successful implementation of these techniques and to support the water companies in their choices in this respect. More concretely, this entails 1) scouting approaches in the water sector and other sectors, 2) identifying a number of approaches with the most potential for fruitful application in the water sector, and 3) create three applications/demonstrations within the water sector.

Dataminingtechnieken staan onder toenemende belangstelling van waterbedrijven als een manier om informatie uit data verkrijgen en besluitvorming te ondersteunen. Uit een eerder onderzoek bleek dat de grootste uitdagingen bij de implementatie van datamining van organisatorische aard zijn. Daarom zijn in dit onderzoek drie pilot projecten uitgevoerd, waarbij in elk van de pilots de volledige dataminingketen bij een waterbedrijf is geïmplementeerd. Hiermee is al doende inzicht verkregen in de succes- en faalfactoren van dataminingprojecten bij waterbedrijven. Uit deze pilots bleek dat datakwaliteit en – beschikbaarheid de meest cruciale factor is voor succesvolle implementatie. Multidisciplinaire samenwerking is eveneens onontbeerlijk, omdat dat leidt tot een beter begrip en interpretatie van de resultaten. De belangrijkste aanbevelingen voor de waterbedrijven zijn het verbeteren van data management en ICT-ondersteuning en het ontwikkelen van een bedrijfsbrede visie op data.