Data validation implementation pilot

Importance of Data and Current Practice in Water Companies – With the increasing complexity of drinking water infrastructure, including the increasing use of sensor data for advanced process monitoring and control, drinking water production sites become more dependent on data. Therefore, ensuring high quality data has become even more relevant. For example, a water company can be presented with (many) anomalous sensor data, i.e. missing values, outliers, irregular trend breaks in time series, bias due to connection errors or sensor fall-outs, wrong sensor calibrations, sensor wear, fouling or obstruction (leading to drift), etc. Erroneous data can be an issue for operational or tactical tasks, e.g.
– audit reporting in order to comply to legal regulations; – (treatment plant) process control; or – reliable, high impact decision support (systems).
Hence, automated data validation is key for solving the data quality problems sketched above. Generally speaking, data validation encompasses anomaly detection and error correction (also referred to as data reconciliation), see also Chapter 2, Theory for more details regarding its definition and methods. Currently, and in most cases at drinking water companies, however, data validation occurs mostly by expert judgment, i.e. manually. Nevertheless, there is a clear need for data validation because of the amount of data involved, possible subjectivity and risk of introducing human errors. Chapter 5, Lessons Learnt, provides an overview of current practice and lessons learnt.

Met een pilotonderzoek naar de implementatie van datavalidatie zijn stappen gezet om de watersector te helpen in het verbeteren van de doeltreffendheid van de dagelijkse bedrijfsvoering en data-gestuurde besluitvorming. Daarnaast zijn lessen geleerd in het proces van programmatuurontwikkeling, implementatie, het gezamenlijk tot stand brengen van een gedragen doelstelling en het documenteren van de aanpak en bevindingen in een interactieve webrapportage. Validatietechnieken zijn toegepast in het datamanagementsysteem van Waterbedrijf Groningen. Dit betrof een casus met als doel de grondwateronttrekkingen van een productielocatie nauwkeurig in beeld te brengen, zodat hierover aan vergunningsverstrekkende instanties kan worden gerapporteerd. In de Nederlandse en Vlaamse (drink)watersector staat de implementatie van geautomatiseerde gegevensvalidatie nog in de kinderschoenen. Het gebrek aan automatisering van datakwaliteitscontrole beperkt de doeltreffendheid van de dagelijkse bedrijfsvoering en datagestuurde besluitvorming. In diverse gebruikssituaties wil men kunnen vertrouwen op nauwkeurige gegevens. Omdat handmatige gegevensvalidatie tijdrovend is en vanwege het risico op menselijke fouten, hebben waterbedrijven behoefte aan geautomatiseerde procedures. De pilot binnen dit BTO- project is bedoeld voor het realiseren van geautomatiseerde procedures voor gegevensvalidering.