We nemen deel aan de Autonomous Greenhouse Challenge: tomaten telen zonder de kas in te gaan. We beheren de kas via onze laptops en nemen beslissingen op basis van de realtime gegevens zoals het binnenklimaat, externe omstandigheden en weersvoorspellingen. Om dit te kunnen doen, hebben we onder andere machine learning-applicaties ontwikkeld. Deze toepassingen bepalen de teeltstrategie en vervolgens de handelingen die we moeten uitvoeren om het gewenste klimaat te bereiken.

Uitdagingen voor machine learning

Er zijn echter veel uitdagingen bij het ontwikkelen en operationaliseren van grootschalige toepassingen voor machine learning. Het inherente aan machine learning is dat gegevens voortdurend evolueren en modellen stochastisch zijn. Dit houdt in dat je van tevoren geen zekerheid hebt over wat er zal gebeuren.

Om veranderingen binnen code te beheren, maken we in software engineering gebruik van versies (denk bijvoorbeeld aan de genummerde software-updates van je smartphone). Bij machine learning zijn er geen gestandaardiseerde oplossingen om wijzigingen in code, gegevens en modelkenmerken te beheren. Dit komt grotendeels door de (on)volwassenheid van het werkveld. Er zijn veel initiatieven die dit probleem proberen op te lossen, zoals MLflow en Data Version Control (DVC). Deze hebben op hun beurt ook weer beperkingen die we niet in deze blog zullen bespreken.

AWS Project & Solutions

De afgelopen weken hielpen twee machine learning-ingenieurs van Amazon Web Services (of AWS) ons bij het oplossen van een aantal van die problemen. AWS is een cloud provider en we gebruiken hun platform om servers, databases en machine learning-modellen op te draaien. Omdat 30MHz al een aantal jaren nauw met AWS samenwerkt en zij erg enthousiast zijn over wat we doen, kregen we de kans om meer dan twee weken op ons eigen kantoor in Amsterdam samen te werken met twee van hun ingenieurs. Een ongelooflijk leerzame periode.

De doelstellingen van het project waren tweeledig:

1. Isoleer het machine-learningproces voor elke teler / klant van 30MHz. We hebben een schaalbaar proces ontwikkeld waarmee we automatisch machine learning-modellen kunnen trainen op basis van gegevens van wel duizenden telers. Dit hele modeltrainingsproces is geïsoleerd voor elke teler. Met deze oplossing slaan we twee vliegen in één klap. Ten eerste houden we vast aan de wensen van onze klanten om hun gegevens uitsluitend voor hun eigen behoeften te gebruiken. Ze zijn immers de eigenaren van de data en beslissen daarom wat ermee gebeurt. Ten tweede ontwikkelen we op die manier teeltpatronen die specifiek zijn voor elke teler.
2. Ontwikkel een raamwerk om machine learning op schaal te ondersteunen. Zoals weergegeven in de onderstaande afbeelding, vormt machine learning-code slechts een fractie van de gehele oplossing. Samen met AWS hebben we veel van deze componenten ontwikkeld en geautomatiseerd. Dit biedt ons een aantal voordelen. Ten eerste verbetert het de kwaliteit en betrouwbaarheid van onze machine learning-applicaties, omdat we alles nauwlettend monitoren. En ten tweede kunnen we toekomstige projecten met dit framework versnellen omdat veel van de componenten in het framework herbruikbaar zijn.

Verbeteringen en automatisering

Met hun kennis en ervaring hebben we een groot deel van onze infrastructuur voor machine learning kunnen verbeteren en automatiseren. Het resultaat is een schaalbaar en robuust raamwerk voor machine learning-toepassingen op het 30MHz platform. Heb je spannende ideeën of vereisten hebt die betrekking hebben op machine learning, neem dan gerust contact met ons op.