While the human eye and an ordinary camera see just three colors, a hyperspectral camera sees hundreds. Hyperspectral imaging is an emerging field that offers numerous opportunities. What do these cameras ‘see’? What can be done with them? What are their applications?
The human eye only sees three colors of light: red, green, and blue. The same goes for an ordinary color camera. However, there is much more to observe than humans can distinguish, and a hyperspectral camera can help capture these things. It detects hundreds of colors, within and beyond the color spectrum that is visible to the human eye. This reveals differences that are invisible to the naked eye.
The Finnish company Specim is the world’s leading spectral camera supplier. “We are pioneers in this field,” says CEO Tapio Kallonen. “We started this industry in 1995 and have become the largest player in the field, which will become even bigger in the future, because interest is growing enormously. In the early days, this technology was used by government agencies such as NASA and other institutions. In the last ten years, and certainly in recent years, its industrialization has greatly increased. The technology is now widely used in industrial applications .”
“We can, for example, measure the protein, sugar, and water levels in food. And we can see where exactly in the food these are located.”
A hyperspectral camera looks at the surface of a material using many different wavelengths of the electromagnetic spectrum. “For example, in addition to visible light, we use infrared – both shortwave and longwave. The wavelength we use depends on the light reflection properties of the surface. This reveals three things: the object, its composition, and the material. “We can, for example, measure the protein, sugar, and water levels in food. And we can see where exactly in the food these are located.”
Two major industries use hyperspectral imaging on a large scale. “The first is the recycling industry for sorting different materials,” says Kallonen. “Take plastic, for example. Machines equipped with our cameras detect material that is then sorted. For a hyperspectral camera, black plastic isn’t just black. It uses thermal radiation to distinguish between different types of black plastic.”
Food waste
The second major industry is the food sector. “Food waste can be reduced. For example, our technology makes it possible to inspect avocados as soon as they are harvested. Are they fresh and hardy enough for global transportation, so that they will not be rotten when they reach their destination? Detecting foreign objects on conveyor belts so that they are not packed with the food is also important. Our technology is the only one capable of doing this.”
There is also an interesting application for mining. “Hyperspectral imaging makes it possible to see gold light up in a gold mine. You can go to the mine and create ‘a mineral map’ to see exactly where to dig the gold out.”
Companies in the Netherlands also work with hyperspectral cameras. The company cosine is one of the pioneers in this field. “We do this a lot from space,” says Marco Beijersbergen, a professor of Physics and Managing Director of cosine. “Our HyperScout-1 and HyperScout-2 instruments for nanosatellites are used to monitor air quality, for example, by measuring things such as smog and smoke from chimneys. They are also able to monitor water pollution and algae growth. We even use artificial intelligence on board the satellite. This makes local observations on a smaller scale, for example with a drone, possible.”
Hyperspectral imaging is useful in ports. “For example, we can detect low concentrations of oil and other pollutants on the surface of the water, when they are spilled by ships or in other cases of discharge,” says Wouter van Teylingen, New Business Development Manager at cosine. “The same applies to emissions from ships. You can remotely monitor what is being emitted, and how much. Prior to entering a port, many ships comply with emission requirements. When they leave, however, they switch back to fuel oil, and oxides of nitrogen and sulfur are emitted again.”
Hygiene
During these times of Coronavirus, hyperspectral imaging can also help in the hygiene sector. “We are investigating what we can do in the field of contactless hygiene monitoring ,” says van Teylingen. “Several matters can be clarified with ultraviolet light, and it can be done even better by employing the correct filters. Spectral cameras make it possible to specify a contaminant to an even greater extent, which is especially important now due to the growing focus on hygiene because of the Coronavirus.”
Nevertheless, the presence of viruses on something cannot easily be determined with these techniques. “What you can see is whether a surface that should be very clean has any residue,” says Beijersbergen. “These techniques make it possible to detect microorganisms, fungi, yeasts and bacteria on a surface. Although they don’t provide information on whether the microorganisms are pathogenic, you do know that the surface has not been sterilized. We think there is still a lot to be gained in that area. With a hyperspectral camera and a little UV light you can also see, for example, how far droplets spray out of your mouth when you talk to someone.”
“One future possibility is a smart mirror that you look into in the morning and could tell you how you are doing.”
The possibilities for use in healthcare are endless. “We can recognize the first signs of diabetes by looking at the skin, and can enable better treatment of burns. This is possible because we can distinguish between blood flow, water percentage and other parameters on the skin. One future possibility is a smart mirror that you look into in the morning and could tell you how you are doing. The hyperspectral camera analyses the color of your eyes and your face, which gives a lot of information about blood circulation and oxygen levels.”
Hyperspectral technology is also being embraced by the agricultural sector. “We are working with BearTree Automation on an extra accurate sensor for the detection of weeds,” says Van Teylingen. “This type of ‘precision farming’ allows the agricultural sector to control weeds more selectively and efficiently. They can implement weed control more specifically, so that they need to use less pesticides, fertilizer and water.”
Deep learning
Dehydration of crops can also be determined. “This makes it possible to see where in your field dehydration or underfertilization is occurring, so that you can water and fertilize in a very targeted manner,” continues Beijersbergen. “We can do that in greenhouses too, where products can pass under the camera. This makes it possible to determine how much the plants have grown and how many flowers they have. This works better with hyperspectral imaging because you get more information and can therefore distinguish things more accurately.”
Wageningen University & Research (WUR) also applies imaging spectroscopy within Agro Food Robotics. They carry out projects in the laboratory, greenhouses and open fields. The use of advanced machine learning algorithms, such as deep neural networks on 2D or 3D spectral images, makes spectral imaging a particularly suitable technique for many applications in agriculture.
“We do the close-range work, in the lab or up close in the field with a machine that moves across the land, but also at greater distances with drones,” says Gerrit Polder, a Machine Vision and Phenotyping Researcher at WUR. “We are now involved in a project under the EU innovation program Horizon 2020. This project, OPTIMA, specifically addresses integrated disease control in plants. We use spectral techniques to study three disease-crop combinations – mildew in grapes, scab in apples and the fungus Alternaria in carrots.”
Machine learning plays an important role in this project. “In the past we applied this in the traditional way, but in the Horizon 2020 project we are going a step further with newer techniques such as deep learning. We are achieving good results with this.” Working with a number of European partners, WUR is developing a decision support system, which is implemented on sprayers from manufacturers in Italy and Spain. “These companies are very interested in our disease detection methods. Although the program is still under development, they have already indicated that they want to continue using it.”
Article copyright: Technisch Weekblad | Boris van Zonneveld | Thursday 28 May 2020
Image copyright: WUR
De hyperspectrale toekomst
Waar het menselijk oog en een gewone camera maar drie kleuren zien, ziet de hyperspectrale camera er honderden. Het is een opkomend veld dat talloze mogelijkheden biedt. Wat zien deze camera’s, wat kun je ermee en hoe wordt het toegepast?
Het menselijk oog ziet maar drie kleuren: rood, groen en blauw. Hetzelfde geldt voor een gewone kleurencamera. Er valt echter veel meer waar te nemen dan wij kunnen onderscheiden en dat wordt vastgelegd door een hyperspectrale camera. Die neemt honderden kleuren waar, binnen en buiten het voor de mens zichtbare kleurenspectrum. Hierdoor komen verschillen aan het licht die met het blote oog niet te zien zijn.
Het Finse Specim is wereldwijd de leidende spectrale camera leverancier. ‘Wij zijn pioniers in dit veld,’ vertelt CEO Tapio Kallonen. ‘We zijn al in 1995 begonnen met deze bedrijfstak en zijn wereldwijd de grootste speler in het veld geworden. Dit wordt nog veel groter in de toekomst, want de interesse groeit enorm. In het begin werd deze technologie gebruikt door overheidsinstanties zoals NASA en andere instituten. De laatste tien jaar, en zeker de laatste jaren, neemt de industrialisatie ervan enorm toe. Nu wordt het breed ingezet in het bedrijfsleven.’
‘Van voedsel kunnen wij bijvoorbeeld het proteïne-, suiker- en waterniveau meten. We zien ook waar het zit in het voedsel’
Een hyperspectrale camera gebruikt heel veel verschillende golflengtes van het elektromagnetisch spectrum om het oppervlak van een materiaal te bekijken. ‘Naast het zichtbare licht gebruiken we bijvoorbeeld infrarood, korte golf en lange golf. Het hangt af van de lichtreflectie van het oppervlak welke golflengte we gebruiken. We kunnen drie dingen zien: het object, de samenstelling ervan en het materiaal. Van voedsel kunnen wij bijvoorbeeld het proteïne-, suiker- en waterniveau meten. We zien ook waar het zit in het voedsel.’
Twee grote industrieën gebruiken hyperspectrale beeldvorming op grote schaal. ‘De eerste is recycling, voor het sorteren van verschillende materialen,’ zegt Kallonen. ‘Neem bijvoorbeeld plastic. Met onze camera’s uitgeruste machines detecteren materiaal dat vervolgens wordt gesorteerd. Voor een hyperspectrale camera is zwart plastic niet gewoon zwart. We gebruiken thermische straling om verschillende soorten zwart plastic van elkaar te kunnen onderscheiden.’
Voedselverspilling
De tweede grote bedrijfstak is de voedingsindustrie. ‘Zo kunnen ze voedselverspilling verminderen. Met onze technologie kun je bijvoorbeeld al avocado’s inspecteren op het moment dat ze geoogst zijn. Zijn ze vers en tolerant genoeg voor het wereldwijde transport, zodat ze niet rot zijn als ze op hun bestemming komen? Een ander belangrijk punt is het detecteren van vreemde voorwerpen op de lopende band, zodat die niet meeverpakt worden met het voedsel. Onze technologie is de enige dat dit kan differentiëren.’
Er is ook een tot de verbeelding sprekende toepassing voor de mijnbouw. ‘Hyperspectrale beeldvorming stelt ons in staat om goud te zien oplichten in een goudmijn. Je kunt naar de mijn gaan en aan ‘mineral mapping’ doen, dan zie je precies waar je het goud eruit moet hakken.’
Ook in Nederland werken bedrijven met hyperspectrale camera’s. Een van de pioniers op dat gebied is cosine. ‘Wij doen dit heel veel vanuit de ruimte,’ vertelt Marco Beijersbergen, hoogleraar natuurkunde en directeur van cosine. ‘Met onze instrumenten HyperScout-1 en HyperScout-2 voor nanosatellieten doen we onder meer aan monitoring van luchtkwaliteit, zoals smog en rook uit schoorstenen. Ook nemen we waterverontreiniging en algengroei waar. Daarbij zetten we zelfs kunstmatige intelligentie in aan boord van de satelliet. Op die manier kun je ook lokaal observaties doen op kleinere schaal, bijvoorbeeld met een drone.’
In havens komt hyperspectrale beeldvorming van pas. ‘We kunnen lage concentraties olie en andere verontreinigingen detecteren op het wateroppervlak, bijvoorbeeld als dat gelekt wordt door schepen of bij andere lozingen,’ zegt Wouter van Teylingen, business developer bij cosine. ‘Hetzelfde geldt voor emissies van schepen. Van een afstand kun je monitoren hoeveel en wat er wordt uitgestoten. Veel schepen moeten aan bepaalde emissienormen voldoen willen ze een haven binnenkomen, maar als ze de haven uitgaan, gaat de stookolie er weer in en worden stikstof- en zwaveloxides weer uitgestoten.’
Hygiëne
In deze corona tijden kan hyperspectrale beeldvorming ook op dat vlak helpen. ‘We onderzoeken wat we kunnen op het gebied van contactloze hygiëne bepaling,’ zegt Van Teylingen. ‘Met ultraviolet licht kan al het een en ander verduidelijkt worden, en met de nodige filters kan dat nog beter. Met spectrale camera’s kun je nog verder specificeren, zeker nu alles vanwege corona gekoppeld is aan hygiëne.’
Toch valt met deze technieken niet zomaar aan te tonen of ergens virussen op zitten. ‘Maar wat je wel aan een oppervlak ziet dat eigenlijk heel schoon moet zijn, is of daar toch een residu op achtergebleven is,’ zegt Beijersbergen. ‘Je kunt daarmee aantonen of ergens micro-organismen, schimmels, gisten of bacteriën op zitten. Dan weet je nog niet of ze ziekteverwekkend zijn, maar wel dat het oppervlak niet gesteriliseerd is. Wij denken dat er op dat vlak nog heel veel te winnen valt. Met een hyperspectrale camera en een beetje UV-licht kun je bijvoorbeeld ook zien hoe ver druppeltjes uit je mond komen als je met iemand praat.’
‘Wat in de toekomst mogelijk is, is een slimme spiegel waar je ‘s ochtends voor staat en die zegt hoe je eraan toe bent’
In de gezondheidszorg zijn de mogelijkheden legio. ‘Op de huid kunnen we de eerste tekenen van diabetes herkennen en een betere behandeling van brandwonden mogelijk maken. Dit omdat we de bloedcirculatie, de hoeveelheid water en andere parameters op de huid onderscheiden. Wat in de toekomst mogelijk is, is een slimme spiegel waar je ‘s ochtends voor staat en die zegt hoe je eraan toe bent. De hyperspectrale camera meet de kleur van je ogen en je gelaat, waar veel uit te halen valt over de doorbloedings- en zuurstofgraad.’
De hyperspectrale techniek wordt ook omarmd door de landbouwsector. ‘Voor het bedrijf Rometron werken wij samen met BearTree Automation aan een extra nauwkeurige sensor voor het detecteren van onkruid,’ vertelt Van Teylingen. ‘Met zulke ‘precision farming’ kan de agrisector nog selectiever en efficiënter onkruid bestrijden. Ze kunnen specifieker wieden, waardoor ze minder bestrijdingsmiddelen, mest en water nodig hebben.’
Deep learning
Verdroging van gewassen is ook vast te stellen. ‘Zo kun je zien op welke gebieden van je perceel er verdroging of onderbemesting plaatsvindt, zodat je heel gericht kunt besproeien en bemesten,’ vervolgt Beijersbergen. ‘In de kas kunnen we dat ook, waar je producten onder de camera door kunt laten komen. Zo kun je vaststellen hoeveel de planten gegroeid zijn en hoeveel bloemen eraan zitten. Dat gaat met hyperspectraal beter omdat je meer informatie krijgt en dus beter onderscheid kunt maken.’
Wageningen University & Research past binnen Agro Food Robotics ook beeldvormende spectroscopie toe. Zij doen projecten in het laboratorium, de kas en het open veld. Het gebruik van geavanceerde machine learning-algoritmen, zoals diepe neurale netwerken op 2D- of 3D-spectrale beelden, maakt spectrale beeldvorming een bijzonder geschikte techniek voor veel toepassingen in de landbouw.
‘Wij doen het close range, in het lab of in het veld van dichtbij, met een machine die over het land gaat, maar ook op grotere afstanden met drones,’ vertelt Gerrit Polder, onderzoeker Machine Vision and Phenotyping bij WUR. ‘We zijn nu betrokken bij een project onder het EU-innovatieprogramma Horizon 2020. Dit project, OPTIMA, gaat specifiek over het geïntegreerd bestrijden van ziektes in planten. Wij bestuderen met spectrale technieken drie ziekte-gewascombinaties: meeldauw in druiven, schurft in appel en de schimmel Alternaria in wortelen.’
Machine learning speelt in dit project een belangrijke rol. ‘In het verleden pasten we dat op de klassieke manier toe, maar in het Horizon 2020-project gaan we een stap verder met nieuwere technieken zoals deep learning. Daar behalen we goede resultaten mee.’ Met een aantal Europese partners ontwikkelt WUR een beslissingsondersteunend systeem dat geïmplementeerd wordt op spuitmachines van fabrikanten in Italië en Spanje. ‘Deze bedrijven zijn heel erg geïnteresseerd in onze ziektedetectiemethodes. Hoewel het programma nog in ontwikkeling is, hebben ze nu al aangegeven dat ze ermee verder willen.’
Copyright artikel Technisch Weekblad | Boris van Zonneveld | donderdag 28 mei 2020
Copyright foto WUR
