System wizyjnej kontroli jakości oparty na AI
Jak wykrywać wady bez zdjęć wadliwego produktu. Detekcja anomalii autoenkoderem na urządzeniu Edge AI.
Model wykrywający wady zwykle potrzebuje setek zdjęć uszkodzonych sztuk. Na linii produkcyjnej takich zdjęć często nie ma, a czekanie na nie potrafi wydłużyć projekt o miesiące. Pokazujemy podejście, w którym system uczy się na samych poprawnych produktach i mimo to wskazuje wady tych niepoprawnych.
Wyzwanie: model potrzebuje wad, które są czasochłonne do zebrania
Klasyczna kontrola jakości na produkcji opiera się na operatorze, który sprawdza każdy produkt schodzący z taśmy pod kątem zgodności z wymaganiami. Automatyzacja tego zadania to w wizji komputerowej osobna dziedzina – Quality Control. Najczęściej podchodzi się do niej przez klasyfikację: model dostaje zdjęcia produktów dobrych i wadliwych, uczy się je rozróżniać, a potem alarmuje operatora.
Problem zaczyna się przy danych. Do wytrenowania klasyfikatora trzeba dostarczyć porównywalną liczbę zdjęć z obu klas, w praktyce minimum kilkaset wadliwych produktów i tyle samo poprawnych. Poprawne sztuki są na taśmie przez cały czas, więc ich zebranie jest formalnością. Wady to zupełnie inna historia.
Wadą jest bowiem wszystko, co odbiega od wzorca. Pęknięcie, brak elementu, przebarwienie, zgnieciony narożnik, rysa, której nikt wcześniej nie widział. Nie sposób zebrać zbioru zawierającego każdy możliwy typ uszkodzenia, a tym bardziej dostarczyć go w ilości pozwalającej modelowi nauczyć się, co ma diagnozować jako wadę. Zespoły utykają tu na miesiące i często kończą z datasetem, który i tak okazuje się niewystarczający.
Rozwiązanie: zamiast klasyfikacji – detekcja anomalii
Zamieniliśmy pytanie. Model nie odpowiada już „czy ten produkt jest wadliwy”, tylko „na ile ten produkt różni się od tego, co znam jako normalne”. Do tego wystarczy pokazać mu wyłącznie zdjęcia produktów poprawnych, a takich na linii nie brakuje.
Za rozpoznawanie normalności odpowiada autoenkoder. To model złożony z dwóch części. Enkoder uczy się cech obrazu, podobnie jak w klasycznym klasyfikatorze. Dekoder ma odtworzyć zdjęcie na podstawie tych wyuczonych cech, tak żeby na wyjściu powstał obraz możliwie zbliżony do wejściowego.
Im wierniejsza rekonstrukcja, tym pewniejszy jest model, że ma do czynienia ze standardową próbką. Gdy na wejście trafia produkt z wadą, dekoder na siłę próbuje odtworzyć obraz, ale widzi cechę, której nigdy się nie uczył. Rekonstrukcja się rozjeżdża i różnica między wejściem a wyjściem rośnie.
Mapa anomalii, czyli model pokazuje, gdzie jest problem
Tę różnicę liczymy dla każdego najmniejszego fragmentu zdjęcia, co daje mapę anomalii. Im wyższa wartość w danym punkcie, tym mocniejsza anomalia, a na wizualizacji tym cieplejsza barwa.
Cała mapa zimna
Odcięty narożnik
Uszkodzona tabletka
Obce tabletki
Ta sama skala na wszystkich czterech próbkach. Chłodne barwy oznaczają zgodność z wyuczonym wzorcem, ciepłe wskazują miejsce, w którym model zobaczył coś nieoczekiwanego.
Wada, której nie było na liście
Podczas testów model zaznaczył ciepłym pasem środek listka opisanego jako poprawny. Nie chodziło o tabletki, tylko o uszkodzony zgrzew blistra, czyli defekt, którego nikt wcześniej nie wpisał na listę szukanych wad. Klasyfikator wytrenowany na katalogu znanych uszkodzeń przepuściłby tę sztukę, bo nie miałby dla niej klasy.
Uszkodzony zgrzew blistra
Jak to działa w praktyce: Jetson Nano, kamera i próg alarmu
Autoenkoder wytrenowany wyłącznie na zdjęciach nieuszkodzonych listków tabletek wdrożyliśmy na naszym urządzeniu Edge AI. Do szybkiego prototypowania wybraliśmy Jetson Nano, czyli komputer jednopłytkowy z Linuksem, i podłączyliśmy do niego zwykłą kamerę internetową RGB.
Symulację automatycznej weryfikacji typu Quality Control zamknęliśmy w prostej aplikacji webowej. Operator ustawia w niej wartość progową, powyżej której system uznaje produkt za niezgodny i alarmuje o niezaliczeniu weryfikacji wizyjnej. Dashboard pokazuje na żywo obraz z taśmy, werdykt PASS lub FAIL oraz mapę anomalii ostatniego produktu.
Próg 0,50 przekroczony
Produkt zgodny z wzorcem
Aplikacja operatora. Suwak u góry ustawia próg alarmowy, obraz z kamery pokazuje wykryty produkt, a na dole widać mapę anomalii ostatniej sztuki.
Całość działa w czasie rzeczywistym. Nawet na najszybszych liniach produkcyjnych model zdąży wielokrotnie przeanalizować poprawność każdego produktu przesuwającego się przed kamerą.
Korzyści z detekcji anomalii na linii produkcyjnej
Cztery przewagi, dla których warto rozważyć to podejście zamiast klasyfikacji:
- Start bez zbierania wad. Wystarczą zdjęcia normalnych próbek, więc projekt nie czeka miesiącami na dataset uszkodzeń, który i tak bywa niekompletny.
- Od razu wiadomo gdzie. Klasyfikator odpowiada tylko „ok” albo „nie ok”. Tutaj dostajemy wizyjne wskazanie miejsca wady, co skraca reakcję operatora i pomaga szukać przyczyny po stronie procesu.
- Wady spoza listy. Model reaguje na wszystko, co odbiega od wzorca, więc wyłapuje też defekty, których nikt nie przewidział przy definiowaniu kontroli.
- Uniwersalność. Przykład dotyczy listków tabletek, ale metoda nie jest przywiązana do produktu. Wszędzie tam, gdzie istnieje powtarzalny wzorzec wyglądu, autoenkoder potrafi się go nauczyć.
Zastosowania w innych branżach
Farmaceutyka to naturalny przykład ze względu na rygor jakościowy, ale ten sam mechanizm sprawdza się przy kontroli opakowań i etykiet, wyprasek i odlewów, elementów elektronicznych, spoin i połączeń oraz w kontroli kompletności zestawów. Za każdym razem punktem wyjścia jest to samo pytanie: czy da się zebrać kilkaset zdjęć produktu wyglądającego prawidłowo. Jeśli tak, projekt można zaczynać od razu.
Chcesz zrealizować podobny projekt?
Masz nietypowy pomysł lub wyzwanie, którego nie da się rozwiązać gotowym produktem? Zgłoś się do nas. Lubimy projekty, które nie mieszczą się w schematach.
Chcesz zrealizować podobny projekt?
Masz nietypowy pomysł lub wyzwanie, którego nie da się rozwiązać gotowym produktem? Zgłoś się do nas. Lubimy projekty, które nie mieszczą się w schematach.
Case study
Aqua Insights by Aqua Alarm AS – system wykrywania zanieczyszczeń wody pitnej
Sieć czujników IoT i sztuczna inteligencja, które wykrywają zanieczyszczenia wody pitnej w czasie rzeczywistym – zaprojektowane dla norweskiej spółki Aqua Alarm. System działa już u jednego z największych operatorów wodociągowych w Europie.
Case study
Inteligentne chłodzenie hal z Edge AI i termowizją
Kamery termowizyjne i Edge AI, które w czasie rzeczywistym wykrywają zwierzęta w strefach hali i dynamicznie sterują chłodzeniem. Zaprojektowane dla farmy hodowlanej. Rozwiązanie ograniczyło zużycie energii i poprawiło dobrostan zwierząt.
Case study
Interaktywna papuga AI
Mówiąca papuga na Raspberry Pi, która dzięki Edge AI rozpoznaje słowo aktywujące i prowadzi rozmowę w czasie rzeczywistym z użyciem API ElevenLabs. W obudowie z druku 3D, odpornej na warunki atmosferyczne.