Идентификация отходов в фандомате осуществляется путем применения сверточной нейронной сети, основанной на изображениях отходов, собранных и размеченных пользователями TrashBack. Фандомат принимает три типа вторсырья. По сравнению с обычными устройствами, идентифицирующими отходы по штрих-коду, фандомат имеет ряд преимуществ.
10 марта 2020 в приложенииTrashBack появилась возможность определение вида отходов с помощью компьютерного зрения. Система осуществляет разметку мусора для дальнейшего обучения алгоритмов компьютерного зрения, повышающего эффективность сортировки отходов. Система выбирает до 100% полезных фракций из мешков с отходами и направляет их на повторную переработку.
Участники программы отмечали тип мусора на фотографии из интернета или фотографировали свой мусор. За каждое правильно размеченное изображение из интернета пользователи получали полтора бонусных балла, а за свое фото – четыре
В 2020 году удалось собрать огромную базу изображений отходов. Из них: 175 тысяч разметок, загрузили 52 тысячи фото упаковки. Полученные данные научили нейронную сеть распознавать 7 типов упаковки на фото или видео.
Сейчас искусственный интеллект используют не только в обучающем приложении, но и в фандоматах в магазинах ВкусВилл в Реутове. Устройство обладает рядом преимуществ по сравнению с фандоматами, распознающих штрих-коды - работает в три раза быстрее (прием тары займет 1,5 – 1,8 секунды вместо прежних 7 секунд).
На начальном этапе фандомат уже распознает три типа емкости: ПЭТ-бутылки, алюминиевые банки и бутылки из тёмного стекла.
Также устройство принимает смятую тару и емкости без или с повреждённым штрих-кодом. При использовании фандомата клиенту больше не требуется сканировать штрих-код или вращать тару внутри приемного отверстия.
Каждая сданная в этих фандоматах упаковка дает пользователю бонусы, которые он может потратить в магазинах ВкусВилл.
В первые дни работы фандомат собрал свыше 900 упаковок на переработку.
