Исследователи из Дартмутского колледжа (Dartmouth College) и Microsoft Research разработали «умную» ткань, способную распознавать «на ощупь» неметаллические предметы, от авокадо и до банковских карт.
Исследование и видео, демонстрирующее работу ткани под названием Capacitivo, были представлены на Симпозиуме по программному обеспечению и технологиям пользовательского интерфейса (UIST 2020) Accоциации вычислительной техники.
Син Дон Ян (Xing-Dong Yang), профессор кафедры информатики Дартмутского колледжа и один из авторов исследования, считает, что это изобретение способно радикально изменить повседневное взаимодействие людей с компьютерами, превратив обыденные бытовые предметы из ткани, например, скатерть, в интеллектуальные интерфейсы.
Уже существующие технологии распознавания через ткань, как правило, полагаются на такие входные данные, как прикосновения и жесты пользователя. Новая интерактивная система использует технику «неявного ввода», при которой ткань не требует действий от распознаваемого объекта.
Тканевая система распознаёт объекты, анализируя изменения распределения заряда на сетке электродов, вызванные коснувшимся её предметом. Эти изменения могут быть связаны с типом материала, размером предмета и формой области контакта. Считанная с электродов информация сравнивается с той, что получена системой в процессе машинного обучения.
Ткань уникальна своей способностью распознавать неметаллические предметы, такие как пищевые продукты, жидкости, кухонная посуда, пластик и бумажные изделия.
«Умение распознавать неметаллические объекты — это прорыв в области «умных» тканей, потому что позволяет пользователям взаимодействовать с самыми разнообразными повседневными предметами совершенно по-новому», — рассуждает Те-Йен Ву (Te-Yen Wu), аспирант Дартмутского университета и ведущий автор исследования.
Опытный прототип представляет собой решётку из электродов ромбовидной формы, изготовленных из токопроводящей ткани, прикреплённой к хлопковому отрезу. Размеры электродов и расстояние между ними спроектированы таким образом, чтобы максимизировать зону обнаружения и чувствительность.
Использовать «умную» ткань можно разнообразно. Например, она может определять, нуждается ли стоящее на ней комнатное растение в горшке в поливе, и инициировать соответствующее действие связанной с ней системы: собственно полив или оповещение о его необходимости.
Исследователи ожидают, что системы, включающие подобные чувствительные интерфейсы, смогут выполнять различные функции, включая помощь в поиске потерянных объектов, отправку предупреждений или уведомлений, а также предоставление информации другим «умным» системам. Системы с «умной» тканью могут помогать в приготовлении пищи: например, вы кладёте на покрытый такой тканью стол некий набор продуктов, а система их распознаёт и предлагает включающие их рецепты блюд.
В рамках исследования на ткани было протестировано 20 предметов. Они были разного размера, формы, сделаны из различных материалов. Разработчики также использовали стакан воды и миску, чтобы проверить, насколько надёжно система распознаёт наполненность сосудов.
В целом, точность определения системой предметов составила 94,5%. Особенно хорошо распознавались фрукты и овощи. Также система продемонстрировала хорошие результаты в различении разных жидкостей: она умеет опознавать воду, молоко, яблочный сидр и содовую.
