Разнообразие блюд не является проблемой
Разработка такой технологии оказалась сложной задачей. Одной из главных проблем стала огромная визуальная вариативность продуктов: одно и то же блюдо может выглядеть совершенно по-разному в зависимости от способа приготовления. Например, бургер из одного ресторана может мало напоминать бургер из другого заведения, а домашние версии вообще могут отличаться по внешнему виду и составу. Еще одной трудностью оказалось определение размеров порции, ведь без точного понимания объема блюда невозможно правильно рассчитать калорийность.
Чтобы решить эти проблемы, исследователи использовали мощный алгоритм YOLOv8, способный быстро и точно анализировать изображения. Вместо отдельного мобильного приложения система работает прямо в браузере, что делает ее доступной для любого смартфона. Алгоритм не просто определяет тип еды, но и оценивает, сколько места она занимает на тарелке, после чего сопоставляет данные с базами по плотности и питательным веществам. Это позволяет преобразовать 2D-фото в точный расчет калорийности. Например, кусок пиццы система оценила в 317 ккал, 10 г белка, 40 г углеводов и 13 г жиров, что соответствует эталонным значениям. При анализе более сложных блюд, таких как идли самбар — традиционное южноиндийское блюдо из рисовых лепешек с чечевичным соусом, — алгоритм вычислил 221 ккал, 7 г белка, 46 г углеводов и всего 1 г жиров.
Разработчики уделили особое внимание разнообразию кухонь мира, чтобы их технология могла одинаково точно работать как с хот-догами, так и с ближневосточной выпечкой, например, пахлавой. Чтобы достичь высокой точности, команда сократила начальный набор данных до 95 000 изображений, охватывающих 214 категорий блюд. Система показала отличные результаты: ее точность при идентификации еды достигла 80% даже в сложных условиях, когда продукты накладываются друг на друга или частично скрыты.
Сейчас система доступна на Heroku как веб-приложение Flask, которым можно пользоваться прямо с телефона. Разработчики называют ее «прототипом», но уверены, что технология скоро найдет применение в диетологии, медицине и повседневной жизни миллионов людей.
Иллюстрация: Детали