疫情下的元宵节怎么过？借助 AI 给家人做顿团圆饭！
|
元宵节，春节后的小团聚，也是一年中第一个月圆之夜，在这儿祝各人贪吃不胖，好梦不空。 在往年的元宵节，我们会走出家门赏花灯、舞龙灯、猜灯谜，用火树银花的典礼欢迎我们对将来的祈望。2020年的元宵节，由于疫情，我们庆贺的方法或者要微弱一些，但做一桌美食和怙恃分享照旧极好的。
厨艺精深的小搭档完全有手段发挥才能，做出如上图般的鲜味好菜。但做菜只知道放盐的“厨师”也不要着急，上微博搜刮一下卖对较量棒的菜品，用AI软件辨认一下，完万能估摸出个或许的配方。在这个差异通俗的“假期”借助AI的力气，考验一下你的厨艺吧！ 下面为各人先容两款菜谱辨认软件，别离是：MIT的Pic2Recipe 的AI体系、Facebook的菜谱辨认AI体系。在最后会先容相干技能道理，在家尚未返工返学的读者也可以试着编程实现。 MIT先行，Facebook垫后
MIT的这一款名为Pic2Recipe辨认软件，开拓于2017年，是卡塔尔计较研究所（QCRI，MIT最大的尝试室）和加泰罗尼亚理工大学的连系研究的产物，基于一个名为Food-101的数据集，并在2014年瑞士科学家事变的基本长举办了改造。其它，他们还回收的了他们本身网络的Recipe1M的数据库，其内容包括高出一百万张的食品图片、以及它们对应的菜谱。 具操纵步调是：用户提交的照片被保藏到在线食谱中，并实习呆板通过说明配料清单、烹调声名和食物图像，来自动相识食品的建造要领。个中食谱从二十多个风行的烹调网站上汇集而来，并通过一条流水线举办处理赏罚，从原始HTML中提取相干文本，下载图像的链接，并将数据组合成一个紧凑的JSON模式，个中每个被标志的数据具有独一性。
Pic2Recipe动画展示，来历：https://www.sohu.com/a/159754992_99905315 经AI科技评述测试，今朝这个软件的网页版已经下线，不外在昔时，此项研究成就入选CVPR 2017，而且相干论文和代码已经开源。
相对付MIT的人工智能体系，Facebook在2019年推出开源AI则较量“先辈”。对比之前的检索步伐，Facebook换了一种新思绪，将图像到配方题目公式化为前提天生题目。即：行使预先实习图像编码器和身解析码器，以图像及其响应的身排列表为前提天生指令序列，以此出产也许的菜谱。此体系是由安德里安·罗梅罗(Adrianna Romero)和其他几名在FAIR蒙特利尔尝试室的研究职员一路开拓的。并在大局限菜谱数据集长举办了评估，进步了与早年的因素猜测要领基线对比的机能。总的来说可以或许通过输入食品图像来提供筹备一顿饭的途径。
其它，该研究成就颁发于 CVPR 2019 大会上，并把代码开源在了 GitHub 上。 数据集先容对付呆板进修模子实习，主要思量的是数据集，拥有好的数据集，实习出来的模子每每有着好的示意。在上面提到的两个AI模子中，Pic2Recipe体系回收的是Recipe1M的数据集 + Food-101数据集。而Facebook的AI模子则是在Recipe1M的数据集长举办评估。
个中，Food-101 数据集是包括 101 种食物类此外图像数据集，首要用于图像分类，它共有 101,000 张图像，均匀每个种别拥有 250 张测试图像和 750 张实习图像。实习图像未颠末数据洗濯。全部图像都已经从头举办了尺寸缩放，最大边长到达了 512 像素。该数据集于 2014 年由斯坦福大学宣布。 数据集下载地点：http://www.vision.ee.ethz.ch/datasets_extra/food-101/
Recipe1M数据集团量复杂，内含100万烹调食谱和1300万张食品图像，个中中国菜也包括在内。值得一提的是，这个数据库的最首要来历是各人在交际收集上晒出的食品图片。也就是说，你在微博、伴侣圈的“放毒”敦促了人工智能的成长；其它，对食谱数据的网络参考了多个食谱网站，包罗 All Recipes、Food.com，这一环球最大的食谱和食品网站之一。 数据集下载地点：http://t.cn/R9vmBDN 图像到食谱背后的AI技能对付 AI 来说，从图片中推导出菜谱首要必要两方面的常识：一方面辨认图片中的食品，详细包罗食材和配料；另一方面则是揣度出食材和配料的加工进程，是切块照旧切丝，是凉拌照旧水煮等等。传统要领倾向于将这一进程简化为匹配使命，MIT 之前的 Pic2Recipe 模子就是这样做的。详细进程是：起首判定图片中食品和菜品，然后在数据库中搜刮和匹配响应的菜谱。 假如没有精确的对应菜谱，就会匹配一个最相似的。这样的要领依靠大量的菜谱数据，并且缺乏机动性和多样性。一旦呈现数据库中不存在或长相差异的食品，其精确率就会大幅降落，难当大任。以是这次我们先容一下Facebook的那篇论文所回收的深度进修模子。详细而言Facebook 研究职员回收了一种新的思绪，把从图片到菜谱的进程视为一个前提天生体系，输入食品图片，输出食品名称、食材配料表和烹调步调三种信息。图片和食谱之间更多的是推导、说明相关，而不是匹配相关。
菜谱天生模子的事变流程 从论文中得知，这个菜谱天生模子由四个首要部门组成，别离是提取图像特性的图像编码器，说明食材列表的食材解码器，猜测食材加工进程的食材编码器和很多个天生烹调步调的解码器，其顶用到了留意力机制和 ResNet-50 卷积神经收集模械寥。 为了进步 AI 的示意，研究职员还对图像编码器和食材解码器举办了预实习。详细而言：给定具有相干因素的输入图像，通过指令Transformer发生指令序列R 。 个中，问题被猜测为第一条指令，解码器依靠于图像和食材的输入；然后通过ResNet-50提取图像暗示，并通过解码器架构得到食材嵌入以猜测食材，然后将单个嵌入层映射到牢靠巨细的矢量中。个中指令解码器由Transformer块构成，每个Transformer块包括两个留意力层，后头随着一个线性层。第一个留意力层对先前世成的输出应用自留意力，而第二层存眷模子调理以改造自留意力输出。其它，Transformer模子由多个模块构成后跟线性层和softmax非线性。
Transformer模子 在身解析码中，论文中回收将食材作为列表和荟萃的要领，提出了一种新的食材猜测架构，并操作食材之间的配合依靠性举办猜测。
据相干研究者称，AI菜谱体系当前碰着的最大瓶颈着实还在于图片自己。由于在拍摄食品图像时，食品的泛起每每会受到拍摄状态的影响，好比角度、远近、摆放和灯光等身分，都有也许造成辨认功效的差异。 参考文献： arxiv:https://arxiv.org/abs/1812.06164 https://ai.facebook.com/blog/inverse-cooking/https://research.fb.com/publications/inverse-cooking-recipe-generation-from-food-images/ （编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
paper：http://t.cn/R9vmeww ；Github：http://t.cn/RK1bLkv ；数据集：http://t.cn/R9vmBDN
