CN111386435B - 冰箱及冰箱系统 - Google Patents

Abstract

提供一种能够以更少的相机数量得到抑制图像的模糊及变形并拍摄到各块搁板的深处的更清晰的储藏室图像的冰箱。因此，冰箱具备：形成有收纳食品的储藏室的主体、设置在储藏室内并载置食品的一块以上的搁板、对储藏室的一侧进行开闭的门、设置在门的内侧的面上并拍摄储藏室内的图像的相机(2)以及使相机(2)在上下方向上移动的相机移动装置(20)。相机移动装置(20)分别在相邻的搁板彼此之间、及储藏室的上端内表面与上端内表面的相邻的搁板之间中的各自的至少一个部位使相机(2)停止。每当相机移动装置(20)使相机(2)的移动停止时，相机(2)进行拍摄。

Description

冰箱及冰箱系统

技术领域

本发明涉及冰箱及冰箱系统。

背景技术

在具备检测冰箱内的图像的相机的冰箱中，已知如下冰箱：一边使相机以预先确定的一定速度从移动范围的上端向下端移动，一边进行拍摄(例如参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2016-148503号公报

发明内容

发明要解决的课题

然而，在专利文献1所示的冰箱中，由于一边使相机以一定速度移动一边进行拍摄，所以拍摄到的图像会产生模糊。另外，根据相机拍摄的定时的不同，拍摄到的图像中的、拍摄了储藏室内的搁板上的食品的部分有可能较大地变形。另外，根据相机拍摄的定时的不同，位于搁板的深处的食品有可能被近前的食品或搁板遮挡。而且，由于以上情况，得到的图像不适合于图像识别，当在图像识别中使用的情况下，储藏室内的收纳状况的判定精度会下降。

本发明为了解决这样的课题而做出。其目的在于得到能够以更少的相机数量得到抑制图像的模糊及变形并拍摄到各块搁板的深处的更清晰的储藏室图像的冰箱及冰箱系统。

用于解决课题的手段

本发明的冰箱具备：主体，所述主体形成有收纳食品的储藏室；一块以上的搁板，所述搁板设置在所述储藏室内，并载置食品；门，所述门对所述储藏室的一侧进行开闭；相机，所述相机设置在所述门的内侧的面上，并拍摄所述储藏室内的图像；以及相机移动装置，所述相机移动装置使所述相机在上下方向上移动，所述相机移动装置分别在相邻的所述搁板彼此之间、及所述储藏室的上端内表面与所述上端内表面的相邻的所述搁板之间中的各自的至少一个部位使所述相机停止，每当所述相机移动装置使所述相机的移动停止时，所述相机进行拍摄。

本发明的冰箱系统具备：按上述方式构成的冰箱；通信装置，所述通信装置发送所述相机拍摄到的图像；以及终端装置，所述终端装置设置成能够与所述通信装置进行通信，并能够接收通信装置发送的所述相机拍摄到的图像。

发明的效果

根据本发明的冰箱及冰箱系统，达到如下效果：能够以更少的相机数量得到抑制图像的模糊及变形并拍摄到各块搁板的深处的更清晰的储藏室图像。

附图说明

图1是本发明的实施方式1的冰箱的主视图。

图2是本发明的实施方式1的冰箱的剖视图。

图3是本发明的实施方式1的冰箱的相机移动装置的立体图。

图4是透视并示出本发明的实施方式1的相机移动装置的要部的放大立体图。

图5是透视并示出本发明的实施方式1的相机移动装置的另一例的要部的放大立体图。

图6是说明本发明的实施方式1的相机移动装置的在最下部的运动的图。

图7是说明本发明的实施方式1的相机移动装置的在最下部的运动的图。

图8是说明本发明的实施方式1的相机移动装置的在最下部的运动的图。

图9是与比较例一起示出本发明的实施方式1的冰箱的储藏室内的图像的一例的图。

图10是示出本发明的实施方式1的冰箱的时刻A的储藏室内的图像的一例的图。

图11是示出本发明的实施方式1的冰箱的时刻B的储藏室内的图像的一例的图。

图12是示出本发明的实施方式1的冰箱的时刻C的储藏室内的图像的一例的图。

图13是示出本发明的实施方式1的冰箱的时刻D的储藏室内的图像的一例的图。

图14是示出具备本发明的实施方式1的冰箱的冰箱系统的结构的图。

图15是示出本发明的实施方式1的冰箱系统的用户终端的显示例的图。

图16是示出本发明的实施方式1的冰箱系统的用户终端的显示例的图。

图17是示出本发明的实施方式1的冰箱系统的用户终端的显示例的图。

图18是示出存储在本发明的实施方式1的冰箱的食品图像数据库中的内容的一例的图。

图19是示出本发明的实施方式2的冰箱的相机的拍摄位置的一例的要部剖视图。

具体实施方式

参照附图说明用于实施本发明的方式。在各图中，对相同或相当的部分标注相同的附图标记，并适当简化或省略重复的说明。此外，本发明不限定于以下实施方式，能够在不偏离本发明的宗旨的范围内进行各种变形。

实施方式1.

图1至图18与本发明的实施方式1相关，图1是冰箱的主视图，图2是冰箱的剖视图，图3是冰箱的相机移动装置的立体图，图4是透视并示出相机移动装置的要部的放大立体图，图5是透视并示出相机移动装置的另一例的要部的放大立体图，图6至图8是说明相机移动装置的在最下部的运动的图，图9是与比较例一起示出冰箱的储藏室内的图像的一例的图，图10是示出冰箱的时刻A的储藏室内的图像的一例的图，图11是示出冰箱的时刻B的储藏室内的图像的一例的图，图12是示出冰箱的时刻C的储藏室内的图像的一例的图，图13是示出冰箱的时刻D的储藏室内的图像的一例的图，图14是示出具备冰箱的冰箱系统的结构的图，图15至图17是示出冰箱系统的用户终端的显示例的图，图18是示出存储在冰箱的食品图像数据库中的内容的一例的图。

此外，在各图中，各构成构件的尺寸关系、形状等有时与实际不同。另外，说明书中的各构成构件彼此的位置关系(例如上下关系等)原则上是将冷冻冰箱设置成能够使用的状态时的位置关系。

本发明的实施方式1的冰箱具备图1所示的冰箱主体1000。在该实施方式1中，在冰箱主体1000上形成有冷藏室100、制冰室200、切换室300、冷冻室400及蔬菜室500。上述冷藏室100、制冰室200、切换室300、冷冻室400及蔬菜室500是收纳食品的储藏室。

如图1所示，上述储藏室从上方起按冷藏室100、制冰室200及切换室300、冷冻室400、蔬菜室500的顺序配置。制冰室200和切换室300在相同的上下位置左右排列配置。在冷藏室100的前表面设置有对冷藏室100进行开闭的冷藏室门101。冷藏室门101是对储藏室的一侧进行开闭的门的一例。另外，制冰室200、切换室300、冷冻室400及蔬菜室500构成为：能够与设置于各自的前表面的门一起拉出到冰箱主体1000的近前侧。

在冷藏室门101的前表面设置有操作面板1。操作面板1具备面板显示部1a。面板显示部1a是能够显示信息的主体显示部。在面板显示部1a上例如能够显示各储藏室的设定温度及当前的温度等冰箱内信息。面板显示部1a例如具备液晶显示器等。操作面板1例如具备触摸面板、按钮、开关等操作部。用户能够通过对操作面板1的操作部进行操作而输入需要的信息。此外，操作面板1的设置位置不限于冷藏室100的门，也可以是其他储藏室的门、冰箱主体1000的侧面等。

如图2所示，冷藏室100由冷藏室门101封闭前表面侧(朝向该图时为左侧)。此外，图2所示的剖视图是基于图1中的截面A-A'的剖视图。在冷藏室100的内部设置有一块以上的冷藏室搁板102。在此，以设置有多块冷藏室搁板102的情况为例进行列举。冷藏室100的内部由上述冷藏室搁板102在上下方向上划分为多个空间(架子)。在冷藏室搁板102上载置食品。

各块冷藏室搁板102由搁板支撑部103支撑在冷藏室100内的预先确定的位置。搁板支撑部103从冷藏室100的侧壁内表面向冷藏室100的内侧突出地形成。此外，也可以是，以能够变更一块冷藏室搁板102的上下位置的方式构成搁板支撑部103。

最下层的冷藏室搁板102的下侧的空间是冷却室110。在冷却室110的内部设置有冷却盒111。冷却盒111能够沿着轨道等引导构件(未图示)向前方拉出。另外，在冷藏室门101的内侧的面上设置有门兜(door pocket)104。在该门兜104中也能够载置、收纳食品。

在冷藏室门101的内侧的面上设置有相机2。相机2从冷藏室门101一侧拍摄储藏室(在此为冷藏室100)内部的图像，并作为储藏室图像输出。本发明的实施方式1的冰箱主体1000具备相机移动装置20。相机移动装置20是使相机2在上下方向上移动的装置。相机移动装置20设置在冷藏室门101的内侧的面上。

相机移动装置20使相机2在可动范围内沿上下方向移动。可动范围是预先设定的范围。在此，可动范围的上端是冷藏室100内的上端部。另外，可动范围的下端是位于最下方的门兜104的正上方的位置。

接着，参照图3至图5说明相机移动装置20的结构。如图3及图4所示，相机移动装置20具备步进电机21、蜗杆22、副齿轮23、齿条24、引导部25及相机支撑部28。相机2固定于相机支撑部28。引导部25固定于冷藏室门101。相机支撑部28能够相对于引导部25移动。引导部25至少遍及上述可动范围地沿着上下方向配置。引导部25引导遍及上述可动范围的相机2及相机支撑部28的移动。

如图4所示，在相机支撑部28安装有步进电机21、蜗杆22及副齿轮23。在引导部25安装有齿条24。齿条24遍及上述可动范围地沿着上下方向配置。另外，在引导部25形成有槽部29。槽部29遍及上述可动范围地配置。

步进电机21驱动相机2的移动。在步进电机21的驱动轴固定有蜗杆22。副齿轮23的大齿轮和小齿轮一体地构成。副齿轮23的大齿轮和小齿轮以旋转轴成为同一轴的方式固定。副齿轮23的大齿轮与蜗杆22啮合。副齿轮23的小齿轮与齿条24啮合。

当利用步进电机21使蜗杆22旋转时，副齿轮23旋转。通过与齿条24啮合的状态下的副齿轮23旋转，从而副齿轮23的旋转轴沿着齿条24呈直线状移动。副齿轮23的旋转轴由相机支撑部28支撑为能够旋转。因此，利用这样的齿条和副齿轮机构，相机移动装置20将步进电机21的旋转运动转换为相机支撑部28相对于引导部25的直线运转，并使相机2相对于冷藏室门101在上下方向上移动。

此外，相机2的移动量与步进电机21的旋转量成比例。而且，能够使用步进数控制步进电机21的旋转量。因此，相机移动装置20能够使用步进电机21的步进数控制相机2的移动量。

图5所示的是相机移动装置20的结构的另一例。在该另一例中，利用丝杠传动机构使相机2移动。在该另一例中，相机移动装置20具备步进电机21、蜗杆22、蜗轮26、传动丝杠27及相机支撑部28。

在步进电机21的驱动轴固定有蜗杆22。蜗轮26与蜗杆22啮合。在蜗轮26，以旋转轴成为同一轴的方式连结有传动丝杠27。传动丝杠27遍及上述可动范围地沿着上下方向配置。在传动丝杠27安装有相机支撑部28。在相机支撑部28上切出有与传动丝杠27的螺纹牙配合的内螺纹。在相机支撑部28固定有相机2。

当利用步进电机21使蜗杆22旋转时，蜗轮26及传动丝杠27旋转。通过传动丝杠27旋转，从而相机支撑部28由于螺纹作用而沿着传动丝杠27的旋转轴呈直线状移动。利用这样的丝杠传动机构，相机移动装置20将步进电机21的旋转运动转换为相机支撑部28的直线运转，并使相机2相对于冷藏室门101在上下方向上移动。

接着，参照图6至图8，说明相机移动装置20的上述可动范围的下端部分的结构及相机移动装置20使相机2向上述可动范围的下端移动时的动作。如上所述，在引导部25，遍及上述可动范围地形成有槽部29。如这些图所示，该槽部29在上述可动范围的下端部分从上下方向向冷藏室门101侧的方向平滑地弯曲。在其另外的部分，槽部29沿着上下方向。

形成于相机支撑部28的未图示的突起部插入槽部29内。该突起部配置在比副齿轮23靠冷藏室门101侧的位置。通过当副齿轮23在齿条24上旋转时，相机支撑部28的突起部在被限制于槽部29内的状态下在槽部29内移动，从而决定相机支撑部28的方向即相机2的方向。

如图6所示，在槽部29的沿着上下方向的部分，即使相机支撑部28移动，相机2的方向也保持在与冷藏室门101相反的一侧的状态。当相机2继续下降而相机支撑部28的突起部临近槽部29的曲线部时，相机支撑部28的副齿轮23想要按原样继续下降，与此相对，相机支撑部28的突起部被槽部29引导而停止下降，并开始向冷藏室门101侧移动。因此，如图7所示，相机支撑部28开始倾斜，相机2开始朝向下方。

并且，当相机2来到上述可动范围的下端时，如图8所示，相机2朝向正下方。如上所述，可动范围的下端是门兜104的正上方的位置。因此，位于可动范围的下端的相机2能够从上方拍摄门兜104的内部。这样，相机移动装置20能够使相机2向能够从上方拍摄门兜104的内部的位置及方向移动。

相机2例如在冷藏室门101被开闭时对冷藏室100内进行拍摄。这是因为，当对冷藏室门101进行开闭时，有可能取出或放入冷藏室100内的食品而冷藏室100内的收纳状态发生变化。冰箱主体1000具备能够检测门的开闭的传感器。该传感器例如为一般的磁铁方式的传感器。即，该传感器例如利用设置在冰箱主体1000侧的一对行程开关检测埋入冷藏室门101的磁铁的接近。例如在检测到打开的冷藏室门101被关闭后，相机2在冷藏室100内被照亮的期间进行拍摄。

利用该相机2进行的冷藏室100内的拍摄与利用相机移动装置20进行的相机2的移动协作地进行。接着，说明相机2与相机移动装置20协作的拍摄动作。在进行冷藏室100内的拍摄时，相机移动装置20一边在中途使相机2的移动停止，一边使相机2从上述可动范围的一端移动到另一端。并且，每当相机移动装置20使相机2的移动停止时，相机2进行拍摄。

例如，相机移动装置20使相机2从上述可动范围的上端向下方移动到下端。此时，相机移动装置20在冷藏室100的上端内表面与该上端内表面的相邻的冷藏室搁板102之间的至少一个部位使相机2停止。并且，在停止于该位置的期间，相机2拍摄图像。此时相机2拍摄到的图像示出冷藏室100的上端内表面的相邻的冷藏室搁板102即最上层的冷藏室搁板102的收纳状况。在相机2拍摄图像后，相机移动装置20再次开始相机2的下降。

另外，相机移动装置20在相邻的冷藏室搁板102彼此之间中的各自的至少一个部位使相机2停止。并且，在停止于该位置的期间，相机2拍摄图像。此时相机2拍摄到的图像示出位于相机2的位置的紧邻下方的冷藏室搁板102的收纳状况。在相机2拍摄图像后，相机移动装置20再次开始相机2的下降。

这样，当相机2到达上述可动范围的下端时，如上所述，相机2来到能够从上方拍摄门兜104的内部的位置及方向。并且，在停止于该位置的期间，相机2拍摄图像。此时相机2拍摄到的图像示出最下部的门兜104的收纳状况。

如以上那样，在相机2位于相邻的冷藏室搁板102彼此之间的位置时，相机2进行拍摄。另外，在相机2位于冷藏室100的上端内表面与该上端内表面的相邻的冷藏室搁板102之间的位置时，相机2也进行拍摄。并且，在该实施方式1中，相机2从上方拍摄门兜104的内部。此外，相机移动装置20也可以使相机2从上述可动范围的下端向上方移动到上端。

在该实施方式1中，相机移动装置20使用步进电机21的步进数控制上述可动范围内的相机2的位置。即，相机移动装置20通过对步进电机21的步进数进行计数从而确定使相机2停止的位置。

在此，在冷藏室搁板102的位置固定而不能变更的情况下，使相机2停止的位置也能够固定。因此，例如，相机移动装置20预先存储关于使相机2停止的位置的信息、例如步进电机21的步进数。并且，可考虑在步进电机21的步进数成为预先存储的值时，相机移动装置20使相机2停止。

另外，在能够变更冷藏室搁板102的位置的情况下，可考虑按以下方式确定当前的冷藏室搁板102的位置，并决定相机2的停止位置。首先，第一个例子是在搁板支撑部103设置检测冷藏室搁板102的位置的部件的方法。作为检测冷藏室搁板102的位置的部件，具体而言，例如可考虑使用微型开关等。在该情况下，预先以如下方式设置微型开关：在将冷藏室搁板102配置在搁板支撑部103的适当的位置时由该冷藏室搁板102按压。并且，能够根据哪个微型开关被按压来检测冷藏室搁板102的位置。

第二个例子是使用相机2拍摄到的图像确定冷藏室搁板102的位置的方法。在该方法中，首先，最初一边利用相机移动装置20使相机2在上述可动范围的整体中移动，一边利用相机2拍摄图像。此时的拍摄位置只要能够最终网罗能利用相机2拍摄的冷藏室100的整个范围即可，不特别限定。并且，能够解析这样拍摄到的图像，并确定当前的冷藏室搁板102的位置。

此外，相机移动装置20可以在检测冷藏室门101的开闭的传感器检测到冷藏室门101的关闭动作的情况下，使相机2移动到上述可动范围的一端并进行步进电机21的零点修正。即，在传感器检测到冷藏室门101的关闭动作的情况下，相机移动装置20最初使相机2移动到上述可动范围的例如上端。并且，相机移动装置20将步进电机21的步进数的计数值设为0。由此，能够修正步进电机21的步进数与实际的相机2的位置的偏移。

再次参照图2并继续说明。冰箱主体1000具备控制基板1001。控制基板1001例如收容于冰箱主体1000的背面侧的上部。在控制基板1001具备用于实施冰箱主体1000的动作所需的各种控制的控制电路等。控制基板1001例如具备微型计算机，即具备处理器及存储器。控制基板1001通过处理器执行存储于存储器的程序，从而执行预先设定的处理，并控制冰箱主体1000。

本发明的实施方式1的冰箱系统首先具备按以上方式构成的冰箱主体1000。另外，该冰箱系统还具备图像服务器3。图像服务器3用于进行储藏室图像的保存、管理及向外部的发送。图像服务器3设置于设置有冰箱主体1000的屋内(以下，仅称为“屋内”)且冰箱主体1000的储藏室的外侧。图1及图2所示的是将图像服务器3配置在冰箱主体1000的顶棚部的外表面部的例子。此外，图像服务器3的设置位置不限于冰箱主体1000的顶棚部。只要是冰箱主体1000的储藏室之外，可以将图像服务器3设置于冰箱主体1000的侧面、背面或储藏室的门。另外，也可以将图像服务器3安装于控制基板1001。

与上述控制基板1001同样地，图像服务器3例如具备微型计算机，即具备处理器及存储器。另外，如图2所示，图像服务器3具备储藏室图像存储部4、储藏室图像管理部5及无线通信部6。上述各部的功能例如通过在图像服务器3的微型计算机中处理器执行存储于存储器的程序并进行预先设定的处理来实现。此外，图像服务器3例如与控制基板1001连接，从控制基板1001接受电力的供给并动作。

储藏室图像存储部4存储从相机2输出的储藏室图像。如上所述，当检测到冷藏室门101的开闭时，相机2与相机移动装置20协作，拍摄冷藏室100内的各块冷藏室搁板102及最下部的门兜104的收纳状况。相机2向储藏室图像存储部4输出拍摄到的图像。从相机2输出的图像被输入储藏室图像存储部4。

因此，每当冷藏室门101开闭(即每当冷藏室100内的收纳状态有可能变化)时，向储藏室图像存储部4输入从相机2输出的图像。这样，始终向储藏室图像存储部4输入最新的状态下的冷藏室100内的图像。

储藏室图像存储部4暂时存储被输入的最新的储藏室图像。此时，储藏室图像存储部4将向储藏室图像存储部4输入储藏室图像的时刻作为拍摄时刻信息，与该储藏室图像一起暂时存储。此外，在拍摄时刻信息中也包含拍摄的日期(月日或年月日)的信息。

在此，参照图9，一边与比较例进行对比，一边说明利用本发明的实施方式1的冰箱主体1000拍摄到的图像的特征。图9的朝向纸面时位于右侧的5个图像是利用本发明的实施方式1的冰箱主体1000拍摄到的各冷藏室搁板102及最下部的门兜104的收纳状况的图像例。

另外，朝向纸面时位于左侧的5个图像是比较例中的各冷藏室搁板102及最下部的门兜104的收纳状况的图像例。在该比较例中，两个相机设置在固定的位置。为了能够用两个相机拍摄全部的冷藏室搁板102和最下部的门兜104的收纳状况，在各相机中使用鱼眼镜头。

在该比较例中，存在从相机的正面偏移的冷藏室搁板102。因此，在图9的例子中，特别是在最上层和从上方起第三个图像中，变形变大。另外，在这些图像中，成为从冷藏室搁板102的下方往上看的视点下的图像。因此，难以根据图像确认深处的收纳状况。另外，不适合于用来判定收纳状况的图像识别。

与此相对，在利用本发明的实施方式1的冰箱主体1000拍摄到的图像中，在全部的冷藏室搁板102的图像中，与比较例相比，变形较小。而且，深处的收纳状况的确认也较容易。因此，通过在图像识别中使用，从而能够更准确地判定收纳状况。

这样，在本发明的实施方式1的冰箱主体1000中，使相机2在上下方向上移动的相机移动装置20分别在相邻的搁板彼此之间、及储藏室的上端内表面与该上端内表面的相邻的搁板之间中的各自的至少一个部位使相机2停止。并且，每当相机移动装置20使相机2的移动停止时，相机2进行拍摄。因此，能够以更少的相机数量得到抑制图像的模糊及变形并拍摄到各块搁板的深处的更清晰的储藏室图像。而且，通过在图像识别中使用如此得到的图像，从而能够更准确地判定储藏室内的收纳状况。

再次参照图2并继续说明。在储藏室图像存储部4中存储有以上说明的各冷藏室搁板102及最下部的门兜104的收纳状况的最新图像。储藏室图像管理部5从储藏室图像存储部4取得存储于储藏室图像存储部4的上述储藏室图像及拍摄时刻信息。

但是，在存储于储藏室图像存储部4的储藏室图像中，也有可能由于相机2的镜头的特性上的理由而稍微产生变形。另外，根据冷藏室100内的照明及收纳状态的不同，也可以想到在各图像间亮度存在不均的情况。因此，根据需要，储藏室图像管理部5对相机2拍摄到的图像的亮度及变形中的一方或双方进行校正。即，在该含义下，储藏室图像管理部5是对相机2拍摄到的图像的亮度及变形中的一方或双方进行校正的图像处理部。

储藏室图像管理部5从根据需要校正得到的各冷藏室搁板102的收纳状况的最新图像合成冷藏室100内的整体的最新图像。并且，储藏室图像管理部5基于拍摄时刻信息按拍摄时刻顺序排列替换并存储合成后的储藏室图像。这样，利用相机2拍摄到的储藏室图像在暂时存储于储藏室图像存储部4后，移动到储藏室图像管理部5并被管理。

并且，储藏室图像管理部5在判别入库及出库后按时序保存并管理利用相机2拍摄到的食品的图像。例如，储藏室图像管理部5首先从利用相机2拍摄到的图像提取各个食品的图像。接着，储藏室图像管理部5通过对各个食品的图像进行比较，从而针对各个食品判别在冷藏室100中进行了入库还是出库，所述各个食品的图像是从在连续的两个时间点利用相机2拍摄到的图像提取得到的。此时，能够根据在入库及出库的判别中使用的两个图像的拍摄日期时刻确定大致的入库日期时刻及出库日期时刻。这样，储藏室图像管理部5基于利用相机2拍摄到的图像，对各个食品的图像确定入库日期时刻及出库日期时刻，并且按时序保存并管理各个食品的图像。

接着，参照图10至图13，列举具体例来说明使用了利用相机2拍摄到的图像的食品的入库及出库的判别。图10所示的是时刻A的冷藏室100内的图像的例子。将该时刻A作为出入库判定的基准时刻。

图11所示的是时刻B的冷藏室100内的图像的例子。时刻B是时刻A之后的时刻。储藏室图像管理部5通过取得时刻A的冷藏室100内的图像与时刻B的冷藏室100内的图像的差分，从而判定为从最上方的冷藏室搁板102取出了两罐啤酒。储藏室图像管理部5从时刻A的图像提取该两罐啤酒的图像。并且，储藏室图像管理部5存储提取的图像和出入库的辨别，即，在此为“出库”和出库时刻B。

图12所示的是时刻C的冷藏室100内的图像的例子。时刻C是时刻B之后的时刻。储藏室图像管理部5通过取得时刻B的冷藏室100内的图像与时刻C的冷藏室100内的图像的差分，从而判定为从自下方起第二层的冷藏室搁板102取出了沙拉。储藏室图像管理部5从时刻A或时刻B的图像提取该沙拉的图像。并且，储藏室图像管理部5存储提取的图像和出入库的辨别，即，在此为“出库”和出库时刻C。

图13所示的是时刻D的冷藏室100内的图像的例子。时刻D是时刻C之后的时刻。储藏室图像管理部5通过取得时刻C的冷藏室100内的图像与时刻D的冷藏室100内的图像的差分，从而判定为向最上方的冷藏室搁板102放入了两盒牛奶，并且向自下方起第二层的冷藏室搁板102放入了蛋糕。储藏室图像管理部5从时刻D的图像提取该两盒牛奶及该蛋糕的图像。并且，储藏室图像管理部5存储提取的图像和出入库的辨别，即，在此为“入库”和入库时刻D。

这样，储藏室图像管理部5能够基于相机2拍摄到的图像，判定有无向冷藏室100的出入库。

再次参照图2并继续说明。无线通信部6是能够与外部进行通信的通信装置。无线通信部6例如使用公知的无线通信技术，在冰箱主体1000的图像服务器3与路由器装置7之间进行信息的相互通信。此外，图像服务器3与路由器装置7的通信不限于无线方式，也可以为有线方式。

图14所示的是本发明的实施方式1的冰箱系统的整体结构。如该图所示，本发明的实施方式1的冰箱系统具备用户终端10。用户终端10为设置成能够与作为通信装置的无线通信部6进行通信的终端装置。用户终端10具体而言例如为PC、智能手机、平板终端等。此外，设置一个以上的用户终端10，优选设置多个用户终端10。

用户终端10具备未图示的终端显示部。终端显示部例如具备液晶显示器等。另外，也可以用触摸面板构成终端显示部，使得能够显示信息，并且受理来自用户的操作。用户终端10的终端显示部能够显示储藏室图像及包含拍摄时刻信息在内的各种信息。

如图14所示，冰箱主体1000、图像服务器3及路由器装置7设置在屋内。路由器装置7例如经由互联网8与云服务器9能够通信地连接。云服务器9为上述外部服务器。在该图中，作为外部服务器，例示了使用云服务器9的情况，所述云服务器9由与互联网8连接的多个服务器(服务器群)构成。然而，外部服务器不限于云服务器9，也可以为一台服务器。互联网8及云服务器9位于设置有冰箱主体1000的屋内的外侧的屋外(以下，仅称为“屋外”)。

无线通信部6将存储于储藏室图像存储部4及储藏室图像管理部5的图像及信息经由路由器装置7及互联网8发送给屋外的云服务器9。并且，云服务器9存储接收到的图像及信息。

此时，设想向云服务器9的通信混乱而无法一次地上传(发送)储藏室图像的情况，也可以设定储藏室图像从无线通信部6向云服务器9的上传的最大重试次数。而且，无线通信部6也可以在达到最大重试次数的情况下即刻上传。

屋外的用户终端10经由互联网8访问云服务器9。当用户在用户终端10进行与冰箱主体1000相关的图像及信息的显示操作时，用户终端10发送发送请求。接收到发送请求的云服务器9将存储于自身的图像及信息发送给用户终端10。用户终端10从云服务器9经由互联网8接收图像及信息。并且，用户终端10在终端显示部显示接收到的与冰箱主体1000相关的图像及信息。

此外，用户终端10也可以通过路由器装置7及互联网8而不经由云服务器9等外部服务器接收从无线通信部6发送的与冰箱主体1000相关的图像及信息。另外，也可以是，在储藏室图像管理部5判定为有向冷藏室100的出入库的情况下，无线通信部6将该主旨通过路由器装置7及互联网8向用户终端10通知。

图15至图17是显示于用户终端10的画面的例子。图15所示的是“出入库时间线”的显示例。如上所述，图像服务器3的储藏室图像管理部5基于相机2拍摄到的冷藏室100内的图像，存储出入库日期时刻、出入库的辨别、出入库的食品的图像。出入库时间线是按时序排列显示这些图像及信息的画面。

图16所示的是“出入库列表”的显示例。与出入库时间线相同地，该出入库列表也显示存储在图像服务器3的储藏室图像管理部5中的出入库日期时刻、出入库的辨别、出入库的食品的图像。但是，在该出入库列表和出入库时间线中，显示形式不同。该出入库列表是将出入库日期时刻及出入库的食品的图像分为“入库”列和“出库”列并呈列表状显示的画面。

图17所示的是“库存食品一览”的显示例。如上所述，图像服务器3的储藏室图像管理部5从相机2拍摄到的冷藏室100内的图像提取各个食品的图像并存储。该库存食品一览是以一览形式显示在某时刻收纳于冷藏室100内的各个食品的图像的画面。

此外，以上的“出入库时间线”、“出入库列表”及“库存食品一览”的各画面也能够显示在操作面板1的面板显示部1a上。另外，也可以是，在面板显示部1a上，除了这些画面以外，还能够显示在储藏室图像管理部5中被管理及存储的各种图像及信息和存储于储藏室图像存储部4的图像等。

也可以是，储藏室图像管理部5不仅从相机2拍摄到的图像提取冷藏室100内的各个食品的图像，而且根据相机2拍摄到的图像判定冷藏室100内的各个食品的种类及量。为了进行该判定，储藏室图像管理部5预先存储有食品图像数据库。食品图像数据库是对食品的各个种类关联该食品的形状、大小、颜色及外包装标签中的至少一个而成的数据的集合。在该含义下，在储藏室图像管理部5中具备食品信息存储部，所述食品信息存储部对食品的各个种类关联该食品的形状、大小、颜色及外包装标签中的至少一个并预先存储。

参照图18说明存储于食品图像数据库的信息的具体例。食品图像数据库针对食品种类中的每一个存储有能够将该食品种类与其他食品种类进行辨别的特征属性。在此，将所属于该食品种类的食品自身或装有该食品的容器的特征量与该食品种类关联并存储。具体而言，对于各食品种类，将形状(轮廓)、长轴的大小、代表色(RGB值)及标签(文字)等信息作为特征量。

此外，作为存储于食品图像数据库的每个食品种类的形状，除了在此举例的轮廓之外，例如也可以设为与该食品的外形最接近的几何学形状(例如圆柱、梯形等)。在该情况下，在利用储藏室图像管理部5进行的判定中，例如利用图形匹配等方法进行与存储于食品图像数据库的形状的核对。另外，关于颜色，除了代表色的RGB值之外，例如也可以使用亮度、彩度等其他指标值。

储藏室图像管理部5一边参照存储于以上那样的食品图像数据库的信息，一边基于储藏室图像管理部5保存、管理的图像，判定储藏室(在此为冷藏室100)内的食品的种类及量。在该判定中，储藏室图像管理部5针对从相机2拍摄到的图像提取的各个食品的图像，核对与存储于食品图像数据库的食品的种类中的哪个食品的种类的特征量一致。

并且，在具有与各个食品的图像一致的存储于食品图像数据库的特征量的情况下，储藏室图像管理部5判定为该图像的食品的种类是在食品图像数据库中的与该一致的特征量关联的种类。此外，在食品图像数据库中没有特征量一致的数据的情况下，可以用最类似的食品的种类代替该图像的食品的种类或者将该图像的食品作为种类不明的收纳物而仅识别大小。

这样，储藏室图像管理部5通过对从相机2拍摄到的图像提取的食品的图像与存储于食品图像数据库的特征量进行比较，从而能够对收纳于冷藏室100内的食品确定种类及其量。

实施方式2.

图19与本发明的实施方式2相关，是示出冰箱的相机的拍摄位置的一例的要部剖视图。以下，将以实施方式1的结构为基础的情况为例进行举例，并以与实施方式1的不同点为中心说明该实施方式2的冰箱系统。

在此说明的实施方式2为如下实施方式：在上述实施方式1的结构中，相机移动装置20分别在相邻的冷藏室搁板102彼此之间、及冷藏室100的上端内表面与该上端内表面的相邻的冷藏室搁板102之间中的各自的至少两个以上的部位使相机2停止。并且，每当相机移动装置20使相机2的移动停止时，相机2进行拍摄。

即，相机2在相邻的冷藏室搁板102彼此之间的两个以上的不同位置进行拍摄。另外，相机2也在冷藏室100的上端内表面与该上端内表面的相邻的冷藏室搁板102之间的两个以上的不同位置进行拍摄。

图19所示的是在相邻的冷藏室搁板102彼此之间的三个部位使相机2停止并拍摄的例子。如该图所示，当在相邻的冷藏室搁板102彼此之间的比较靠上侧的位置使相机2停止并拍摄的情况下，能够拍摄位于冷藏室搁板102的深处的食品30。另外，对于食品30的包装上表面，也容易清晰地拍摄。但是，难以从前面拍摄位于冷藏室搁板102的近前的食品30。

与此相对，当在相邻的冷藏室搁板102彼此之间的比较靠下侧的位置使相机2停止并拍摄的情况下，能够从前面拍摄位于冷藏室搁板102的近前的食品30。另一方面，位于冷藏室搁板102的深处的食品30成为位于近前的食品30的阴影。

因此，通过用相机2从上下位置不同的多个部位对一块冷藏室搁板102进行拍摄，从而能够从冷藏室搁板102的近前侧到里侧拍摄更多的食品。

在该实施方式2中，储藏室图像管理部5按各块冷藏室搁板102对位于比该冷藏室搁板102靠上侧的两个部位以上的位置的相机2拍摄到的图像的亮度及变形中的一方或双方进行校正后，合成并生成该冷藏室搁板102的食品收纳状态图像。并且，储藏室图像管理部5合成各块冷藏室搁板102的食品收纳状态图像，生成冷藏室100内整体的图像。

此外，其他结构与实施方式1相同，在此省略其说明。

在按以上方式构成的冰箱系统中，也能够起到与实施方式1同样的效果。并且，由于能够得到从冷藏室搁板102的近前侧到里侧清晰地拍摄更多的食品而成的图像，所以容易确认收纳状况。另外，通过在图像识别中使用如此得到的图像，从而能够更准确地判定储藏室内的收纳状况。

产业上的可利用性

本发明能够利用于具备相机的冰箱，所述相机拍摄储藏室内的图像。另外，能够利用于将储藏室内的图像发送到冰箱的外部的冰箱系统。

附图标记的说明

1 操作面板；

1a 面板显示部；

2 相机；

3 图像服务器；

4 储藏室图像存储部；

5 储藏室图像管理部；

6 无线通信部；

7 路由器装置；

8 互联网；

9 云服务器；

10 用户终端；

20 相机移动装置；

21 步进电机；

22 蜗杆；

23 副齿轮；

24 齿条；

25 引导部；

26 蜗轮；

27 传动丝杠；

28 相机支撑部；

29 槽部；

30 食品；

100 冷藏室；

101 冷藏室门；

102 冷藏室搁板；

103 搁板支撑部；

104 门兜；

110 冷却室；

111 冷却盒；

200 制冰室；

300 切换室；

400 冷冻室；

500 蔬菜室；

1000 冰箱主体；

1001 控制基板。

Claims (11)

1.一种冰箱，其中，具备：

主体，所述主体形成有收纳食品的储藏室；

一块以上的搁板，所述搁板设置在所述储藏室内，并载置食品；

门，所述门对所述储藏室的一侧进行开闭；

相机，所述相机设置在所述门的内侧的面上，并拍摄所述储藏室内的图像；以及

相机移动装置，所述相机移动装置使所述相机在预先设定的可动范围内在上下方向上移动，

所述相机移动装置分别在相邻的所述搁板彼此之间、及所述储藏室的上端内表面与所述上端内表面的相邻的所述搁板之间中的各自的至少两个以上的部位使所述相机停止，

每当所述相机移动装置使所述相机的移动停止时，所述相机进行拍摄，

所述冰箱还具备设置在所述门的内侧的门兜，

所述可动范围的下端位于所述门兜的正上方，

所述相机移动装置具备引导所述相机的移动的引导部，

所述引导部在所述可动范围的下端部分向所述门侧的方向弯曲，

所述相机移动装置通过在所述引导部弯曲的部分处在使所述相机向下方移动的同时将所述相机的方向改变为朝向下方，从而能够使所述相机从所述门兜的正上方向能够从上方拍摄所述门兜的内部的位置及方向移动。

2.根据权利要求1所述的冰箱，其中，

所述冰箱还具备图像处理部，所述图像处理部按各块搁板对位于比该搁板靠上侧的两个部位以上的位置的所述相机拍摄到的图像的亮度及变形中的一方或双方进行校正后，合成并生成该搁板的食品收纳状态图像。

3.根据权利要求1或权利要求2所述的冰箱，其中，

所述相机移动装置具备驱动所述相机的移动的步进电机，

所述相机移动装置使所述相机在预先设定的可动范围内沿上下方向移动，

所述相机移动装置使用所述步进电机的步进数控制所述可动范围内的所述相机的位置。

4.根据权利要求3所述的冰箱，其中，

所述冰箱还具备检测所述门的开闭的传感器，

在所述传感器检测到所述门的关闭动作的情况下，所述相机移动装置使所述相机移动到所述可动范围的一端并进行所述步进电机的零点修正。

5.一种冰箱系统，其中，具备：

权利要求1至权利要求4中任一项所述的冰箱；

通信装置，所述通信装置发送所述相机拍摄到的图像；以及

终端装置，所述终端装置设置成能够与所述通信装置进行通信，并能够接收通信装置发送的所述相机拍摄到的图像。

6.根据权利要求5所述的冰箱系统，其中，

所述冰箱系统还具备图像管理部，所述图像管理部基于所述相机拍摄到的图像判定有无向所述储藏室的出入库，

在所述图像管理部判定为有向所述储藏室的出入库的情况下，所述通信装置向所述终端装置通知表示该情况的主旨。

7.根据权利要求6所述的冰箱系统，其中，

所述图像管理部从所述相机拍摄到的图像提取有向所述储藏室的出入库的食品的图像，并且判定出入库的辨别及出入库日期时刻，

所述通信装置将从所述相机拍摄到的图像提取的有出入库的食品的图像、出入库的辨别及出入库日期时刻的信息发送到所述终端装置。

8.根据权利要求7所述的冰箱系统，其中，

所述终端装置能够按时序显示有出入库的食品的图像、出入库的辨别及出入库日期时刻的信息。

9.根据权利要求7所述的冰箱系统，其中，

所述终端装置能够分入库和出库地显示有出入库的食品的图像、出入库的辨别及出入库日期时刻的信息。

10.根据权利要求6所述的冰箱系统，其中，

所述图像管理部从所述相机拍摄到的图像提取所述储藏室内的各个食品的图像，

所述通信装置向所述终端装置发送从所述相机拍摄到的图像提取的所述储藏室内的各个食品的图像，

所述终端装置能够显示所述储藏室内的各个食品的图像。

11.根据权利要求6至权利要求10中任一项所述的冰箱系统，其中，

所述图像管理部使食品的形状、大小、颜色及外包装标签中的至少一个与该食品的种类关联并预先存储，并且参照该存储的信息，根据所述相机拍摄到的图像判定所述储藏室内的各个食品的种类及量。

Images