[go: up one dir, main page]

WO2018080023A1 - 전자 장치 및 그의 동작을 제어하는 방법 - Google Patents

전자 장치 및 그의 동작을 제어하는 방법 Download PDF

Info

Publication number
WO2018080023A1
WO2018080023A1 PCT/KR2017/010359 KR2017010359W WO2018080023A1 WO 2018080023 A1 WO2018080023 A1 WO 2018080023A1 KR 2017010359 W KR2017010359 W KR 2017010359W WO 2018080023 A1 WO2018080023 A1 WO 2018080023A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
sensor
information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/010359
Other languages
English (en)
French (fr)
Inventor
이태한
배성건
박상일
박현철
변익주
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/342,321 priority Critical patent/US11172450B2/en
Publication of WO2018080023A1 publication Critical patent/WO2018080023A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. Transmission Power Control [TPC] or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. Transmission Power Control [TPC] or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • Various embodiments of the present invention relate to an electronic device including an environmental sensor and a method for controlling its operation.
  • Electronic devices may provide various functions.
  • the smartphone may provide an internet connection function, a music or video playback function, a shooting function, a navigation function, a messenger function, etc. in addition to the basic voice communication function.
  • the electronic devices may have a plurality of applications running in the background. This can cause unnecessary current consumption.
  • the electronic device may provide an alarm in a set manner when an event such as missed phone call, message reception, or schedule occurs, regardless of whether the user is located nearby.
  • the electronic devices perform the alarm operation even when the user is not present (located) in the vicinity of the electronic device and perform various alarms in the background, thereby causing unnecessary current consumption. I have a problem.
  • Various embodiments of the present invention for solving the above-described problems can recognize the presence of a user using environmental information collected through at least one environmental sensor, and control the operation of the electronic device based on the recognition result. have.
  • various embodiments of the present invention may minimize the malfunction of the electronic device by additionally recognizing the presence of a user using at least one other sensor (for example, a camera, a microphone, etc.) in addition to the environmental sensor.
  • at least one other sensor for example, a camera, a microphone, etc.
  • an electronic device may include at least one environmental sensor; And at least one environmental sensor, functionally connected to the at least one environmental sensor, to control the at least one environmental sensor to collect environmental information at regular intervals, and to recognize the presence of the user based on the collected environmental information. It may include at least one processor configured to control the operation of the electronic device according to whether or not.
  • a method of controlling an operation of an electronic device may include: collecting environment information at regular intervals; Confirming whether a user exists based on the collected environmental information; And controlling the operation of the electronic device according to the presence of the user.
  • the presence of the user may be recognized by using an environmental sensor, even if the user is not located within a specific range (eg, within the view angle range of the camera).
  • various embodiments of the present disclosure may minimize malfunctions by recognizing the presence of a user through a combination of a plurality of environmental sensors and / or various other sensors.
  • FIG. 1 is a diagram illustrating an electronic device in a network environment according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a program module according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a method of operating an electronic device according to an exemplary embodiment of the present disclosure.
  • FIG. 5 is a block diagram showing a configuration of an electronic device according to an embodiment of the present invention.
  • 6A is a flowchart illustrating a method of controlling an operation of an electronic device based on an environmental sensor according to an embodiment of the present disclosure.
  • 6B is a view for explaining an example of measuring the presence of a user using a gas sensor according to an embodiment of the present invention.
  • 6C is a view for explaining an example of measuring the presence of a user using a gas sensor, a temperature parser and a humidity sensor according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of controlling an operation of an electronic device based on a state and an environmental sensor of the electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of controlling an operation of an electronic device when interworking with another electronic device according to an embodiment of the present disclosure.
  • 9A is a flowchart illustrating a method of controlling an operation of an electronic device based on an environmental sensor and another sensor capable of recognizing the presence of a user, according to an embodiment of the present disclosure.
  • 9B and 9C are flowcharts illustrating a method of recognizing the presence of a user according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing a method of controlling an operation of an electronic device according to an embodiment of the present disclosure.
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • processor configured (or configured to) perform A, B, and C may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general purpose processor (eg, a CPU or an application processor) capable of performing the corresponding operations.
  • An electronic device may be, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP. It may include at least one of a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device. Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), textiles or clothing integrated (e.g.
  • HMDs head-mounted-devices
  • an electronic device may comprise, for example, a television, a digital video disk (DVD) player, Audio, Refrigerator, Air Conditioner, Cleaner, Oven, Microwave Oven, Washing Machine, Air Purifier, Set Top Box, Home Automation Control Panel, Security Control Panel, Media Box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ) , A game console (eg, Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include a variety of medical devices (e.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters
  • MRA magnetic resonance angiography
  • an electronic device may be a part of a furniture, building / structure or automobile, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, water, electricity, Gas, or a radio wave measuring instrument).
  • the electronic device may be flexible or a combination of two or more of the aforementioned various devices.
  • Electronic devices according to embodiments of the present disclosure are not limited to the above-described devices.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a diagram illustrating an electronic device in a network environment according to various embodiments of the present disclosure.
  • the network environment 100 may include an electronic device 101.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170.
  • the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include circuitry that connects the components 110-170 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit, an application processor, or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 101.
  • the memory 130 may include volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software and / or a program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, an application program (or “application”) 147, or the like.
  • API application programming interface
  • application or “application”
  • At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system.
  • the kernel 141 may be a system resource (eg, used to execute an action or function implemented in, for example, other programs (eg, middleware 143, API 145, or application program 147).
  • the bus 110, the processor 120, or the memory 130 may be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147. Can be.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority.
  • the middleware 143 may use system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 for at least one of the application programs 147. Prioritize and process the one or more work requests.
  • the API 145 is an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143.
  • the API 145 may include at least the following: file control, window control, image processing, or character control. It can contain one interface or function (eg command).
  • the input / output interface 150 may transmit, for example, a command or data input from a user or another external device to other component (s) of the electronic device 101, or other components of the electronic device 101 ( Commands or data received from the device) can be output to the user or other external device.
  • Display 160 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or an electronic paper display. It may include.
  • the display 160 may display, for example, various types of content (eg, text, images, videos, icons, and / or symbols, etc.) to the user.
  • the display 160 may include a touch screen and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). Can be.
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).
  • the wireless communication may be, for example, LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), or global network (GSM).
  • LTE Long Term Evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal mobile telecommunications system
  • WiBro wireless broadband
  • GSM global network
  • the wireless communication is, for example, as illustrated by element 164 of FIG. 1, wireless fidelity (WiFi), light fidelity (LiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, It may include at least one of near field communication (NFC), magnetic secure transmission (Magnetic Secure Transmission), radio frequency (RF), or body area network (BAN).
  • the wireless communication may include GNSS.
  • the GNSS may be, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter referred to as "Beidou”), or a Galileo, the European global satellite-based navigation system.
  • GPS Global Positioning System
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system.
  • Wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a standard standard232 (RS-232), a power line communication, a plain old telephone service (POTS), and the like.
  • the network 162 may comprise a telecommunications network, for example at least one of a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101. According to various embodiments of the present disclosure, all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 106). According to this, when the electronic device 101 needs to perform a function or service automatically or by request, the electronic device 101 may instead execute or execute the function or service by itself, or at least some function associated therewith.
  • the other electronic device may request the requested function or The additional function may be executed and the result may be transmitted to the electronic device 101.
  • the electronic device 101 may provide the requested function or service by processing the received result as it is or additionally.
  • Cloud computing distributed computing, or client-server computing techniques can be used.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors (eg, an AP) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, and a display. 260, an interface 270, an audio module 280, a camera module 291, a power management module 295, a battery 296, an indicator 297, and a motor 298.
  • the 210 may control a plurality of hardware or software components connected to the processor 210 by running an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor. 210 may include at least some of the components shown in FIG. 2 (eg, cellular module 221). The processor 210 other components: processing by loading the command or data received from at least one (e.g., non-volatile memory) in the volatile memory) and can store the result data into the nonvolatile memory.
  • a graphic processing unit GPU
  • an image signal processor may include at least some of the components shown in FIG. 2 (eg, cellular module 221).
  • the processor 210 other components: processing by loading the command or data received from at least one (e.g., non-volatile memory) in the volatile memory) and can store the result data into the nonvolatile memory.
  • the communication module 220 may include, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227, an NFC module 228, and an RF module 229. have.
  • the cellular module 221 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network.
  • the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network by using a subscriber identification module (eg, a SIM card) 224.
  • the cellular module 221 may perform at least some of the functions that the processor 210 may provide.
  • the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • at least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may be one integrated chip. (IC) or in an IC package.
  • the RF module 229 may transmit / receive a communication signal (for example, an RF signal), for example.
  • the RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • At least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may transmit and receive an RF signal through a separate RF module.
  • Subscriber identification module 224 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may include, for example, volatile memory (for example, DRAM, SRAM, or SDRAM), nonvolatile memory (for example, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM).
  • the flash memory may include at least one of a flash memory, a hard drive, or a solid state drive (SSD)
  • the external memory 234 may be a flash drive, for example, a compact flash (CF) or a secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc.
  • the external memory 234 may be functionally connected to the electronic device 201 through various interfaces. Or physically connected.
  • the sensor module 240 may measure, for example, a physical quantity or detect an operation state of the electronic device 201 and convert the measured or detected information into an electrical signal.
  • the sensor module 240 includes, for example, a gesture sensor 240A, a gyro sensor 240B, an air pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a grip sensor 240F, and a proximity sensor ( 240G), color sensor 240H (e.g., red (green, blue) sensor), biometric sensor 240I, temperature / humidity sensor 240J, illuminance sensor 240K, or UV (ultra violet) ) May include at least one of the sensors 240M.
  • sensor module 240 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electrocardiogram (EEG) sensor, an electrocardiogram (ECG) sensor, Infrared (IR) sensors, iris sensors and / or fingerprint sensors.
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 201 further includes a processor configured to control the sensor module 240 as part of or separately from the processor 210, while the processor 210 is in a sleep state. The sensor module 240 may be controlled.
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate recognition sheet.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • Display 260 may include panel 262, hologram device 264, projector 266, and / or control circuitry to control them.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured with the touch panel 252 and one or more modules.
  • panel 262 may include a pressure sensor (or force sensor) capable of measuring the strength of the pressure on the user's touch.
  • the pressure sensor may be integrally implemented with the touch panel 252 or one or more sensors separate from the touch panel 252.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the interface 270 may include, for example, an HDMI 272, a USB 274, an optical interface 276, or a D-subminiature 278.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1.
  • interface 270 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. have.
  • MHL mobile high-definition link
  • MMC Secure Digital Card
  • IrDA infrared data association
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 145 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images. According to one embodiment, the camera module 291 is one or more image sensors (eg, a front sensor or a rear sensor), a lens, an image signal processor (ISP) Or flash (eg, LED or xenon lamp, etc.).
  • ISP image signal processor
  • flash eg, LED or xenon lamp, etc.
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger IC, or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable cell and / or a solar cell.
  • the indicator 297 may display a specific state of the electronic device 201 or a part thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert electrical signals into mechanical vibrations, and may generate vibrations or haptic effects.
  • the electronic device 201 may be, for example, a mobile TV supporting device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo TM . : GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • mediaFlo TM . : GPU mediaFlo TM .
  • Each of the components described in this document may be composed of one or more components, and the name of the corresponding component may vary according to the type of electronic device.
  • the electronic device eg, the electronic device 201) may include some components, omit additional components, or combine some of the components to form a single entity. It is possible to perform the same function of the previous corresponding
  • the program module 310 may include an operating system and / or various applications running on the operating system for controlling resources related to the electronic device (eg, the electronic device 101).
  • the application program 147 may be included.
  • the operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • the program module 310 may include the kernel 320 (eg, the kernel 141), the middleware 330 (eg, the middleware 143), and the API 360 (eg, the API 145).
  • At least a portion of the program module 310 may be preloaded on the electronic device or may be an external electronic device (eg, an electronic device ( 102, 104, server 106, etc.).
  • the kernel 320 may include, for example, a system resource manager 321 and / or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • the middleware 330 may provide various functions through the API 360, for example, to provide functions commonly required by the application 370, or to allow the application 370 to use limited system resources inside the electronic device.
  • the middleware 330 may include a runtime library 335, an application manager 341, a window manager 342, a multimedia manager 343, a resource manager 344, a power manager 345, and a database manager ( 346, a package manager 347, a connectivity manager 348, a notification manager 349, a location manager 350, a graphic manager 351, or a security manager 352.
  • the runtime library 335 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 341 may manage, for example, the life cycle of the application 370.
  • the window manager 342 may manage GUI resources used on the screen.
  • the multimedia manager 343 may identify a format necessary for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage space of source code or memory of the application 370.
  • the power manager 345 may manage, for example, the capacity, temperature, or power of the battery, and determine or provide power information necessary for the operation of the electronic device using the corresponding information. According to an embodiment of the present disclosure, the power manager 345 may interwork with a basic input / output system (BIOS).
  • BIOS basic input / output system
  • the database manager 346 may create, retrieve, or change a database to be used, for example, in the application 370.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 348 may manage, for example, a wireless connection.
  • the notification manager 349 may provide the user with events such as, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 350 may manage location information of the electronic device, for example.
  • the graphic manager 351 may manage, for example, graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide system security or user authentication, for example.
  • the middleware 330 may include a telephony manager for managing a voice or video call function of the electronic device or a middleware module capable of forming a combination of functions of the above-described components. .
  • the middleware 330 may provide a module specialized for each type of operating system.
  • the middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 is, for example, a set of API programming functions, which may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 370 is, for example, a home 371, a dialer 372, an SMS / MMS 373, an instant message (IM) 374, a browser 375, a camera 376, an alarm 377. , Contacts 378, voice dials 379, emails 380, calendars 381, media players 382, albums 383, watches 384, health care (e.g., measures exercise or blood sugar, etc.) Or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information).
  • the application 370 may include an information exchange application capable of supporting information exchange between the electronic device and the external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may be, for example, the ability of an external electronic device to communicate with the electronic device (e.g. turn-on / turn-off of the external electronic device itself (or some component) or the brightness (or resolution) of the display). Control), or install, delete, or update an application running on the external electronic device.
  • the application 370 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 370 may include an application received from an external electronic device.
  • At least a portion of the program module 310 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 120), or a combination of at least two of them, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • FIG. 4 is a diagram illustrating a method of operating an electronic device according to an exemplary embodiment of the present disclosure.
  • the electronic device 400 may check whether a user exists within a predetermined range 410.
  • the electronic device 400 may determine whether a user exists by using an environmental sensor (eg, a temperature sensor, a humidity sensor, a wind speed sensor, an odor sensor, a gas sensor, etc.).
  • the electronic device 400 may use the user when the environmental information collected through the environmental sensor exceeds a preset reference value (first reference value) or when the amount of change of environmental information exceeds a preset reference value (second reference value). You can change the status value to indicate the presence of.
  • an environmental sensor eg, a temperature sensor, a humidity sensor, a wind speed sensor, an odor sensor, a gas sensor, etc.
  • the electronic device 400 may use the user when the environmental information collected through the environmental sensor exceeds a preset reference value (first reference value) or when the amount of change of environmental information exceeds a preset reference value (second reference value). You can change the status value to indicate the presence of.
  • the electronic device 400 may change the state value to indicate that the user does not exist when the user exists, and change the state value to indicate that the user exists if the user does not exist.
  • the electronic device 400 may change the state value to indicate that the user does not exist when the user exists, and change the state value to indicate that the user exists if the user does not exist.
  • the predetermined range 410 may be about 10 to 200 cm in size.
  • the predetermined range may be set to a circle having a radius of 80 cm around the electronic device 400.
  • embodiments of the present invention are not limited thereto, and the predetermined range may be variously set.
  • the electronic device 400 may enter the missed mode when the user does not exist in the predetermined range 410.
  • the absent mode is a mode for blocking unnecessary operation of the electronic device 400 because the user cannot check the electronic device 400.
  • the electronic device 400 may control not to perform a visual notification (eg, display of a pop-up window, on / off of a light emitted diode), such as receiving a message or a missed call during the missed mode. .
  • the electronic device 400 may turn off Always On Display (AOD).
  • the electronic device 400 may terminate the application running in the background.
  • the electronic device 400 may end after storing a playback time when the multimedia (eg, a video) playback application ends.
  • the electronic device 400 may enter a ready mode for use (or an alarm providing mode) when a user exists within a predetermined range 410. Since the user preparation mode is a state in which the user can check the electronic device 400, the user may be alerted to information that has been blocked (information received in the absent mode but not yet informed) to the user, and the electronic device 400 is ready to execute an operation. Mode. For example, the electronic device 400 visually and / or audibly alerts for message reception information, missed call information and / or newly received message reception information, missed call information, etc., which were blocked in the missed mode. Pop-up window display, light emitting diode on / off, sound effect output, etc.). The electronic device 400 may remove alarm information when the user confirms the alarm. On the other hand, when the user reenters the missed mode without confirming the alarm, the electronic device 400 may accumulate and store alarm information not confirmed by the user together with newly received message reception information or missed call information. .
  • the electronic device 400 when the user enters the ready mode, the electronic device 400 may turn on the AOD. In another embodiment, the electronic device 400 may restore (re-execute in the background) applications that were running in the background before entering the missed mode. In another embodiment, the electronic device 400 may play the multimedia (video) from the stored playback time when entering the missed mode.
  • the electronic device 400 displays an application (eg, camera recording, voice recording, date / time display, weather information display, environment information display, schedule display, etc.) set by the user. You can run an application (eg, camera recording, voice recording, date / time display, weather information display, environment information display, schedule display, etc.) set by the user. You can run an application (eg, camera recording, voice recording, date / time display, weather information display, environment information display, schedule display, etc.) set by the user. You can run an application (eg, camera recording, voice recording, date / time display, weather information display, environment information display, schedule display, etc.) set by the user. You can run an application (eg, camera recording, voice recording, date / time display, weather information display, environment information display, schedule display, etc.) set by the user. You can run an application (eg, camera recording, voice recording, date / time display, weather information display, environment information display, schedule display, etc.) set by the user. You can run an application (eg, camera recording,
  • the electronic device 400 may check the operation state of the electronic device 400 before collecting the environment information, and determine whether to collect the environment information according to the operation state. For example, when the display is turned on, a touch input is sensed, a user's grip is sensed through a grip sensor, or an audio module is in operation (for example, music playing), the electronic device 400 is within a certain range. It can be recognized that the user exists. In another embodiment, when the electronic device 400 detects the movement or shaking of the electronic device 400 through an inertial sensor (acceleration sensor, gyro sensor, etc.), that is, the user is present. It can be recognized as.
  • an inertial sensor acceleration sensor, gyro sensor, etc.
  • the electronic device 400 may perform an operation of checking whether the user exists using an environmental sensor.
  • the electronic device 400 does not perform an operation of checking whether the user exists using an environmental sensor, and operates as in the prior art. can do. Detailed description thereof will be described later with reference to FIG. 7.
  • the electronic device 400 may check whether the electronic device 400 is connected to at least one other electronic device (for example, a tablet, a wearable electronic device, a smart TV, etc.) by wire or wirelessly.
  • the electronic device 400 may enter a quarantine missed mode.
  • the electronic device 400 may enter the missed mode. Detailed description thereof will be described later with reference to FIG. 8.
  • the electronic device 400 determines whether the user exists through at least one other sensor (eg, an inertial sensor, an optical sensor, an image sensor, etc.). Can be recognized again.
  • the electronic device 400 may recognize the presence of the user through an optical sensor (infrared sensor, proximity sensor, gesture sensor, heart rate sensor, etc.).
  • the electronic device 400 may recognize the presence of the user through an image sensor (eg, a camera).
  • the electronic device 400 may recognize the presence of the user through a microphone.
  • the electronic device 400 may recognize the presence of the user by detecting a footstep sound, a speech sound, etc. through a microphone.
  • various embodiments of the present disclosure may minimize malfunction of the electronic device 400 by recognizing the presence of the user through another sensor after recognizing the presence of the user through an environmental sensor. Detailed description thereof will be described later with reference to FIGS. 9A to 9C.
  • the predetermined range is shown as one in Figure 4, in some embodiments, the predetermined range may be set to a plurality. In this case, a configuration and / or a function of terminating the power may be set differently for each range.
  • FIG. 5 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 500 (eg, the electronic device 101 of FIG. 1, the electronic device 201 of FIG. 2, and the electronic device 400 of FIG. 4) according to an exemplary embodiment of the present invention.
  • the processor 510 may include a processor 510, a memory 520, a touch screen 530, a communication unit 540, a camera 550, an audio processor 560, a sensor unit 570, and a power management unit 580. .
  • the processor 510 may control the overall operation of the electronic device 500. .
  • the processor 510 may control each component of the electronic device 500.
  • the processor 510 may receive instructions from the memory 520 and control each component according to the received instructions to perform various functions.
  • the processor 510 may be formed of a central processing unit (CPU), an application processor (AP), a micro control unit (MCU), or the like.
  • the processor 510 may be formed as a single core processor or a multi-core processor.
  • the processor 510 may be a multiprocessor composed of a plurality of processors.
  • the processor 510 may include an application processor (AP) and a communication processor (CP).
  • the processor 510 may include an application processor and a low power processor.
  • the application processor may control the overall operation of the electronic device, and the low power processor may be driven when entering the absent mode to control the sensor unit 570.
  • the low power processor may be configured separately and not inside the processor 510.
  • the processor 510 may be driven in a normal mode or a low power mode, and may be driven in a low power mode when entering the missed mode.
  • the processor 510 may collect environment information at regular intervals and control the operation of the electronic device 500 based on the collected environment information. According to various embodiments of the present disclosure, the processor 510 may use (or analyze) the collected environmental information to determine whether a user exists in the vicinity of the electronic device 500 (or a state change with respect to existence). For example, the processor 510 may recognize that a user exists when the concentration of carbon dioxide increases. In another embodiment, the processor 510 may compare the environment information of the previous cycle with the currently measured environment information and recognize that the state of the presence or absence of the user has changed when the environment information changes above the threshold.
  • the operation of the electronic device 500 may be controlled according to the check result. For example, the processor 510 may enter a ready mode for use if a user exists. Meanwhile, the processor 510 may enter the missed mode when there is no user.
  • the processor 510 may be configured to provide visual, audio, and tactile alarms (e.g., pop-up display, LED flashing, etc.) for events that occur during missed modes (e.g., alarm events such as receiving messages, missed calls, schedules, etc.). Sound effect output, vibration output, etc.) may not be provided.
  • the processor 510 may stop the running application, terminate the running application in the background, or turn off the AOD.
  • the processor 510 may perform at least one or more of the above-described operations.
  • the use preparation mode is a mode that provides an alarm visually, acoustically, and / or tactilely when an event occurs, as the user is positioned around the electronic device 500.
  • the processor 510 may reapply the blocked power, restore the suspended or terminated applications to the previous state, or turn on the AOD.
  • the processor 510 may perform at least one or more of the above-described operations.
  • the processor 510 may determine whether the electronic device is in use based on the operation state of the electronic device 500, and if not, determine whether the user exists through an environmental sensor.
  • the processor 510 may confirm the presence of a user using environment information and at least one other sensor information. For example, when the presence of the user is detected through the environmental sensor, the user re-confirms the existence of the user through an inertial sensor, an optical sensor, an image sensor, etc. The operation of 500 may be controlled. A detailed description of the processor 510 will be described later with reference to FIGS. 6A to 9C.
  • the memory 520 (eg, the memory 130 of the electronic device 101 of FIG. 1 and the memory 230 of the electronic device 201 of FIG. 2) stores various programs for operating the electronic device 500.
  • the data generated during the execution of the various programs or the downloaded data may be stored.
  • the memory 520 may store various commands and / or instructions for operating the processor 510.
  • the memory 520 may include at least one of an internal memory or an external memory.
  • the memory 520 may determine whether a user exists using an environmental sensor and store a program for controlling an operation of the electronic device 500.
  • the program includes a routine for periodically collecting environmental information using an environmental sensor, a routine for recognizing the presence of a user using the collected environmental information, and a routine for controlling the operation of the electronic device 500 according to the presence of the user.
  • the memory 520 may store the collected environment information for a certain period of time.
  • the memory 520 may collectively store missed call information, message reception information, schedule alarm information, and the like, received in the missed mode.
  • the memory 520 may store playback time information of the video when entering the absent mode during video playback, and may store information of applications running in the background. Playback time information and applications information stored in the memory 520 may be used in the ready mode.
  • the processor 510 may play a video from the stored playback time when the user enters the ready mode, and execute applications corresponding to information of stored applications in the background.
  • the touch screen 530 (eg, the display 160 of the electronic device 101 of FIG. 1 and the display 260 of the electronic device 201 of FIG. 2) may provide an input function and an output function.
  • the touch screen 530 may include a touch sensing panel 532 and a display panel 531.
  • the display panel 531 may provide an output function.
  • the display panel 531 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or an electronic paper display. It can be formed as.
  • the display panel 531 may be implemented to be flexible, transparent, or wearable.
  • the display panel 531 may display, for example, various contents (eg, text, images, videos, icons, and / or symbols). According to various embodiments of the present disclosure, the display panel 531 may maintain an off state even when an alarm event occurs in the missed mode.
  • the display panel 531 may visually display alarm information in the ready mode for use. For example, the display panel 531 may display alarm information in the form of a popup window.
  • the display panel 531 may be AOD. In another embodiment, the display panel 531 may include an AOD separately. According to one embodiment of the invention, the AOD may be turned off in the absence mode and turned on in the ready mode for use.
  • the touch sensing panel 532 may provide an input function.
  • the touch sensing panel 532 may be physically touched by various touch inputs (eg, tap, double tap, touch, touch movement, multi touch, pressure touch, etc.) using an input tool such as a finger, a stylus, or an electronic pen. Changes in characteristics (capacitance, frequency, etc.) can be detected (or recognized) and communicated to the processor 510.
  • the touch sensing panel may include a first panel (not shown) for sensing a touch using a finger, a second panel (not shown) for electronic pen recognition, and a third panel (not shown) for pressure sensing. .
  • the communication unit 540 may perform a communication function.
  • the communication unit 540 may perform communication by wire or wirelessly.
  • the communication unit 540 includes a USB communication module, an ear jack communication module, a WiFi communication module, a Bluetooth (BT) communication module, a near field communication (NFC) module, a global positioning system (GPS) module, and the like. can do.
  • at least some (eg, two or more) of the WiFi communication module, BT communication module, NFC module, or GPS module may be included in one integrated chip (IC) or IC package.
  • the communication unit 540 may connect a communication channel with at least one other electronic device (tablet, wearable electronic device, smart TV, etc.). When connected to the other electronic device, the communication unit 540 may not be turned off in the absence mode. In another embodiment, the communication unit 540 may receive environment information from another electronic device. In this case, the processor 510 recognizes whether a user exists near the other electronic device based on environment information received from the other electronic device, and if the user exists near the other electronic device, the user needs to confirm the information. (For example, alarm information) can be transmitted to another electronic device.
  • the camera 550 may photograph a subject.
  • the camera 550 may include a complementary metal-oxide semiconductor (CMOS) image sensor and a charge coupled device (CCD) image sensor.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge coupled device
  • the camera 550 may include a front camera (not shown) located at the front of the electronic device 500 and a rear camera (not shown) located at the rear.
  • the camera 550 When the presence of the user is recognized through the environmental sensor 571, the camera 550 according to an exemplary embodiment of the present invention may be turned on to recognize the presence of the user. For example, when the front surface of the electronic device 500 is facing upward, the processor 510 may turn on the front camera to photograph the subject and determine whether the subject is a human. On the other hand, when the rear surface of the electronic device 500 faces upward, the processor 510 may turn on the rear camera to photograph the subject and determine whether the subject is a human. According to an embodiment of the present disclosure, when the subject is a human, the processor 510 may identify whether the user is registered in the electronic device 500 through face recognition.
  • the audio processor 560 may output or receive an audio signal.
  • the audio processor 560 may output an audio signal through a speaker SPK and receive an audio signal through a microphone MIC.
  • the audio processor 560 may turn on the microphone to recognize the presence of the user.
  • the processor 510 may recognize that a user exists when an audio signal corresponding to a voice or an audio signal corresponding to a step is input through a microphone.
  • the processor 510 may identify whether the user is registered in the electronic device 500 through voice recognition.
  • the sensor unit 570 may include various sensors.
  • the sensor unit 570 may include an environmental sensor 571, an optical sensor 572, a grip sensor 573, and a motion sensor 574.
  • the environmental sensor 571 may collect environmental information.
  • the environmental sensor 571 may include a temperature sensor, a humidity sensor, a wind speed sensor, an odor sensor, a gas sensor, and the like. When it is determined that the electronic device 500 is not in use, the environmental sensor 571 may be turned on to collect environmental information at regular intervals.
  • the collected environmental information may be used by the processor 510 to confirm the presence of a user. For example, the processor 510 may recognize that the user is near when the temperature is lowered and then returned. This is a phenomenon that the temperature is lowered and then returned again by the flow of air generated by the user's movement at a level of about 25 ° C., which is a general atmospheric temperature.
  • the processor 510 may recognize that the user is close when the humidity increases. This is measured at a relative humidity of 70% or less (30 to 60% relative humidity of ISO standard comfort zone), which is a general indoor humidity level, and when the user approaches, humidity increases due to water vapor contained in the exhalation having a relative humidity of 100%. It is used.
  • the processor 510 may recognize that the user is close when detecting the gas component included in the exhalation. For example, the processor 510 may measure a change in the concentration of carbon dioxide through a gas sensor and recognize that the user is close when the concentration of carbon dioxide increases.
  • the processor 510 may include a VOC (Volatile Organic Compound) mixed gas or a metabolic gas such as acetone, ethanol, benzene, isoprene, carbon monoxide, and VSC (measured at exhalation through the gas sensor). Users can be considered close when gas related to bad breath is detected, such as Volatile sulfur compounds), VNC (Volatile nitrogen compounds), VFA (Volatile fatty acids) and aldehydes.
  • VOC Volatile Organic Compound
  • VSC Volatile Organic Compound
  • VSC Volatile Organic Compound
  • Users can be considered close when gas related to bad breath is detected, such as Volatile sulfur compounds), VNC (Volatile nitrogen compounds), VFA (Volatile fatty acids) and aldehydes.
  • the processor 510 may recognize the proximity of the user using an odor and dust concentration such as clothes, cosmetics, perfume, and body odor generated from sweat measured by the odor sensor and the dust sensor. Can be.
  • the processor 510 analyzes and records a body odor such as clothes, cosmetics, perfume, and sweat before leaving the user's seat, and the environmental information measured by the odor sensor matches the previously recorded environmental information. The user may recognize that the user is in proximity and release the missed mode (enter the ready mode for use).
  • the processor 510 records the ratio of the core odor gas of the user through machine learning, and compares the measured information (gas ratio) with the recorded information (gas ratio). It may be checked whether the user is registered in the electronic device.
  • the processor 510 may recognize that the user is close when wind is generated by the movement of the user through a wind speed sensor, or when convection and diffusion due to a difference in body temperature and humidity and gas concentration are detected. Can be.
  • the processor 510 may recognize whether a user exists in the surroundings by measuring a change in air flow generated when the user appears in the surroundings.
  • the processor may recognize the proximity of the user by continuously or periodically monitoring the flow of air so that the user does not recognize the air flow generated by HVAC (heating, ventilation and air conditioning) as being in proximity.
  • HVAC heating, ventilation and air conditioning
  • the optical sensor 572 may include an illuminance sensor, an infrared sensor, a proximity sensor, a gesture sensor, a biometric sensor (eg, a heart rate sensor, an iris sensor), and the like.
  • the optical sensor 572 may be used to recognize the presence of a user. For example, when the illuminance recognized by the illuminance sensor is lowered, the processor 510 may recognize that the light is obscured by the user. The processor 510 may recognize that the user exists when the subject is detected by the infrared sensor. The processor 510 may recognize that the user exists when the movement of the user is detected through the gesture sensor. The processor 510 may recognize that the user exists when the biological signal of the user is detected through the biometric sensor.
  • the grip sensor 573 may detect whether the user grips the electronic device 500. When it is determined that the grip state is gripped by the grip sensor 573, the processor 510 may end the collection of environment information.
  • the motion sensor 574 may detect a movement of the electronic device 500.
  • the motion sensor 574 may include an acceleration sensor, a geomagnetic sensor, a gravity sensor, and the like.
  • the processor 510 may end collecting the environment information.
  • the power manager 580 may supply or cut off power to the components of the electronic device 500.
  • the power manager 580 may cut off power of all components except for a configuration for collecting environmental information (eg, the environmental sensor 571 and the processor 510) in the absence mode.
  • the power manager 580 may notify an alarm and supply power to components for restoring a background application.
  • the sensor unit 570 is illustrated as being connected to the processor 510, but embodiments of the present invention are not limited thereto.
  • the electronic device 500 may include a sensor hub (eg, a low power processor) that consumes less power than the processor 510, and may connect the sensor unit 570 to the sensor hub.
  • the sensor hub may be included in the processor 510.
  • the processor 510 may be driven in a normal mode and a low power mode, and may cause the processor 510 to be driven in a low power mode during the absence mode.
  • various embodiments of the present invention can further reduce current consumption by allowing only the environmental sensor and the low power processor to operate in the absence mode.
  • the electronic device 500 may not include some of the described components.
  • the electronic device 500 further includes at least one other component (eg, a digital broadcasting module, a fingerprint sensor, an interface module, an input device, a battery, etc.) at the same level as the described components. can do.
  • at least one other component eg, a digital broadcasting module, a fingerprint sensor, an interface module, an input device, a battery, etc.
  • an electronic device eg, the electronic device 101 of FIG. 1, the electronic device 201 of FIG. 2, the electronic device 400 of FIG. 4, and the electronic device 500 of FIG. 5
  • Is functionally connected to at least one environmental sensor eg, the environmental sensor 571 of FIG. 5) and the at least one environmental sensor, and controls the at least one environmental sensor to collect environmental information at regular intervals
  • At least one processor eg, a processor of the electronic device 101 of FIG. 1) configured to recognize the presence of a user based on the collected environment information and to control an operation of the electronic device according to the presence of the user. 120, the processor 210 of the electronic device 201 of FIG. 2, and the processor 510 of the electronic device 500 of FIG. 5.
  • the at least one environmental sensor may include at least one of a temperature sensor, a humidity sensor, a wind speed sensor, an odor sensor, and a gas sensor.
  • the processor checks at least once whether a difference between the environmental information collected in a previous cycle and the currently collected environmental information exceeds a preset first threshold value, or the second predetermined preset environmental information is set.
  • the presence of the user may be recognized by checking at least once whether the threshold is greater than or equal to the threshold.
  • the first threshold value and the second threshold value may vary according to environment information of a location where the electronic device is located.
  • the processor enters a use preparation mode when a user is present in the vicinity of the electronic device, and at least a part of a configuration included in the electronic device when the user is not in the vicinity of the electronic device.
  • the user may enter the missed mode to control at least one of the power and the function.
  • the processor may determine whether the electronic device is in use and determine that a user exists near the electronic device when in use.
  • the processor is in use when the display is on, a touch input is detected, an audio playback function is running, the electronic device is in a grip state, or the movement of the electronic device is detected. Can be determined.
  • the processor checks whether there is at least one other electronic device interworked with the electronic device in a wired or wireless manner, and maintains a function associated with the other electronic device when the other electronic device exists. In addition, it can be controlled to enter the quarantine missed mode of terminating other functions.
  • the electronic device may further include at least one of an optical sensor, an image sensor, and a microphone for recognizing the presence of a user, and the processor recognizes that the user exists through the environmental sensor. If at least one of the optical sensor, the image sensor, and the microphone can be controlled to recognize the presence of the user.
  • the processor may determine whether the user of the electronic device compares current user information recognized through at least one of voice recognition, face recognition, and biometric information with user information previously registered in the electronic device. Alternatively, when the registered user is located in the vicinity, the collected odor information may be compared with the current odor information to determine whether the user is the user of the electronic device.
  • FIG. 6A is a flowchart illustrating a method of controlling an operation of an electronic device based on an environmental sensor according to an embodiment of the present invention
  • FIG. 6B is a flowchart illustrating a user using a gas sensor according to an embodiment of the present invention.
  • 6C is a view for explaining an example of measuring the presence
  • Figure 6c is a view for explaining an example of measuring the presence of a user using a gas sensor, a temperature sensor and a humidity sensor according to an embodiment of the present invention.
  • the electronic device eg, the processor 120 of the electronic device 101 and the processor 210 of the electronic device 201 may be used.
  • the processor 510 of the electronic device 500 may collect environment information at a predetermined period (for example, 1 minute or 1 second).
  • the electronic device may collect at least one environmental information through at least one environmental sensor.
  • the electronic device may set a value initially measured through the environmental sensor as a reference value. When the environmental sensor needs stabilization, a value measured after stabilization may be set as the reference value.
  • the electronic device may set the reference value by compensating a value measured before the stabilization of the environmental sensor is completed.
  • the electronic device may recognize whether a user exists based on the collected environment information. For example, the electronic device may have a difference (change amount) between the reference value and the second measured environmental information exceeding (or exceeding) a preset first threshold value, or the value of the second measured environmental information being preset. If it is less than (or less than) the second threshold, it may be recognized that the user does not exist.
  • the electronic device determines that the difference between the reference value and the value of the second measured environmental information is less than (or less than or equal to) a predetermined third threshold value and the value of the second environmental information is within a set range or the second measured value If the value of the environment information is greater than or equal to the preset fourth threshold value and within the set range, it may be recognized that the user exists.
  • the first threshold value and the third threshold value may have the same value, and the second threshold value and the fourth threshold value may have the same value.
  • the first threshold value and the third threshold value may be set to different values, and the second threshold value and the fourth threshold value may be set to different values.
  • one embodiment of the present invention strictly sets the conditions (third threshold and fourth threshold) for determining that the user exists, and the conditions (first threshold and first threshold for determining that the user does not exist). 2th threshold) can be set loosely.
  • the first threshold value and the third threshold value may be set to the same value, and the second threshold value and the fourth threshold value may be set to different values.
  • the first threshold value and the third threshold value may be set to different values, and the second threshold value and the fourth threshold value may be set to the same value.
  • the electronic device may recognize whether a user exists by using an environmental sensor. For example, the electronic device may recognize that the user is present when the concentration of carbon dioxide measured by the gas sensor increases, and that the user does not exist when the concentration of carbon dioxide decreases. Can be. For example, the concentration of carbon dioxide, which was about 700 ppm at "2:11:20" as shown in FIG. 6B, may increase to about 900 ppm at "2:13:50" due to the user's approach.
  • the electronic device may recognize that the user exists because the concentration of carbon dioxide (900 ppm) measured at 2:13:50 seconds exceeds the second threshold value (800 ppm).
  • the electronic device may recognize the presence of the user through a change in the ambient temperature measured using the temperature sensor. In another embodiment, the presence of the user may be recognized through a change in the surrounding humidity measured using the humidity sensor. In another embodiment, the presence of the user may be recognized through a change in the surrounding wind speed measured using the wind speed sensor.
  • the presence of the user may be recognized using at least two sensors among various environmental sensors (eg, a gas sensor, a temperature sensor, a humidity sensor, and a wind speed sensor) to improve accuracy.
  • various environmental sensors eg, a gas sensor, a temperature sensor, a humidity sensor, and a wind speed sensor
  • the electronic device may recognize the presence of a user using a gas sensor, a temperature sensor, and a humidity sensor.
  • the electronic device may determine whether a user exists by complexly determining a change in concentration, temperature, and humidity of carbon dioxide measured through a gas sensor, a temperature sensor, and a humidity sensor.
  • the electronic device may recognize that the user exists when the carbon dioxide concentration, the ambient temperature, and the humidity increase in a condition where the ambient temperature is a normal indoor level, and the concentration, the ambient temperature, and the humidity of the carbon dioxide decrease.
  • the user can be recognized as not present.
  • the first threshold for carbon dioxide concentration is set to 100 ppm
  • the second and fourth thresholds are set to 900 ppm
  • the third threshold is set to -100 ppm
  • the first threshold for temperature is 0.1 degrees
  • the threshold is set at 27.25 degrees
  • the third threshold is -0.1 degrees
  • the fourth threshold is 27.35 degrees
  • the first threshold for humidity is 0.5% RH
  • the second and fourth thresholds are 38% RH
  • the third threshold is -0.5 Assume that it is set to% RH.
  • the carbon dioxide concentration may be 1,000 ppm
  • the temperature may be 27.4 degrees Celsius
  • the humidity may be 38.1% RH.
  • the concentration of carbon dioxide is reduced to 900 ppm (satisfying the first, second, and fourth thresholds)
  • the temperature is reduced to 27.3 degrees Celsius (the fourth threshold is not satisfied)
  • the humidity is 37.2% RH (first , 2, 4 threshold satisfied).
  • the electronic device may recognize that the user does not exist.
  • the carbon dioxide concentration may be 900 ppm
  • the temperature may be 27.2 degrees Celsius
  • the humidity may be 37.4% RH.
  • the concentration of carbon dioxide increases to 1100 ppm (satisfied with the second, third, and fourth thresholds)
  • the temperature increases to 27.3 degrees Celsius (unsatisfactory second thresholds)
  • the humidity is 39% RH (first 2, 3, 4 threshold satisfaction).
  • the electronic device may recognize that the user exists.
  • An electronic device can minimize malfunctions by using a plurality of environmental sensors. For example, in FIG. 6C, when only the temperature sensor is used, the electronic device satisfies the fourth threshold for temperature at 15:31 and recognizes that the user does not exist. It can be recognized that the user exists by satisfying the second threshold. However, a result recognized using only the temperature sensor may have a difference (delay) of about 2 minutes from a result recognized using a plurality of sensors (15:34).
  • the electronic device may recognize that the user does not exist.
  • the temperature is maintained at 27.4 degrees (satisfactory fourth threshold), and as the humidity increases from 37.8% RH to 42% RH (satisfied with second and fourth thresholds), the electronic device Can recognize that the user exists.
  • the electronic device may recognize the presence of the user through a combination of the difference between the reference value and the value of the second measured environmental information and the value of the second measured environmental information.
  • the electronic device may change the reference value to the value of the second measured environmental information.
  • the electronic device may recognize whether the user exists based on the measured third environment information, and change the reference value to the value of the third measured environment information.
  • the electronic device may control the operation (or mode) of the electronic device according to the presence of the user. For example, if it is recognized that the user does not exist, the electronic device may enter the missed mode. Meanwhile, when it is recognized that the user exists, the electronic device may enter a ready mode for use.
  • the low power processor may wake up a high power processor (eg, an application processor (AP)). have.
  • the low power processor when the low power processor is capable of controlling the operation of the electronic device, the low power processor may operate the electronic device in a state in which the low power processor maintains a sleep state without waking up the high power processor (eg, an AP). Or mode).
  • the electronic device When entering the missed mode, the electronic device cuts off the power supplied to each component, changes the mode of the electronic device (for example, does not provide an alarm event or provides only a part), stops a running application, or backgrounds. You can terminate the running application or turn off AOD. According to some embodiments, the electronic device may perform at least one or more of the above-described operations.
  • the electronic device When entering the ready mode for use, the electronic device may re-supply the blocked power, restore the mode of the electronic device, restore the suspended or terminated applications to a previous state, or turn on the AOD. According to some embodiments, the electronic device may perform at least one or more of the above-described operations.
  • the electronic device may determine whether to terminate.
  • the termination may be power off of the electronic device or off of a function of controlling an operation by using the environmental sensor.
  • the electronic device If not, the electronic device returns to operation 601 and repeats the above-described operations. On the other hand, the terminated electronic device may end the operation control using the environmental sensor.
  • the electronic device recognizes the presence of a user using environment information, and turns on / off a function of controlling the operation of the electronic device according to the result. It may include a menu. In this case, before the operation 601, the electronic device may further include checking whether a function for controlling the operation of the electronic device is turned on.
  • the electronic device may store a setting value (variable) indicating whether a user exists. For example, if the user exists, the electronic device may store the setting value as "1". If the user does not exist, the electronic device may store the setting value as "0". The electronic device may determine the default value of the setting value as "1". This is because the booting of the electronic device is performed by the user, and thus the user is likely to be present at the time of booting.
  • the default value of the setting value may be determined according to a value previously set and stored by the user.
  • the default value of the set value may be determined using the initial value measured by the environmental sensor.
  • the default value of the setting value may be determined by determining whether the electronic device is used. For example, when it is recognized that the electronic device is moving through an inertial sensor (eg, an acceleration sensor, a geomagnetic sensor, etc.), and when it is recognized that the electronic device is connected to at least one other electronic device by wire and / or wirelessly, You can set the default value to "1".
  • an inertial sensor eg, an acceleration sensor, a geomagnetic sensor, etc.
  • the electronic device may be configured via an optical sensor (infrared sensor, illuminance sensor, proximity sensor, gesture sensor, biometric sensor (e.g., heart rate sensor, iris sensor, etc.), image sensor (e.g. camera) and microphone.
  • an optical sensor infrared sensor, illuminance sensor, proximity sensor, gesture sensor, biometric sensor (e.g., heart rate sensor, iris sensor, etc.), image sensor (e.g. camera) and microphone.
  • the presence of the user may be checked, and a default value of the set value may be determined according to the check result.
  • FIG. 7 is a flowchart illustrating a method of controlling an operation of an electronic device based on a state and an environmental sensor of the electronic device according to an embodiment of the present disclosure.
  • the electronic device eg, the processor 120 of the electronic device 101, the processor 210 of the electronic device 201, or the electronic device
  • the processor 510 of the device 500 may check an operation state of the electronic device. For example, the electronic device may check whether some components (eg, a display, a touch panel, and an audio processor) are operating, whether the electronic device is moving, and whether a grip is detected.
  • some components eg, a display, a touch panel, and an audio processor
  • the electronic device may determine whether it is in use. For example, the electronic device may determine that some components (eg, a display, a touch panel, and an audio processor) are in use, when the electronic device is moving, or when a grip is detected.
  • some components eg, a display, a touch panel, and an audio processor
  • the electronic device may perform operations 705 to 711. Operation 705 to operation 711 correspond to operation 601 to operation 607 of FIG. 6A, respectively. Detailed description thereof will be omitted.
  • the electronic device may perform a corresponding function in operation 713. For example, the electronic device may change the setting value to the presence of the user regardless of the determination result of the presence of the user based on the environment information. The electronic device may provide alarm information.
  • FIG. 8 is a flowchart illustrating a method of controlling an operation of an electronic device when interworking with another electronic device according to an embodiment of the present disclosure.
  • an electronic device eg, the processor 120 of the electronic device 101, the processor 210 of the electronic device 201, or the electronic device
  • the processor 510 of 500 may collect environmental information at regular intervals.
  • the electronic device may recognize whether a user exists based on the collected environmental information.
  • the electronic device may identify whether a user exists. If the user exists in operation 805, the electronic device may perform a corresponding function in operation 807. For example, when the set value is "0", the electronic device may change to "1" and enter a ready mode for use. In another embodiment, when the setting value is "1", the electronic device may maintain the setting value and maintain the use preparation mode.
  • the electronic device may determine whether there is another electronic device connected by wire or wirelessly. If the other electronic device does not exist, the electronic device may proceed to operation 817 to be described later. On the other hand, when the other electronic device exists, in operation 811, the electronic device may check whether a function related to the other electronic device is being executed. For example, the electronic device may check whether data is being transmitted / received with another electronic device.
  • the semi-absent mode is an intermediate step between a ready-to-use mode and a missed mode, wherein the electronic device maintains a power supply of an element (component, component) for executing a function related to the other electronic device and an execution state of an application.
  • the components can be powered off and other applications terminated.
  • the electronic device may turn off the screen and change other functions operating in the background in which the alarm function is turned off to the sleep mode. have.
  • the electronic device in the state of playing media in a state of being connected to the wearable electronic device through wireless communication such as Bluetooth or Wi-Fi, if it is determined that the user does not exist, the electronic device stops playing the media and stops the media. After the memory is stored, the media play program may be terminated, and functions other than the function of interworking with the wearable electronic device may be changed to the sleep mode.
  • wireless communication such as Bluetooth or Wi-Fi
  • the electronic device does not perform a function of cleaning up an application running in the background or partially Only the function can be changed to sleep mode.
  • the electronic device may determine whether a function related to another electronic device is terminated. For example, when the wired or wireless communication connection is disconnected for a predetermined time or more, the electronic device may determine that a function related to another electronic device is terminated. In another embodiment, if the wired or wireless connection is not disconnected, but there is no data transmission for a predetermined time, the electronic device may determine that the connection is not in use and determine that the function related to the other electronic device is terminated. have
  • the electronic device proceeds to operation 801 and repeats the above-described operations. On the other hand, when the function related to the other electronic device is terminated, the electronic device may proceed to operation 817 to be described later.
  • the electronic device may enter the missed mode.
  • the electronic device may cut off power of all components except the configuration for collecting environmental information.
  • the electronic device may confirm termination.
  • the termination may be power off of the electronic device or off of a function of controlling an operation by using the environmental sensor.
  • the electronic device If it is not terminated, the electronic device returns to operation 801 and repeats the above-described operations. On the other hand, the terminated electronic device may end the operation control using the environmental sensor.
  • FIGS. 9A and 9C are diagrams illustrating the present invention.
  • 1 is a flowchart illustrating a method of recognizing the presence of a user according to an embodiment of the present disclosure.
  • an electronic device eg, the processor 120 of the electronic device 101, the processor 210 of the electronic device 201, or the electronic device according to an embodiment of the present disclosure
  • the processor 510 of the electronic device 500 may collect environment information at a predetermined period t1.
  • the electronic device may recognize the presence of the user based on the collected environmental information.
  • the electronic device may determine whether a change in the presence state of the user is detected. If the change of the presence state of the user is not detected, the electronic device may proceed to operation 913 to be described later.
  • the electronic device proceeds to step 907 to re-recognize the existence of the user using at least one other sensor capable of recognizing the existence of the user. can do.
  • the electronic device may recognize the presence of the user through an optical sensor (proximity sensor, gesture sensor, heart rate sensor, infrared sensor, etc.), an image sensor (camera), or a microphone.
  • the electronic device may measure the state of the electronic device using an inertial sensor. For example, the electronic device may determine whether the electronic device is moving by using an acceleration and a gyro sensor or whether the electronic device is in an angular state capable of detecting a user's movement by using an optical sensor.
  • the electronic device may determine whether a movement of the electronic device is detected for a predetermined time (eg, 5 seconds) or more based on the measurement result. As a result of the check, when the movement of the electronic device is detected for more than a predetermined time, the electronic device may proceed to operation 911 of FIG. 9A. On the other hand, if the movement of the electronic device is not detected for more than the predetermined time, the electronic device may check whether the first optical sensor can be used in operation 943. For example, the electronic device may check whether the front surface of the electronic device faces upward. For example, the electronic device may check whether the electronic device has an angle between 90 degrees and 135 degrees based on the direction in which the user stands.
  • a predetermined time eg, 5 seconds
  • the first optical sensor may be located in front of the electronic device, and may include at least one of an illumination sensor, a gesture sensor, a proximity sensor, and a front camera.
  • the electronic device turns on the first optical sensor in operation 944 and proceeds to operation 909 described later.
  • the electronic device uses an optical sensor or an image sensor located on the front face. To recognize the presence of the user.
  • the electronic device may check whether the second optical sensor is available in operation 945.
  • the electronic device may check whether the rear surface of the electronic device faces upward.
  • the electronic device may determine whether the electronic device has an angle between 225 degrees and 270 degrees based on the direction in which the user stands.
  • the second optical sensor may be located at the rear of the electronic device and may include at least one of a biometric sensor (for example, a heart rate sensor), an ultraviolet sensor, an RGB sensor, and a rear camera.
  • a biometric sensor for example, a heart rate sensor
  • the electronic device turns on the second optical sensor in operation 946 and proceeds to operation 909 described later.
  • the electronic device may recognize the presence of the user by using the optical sensor or the image sensor located on the rear surface.
  • the electronic device when the electronic device has an angle that cannot be determined even if there is a person nearby, for example, when the movement cannot be determined by the optical sensor or the image sensor, the electronic device uses a microphone to determine whether the user exists. Can be recognized again.
  • a microphone is used to recognize the presence of the user, but according to an embodiment, the first or second optical sensor and the microphone may be In combination, the presence of a user can be recognized.
  • the electronic device may determine whether a user exists based on the re-recognition result of operation 907. For example, when the brightness of the ambient light changes by a certain level or more from the first or second optical sensor, or when a motion is detected by an array type image sensor such as a camera, the electronic device may recognize that a user is present in the vicinity. Can be.
  • the size of a moving object is inferred by using a distance value from two or more sensors or a sensor capable of recognizing a distance to an object in motion and an angle of an inertial sensor to correspond to a size of a person or an input key of a user. If it is determined that the size is similar to, the electronic device may recognize that a user is present in the vicinity.
  • the electronic device may identify whether the user is registered with the electronic device through face recognition.
  • the electronic device may recognize that the user is present in the vicinity.
  • the electronic device matches (or resembles) a voice input through a microphone and a voice registered as a user of the electronic device (voice registered by a user or automatically registered by recognizing a call voice). If it is determined that there is a user registered in the vicinity may be recognized.
  • the electronic device may enter a ready mode for use.
  • the electronic device may enter the ready mode for use as the user is recognized in both the recognition result using the environmental sensor and the re-recognition result using at least one other sensor.
  • the electronic device determines that the user can see the electronic device at a short distance, and the number and summary information of missed calls, texts, schedules, SNS, messages, etc. are not displayed even when the electronic device is not operated. You can print
  • the electronic device proceeds to operation 921 and measures a change in environment information for a predetermined time t2.
  • the predetermined time t2 may be set to several seconds (for example, 5 to 10 seconds) to several tens of seconds (for example, 30 to 60 seconds).
  • the electronic device may determine whether a user exists. If there is a user as a result of confirming operation 923, the electronic device may proceed to operation 911. For example, the electronic device may determine that the check result of the operation 909 is wrong and proceed to operation 911 to enter a ready mode for use. After entering the user preparation mode, the electronic device may proceed to operation 913 to be described later. On the other hand, if the user does not exist as a result of confirming operation 921, the electronic device may proceed to operation 913 to be described later.
  • the electronic device proceeds to step 931 and recognizes the existence of the user using at least one other sensor capable of recognizing the existence of the user. can do.
  • the electronic device can measure the state of the electronic device using an inertial sensor. For example, the electronic device may determine whether the electronic device is moving by using an acceleration and a gyro sensor or whether the electronic device is in an angular state capable of detecting a user's movement by using an optical sensor.
  • the electronic device may determine whether a movement of the electronic device is detected for a predetermined time (eg, 5 seconds) or more based on the measurement result. As a result of the check, when the movement of the electronic device is detected for more than a predetermined time, the electronic device may proceed to operation 901 of FIG. 9A. On the contrary, if the movement of the electronic device is not detected for more than a predetermined time, the electronic device may check whether the first optical sensor is available in operation 963.
  • a predetermined time eg, 5 seconds
  • the electronic device may determine whether the second optical sensor is available in operation 965.
  • the electronic device may determine whether a user exists based on the re-recognition result of operation 931.
  • the electronic device may proceed to operation 913 to be described later.
  • the electronic device may ignore the recognition result of the environmental sensor recognized as the user, process it as a state where the user exists, and proceed to operation 913.
  • the electronic device proceeds to operation 935 to enter the missed mode.
  • the electronic device may enter the missed mode.
  • the electronic device Upon entering the missed mode, the electronic device only changes the sound / vibration / silent operation (mode), collects the quantity of missed calls, texts, schedules, SNSs, messages, etc., and performs an operation of arranging contents. It may not notify the alarm. In this case, the electronic device may also block the LED notification function.
  • the electronic device may proceed to operation 913 to be described later.
  • the electronic device may determine whether to terminate.
  • the termination may be power off of the electronic device or off of a function of controlling an operation by using the environmental sensor.
  • the electronic device If not, the electronic device returns to operation 901 and repeats the above-described operations. On the other hand, the terminated electronic device may end the operation control using the environmental sensor.
  • the alarm information is provided in the ready mode for use, but various embodiments of the present invention are not limited thereto.
  • the electronic device when the user is unable to see the screen because the electronic device recognizes the state of the recognized electronic device through the inertial sensor when entering the ready mode, the electronic device flashes the rear surface.
  • the user may be notified of the absence notification through the LED such as the heart rate sensor.
  • the electronic device may not be able to see the electronic device at a long distance or view the electronic device. You can recognize it as a situation and provide alarm information only with LEDs.
  • FIG. 10 is a diagram for describing a method of controlling an operation of an electronic device according to an embodiment of the present disclosure.
  • the electronic device may further perform a verification process using the environmental sensor at least once after the change of the presence state of the user is detected.
  • environmental information for example, VOC
  • the electronic device may recognize that the user exists when the environmental change is maintained for a predetermined time by performing at least one reconfirmation process through the environmental sensor.
  • the threshold for recognizing the presence of the user may vary depending on where the electronic device is located. For example, compared to a threshold of a library in which users are distributed, a threshold of a reading room in which users may be relatively concentrated may be set. For example, as shown in FIG. 10, the threshold of the library may be about 40 and the threshold of the reading room may be set to 90.
  • the method of performing the multiple checks may be used for privacy and public etiquette in a crowded environment. For example, in a situation where the user is away from the surroundings of the electronic device, public facilities based on location information or name (name) obtained through GPS, Wi-Fi, cell, low power Bluetooth (BLE), etc. If the value of the environmental sensor recovers after a short time change, the electronic device may reinforce the entry into the missed mode and reinforce the entry into the use preparation mode.
  • the electronic device may weaken the voice and vibration intensity in the general missed mode and weaken or change the intensity of the voice and vibration in the enhanced missed mode.
  • the electronic device may change the voice to vibration in the normal missed mode, and change the voice to silent in the enhanced missed mode.
  • the electronic device may reinforce the entry into the use preparation mode. For example, the electronic device may enter the ready mode for use if it is recognized that the user is present several times (eg, five times) continuously. The presence of the user may be recognized every few minutes in less than one second. In this case, the electronic device may determine the presence of the user by selecting the measurement result at a predetermined interval rather than the continuous measurement result.
  • the electronic device having the environmental sensor of the present invention described above may enter the missed mode to clean up (or terminate) the background application and stop the operation of the AOD when the user moves away from the vicinity of the electronic device.
  • various embodiments of the present invention can minimize the current consumption of the electronic device.
  • the user when the user returns to the surroundings of the electronic device, the absence mode is released, the user enters the ready mode, automatically runs a background application (or terminated), turns on the AOD, and receives a notification about the missed event. Can be done.
  • a user may charge or leave the electronic device in a table or the like.
  • the electronic device is not detected using an acceleration sensor or a geomagnetic sensor, the electronic device is not in a closed space such as a pocket using an illumination sensor or an image sensor (for example, a camera) located at the front and rear of the electronic device. You can judge whether or not.
  • the electronic device may determine which side of the front side or the rear side of the electronic device is facing upward based on the measurement results of the acceleration sensor, the illuminance sensor, or the image sensor.
  • the electronic device may periodically monitor the environmental information by turning on an environmental sensor such as a temperature, humidity, gas, or wind speed sensor.
  • the monitoring may monitor data from the time when the electronic device is stopped through the acceleration sensor to the past (for example, 1 minute ago) or the newly measured data for a certain period (for example, 30 seconds). .
  • the monitoring may mean an operation of determining whether the user is away.
  • the electronic device may be connected to another electronic device connected to a short range wireless communication such as Bluetooth, a screen other than AOD is turned on, or music. You can check whether the service, telephone, etc. are being performed. If there is no other electronic device to which short-range wireless communication is connected, the screen is turned off, and no other operation is performed, the electronic device may recognize the unused state.
  • a short range wireless communication such as Bluetooth
  • a screen other than AOD is turned on
  • music You can check whether the service, telephone, etc. are being performed. If there is no other electronic device to which short-range wireless communication is connected, the screen is turned off, and no other operation is performed, the electronic device may recognize the unused state.
  • the electronic device may detect a change in surrounding environment information by an environmental sensor such as a temperature, humidity, gas, odor or wind speed sensor. For example, as shown in the graph of FIG. 6B, an increase or decrease in the concentration of carbon dioxide may be sensed.
  • the electronic device may perform the determination of the away from the environment sensor only once.
  • the electronic device in order to increase the accuracy of the judgment on the away, the electronic device may perform the at least two times through the environmental sensor.
  • the electronic device may judge whether the user is away by using another sensor (eg, an optical sensor, a microphone, etc.) that can sense the user.
  • another sensor eg, an optical sensor, a microphone, etc.
  • an optical sensor camera, illuminance sensor, proximity sensor, etc.
  • the determination of the away using the optical sensor or the microphone may be performed once or multiple times.
  • the electronic device may enter the quarantine absence mode. For example, the electronic device may check an angle state recognized through an inertial sensor and / or an illuminance sensor, and notify the reception of the missed message through an LED located at the front side when the front side of the electronic device faces upward. Can be. According to another embodiment of the present disclosure, when the rear surface of the electronic device is facing upward, the electronic device may notify the reception of the missed message by using the flash or the LED located on the rear surface.
  • the electronic device may enter the missed mode. For example, the electronic device may minimize current consumption by turning off the AOD in operation, terminating a background application, and stopping notification of the missed message. In this case, the electronic device may store only the received text, phone, schedule, and the like, and may not notify the notification.
  • a certain period for example, 3 minutes
  • the electronic device may immediately operate in the missed mode.
  • the electronic device may detect a user's approach.
  • the electronic device may detect a user's approach through at least one of an environmental sensor and another sensor (for example, an optical sensor and / or a microphone).
  • the electronic device checks the number of times of access of the user. You can increase the value so that it only recognizes that you have been approached when it is confirmed that you are stationary.
  • the electronic device may enter a quasi-use preparation mode. For example, the electronic device may turn on the notification notification and the AOD through the LED, wake up some of the terminated background applications, and do not display the missed call, text, or schedule on the screen.
  • the electronic device when the environmental sensor and the other sensor detects the user's approach, the electronic device turns on the AOD, wakes up all the terminated background applications without a notification notification through an LED, and misses a call or text. You can organize the schedule and display it on the screen.
  • the electronic device may provide audible and / or tactile notification through sound, vibration, and the like.
  • an electronic device eg, the electronic device 101 of FIG. 1, the electronic device 201 of FIG. 2, the electronic device 400 of FIG. 4, and the electronic device 500 of FIG. 5 may be described.
  • Method of controlling the operation of ), collecting the environment information at a certain period; Recognizing the presence of a user based on the collected environmental information; And controlling the operation of the electronic device according to the presence of the user.
  • the collecting of the environmental information may include collecting at least one of temperature, humidity, wind speed, smell, and gas.
  • the operation of recognizing the presence of the user based on the environment information may include checking at least once whether a difference between the environment information collected in a previous cycle and the currently collected environment information is greater than or equal to a preset first threshold value. ; Or checking at least once whether the currently collected environmental information is greater than or equal to a preset second threshold.
  • the first threshold value and the second threshold value may vary according to environment information of a location where the electronic device is located.
  • the controlling of the operation of the electronic device may include: entering a ready mode for use when a user exists near the electronic device; And entering a missed mode for controlling at least one of power and functions of at least a part of the configuration included in the electronic device when the user does not exist in the vicinity of the electronic device.
  • the method may include checking whether the electronic device is in use; And determining that a user exists near the electronic device when the electronic device is in use.
  • the determining whether the display is in use includes: checking whether the display is on; Checking whether a touch input is detected; Checking whether an audio playback function is running; Checking whether the electronic device is in a grip state; And checking whether a movement of the electronic device is detected.
  • the controlling of the operation of the electronic device may include determining whether there is at least one other electronic device interworked with the electronic device in a wired or wireless manner; And when the other electronic device exists, entering a semi-missed mode for maintaining a function associated with the other electronic device and terminating other functions.
  • the method may further include recognizing the presence of the user through at least one of an optical sensor, an image sensor, and a microphone.
  • the operation of recognizing the presence of the user may be performed by comparing current user information recognized through at least one of voice recognition, face recognition, and biometric information with user information previously registered in the electronic device. Confirming whether a user of the electronic device is present; And storing the smell information collected when the registered user is located nearby, and comparing the stored smell information with the current smell information to determine whether the user is the user of the electronic device.
  • module includes, for example, a unit composed of a combination of one or more of hardware, software, or firmware, for example, a logic, a logical block.
  • block components
  • circuit may be used interchangeably.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs) or programs that perform some operations, known or will be developed in the future. It may include a programmable-logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (e.g., modules or functions thereof) or method (e.g., operations) may be, for example, computer-readable storage media (e.g., in the form of program modules).
  • the memory 130 may be implemented by a command stored in the memory 130.
  • the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical media (e.g. compact disc read only memory), DVD ( digital versatile disc, magneto-optical media (eg, floptical disk), internal memory, etc. Instructions may be executed by code or an interpreter produced by a compiler. May contain code.
  • a computer-readable storage medium storing at least one instruction, wherein the instructions are configured to cause the at least one processor to perform at least one operation when executed by the at least one processor,
  • the at least one operation may include collecting environment information at regular intervals; Recognizing the presence of a user based on the collected environmental information; And controlling the operation of the electronic device according to the presence of the user.
  • Modules or program modules according to various embodiments may include at least one or more of the above-described components, some may be omitted, or may further include other components. Operations performed by modules, program modules, or other components in accordance with various embodiments may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some of the operations may be executed in a different order, omitted, or otherwise. Can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시예들은 배터리 소모를 감소시킬 수 있는 전자 장치 및 그의 동작을 제어하는 방법에 관한 것으로, 상기 전자 장치는 적어도 하나의 환경 센서; 및 상기 적어도 하나의 환경 센서와 기능적으로 연결되어, 일정 주기로 환경 정보를 수집하도록 상기 적어도 하나의 환경 센서를 제어하고, 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식하며, 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하도록 설정된 적어도 하나의 프로세서를 포함할 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

전자 장치 및 그의 동작을 제어하는 방법
본 발명의 다양한 실시예들은 환경 센서를 포함하는 전자 장치 및 그의 동작을 제어하는 방법에 관한 것이다.
전자 장치들(예: 이동 단말기, 스마트 폰, 착용형(wearable) 전자 장치 등)은 다양한 기능을 제공할 수 있다. 예를 들어, 스마트 폰은 기본적인 음성 통신 기능에 추가적으로, 인터넷 접속 기능, 음악 또는 동영상 재생 기능, 촬영 기능, 네비게이션 기능, 메신저 기능 등을 제공할 수 있다.
상기 전자 장치들은 다수의 어플리케이션들이 백그라운드(background)에서 동작할 수 있다. 이는 불필요한 전류 소모를 야기할 수 있다. 또한, 상기 전자 장치는 사용자가 주변에 위치하는지와 관계없이 부재중 전화 통화, 메시지 수신, 스케줄 등의 이벤트 발생 시 설정된 방식으로 알람을 제공할 수 있다.
상기 전자 장치들은 사용자가 주변에 존재(위치)하지 않아, 전자 장치를 사용(또는 확인)할 수 없는 상태에서도 상기 알람 동작을 수행하고, 다양한 어플리케이션들을 백그라운드에서 동작시킴에 따라 불필요한 전류 소모가 발생하는 문제점을 가지고 있다.
상술한 문제점들을 해결하기 위한 본 발명의 다양한 실시예들은 적어도 하나의 환경 센서를 통해 수집되는 환경 정보를 이용하여 사용자의 존재 여부를 인식하고, 상기 인식 결과에 기초하여 전자 장치의 동작을 제어할 수 있다.
또한, 본 발명의 다양한 실시예들은 환경 센서 이외에 적어도 하나의 다른 센서(예: 카메라, 마이크 등)를 이용하여 사용자의 존재 여부를 추가적으로 인식하여 전자 장치의 오동작을 최소화할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는, 적어도 하나의 환경 센서; 및 상기 적어도 하나의 환경 센서와 기능적으로 연결되어, 일정 주기로 환경 정보를 수집하도록 상기 적어도 하나의 환경 센서를 제어하고, 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식하며, 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하도록 설정된 적어도 하나의 프로세서를 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 동작을 제어하는 방법은, 일정 주기로 환경 정보를 수집하는 동작; 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 확인하는 동작; 및 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들은 환경 센서를 이용하여 사용자의 존재 여부를 인식함에 따라 사용자가 특정 범위(예: 카메라의 화각 범위 이내)에 위치하지 않더라도 사용자의 존재를 인식할 수 있다. 또한, 본 발명의 다양한 실시예들은 다수의 환경 센서 및/또는 다양한 다른 센서와의 조합을 통해 사용자의 존재 여부를 인식함에 따라 오동작을 최소화할 수 있다.
도 1은 본 발명의 한 실시예에 따른 네트워크 환경내의 전자 장치를 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4는 본 발명의 한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 전자 장치의 구성을 도시하는 불록도이다.
도 6a는 본 발명의 한 실시예에 따른 환경 센서를 기반으로 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
도 6b는 본 발명의 한 실시예에 따른 가스 센서를 이용하여 사용자의 존재 여부를 측정하는 예를 설명하기 위한 도면이다.
도 6c는 본 발명의 한 실시예에 따른 가스 센서, 온도 세서 및 습도 센서를 이용하여 사용자의 존재 여부를 측정하는 예를 설명하기 위한 도면이다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 상태 및 환경 센서를 기반으로 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 한 실시예에 따른 타 전자 장치와 연동 시 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
도 9a는 본 발명의 한 실시예에 따른 환경 센서 및 사용자의 존재를 인식할 수 있는 다른 센서를 기반으로 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
도 9b 및 도 9c는 본 발명의 한 실시예에 따른 사용자의 존재를 재인식하는 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 한 실시예에 따른 전자 장치의 동작을 제어하는 방법을 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 네트워크 환경 내의 전자 장치를 도시한 도면이다.
도 1을 참조하면, 네트워크 환경(100)은 전자 장치(101)를 포함할 수 있다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, 도 1의 element 164로 예시된 바와 같이, WiFi(wireless fidelity), LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), (가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298)를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량, 온도 또는 전원을 관리하고, 이중 해당 정보를 이용하여 전자 장치의 동작에 필요한 전력 정보를 결정 또는 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(120)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4는 본 발명의 한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 도면이다.
상기 도 4를 참조하면, 본 발명의 한 실시예에 따른 전자 장치(400)는 일정 범위(410) 내에 사용자가 존재하는지 확인할 수 있다. 예를 들어, 상기 전자 장치(400)는 환경 센서(예: 온도 센서, 습도 센서, 풍속 센서, 냄새 센서, 가스 센서 등)를 이용하여 사용자의 존재 여부를 확인할 수 있다. 예를 들어, 상기 전자 장치(400)는 환경 센서를 통해 수집되는 환경 정보가 기 설정된 기준치(제1기준치)를 초과하거나, 환경 정보의 변화량이 기 설정된 기준치(제2기준치)를 초과하는 경우 사용자의 존재 여부를 나타내는 상태 값을 변경할 수 있다. 예를 들어, 상기 전자 장치(400)는 사용자가 존재했던 경우 사용자가 존재하지 않는 것으로 상기 상태 값을 변경하고, 사용자 존재하지 않았던 경우 사용자가 존재하는 것으로 상기 상태 값을 변경할 수 있다. 한편, 상기 환경 센서를 이용한 사용자의 존재 여부를 확인하는 방법에 대한 상세한 설명은 후술하기로 한다.
상기 일정 범위(410)는 10 내지 200 cm 정도의 크기일 수 있다. 예를 들어, 상기 일정 범위는 전자 장치(400)를 중심으로 반지름 80cm의 원형으로 설정될 수 있다. 하지만, 본 발명의 실시예들은 이에 한정되지 않고, 상기 일정 범위는 다양하게 설정될 수 있다.
상기 전자 장치(400)는 일정 범위(410) 내에 사용자가 존재하지 않는 경우 부재중 모드로 진입할 수 있다. 상기 부재중 모드는 사용자가 전자 장치(400)를 확인할 수 없는 상태이기 때문에, 불필요한 전자 장치(400)의 동작을 차단하는 모드이다. 예를 들어, 상기 전자 장치(400)는 부재중 모드 시 메시지 수신, 부재중 전화 등의 시각적 알림(예: 팝업창 표시, 발광다이오드(light emitted diode)의 온/오프 등)을 수행하지 않도록 제어할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 AOD(Always On Display)를 오프(turn-off)할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 백그라운드에서 수행중인 어플리케이션을 종료할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 멀티미디어(예: 동영상) 재생 어플리케이션의 종료 시 재생 시점을 저장한 후 종료할 수 있다.
상기 전자 장치(400)는 일정 범위(410) 내에 사용자가 존재하는 경우 사용 준비 모드(또는 알람 제공 모드)로 진입할 수 있다. 상기 사용 준비 모드는 사용자가 전자 장치(400)를 확인할 수 있는 상태이기 때문에, 차단되었던 정보(부재중 모드에서 수신되었으나 미통지된 정보)를 사용자에게 알람하고, 전자 장치(400)의 동작 실행을 준비하는 모드이다. 예를 들어, 상기 전자 장치(400)는 상기 부재 중 모드에서 차단되었던 메시지 수신 정보, 부재중 전화 정보 및/또는 새로 수신되는 메시지 수신 정보, 부재중 전화 정보 등을 시각적 및/또는 청각적으로 알람(예: 팝업창 표시, 발광다이오드(light emitted diode)의 온/오프, 효과음 출력 등)할 수 있다. 상기 전자 장치(400)는 상기 알람을 사용자가 확인하는 경우 알람 정보를 제거할 수 있다. 반면에, 상기 알람을 사용자가 확인하지 않고, 부재중 모드로 재진입하는 경우 상기 전자 장치(400)는 사용자가 확인하지 않은 알람 정보를 새롭게 수신되는 메시지 수신 정보 또는 부재중 전화 정보 등과 함께 누적하여 저장할 수 있다.
어떤 실시예에 따르면, 사용 준비 모드의 진입 시 상기 전자 장치(400)는 AOD를 온할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 상기 부재중 모드로 진입 전 백그라운드에서 수행 중 이었던 어플리케이션들 복원(백그라운드에서 재실행)할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 부재 중 모드로 진입 시 저장된 재생 시점부터 멀티미디어(동영상)를 재생할 수 있다.
어떤 실시예에 따르면, 사용 준비 모드 진입 시 상기 전자 장치(400)는 사용자에 의해 설정된 어플리케이션(예: 카메라 녹화, 음성 녹음, 날짜/시간 표시, 날씨 정보 표시, 환경 정보 표시, 스케쥴 표시 등)을 실행할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(400)는 환경 정보를 수집하기 전에 전자 장치(400)의 동작 상태를 확인하고, 상기 동작 상태에 따라 환경 정보의 수집 여부를 결정할 수 있다. 예를 들어, 디스플레이가 온되어 있거나, 터치 입력이 감지되거나, 그립 센서를 통해 사용자의 그립이 감지되거나, 오디오 모듈이 동작 중(예: 음악 재생)인 경우 상기 전자 장치(400)는 일정 범위 내에 사용자가 존재하는 것으로 인식할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 관성 센서(가속도 센서, 자이로 센서 등)를 통해 전자 장치(400)의 움직임 또는 흔들림이 감지되는 경우 전자 장치(400)가 사용 중 즉, 사용자가 존재하는 것으로 인식할 수 있다.
상기 전자 장치(400)의 동작 상태를 기반으로 사용자가 존재하지 않는 것으로 인식되는 경우 상기 전자 장치(400)는 환경 센서를 이용한 사용자 존재 여부를 확인하는 동작을 수행할 수 있다. 반면에, 상기 전자 장치(400)의 동작 상태를 기반으로 사용자가 존재하는 것으로 인식되는 경우 상기 전자 장치(400)는 환경 센서를 이용한 사용자 존재 여부를 확인하는 동작을 수행하지 않고, 종래와 같이 동작할 수 있다. 이에 대한 상세한 설명은 도 7을 참조하여 후술하기로 한다.
어떤 실시예에 따르면, 상기 전자 장치(400)는 부재중 모드 진입 시 적어도 하나의 타 전자 장치(예: 태블릿, 웨어러블 전자 장치, 스마트 TV 등)와 유선 또는 무선으로 연결된 상태인지 확인할 수 있다. 상기 타 전자 장치와 연결 중인 경우 상기 전자 장치(400)는 준 부재중 모드로 진입할 수 있다. 반면에, 상기 타 전자 장치와 연결 중이지만, 일정 시간 이상 별다른 동작을 수행하지 않는 경우 또는, 상기 타 전자 장치와 연결중인 아닌 경우 상기 전자 장치(400)는 부재중 모드로 진입할 수 있다. 이에 대한 상세한 설명은 도 8을 참조하여 후술하기로 한다.
어떤 실시예에 따르면, 사용자의 존재 여부를 나타내는 상태 값이 변경되었을 때, 상기 전자 장치(400)는 적어도 하나의 다른 센서(예: 관성 센서, 광학 센서, 이미지 센서 등)를 통해 사용자의 존재 여부를 재인식할 수 있다. 예를 들어, 상기 전자 장치(400)는 광학 센서(적외선 센서, 근접 센서, 제스처 센서, 심박 센서 등)을 통해 사용자의 존재 여부를 재인식할 수 있다. 다른 실시예에서는, 상기 전자 장치(400)는 이미지 센서(예: 카메라)를 통해 사용자의 존재 여부를 재인식할 수 있다. 또 다른 실시예에서는, 상기 전자 장치(400)는 마이크를 통해 사용자의 존재 여부를 재인식할 수 있다. 예를 들어, 상기 전자 장치(400)는 마이크를 통해 발자국 소리, 말소리 등의 감지를 통해 사용자의 존재를 재인식할 수 있다.
이와 같이, 본 발명의 다양한 실시예들은 환경 센서를 통해 사용자의 존재를 인식한 후 다른 센서를 통해 사용자의 존재를 재인식함에 따라 상기 전자 장치(400)의 오동작을 최소화할 수 있다. 이에 대한 상세한 설명은 도 9a 내지 도 9c를 참조하여 후술하기로 한다.
한편, 상기 도 4에서는 일정 범위가 하나인 것으로 도시하였지만, 어떤 실시예에 따르면, 상기 일정 범위는 다수 개로 설정될 수 있다. 이때, 각 범위마다 전원이 차단되는 구성 및/또는 종료되는 기능들이 다르게 설정될 수 있다.
도 5는 본 발명의 한 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.
상기 도 5를 참조하면, 본 발명의 한 실시예에 따른 전자 장치(500)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 도 4의 전자 장치(400))는 프로세서(510), 메모리(520), 터치스크린(530), 통신부(540), 카메라(550), 오디오 처리부(560), 센서부(570), 및 전원 관리부(580)를 포함할 수 있다.
상기 프로세서(510)(예: 도1의 전자 장치(101)의 프로세서(120), 도 2의 전자 장치(201)의 프로세서(210))는 전자 장치(500)의 전반적인 동작을 제어할 수 있다. 다시 말해, 상기 프로세서(510)는 전자 장치(500)의 각 구성 요소들을 제어할 수 있다. 예를 들어, 상기 프로세서(510)는 메모리(520)로부터 인스트럭션들(instructions)을 수신하고, 수신된 인스트럭션들에 따라 각 구성 요소들을 제어하여, 다양한 기능들을 수행할 수 있다.
상기 프로세서(510)는 중앙 처리 장치(central processing unit: CPU), 어플리케이션 프로세서(application processor: AP), 마이크로 컨트롤 유닛(micro control unit: MCU) 등으로 형성될 수 있다. 상기 프로세서(510)는 싱글 코어 프로세서(single core processor) 또는 멀티 코어 프로세서(multi-core processor)로 형성될 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 다수의 프로세서로 구성된 멀티 프로세서일 수 있다. 예를 들어, 상기 프로세서(510)는 어플리케이션 프로세서(application processor: AP) 및 통신 프로세서(communication processor: CP)를 포함할 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 어플리케이션 프로세서 및 저전력 프로세서를 포함할 수 있다. 예를 들어, 상기 어플리케이션 프로세서는 전자 장치의 전반적인 동작을 제어하고, 저전력 프로세서는 부재중 모드 진입 시 구동되어 센서부(570)를 제어할 수 있다. 또 다른 실시예에서는, 상기 저전력 프로세서는 상기 프로세서(510)의 내부가 아닌 별도로 구성될 수 있다. 또 다른 실시예에서는, 상기 프로세서(510)는 일반 모드(normal mode) 또는 저전력 모드로 구동될 수 있으며, 부재중 모드 진입 시 저전력 모드로 구동될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(510)는 일정 주기마다 환경 정보를 수집하고, 수집된 환경 정보를 기반으로 전자 장치(500)의 동작을 제어할 수 있다. 다양한 실시예에 따라, 상기 프로세서(510)는 수집된 환경 정보를 이용(또는 분석)하여 전자 장치(500)의 주변에 사용자가 존재하는지 여부(또는 존재 여부에 대한 상태 변화)하는지 확인할 수 있다. 예를 들어, 상기 프로세서(510)는 이산화 탄소의 농도가 증가하는 경우 사용자가 존재하는 것으로 인식할 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 이전 주기의 환경 정보와 현재 측정된 환경 정보를 비교하여, 환경 정보가 임계치 이상으로 변화한 경우 사용자의 존재 여부에 대한 상태가 변화된 것으로 인식할 수 있다.
상기 확인 결과에 따라 전자 장치(500)의 동작을 제어할 수 있다. 예를 들어, 상기 프로세서(510)는 사용자가 존재하는 경우 사용 준비 모드로 진입할 수 있다. 한편, 상기 프로세서(510)는 사용자가 존재하지 않는 경우 부재중 모드로 진입할 수 있다.
상기 부재중 모드는 사용자가 전자 장치(500)의 주변에 존재하지 않는다고 인식됨에 따라, 주변 환경 정보의 변화를 수집하는 구성(소자, 센서, 부품 등) 및/또는 기능을 제외한 다른 모든 구성의 전원을 차단(오프)하고, 기능 또는 어플리케이션을 종료하는 모드이다. 예를 들어, 상기 프로세서(510)는 부재중 모드 시 발생되는 이벤트(예: 메시지 수신, 부재중 전화, 스케쥴 등과 같은 알람 이벤트)에 대한 시각적, 청각적 및 촉각적 알람(예: 팝업창 표시, LED 깜박임, 효과음 출력, 진동 출력 등)을 제공하지 않을 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 실행중인 어플리케이션을 중지하거나, 백그라운드에서 실행중인 어플리케이션을 종료하거나, AOD를 오프할 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
상기 사용 준비 모드는 전자 장치(500)의 주변에 사용자가 위치함에 따라, 종래와 같이 이벤트 발생 시 시각적, 청각적, 및/또는 촉각적으로 알람을 제공하는 모드이다. 다른 실시예에 따르면, 상기 프로세서(510)는 차단된 전원을 재공급하거나, 중지 또는 종료된 어플리케이션들의 상태를 이전 상태로 복원하거나, AOD를 온할 수 있다. 다른 실시예에 따르면, 상기 프로세서(510)는 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
어떤 실시예에 따르면, 상기 프로세서(510)는 전자 장치(500)의 동작 상태를 기반으로 전자 장치의 사용 여부를 확인하고, 사용중인 아닌 경우 환경 센서를 통해 사용자 존재 여부를 확인할 수 있다.
어떤 실시예에 따르면, 상기 프로세서(510)는 환경 정보 및 적어도 하나의 다른 센서 정보를 이용하여 사용자의 존재 유무를 확인할 수 있다. 예를 들어, 상기 환경 센서를 통해 사용자의 존재가 감지되면, 관성 센서, 광센서, 이미지 센서 등을 통해 사용자의 존재 여부를 재확인하며, 상기 사용자의 존재 여부의 확인 및 재확인 결과에 따라 전자 장치(500)의 동작을 제어할 수 있다. 이러한 프로세서(510)에 대한 상세한 설명은 도 6a 내지 도 9c를 참조하여 후술하기로 한다.
상기 메모리(520)(예: 도1의 전자 장치(101)의 메모리(130), 도 2의 전자 장치(201)의 메모리(230))는 전자 장치(500)를 동작시키기 위한 다양한 프로그램들을 저장하며, 상기 다양한 프로그램들을 수행하는 중에 발생되는 데이터 또는 다운로드된 데이터 등을 저장할 수 있다. 또한, 상기 메모리(520)는 프로세서(510)를 동작시키기 위한 다양한 명령(command) 및/또는 인스트럭션(instruction)들을 저장할 수 있다. 상기 메모리(520)는 내장 메모리 또는 외장 메모리 중 적어도 어느 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 메모리(520)는 환경 센서를 이용하여 사용자의 존재 여부를 확인하고, 전자 장치(500)의 동작을 제어하는 프로그램을 저장할 수 있다. 상기 프로그램은 환경 센서를 이용하여 주기적으로 환경 정보를 수집하는 루틴, 수집된 환경 정보를 이용하여 사용자의 존재 여부를 인식하는 루틴, 사용자의 존재 여부에 따라 전자 장치(500)의 동작을 제어하는 루틴, 전자 장치의 사용 여부를 판단하는 루틴, 타 전자 장치와의 연동 여부를 판단하는 루틴, 적어도 하나의 다른 센서를 이용하여 사용자의 존재 여부를 인식하는 루틴 등을 포함할 수 있다.
상기 메모리(520)는 수집된 환경 정보를 일정 기간 동안 저장할 수 있다. 상기 메모리(520)는 부재중 모드 시 수신되는 부재중 전화 정보, 메시지 수신 정보, 스케쥴 알람 정보 등을 정리하여 저장할 수 있다. 또한, 상기 메모리(520)는 동영상 재생 중 부재중 모드 진입 시 동영상의 재생 시점 정보를 저장할 수 있고, 백그라운드에서 실행중인 어플리케이션들의 정보를 저장할 수 있다. 상기 메모리(520)에 저장된 재생 시점 정보 및 어플리케이션들의 정보는 사용 준비 모드 시 사용될 수 있다. 예를 들어, 상기 프로세서(510)는 사용 준비 모드 진입 시 상기 저정된 재생 시점부터 동영상을 재생할 수 있고, 저장된 어플리케이션들의 정보에 대응하는 어플리케이션들을 백그라운드에서 실행시킬 수 있다.
상기 터치스크린(530)(예: 도1의 전자 장치(101)의 디스플레이(160), 도 2의 전자 장치(201)의 디스플레이(260))은 입력 기능 및 출력 기능을 제공할 수 있다. 이를 위하여, 상기 터치스크린(530)은 터치 감지 패널(532) 및 표시 패널(531)를 포함할 수 있다.
상기 표시 패널(531)은 출력 기능을 제공할 수 있다. 상기 표시 패널(531)은 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이로 형성될 수 있다. 상기 표시 패널(531)은 유연하게, 투명하게, 또는 착용 가능하게 구현될 수 있다.
상기 표시 패널(531)은, 예를 들면, 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)를 표시할 수 있다. 다양한 실시예에 따른 표시 패널(531)은 부재중 모드 시 알람 이벤트가 발생하더라도 오프 상태를 유지할 수 있다. 상기 표시 패널(531)은 사용 준비 모드 시 알람 정보를 시각적으로 표시할 수 있다. 예를 들어, 상기 표시 패널(531)은 알람 정보를 팝업창 형태로 표시할 수 있다.
상기 표시 패널(531)은 AOD일 수 있다. 다른 실시예에서는, 상기 표시 패널(531)은 AOD를 별도로 포함할 수 있다. 본 발명의 한 실시예에 따르면, AOD는 부재중 모드 시 오프되고, 사용 준비 모드 시 온될 수 있다.
상기 터치 감지 패널(532)은 입력 기능을 제공할 수 있다. 예를 들어, 상기 터치 감지 패널(532)은 손가락, 스타일러스, 전자펜 등의 입력 도구를 이용한 다양한 터치 입력(예: 탭, 더블 탭, 터치, 터치이동, 멀티 터치, 압력 터치 등)에 의한 물리적 특성(정전 용량, 주파수 등)의 변화를 감지(또는 인식)하고, 이를 프로세서(510)에 전달할 수 있다. 상기 터치 감지 패널은 손가락을 이용한 터치를 감지하는 제1패널(미도시), 전자펜 인식을 위한 제2패널(미도시), 및 압력 감지를 위한 제3패널(미도시)을 포함할 수 있다.
상기 통신부(540)(예: 도1의 전자 장치(101)의 통신인터페이스(170), 도 2의 전자 장치(201)의 통신 모듈(220))는 통신 기능을 수행할 수 있다. 상기 통신부(540)는 유선 또는 무선으로 통신을 수행할 수 있다. 예를 들어, 상기 통신부(540)은 USB 통신 모듈, 이어잭 통신 모듈, WiFi 통신 모듈, 블루투스(Bluetooth: BT) 통신 모듈, NFC(near field communication) 모듈, GPS(global positioning system) 모듈 등을 포함할 수 있다. 한 실시예에 따르면, 상기 WiFi 통신 모듈, BT 통신 모듈, NFC 모듈 또는 GPS 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
다양한 실시예에 따르면, 상기 통신부(540)는 적어도 하나의 타 전자 장치(태블릿, 웨어러블 전자 장치, 스마트 TV 등)와 통신 채널을 연결할 수 있다. 상기 타 전자 장치와 연결된 경우 상기 통신부(540)는 부재중 모드 시 오프되지 않을 수 있다. 다른 실시예에서는, 상기 통신부(540)는 타 전자 장치로부터 환경 정보를 수신할 수 있다. 이러한 경우 상기 프로세서(510)는 타 전자 장치로부터 수신된 환경 정보를 기반으로, 상기 타 전자 장치의 주변에 사용자가 존재하는지 인식하고, 상기 타 전자 장치의 주변에 존재하는 경우 사용자의 확인이 필요한 정보(예: 알람 정보)를 타 전자 장치로 전송할 수 있다.
상기 카메라(550)는 피사체를 촬영할 수 있다. 상기 카메라(550)는 CMOS(complementary metal-oxide semiconductor) 이미지 센서, CCD(Charge Coupled Device) 이미지 센서를 포함할 수 있다. 상기 카메라(550)는 전자 장치(500)의 전면에 위치하는 전면 카메라(미도시) 및 후면에 위치하는 후면 카메라(미도시)를 포함할 수 있다.
본 발명의 한 실시예에 따른 카메라(550)는 환경 센서(571)를 통해 사용자의 존재가 인식되었을 때, 사용자의 존재 여부를 재인식하기 위하여 온(ON)될 수 있다. 예를 들어, 상기 전자 장치(500)의 전면이 위를 향하는 경우 프로세서(510)는 전면 카메라를 온하여 피사체를 촬영하고, 피사체가 사람인지 확인할 수 있다. 반면에, 상기 전자 장치(500)의 후면이 위를 향하는 경우 프로세서(510)는 후면 카메라를 온하여 피사체를 촬영하고, 피사체가 사람인지 확인할 수 있다. 어떤 실시예에 따르면, 상기 프로세서(510)는 피사체가 사람인 경우 얼굴 인식을 통해 상기 전자 장치(500)에 등록된 사용자인지 확인할 수 있다.
상기 오디오 처리부(560)(예: 도1의 전자 장치(101)의 입출력 인터페이스(150), 도 2의 전자 장치(201)의 오디오모듈(280))는 오디오 신호를 출력하거나, 입력받을 수 있다. 예를 들어, 상기 오디오 처리부(560)는 오디오 신호를 스피커(SPK)를 통해 출력하고, 마이크(MIC)를 통해 오디오 신호를 입력받을 수 있다.
본 발명의 한 실시예에 따르면, 상기 오디오 처리부(560)는 환경 센서(571)를 통해 사용자의 존재가 인식되었을 때, 사용자의 존재 여부를 재인식하기 위하여 마이크를 온(ON)시킬 수 있다. 예를 들어, 상기 프로세서(510)는 마이크를 통해 음성에 해당하는 오디오 신호 또는 발걸음에 해당하는 오디오 신호가 입력되는 경우 사용자가 존재하는 것으로 인식할 수 있다. 어떤 실시예에 따르면, 상기 프로세서(510)는 음성 신호가 입력되는 경우 음성 인식을 통해 상기 전자 장치(500)에 등록된 사용자인지 확인할 수 있다.
상기 센서부(570)(예: 도 2의 전자 장치(201)의 센서 모듈(240))는 다양한 센서를 포함할 수 있다. 예를 들어, 상기 센서부(570)는 환경 센서(571), 광학 센서(572), 그립 센서(573), 움직임 센서(574)를 포함할 수 있다.
상기 환경 센서(571)는 환경 정보를 수집할 수 있다. 상기 환경 센서(571)는 온도 센서, 습도 센서, 풍속 센서, 냄새 센서, 가스 센서 등을 포함할 수 있다. 상기 환경 센서(571)는 전자 장치(500)가 사용 중인 아닌 것으로 확인되었을 때 온되어, 일정 주기마다 환경 정보를 수집할 수 있다. 상기 수집된 환경 정보는 프로세서(510)에 의해 사용자의 존재 여부를 확인하는데 이용될 수 있다. 예를 들어, 상기 프로세서(510)는 온도가 낮아졌다가 복귀하는 경우 사용자가 근접하는 것으로 인식할 수 있다. 이는 일반적인 대기의 온도인 25℃ 정도 수준에서 사용자의 움직임에 의해 발생하는 공기의 흐름에 의해 온도가 낮아졌다가 다시 복귀하는 현상을 이용한 것이다.
어떤 실시예에 따르면, 상기 프로세서(510)는 습도가 증가하는 경우 사용자가 근접한 것으로 인식할 수 있다. 이는 일반적인 실내 습도 수준인 상대 습도 70% 이하(ISO 기준 comfort zone의 상대 습도 30~60%)로 측정되다가 사용자가 근접하게 되면 상대 습도 100%를 가지는 날숨에 포함된 수증기에 의해 습도가 높아지는 현상을 이용한 것이다.
어떤 실시예에 따르면, 상기 프로세서(510)는 날숨에 포함된 가스 성분의 검출 시 사용자가 근접한 것으로 인식할 수 있다. 예를 들어, 상기 프로세서(510)는 가스 센서를 통해 이산화탄소의 농도 변화를 측정하고, 이산화 탄소의 농도가 증가하는 경우 사용자가 근접한 것으로 인식할 수 있다.
어떤 실시예에 따르면, 상기 프로세서(510)는 상기 가스 센서를 통해 날숨에서 측정되는 VOC(Volatile organic compounds, 휘발성 유기화합물) 혼합가스 또는 아세톤, 에탄올, 벤젠, 이소프렌, 일산화탄소 등 신진대사 가스, VSC(Volatile sulfur compounds, 휘발성 황 화합물), VNC(Volatile nitrogen compounds), VFA(Volatile fatty acids, 휘발성 유기산), 알데하이드 계열 등의 입 냄새와 관련된 가스가 검출되는 경우 사용자가 근접한 것으로 인식할 수 있다.
어떤 실시예에 따르면, 상기 프로세서(510)는 냄새 센서 및 먼지 센서를 통해 측정되는 사용자의 옷, 화장품, 향수, 땀에서 발생하는 체취 등의 냄새 및 먼지 농도를 이용하여 사용자의 근접 여부를 인식할 수 있다. 예를 들어, 상기 프로세서(510)는 사용자가 자리를 비우기 전 옷, 화장품, 향수, 땀 등 체취를 분석하여 기록하고, 냄새 센서에 의해 측정된 환경 정보가 이전에 기록된 환경 정보와 일치하는 경우 사용자가 근접한 것으로 인식하여 부재중 모드를 해제(사용 준비 모드 진입)할 수 있다. 어떤 실시예에 따르면, 상기 프로세서(510)는 기계 학습(machine learning) 등을 통해 사용자의 핵심 체취 가스의 비율을 기록하고, 측정된 정보(가스 비율)와 기록된 정보(가스 비율)를 비교하여 전자 장치에 등록된 사용자인지 확인할 수 있다.
어떤 실시예에 따르면, 상기 프로세서(510)는 풍속 센서를 통해 사용자의 움직임으로 바람이 발생하거나, 사람의 체온 및 습도, 가스의 농도 차에 의한 대류 및 확산이 감지되는 경우 사용자가 근접한 것으로 인식할 수 있다. 예를 들어, 상기 프로세서(510)는 사용자가 주변에 나타났을 때 발생하는 공기 흐름의 변화를 측정하여 주변에 사용자가 존재하는지 여부를 인식할 수 있다. 이때, 상기 프로세서는 HVAC(heating, ventilation and air conditioning)에 의해 발생하는 공기의 흐름을 사용자가 근접한 것으로 인식하지 않도록 공기의 흐름을 연속 또는 주기적 모니터링하여 사용자의 근접을 인식할 수 있다.
상기 광학 센서(572)는 조도 센서, 적외선 센서, 근접 센서, 제스처 센서, 생체 센서(예: 심박 센서, 홍체 센서) 등을 포함할 수 있다. 상기 광학 센서(572)는 사용자의 존재 여부를 인식하는데 시용될 수 있다. 예를 들어, 상기 프로세서(510)는 상기 조도 센서를 통해 인식되는 조도가 낮아지는 경우 사용자에 의해 빛이 가려진 것으로 인식할 수 있다. 상기 프로세서(510)는 적외선 센서를 통해 피사체를 감지되는 경우 사용자가 존재하는 것으로 인식할 수 있다. 상기 프로세서(510)는 제스처 센서를 통해 사용자의 움직임이 감지되는 경우 사용자가 존재하는 것으로 인식할 수 있다. 상기 프로세서(510)는 생체 센서를 통해 사용자의 생체 신호가 감지되는 경우 사용자가 존재하는 것으로 인식할 수 있다.
상기 그립 센서(573)는 사용자가 전자 장치(500)를 그립 여부를 감지할 수 있다. 상기 그립 센서(573)를 통해 그립 상태로 판단되는 경우 상기 프로세서(510)는 환경 정보의 수집을 종료할 수 있다.
상기 움직임 센서(574)는 전자 장치(500)의 움직임을 감지할 수 있다. 상기 움직임 센서(574)는 가속도 센서, 지자기 센서, 중력 센서 등을 포함할 수 있다. 상기 움직임 센서(574)를 통해 전자 장치(500)가 움직이고 있는 상태로 판단되는 경우 상기 프로세서(510)는 환경 정보의 수집을 종료할 수 있다.
상기 전원 관리부(580)(예: 도 2의 전자 장치(201)의 전력관리모듈(295))는 전자 장치(500)의 각 구성들에 전원을 공급하거나, 차단할 수 있다. 예를 들어, 상기 전원 관리부(580)는 부재중 모드 시 환경 정보 수집을 위한 구성(예: 환경 센서(571), 프로세서(510))을 제외한 모든 구성의 전원을 차단할 수 있다. 상기 부재중 모드가 해제되는 경우 상기 전원 관리부(580)는 알람을 통지하고, 백그라운드 어플을 복원하기 위한 구성들에 전원을 공급할 수 있다.
상기 도 5에서는 센서부(570)가 프로세서(510)에 연결되는 것으로 도시하였지만, 본 발명의 실시예들은 이에 한정되지 않는다. 예를 들어, 상기 전자 장치(500)는 상기 프로세서(510)에 비하여 전력 소모가 적은 센서 허브(예: 저전력 프로세서)를 별도로 포함하며, 상기 센서부(570)를 상기 센서 허브와 연결할 수 있다. 다른 실시예에서는, 상기 센서 허브는 프로세서(510)에 포함될 수 있다. 또 다른 실시예에서는, 상기 프로세서(510)는 일반 모드와 저전력 모드로 구동될 수 있고, 부재 중 모드 시 상기 프로세서(510)가 저전력 모드로 구동되도로할 수 있다. 이를 통해, 본 발명의 다양한 실시예들은 부재중 모드 시 환경 센서와 저전력 프로세서만이 동작하도록 하여 전류 소모를 더욱 줄일 수 있다.
한편, 상기 도 5에 도시하지 않았지만, 상기 전자 장치(500)는 설명된 구성 요소들 중 일부를 포함하지 않을 수 있다. 다른 실시예에서는, 상기 전자 장치(500)는 설명된 구성 요소들과 동등한 수준의 적어도 하나의 다른 구성 요소(예: 디지털 방송 모듈, 지문 인식 센서, 인터페이스 모듈, 입력 장치, 배터리 등)를 더 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 도 4의 전자 장치(400), 도 5의 전자 장치(500))는, 적어도 하나의 환경 센서(예: 도 5의 환경 센서(571); 및 상기 적어도 하나의 환경 센서와 기능적으로 연결되어, 일정 주기로 환경 정보를 수집하도록 상기 적어도 하나의 환경 센서를 제어하고, 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식하며, 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하도록 설정된 적어도 하나의 프로세서(예: 도1의 전자 장치(101)의 프로세서(120), 도 2의 전자 장치(201)의 프로세서(210), 도 5의 전자 장치(500)의 프로세서(510))를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 환경 센서는 온도 센서, 습도 센서, 풍속 센서, 냄새 센서 및 가스 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는 이전 주기에 수집된 환경 정보와 현재 수집된 환경 정보의 차이가 기 설정된 제1임계치를 초과하는지 적어도 한번 확인하거나, 상기 현재 수집된 환경 정보가 기 설정된 제2임계치 이상인지 적어도 한번 확인하여 상기 사용자의 존재 여부를 인식할 수 있다.
다양한 실시예들에 따르면, 상기 제1임계치 및 제2임계치는 상기 전자 장치가 위치하는 장소의 환경 정보에 따라 가변될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는 상기 전자 장치의 주변에 사용자가 존재하는 경우 사용 준비 모드로 진입하고, 상기 전자 장치의 주변에 사용자가 존재하지 않는 경우 상기 전자 장치에 포함된 구성의 적어도 일부의 전원 및 기능 중 적어도 하나를 제어하는 부재중 모드로 진입할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는 상기 전자 장치가 사용 중인지 확인하고, 사용 중인 경우 상기 전자 장치의 주변에 사용자가 존재하는 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는 디스플레이가 온 상태이거나, 터치 입력이 감지되거나, 오디오 재생 기능이 실행 중이거나, 상기 전자 장치가 그립 상태이거나, 상기 전자 장치의 움직임이 감지되는 경우 상기 사용중인 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는 상기 전자 장치와 유선 또는 무선으로 연동된 적어도 하나의 타 전자 장치가 존재하는지 확인하고, 상기 타 전자 장치가 존재하는 경우 상기 타 전자 장치와 연관된 기능을 유지하고, 다른 기능을 종료하는 준 부재중 모드로 진입하도록 제어할 수 있다.
다양한 실시예들에 따르면, 상기 전자 장치는 사용자의 존재 여부를 인식하기 위한 광학 센서, 이미지 센서 및 마이크 중 적어도 하나를 더 포함할 수 있으며, 상기 프로세서는 상기 환경 센서를 통해 사용자가 존재하는 것으로 인식되면, 상기 광학 센서, 상기 이미지 센서 및 상기 마이크 중 적어도 하나를 통해 사용자의 존재 여부를 재인식하도록 제어할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서는 음성 인식, 얼굴 인식, 생체 정보 인식 중 적어도 하나를 통해 인식되는 현재의 사용자 정보와 상기 전자 장치에 기 등록된 사용자 정보를 비교하여 상기 전자 장치의 사용자인지 확인하거나, 등록된 사용자가 주변에 위치할 때 수집되어 저장된 냄새 정보와 현재의 냄새 정보를 비교하여 상기 전자 장치의 사용자인지 확인할 수 있다.
도 6a는은 본 발명의 한 실시예에 따른 환경 센서를 기반으로 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이고, 도 6b는 본 발명의 한 실시예에 따른 가스 센서를 이용하여 사용자의 존재 여부를 측정하는 예를 설명하기 위한 도면이며, 도 6c는 본 발명의 한 실시예에 따른 가스 센서, 온도 세서 및 습도 센서를 이용하여 사용자의 존재 여부를 측정하는 예를 설명하기 위한 도면이다.
상기 도 6a 및 도 6c를 참조하면, 본 발명의 다양한 실시 예에 따르면, 601 동작에서, 상기 전자 장치(예: 전자 장치(101)의 프로세서(120), 전자 장치(201)의 프로세서(210), 또는 전자 장치(500)의 프로세서(510))는 일정 주기(예: 1분 또는 1초)로 환경 정보를 수집할 수 있다. 예를 들어, 상기 전자 장치는 적어도 하나의 환경 센서를 통해 적어도 하나의 환경 정보를 수집할 수 있다. 상기 전자 장치는 환경 센서를 통해 최초 측정된 값을 기준치로 설정할 수 있다. 상기 환경 센서가 안정화를 필요로 하는 경우 안정화된 후 측정된 값을 상기 기준치로 설정할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치는 환경 센서의 안정화가 완료되기 전에 측정된 값을 보상하여 상기 기준치로 설정할 수 있다.
603 동작에서, 상기 전자 장치는 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식할 수 있다. 예를 들어, 상기 전자 장치는 상기 기준치와 두 번째 측정된 환경 정보의 값의 차이(변화량)가 기 설정된 제1임계치를 초과(또는 이상)하거나, 상기 두 번째 측정된 환경 정보의 값이 기 설정된 제2임계치 미만(또는 이하)인 경우 사용자가 존재하지 않는 것으로 인식할 수 있다. 반면에, 상기 전자 장치는 상기 기준치와 두 번째 측정된 환경 정보의 값의 차이가 기 설정된 제3임계치 미만 (또는 이하)이고 상기 두 번째 환경 정보의 값이 설정된 범위 내인 경우 또는, 두 번째 측정된 환경 정보의 값이 기 설정된 제4임계치 이상(초과)이고 상기 설정된 범위 내인 경우 사용자가 존재하는 것으로 인식할 수 있다. 상기 제1임계치 및 제3임계치는 동일한 값을 가지고, 제2임계치 및 제4임계치는 동일한 값을 가질 수 있다. 다른 실시예에서는, 상기 제1임계치 및 제3임계치는 다른 값으로 설정될 수 있으며, 상기 제2임계치 및 제4임계치는 다른 값으로 설정될 수 있다. 이를 통해, 본 발명의 한 실시예는 사용자가 존재하는 것으로 판단하기 위한 조건(제3임계치 및 제4임계치)은 엄격하게 설정하고, 사용자가 존재하지 않는 것으로 판단하기 위한 조건(제1임계치 및 제2임계치)은 느슨하게 설정할 수 있다. 다른 실시예에서는, 상기 제1임계치 및 제3임계치는 동일한 값으로 설정되고, 제2임계치 및 제4임계치는 상이한 값으로 설정될 수 있다. 또 다른 실시예에서는, 상기 제1임계치 및 제3임계치는 상이한 값으로 설정되고, 상기 제2임계치 및 제4임계치는 동일한 값으로 설정될 수 있다.
한편, 상기 전자 장치는 환경 센서를 이용하여 사용자의 존재 여부를 인식할 수 있다. 예를 들어, 상기 전자 장치는 가스 센서를 통해 측정되는 이산화 탄소의 농도가 증가하는 경우 사용자가 주변에 존재하는 것으로 인식할 수 있고, 이산화 탄소의 농도가 감소하는 경우 사용자가 존재하지 않는 것으로 인식할 수 있다. 예를 들어, 상기 도 6b와 같이 "2시 11분 20초" 에서 약 700ppm 이었던 이산화 탄소의 농도가 사용자의 접근으로 인하여 "2시 13분 50초"에 약 900ppm으로 증가할 수 있다. 여기서, 제1임계치가 100ppm이고, 제2임계치가 800ppm으로 설정된 것으로 가정하면, 상기 전자 장치는 변화량(200 = 900-700)이 제1임계치(100ppm)를 초과하므로 사용자가 존재하는 것으로 인식할 수 있다. 또한, 상기 전자 장치는 "2시 13분 50초"에 측정된 이산화 탄소의 농도 "900ppm"가 제2임계치 "800ppm"를 초과하므로 사용자가 존재하는 것으로 인식할 수 있다.
다른 실시예에서는, 상기 전자 장치는 온도 센서를 이용하여 측정되는 주변의 온도 변화를 통해 사용자의 존재 여부를 인식할 수 있다. 또 다른 실시예에서는 습도 센서를 이용하여 측정되는 주변의 습도 변화를 통해 사용자의 존재 여부를 인식할 수 있다. 또 다른 실시예에서는 풍속 센서를 이용하여 측정되는 주변의 풍속 변화를 통해 사용자의 존재 여부를 인식할 수 있다.
또 다른 실시예에서는 정확성을 향상 시키기 위하여 다양한 환경 센서(예: 가스 센서, 온도 센서, 습도 센서, 및 풍속 센서 등) 중 적어도 2개의 센서를 이용하여 사용자의 존재 여부를 인식할 수 있다. 예를 들어, 상기 도 6c에 도시된 바와 같이, 상기 전자 장치는 가스 센서, 온도 센서 및 습도 센서를 이용하여 사용자의 존재 여부를 인식할 수 있다. 다시 말해, 상기 전자 장치는 가스 센서, 온도 센서 및 습도 센서를 통해 측정되는 이산화 탄소의 농도, 온도 및 습도의 변화를 복합적으로 판단하여, 사용자의 존재 여부를 인식할 수 있다. 예를 들어, 상기 전자 장치는 주변 온도가 일반 실내 수준인 조건에서 이산화 탄소의 농도, 주변 온도 및 습도가 증가하면 사용자가 존재하는 것으로 인식할 수 있고, 이산화 탄소의 농도, 주변 온도 및 습도가 감소하면 사용자가 존재하지 않는 것으로 인식할 수 있다.
예를 들어, 이산화 탄소 농도에 대한 제 1 임계치가 100 ppm이고, 제 2, 4 임계치가 900 ppm, 제 3 임계치가 -100 ppm으로 설정되어있고, 온도에 대한 제 1 임계치가 0.1도, 제 2 임계치가 27.25도, 제 3 임계치가 -0.1도, 제 4 임계치가 27.35도로 설정되어 있으며, 습도에 대한 제 1 임계치가 0.5%RH, 제 2, 4 임계치가 38%RH, 제 3 임계치가 -0.5%RH 로 설정된 것으로 가정하기로 한다.
상기 도 6c의 15시 28분에는 이산화 탄소의 농도가 1,000 ppm이고, 온도가 섭씨 27.4도이며, 습도 38.1 %RH일 수 있다. 한편, 15시 29분에는 이산화 탄소의 농도가 900ppm(제 1, 2, 4 임계치 만족)으로 감소하고, 온도가 섭씨 27.3도(제 4 임계치 불만족)로 감소하며, 습도가 37.2 %RH (제 1, 2, 4 임계치 만족)로 감소할 수 있다. 이때, 상기 전자 장치는 사용자가 존재하지 않는 것으로 인식할 수 있다.
또는, 상기 도 6c의 15시 33분에는 이산화 탄소의 농도가 900ppm이고, 온도가 섭씨 27.2도이며, 습도가 37.4 %RH일 수 있다. 한편, 15시 34분에는 이산화 탄소의 농도가 1100 ppm(제 2, 3, 4 임계치 만족)으로 증가하고, 온도가 섭씨 27.3도(제 2 임계치 불만족)로 증가하며, 습도가 39 %RH(제 2, 3, 4 임계치 만족)로 증가할 수 있다. 이때, 상기 전자 장치는 사용자가 존재하는 것으로 인식할 수 있다.
본 발명의 한 실시예에 따른 전자 장치는 다수의 환경 센서를 이용함에 따라 오동작을 최소화할 수 있다. 예를 들어, 상기 도 6c에서, 온도 센서만을 이용하는 경우 상기 전자 장치는 15시 31분에 온도에 대한 제 4 임계치를 만족하여 사용자가 존재하지 않는 것으로 인식한 후, 15시 36분에 온도에 대한 제 2 임계치를 만족하여 사용자가 존재하는 것으로 인식할 수 있다. 하지만, 상기 온도 센서만을 이용하여 인식한 결과는 다수의 센서를 이용하여 인식한 결과(15시 34분)와 약 2분의 차이(지연)를 가질 수 있다. 다른 예로, 가스 센서만을 이용하는 경우 15시 36분에서 15시 37분이 될 때 이산화 탄소의 농도가 1500 ppm에서 900 ppm으로 변경(제 1 임계치 (100 ppm), 제 2, 4 임계치 (900 ppm)을 만족)되어, 상기 전자 장치는 사용자가 존재하지 않는 것으로 인식할 수 있다. 하지만, 다수의 환경 센서를 이용하는 경우 상기 온도가 27.4도(제4임계치 만족)를 유지하며, 습도가 37.8%RH 에서 42%RH(제2 및 제4 임계치 만족)로 증가함에 따라, 상기 전자 장치는 사용자가 존재하는 것으로 인식할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치는 상기 기준치와 두 번째 측정된 환경 정보의 값의 차 및 상기 두 번째 측정된 환경 정보의 값의 조합을 통해 사용자의 존재 여부를 인식할 수 있다.
상기 사용자의 존재 여부를 인식한 후 상기 전자 장치는 상기 기준치를 두 번째 측정된 환경 정보의 값으로 변경할 수 있다. 유사하게, 상기 전자 장치는 세 번째 환경 정보가 측정되는 경우 상기 측정된 세 번째 환경 정보를 기반으로 사용자의 존재 여부를 인식하며, 상기 기준치를 상기 세 번째 측정된 환경 정보의 값으로 변경할 수 있다.
상기 601 동작 및 603 동작에서, 상기 전자 장치가 슬립 상태(모드)인 경우 상기 전자 장치는 환경 정보를 수집하고, 사용자의 존재 여부를 인식하기 위한 구성(예: 환경 센서, 저저력 프로세서)만이 동작할 수 있다.
605 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 사용자의 존재 여부에 따라 전자 장치의 동작(또는 모드)을 제어할 수 있다. 예를 들어, 상기 전자 장치는 사용자가 존재하지 않는 것으로 인식된 경우 부재중 모드로 진입할 수 있다. 한편, 상기 전자 장치는 사용자가 존재하는 것으로 인식되는 경우 사용 준비 모드로 진입할 수 있다. 상기 605 동작에서, 상기 사용자의 존재 여부를 인식에 따라 동작(또는 모드)의 변경이 필요한 경우 상기 저전력 프로세서는 고전력 프로세서(예: 어플리케이션 프로세서(AP))를 웨이크-업(wake-up)시킬 수 있다. 다른 실시예에서는, 상기 저전력 프로세서가 전자 장치의 동작을 제어할 수 있는 경우 상기 고전력 프로세서(예: AP)를 웨이크-업 시키지 않고 슬립 상태를 유지한 상태에서, 상기 저전력 프로세서가 전자 장치의 동작(또는 모드)을 제어할 수 있다.
상기 부재중 모드로 진입하는 경우 상기 전자 장치는 각 구성에 공급되는 전원을 차단하거나, 전자 장치의 모드를 변경(예: 알람 이벤트를 제공하지 않거나, 일부만 제공)하거나, 실행중인 어플리케이션을 중지하거나, 백그라운드에서 실행중인 어플리케이션을 종료하거나, AOD를 오프할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치는 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
상기 사용 준비 모드로 진입하는 경우 상기 전자 장치는 차단된 전원을 재공급하거나, 전자 장치의 모드를 복원하거나, 중지 또는 종료된 어플리케이션들의 상태를 이전 상태로 복원하거나, AOD를 온할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치는 상술한 동작들 중 적어도 하나 이상을 수행할 수 있다.
607 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 종료 여부를 확인할 수 있다. 상기 종료는 전자 장치의 전원 오프 또는 상기 환경 센서를 이용하여 동작을 제어하는 기능의 오프일 수 있다.
상기 종료되지 않는 경우 상기 전자 장치는 601 동작으로 복귀하여 상술한 동작들을 반복할 수 있다. 반면에, 종료되는 상기 전자 장치는 상기 환경 센서를 이용한 동작 제어를 종료할 수 있다.
한편, 상기 도 6a에 도시하지는 않았지만, 본 발명의 실시예들에 따른 전자 장치는 환경 정보를 이용하여 사용자의 존재 여부를 인식하고, 그 결과에 따라 전자 장치의 동작을 제어하는 기능을 온/오프하는 메뉴를 포함할 수 있다. 이러한 경우 상기 601 동작 이전에 상기 전자 장치는 전자 장치의 동작을 제어하는 기능이 온되어 있는지 확인하는 동작을 더 포함할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치는 사용자의 존재 유무를 나타내는 설정값(변수)을 저장할 수 있다. 예를 들어, 사용자가 존재하는 경우 상기 전자 장치는 설정값을 "1"로 저장할 수 있다. 사용자가 존재하지 않는 경우 상기 전자 장치는 설정값을 "0"으로 저장할 수 있다. 상기 전자 장치는 설정값의 디폴트 값을 "1"로 결정할 수 있다. 이는 전자 장치의 부팅은 사용자에 의해 수행되기 때문에 부팅 시에는 사용자가 주변에 존재할 가능성이 높기 때문이다. 다른 실시예에서는, 상기 설정값의 디폴트 값은 사용자가 이전에 설정하여 저장한 값에 따라 결정될 수 있다. 또 다른 실시예에서는, 상기 설정값의 디폴트 값은 환경 센서에 의해 측정된 최초 값을 이용하여 결정될 수 있다.
어떤 실시예에 따르면, 상기 설정값의 디폴트 값은 전자 장치의 사용 여부를 판단하여 결정될 수 있다. 예를 들어, 상기 전자 장치는 관성 센서(예: 가속도 센서, 지자기 센서 등)를 통해 움직이고 있는 것으로 인식되는 경우, 적어도 하나의 타 전자 장치와 유선 및/또는 무선으로 연결된 것으로 인식되는 경우 설정값의 디폴트 값을 "1"로 결정할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치는 광학 센서(적외선 센서, 조도 센서, 근접 센서, 제스처 센서, 생체 센서(예: 심박 센서, 홍채 센서) 등), 이미지 센서(예: 카메라) 및 마이크를 통해 사용자의 존재 여부를 확인하고, 확인 결과에 따라 상기 설정값의 디폴트 값을 결정할 수 있다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 상태 및 환경 센서를 기반으로 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
상기 도 7을 참조하면, 본 발명의 다양한 실시 예에 따르면, 701 동작에서, 상기 전자 장치(예: 전자 장치(101)의 프로세서(120), 전자 장치(201)의 프로세서(210), 또는 전자 장치(500)의 프로세서(510))는 전자 장치의 동작 상태를 확인할 수 있다. 예를 들어, 상기 전자 장치는 일부 구성(예: 디스플레이, 터치 패널, 오디오 처리부)이 동작 중인지, 전자 장치가 움직이고 있는지, 그립이 감지되는지 확인할 수 있다.
703 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 사용 중인지 확인할 수 있다. 예를 들어, 상기 전자 장치는 일부 구성(예: 디스플레이, 터치 패널, 오디오 처리부)이 동작 중이거나, 전자 장치가 움직이고 있거나, 그립이 감지되는 경우 사용중인 것으로 판단할 수 있다.
상기 703 동작에서 사용 중이 아닌 것으로 판단되는 경우, 상기 전자 장치는 705 내지 711 동작을 수행할 수 있다. 상기 705 동작 내지 711 동작은 도 6a의 601 동작 내지 607 동작에 각각 대응한다. 이에 상세한 설명은 생략하기로 한다.
상기 703 동작에서 사용 중으로 판단되는 경우, 713 동작에서, 상기 전자 장치는 해당 기능을 수행할 수 있다. 예를 들어, 상기 전자 장치는 환경 정보에 의한 사용자의 존재에 대한 판단 결과와 관계없이, 사용자가 존재하는 것으로 설정값을 변경할 수 있다. 상기 전자 장치는 알람 정보를 제공할 수 있다.
도 8은 본 발명의 한 실시예에 따른 타 전자 장치와 연동 시 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
상기 도 8을 참조하면, 801 동작에서, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(101)의 프로세서(120), 전자 장치(201)의 프로세서(210), 또는 전자 장치(500)의 프로세서(510))는 일정 주기로 환경 정보를 수집할 수 있다.
803 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식할 수 있다.
805 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 사용자가 존재하는지 확인할 수 있다. 상기 805 동작에서 사용자가 존재하는 경우 807 동작에서, 상기 전자 장치는 해당 기능을 수행할 수 있다. 예를 들어, 상기 전자 장치는 상기 설정값이 "0"인 경우 "1"로 변경하고, 사용 준비 모드로 진입할 수 있다. 다른 실시예에서는, 상기 전자 장치는 설정값이 "1"인 경우 설정값을 유지하고, 사용 준비 모드를 유지할 수 있다.
상기 805 동작에서 사용자가 존재하지 않는 경우 809 동작에서, 상기 전자 장치는 유선 또는 무선으로 연결된 타 전자 장치가 존재하는지 확인할 수 있다. 상기 타 전자 장치가 존재하지 않는 경우 상기 전자 장치는 후술하는 817 동작으로 진행할 수 있다. 반면에, 상기 타 전자 장치가 존재하는 경우 811 동작에서, 상기 전자 장치는 타 전자 장치와 관련된 기능이 실행 중인지 확인할 수 있다. 예를 들어, 상기 전자 장치는 타 전자 장치와 데이터를 송수신중인지 확인할 수 있다.
상기 타 전자 장치와 관련된 기능이 실행 중이 아닌 경우 상기 전자 장치는 후술하는 817 동작으로 진행할 수 있다. 반면에, 상기 타 전자 장치와 관련된 기능이 실행 중인 경우 813 동작으로 진행하여 상기 전자 장치는 준 부재중 모드로 진입할 수 있다. 상기 준 부재중 모드는 사용 준비 모드와 부재중 모드의 중간 단계로, 상기 전자 장치는 상기 타 전자 장치와 관련된 기능을 실행하기 위한 구성(소자, 부품)의 전원 공급 및 어플리케이션의 실행 상태를 유지하고, 다른 구성들의 전원을 공급을 차단하고, 다른 어플리케이션들을 종료시킬 수 있다.
예를 들어, 상기 전자 장치는 블루투스 이어폰이 연결된 상태로 동영상 시청 중인 상태에서 사용자가 존재하지 않는 것으로 판단된 경우, 화면을 끄고, 알람 기능이 꺼져있는 백그라운드에서 동작하는 다른 기능들을 슬립 모드로 변경할 수 있다.
다른 실시예에서는, 블루투스, 와이파이 등의 무선 통신을 통해 웨어러블 전자 장치와 연결된 상태로 미디어를 재생 중인 상태에서, 사용자가 존재하지 않는 것으로 판단되는 경우 상기 전자 장치는 미디어 재생을 중지하고, 중지된 위치를 기억한 후 미디어 재생 프로그램을 종료하고, 웨어러블 전자 장치와 연동하는 기능을 제외한 기능들을 슬립 모드로 변경할 수 있다.
다른 실시예에서는, 유에스비 또는 이어잭을 통해 연결된 타 전자 장치와의 데이터 전송 중인 상태에서 사용자가 존재하지 않는 것으로 판단되는 경우 상기 전자 장치는 백그라운드에서 실행 중인 어플리케이션을 정리하는 기능을 실시하지 않거나, 일부 기능만을 슬립 모드로 변경할 수 있다.
815 동작에서, 본 발명의 실시예에 따른 전자 장치는 타 전자 장치와 관련된 기능이 종료되는지 확인할 수 있다. 예를 들어, 상기 전자 장치는 유선 또는 무선 통신 연결이 일정 시간 이상 끊어질 경우 타 전자 장치와 관련된 기능이 종료된 것으로 판단할 수 있다. 다른 실시예에서는, 상기 전자 장치는 상기 유선 또는 무선 연결이 끊어지지는 않았지만, 일정 시간이상 데이터의 전송이 없을 경우, 사용하지 않는 연결로 판단하여 타 전자 장치와 관련된 기능이 종료된 것으로 판단할 수 있다
상기 타 전자 장치와 관련된 기능이 종료되지 않는 경우 상기 전자 장치는 801 동작으로 진행하여 상술한 동작들을 반복할 수 있다. 반면에, 상기 타 전자 장치와 관련된 기능이 종료되는 경우 상기 전자 장치는 후술하는 817 동작으로 진행할 수 있다.
817 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 부재중 모드로 진입할 수 있다. 예를 들어, 상기 전자 장치는 환경 정보를 수집하기 위한 구성을 제외한 모든 구성의 전원을 차단할 수 있다.
819 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 종료 여부를 확인할 수 있다. 상기 종료는 전자 장치의 전원 오프 또는 상기 환경 센서를 이용하여 동작을 제어하는 기능의 오프일 수 있다.
상기 종료되지 않는 경우 상기 전자 장치는 801 동작으로 복귀하여 상술한 동작들을 반복할 수 있다. 반면에, 종료되는 상기 전자 장치는 상기 환경 센서를 이용한 동작 제어를 종료할 수 있다.
도 9a는 본 발명의 한 실시예에 따른 환경 센서 및 사용자의 존재를 인식할 수 있는 다른 센서를 기반으로 전자 장치의 동작을 제어하는 방법을 설명하기 위한 순서도이고, 도 9b 및 도 9c는 본 발명의 한 실시예에 따른 사용자의 존재를 재인식하는 방법을 설명하기 위한 순서도이다.
상기 도 9a 내지 도 9c를 참조하면, 901 동작에서, 본 발명의 한 실시 예에 따른 전자 장치(예: 전자 장치(101)의 프로세서(120), 전자 장치(201)의 프로세서(210), 또는 전자 장치(500)의 프로세서(510))는 일정 주기(t1)로 환경 정보를 수집할 수 있다.
903 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식할 수 있다.
905 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 사용자의 존재 상태의 변경이 감지되는지 확인할 수 있다. 상기 사용자의 존재 상태의 변경이 감지되지 않는 경우 상기 전자 장치는 후술하는 913 동작으로 진행할 수 있다.
상기 905 동작의 확인 결과, 상기 사용자의 존재 상태가 무에서 유로 변경되는 경우 상기 전자 장치는 907 단계로 진행하여 사용자의 존재를 인식할 수 있는 적어도 하나의 다른 센서를 이용하여 사용자의 존재 여부를 재인식할 수 있다. 예를 들어, 상기 전자 장치는 광학 센서(근접 센서, 제스처 센서, 심박 센서, 적외선 센서 등), 이미지 센서(카메라) 또는 마이크를 통해 사용자의 존재 여부를 재인식할 수 있다.
상기 재인식 절차를 도 9b를 참조하여 설명하면, 941 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 관성 센서를 이용하여 전자 장치의 상태를 측정할 수 있다. 예를 들어, 상기 전자 장치는 가속도 및 자이로 센서 등을 이용하여 전자 장치가 움직이고 있는지, 광학 센서를 이용하여 사용자의 움직임을 감지할 수 있는 각도 상태인지를 확인할 수 있다.
942 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 상기 측정 결과를 기반으로 일정 시간(예: 5초) 이상 전자 장치의 움직임이 감지되는지 확인할 수 있다. 상기 확인 결과, 상기 일정 시간 이상 전자 장치의 움직임이 감지되는 경우 상기 전자 장치는 도 9a의 911 동작으로 진행할 수 있다. 반면에, 상기 확인 결과, 상기 일정 시간 이상 전자 장치의 움직임이 감지되지 않는 경우 상기 전자 장치는 943 동작에서 제1광학 센서를 이용할 수 있는지 확인할 수 있다. 예를 들어, 상기 전자 장치는 전자 장치의 전면이 위를 향하고 있는지 확인할 수 있다. 예를 들어, 상기 전자 장치는 사용자가 서있는 방향을 기준으로 90도에서 135도 사이의 각도를 가지는지 확인할 수 있다. 상기 제1광학 센서는 전자 장치의 전면에 위치하며, 조도 센서, 제스처 센서, 근접 센서 및 전면 카메라 중 적어도 하나를 포함할 수 있다. 상기 943 동작의 확인 결과, 제1광학 센서를 이용 가능한 경우 상기 전자 장치는 944 동작에서 제1광학 센서를 온하고, 후술하는 909 동작으로 진행할 수 있다. 이와 같이, 상기 관성센서를 통해 전자 장치의 움직임이 감지되지 않는 경우, 상기 전자 장치는 각도 상태를 파악하여 전면이 위를 향하고 있는 경우, 상기 전자 장치는 전면에 위치하는 광학 센서 또는 이미지 센서를 이용하여 사용자의 존재 여부를 재인식할 수 있다.
상기 943 동작의 확인 결과, 상기 제1광학 센서를 이용할 수 없는 경우 상기 전자 장치는 945 동작에서 제2광학 센서를 이용할 수 있는지 확인할 수 있다. 예를 들어, 상기 전자 장치는 전자 장치의 후면이 위를 향하고 있는지 확인할 수 있다. 예를 들어, 상기 전자 장치는 사용자가 서있는 방향을 기준으로 225도에서 270도 사이의 각도를 가지는지 확인할 수 있다. 상기 제2광학 센서는 전자 장치의 후면에 위치하며, 생체 센서(예:심박 센서), 자외선 센서, RGB 센서 및 후면 카메라 중 적어도 하나를 포함할 수 있다. 상기 945 동작의 확인 결과, 제2광학 센서를 이용 가능한 경우 상기 전자 장치는 946 동작에서 제2광학 센서를 온하고, 후술하는 909 동작으로 진행할 수 있다. 이와 같이, 상기 전자 장치의 후면이 위를 향하고 있는 경우, 상기 전자 장치는 후면에 위치하는 광학 센서 또는 이미지 센서를 사용하여 사용자의 존재 여부를 재인식할 수 있다.
상기 945 동작의 확인 결과, 상기 제2광학 센서를 이용할 수 없는 경우 상기 전자 장치는 947 동작에서 마이크를 온하고, 후술하는 909 동작으로 진행할 수 있다.
이와 같이, 상기 전자 장치가 주변에 사람이 있어도 판단할 수 없는 각도를 가지는 경우 예를 들어, 광학 센서 또는 이미지 센서로 움직임을 판단할 수 없을 경우, 상기 전자 장치는 마이크를 이용하여 사용자의 존재 여부를 재인식할 수 있다.
상기 도 9b에서는 제1광학 센서 및 제2광학 센서를 이용할 수 없는 경우 마이크를 이용하여 사용자의 존재 여부를 재인식하는 것으로 도시하였지만, 어떤 실시예에 따르면, 상기 제1 또는 제2광학 센서와 마이크를 조합하여 사용자의 존재 여부를 재인식할 수 있다.
909 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 상기 907 동작의 재인식 결과를 기반으로, 사용자가 존재하는지 확인할 수 있다. 예를 들어, 상기 제1 또는 제2광학 센서로부터 주변광의 밝기가 일정수준 이상 변하거나, 카메라 등 array 형태의 이미지 센서에서 움직임이 감지되었을 때, 상기 전자 장치는 주변에 사용자가 존재하는 것으로 인식할 수 있다. 다른 실시예에서는 두 개 이상의 센서 또는 거리를 인식할 수 있는 센서로부터 움직이는 사물까지의 거리 값과 관성 센서의 각도를 이용하여 움직이는 사물의 크기를 추론하여 사람의 크기에 해당하거나, 입력된 사용자의 키와 비슷한 크기로 판단되는 경우 상기 전자 장치는 주변에 사용자가 존재하는 것으로 인식할 수 있다. 또 다른 실시예에서는, 상기 전자 장치는 얼굴 인식을 통해 전자 장치에 등록된 사용자인지 확인할 수 있다.
상기 마이크로부터 발걸음 소리가 커지는 것을 감지하거나 사용자의 음성이 인식될 경우 상기 전자 장치는 주변에 사용자가 존재하는 것으로 인식할 수 있다. 다른 실시예에서는, 상기 전자 장치는 마이크를 통해 입력되는 음성과 전자 장치의 사용자로 기 등록된 음성(사용자에 의해 등록되거나, 통화 음성을 인식하여 자동으로 등록된 음성)과 일치(또는 유사)한 것으로 판단될 경우, 주변에 등록된 사용자가 존재하는 것으로 인식할 수 있다.
상기 909 동작의 확인 결과 사용자가 존재하는 경우 911 동작에서, 상기 전자 장치는 사용 준비 모드로 진입할 수 있다. 예를 들어, 상기 전자 장치는 환경 센서를 이용한 인식 결과 및 적어도 하나의 다른 센서를 이용한 재인식 결과 모두에서 사용자가 존재하는 것으로 인식됨에 따라 사용 준비 모드로 진입할 수 있다. 상기 사용 준비 모드 진입 시, 상기 전자 장치는 사용자가 근거리에서 전자 장치를 볼 수 있는 상황으로 판단하고, 상기 전자 장치를 조작하지 않아도 부재중 전화, 문자, 스케쥴, SNS, 메시지 등의 개수 및 요약정보를 출력할 수 있다.
상기 909 동작의 확인 결과, 사용자가 존재하지 않는 경우 상기 전자 장치는 921 동작으로 진행하여 일정 시간(t2) 동안 환경 정보의 변화를 측정할 수 있다. 상기 일정 시간(t2)는 수초(예: 5 내지10초) 내지 수십 초(예: 30 내지 60초)로 설정될 수 있다.
상기 921 동작의 측정 결과를 기반으로, 923 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 사용자가 존재하는지 확인할 수 있다. 상기 923 동작의 확인 결과 사용자가 존재하는 경우 상기 전자 장치는 상기 911 동작으로 진행할 수 있다. 예를 들어, 상기 전자 장치는 909 동작의 확인 결과가 잘못된 것으로 판단하여 911 동작으로 진행하여 사용 준비 모드로 진입할 수 있다. 사용자 준비 모드로 진입 후 상기 전자 장치는 후술하는 913 동작으로 진행할 수 있다. 반면에, 921 동작의 확인 결과, 사용자가 존재하지 않는 경우 상기 전자 장치는 후술하는 913 동작으로 진행할 수 있다.
상기 905 동작의 확인 결과, 상기 사용자의 존재 상태가 유에서 무로 변경되는 경우 상기 전자 장치는 931 단계로 진행하여 사용자의 존재를 인식할 수 있는 적어도 하나의 다른 센서를 이용하여 사용자의 존재 여부를 재인식할 수 있다.
상기 재인식 절차를 상기 도 9c를 참조하여 설명하면, 961 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 관성 센서를 이용하여 전자 장치의 상태를 측정할 수 있다. 예를 들어, 상기 전자 장치는 가속도 및 자이로 센서 등을 이용하여 전자 장치가 움직이고 있는지, 광학 센서를 이용하여 사용자의 움직임을 감지할 수 있는 각도 상태인지를 확인할 수 있다.
962 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 상기 측정 결과를 기반으로 일정 시간(예: 5초) 이상 전자 장치의 움직임이 감지되는지 확인할 수 있다. 상기 확인 결과, 상기 일정 시간 이상 전자 장치의 움직임이 감지되는 경우 상기 전자 장치는 도 9a의 901 동작으로 진행할 수 있다. 반면에, 상기 확인 결과, 상기 일정 시간 이상 전자 장치의 움직임이 감지되지 않는 경우 상기 전자 장치는 963 동작에서 제1광학 센서를 이용할 수 있는지 확인할 수 있다.
상기 963 동작의 확인 결과, 제1광학 센서를 이용 가능한 경우 상기 전자 장치는 964 동작에서 제1광학 센서를 온하고, 후술하는 933 동작으로 진행할 수 있다.
상기 963 동작의 확인 결과, 상기 제1광학 센서를 이용할 수 없는 경우 상기 전자 장치는 965 동작에서 제2광학 센서를 이용할 수 있는지 확인할 수 있다.
상기 965 동작의 확인 결과, 제2광학 센서를 이용 가능한 경우 상기 전자 장치는 966 동작에서 제2광학 센서를 온하고, 후술하는 933 동작으로 진행할 수 있다. 상기 965 동작의 확인 결과, 상기 제2광학 센서를 이용할 수 없는 경우 상기 전자 장치는 967 동작에서 마이크를 온하고, 후술하는 933 동작으로 진행할 수 있다.
933 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 상기 931 동작의 재인식 결과를 기반으로, 사용자가 존재하는지 확인할 수 있다.
상기 933 동작의 확인 결과 사용자가 존재하는 경우 상기 전자 장치는 후술하는 913 동작으로 진행할 수 있다. 상기 전자 장치는 사용자가 존재하는 것으로 인식한 환경 센서의 인식 결과를 무시하고, 사용자가 존재하는 상태가 유지된 것으로 처리하고, 913 동작으로 진행할 수 있다.
반면에, 상기 933 동작의 확인 결과 사용자가 존재하지 않는 경우 상기 전자 장치는 935 동작으로 진행하여 부재중 모드로 진입할 수 있다. 예를 들어, 상기 인식 결과 및 재인식 결과 모두에서 사용자가 존재하지 않는 것으로 인식됨에 따라 상기 전자 장치는 부재중 모드로 진입할 수 있다. 상기 부재중 모드 진입 시상기 전자 장치는 소리/진동/무음 동작(모드)을 변경하고, 부재중 수신되는 전화, 문자, 스케쥴, SNS, 메시지 등에 대하여 수량을 취합하고, 내용을 정리하는 동작을 수행할 뿐, 알람을 통지하지 않을 수 있다. 이때, 상기 전자 장치는 LED 알림 기능도 차단할 수 있다.
상기 부재중 모드로 진입한 후 상기 전자 장치는 후술하는 913 동작으로 진행할 수 있다.
913 동작에서, 본 발명의 한 실시예에 따른 전자 장치는 종료 여부를 확인할 수 있다. 상기 종료는 전자 장치의 전원 오프 또는 상기 환경 센서를 이용하여 동작을 제어하는 기능의 오프일 수 있다.
상기 종료되지 않는 경우 상기 전자 장치는 901 동작으로 복귀하여 상술한 동작들을 반복할 수 있다. 반면에, 종료되는 상기 전자 장치는 상기 환경 센서를 이용한 동작 제어를 종료할 수 있다.
한편, 이상에서는 사용 준비 모드 시 알람 정보를 제공하는 것으로 설명하였지만, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 예를 들어, 상기 사용 준비 모드 진입 시 관성 센서를 통해 인식된 전자 장치의 상태를 확인하고, 상기 전자 장치의 후면이 위를 향하고 있어 사용자가 화면을 볼 수 없을 경우, 상기 전자 장치는 후면의 플레쉬 또는 심박 센서 등의 LED를 통해 부재중 알림이 있음을 사용자에게 통지할 수 있다.
다른 실시예에서는, 상기 인식 결과 및 상기 재인식 결과 중 하나는 사용자가 존재한다고 인식하고, 다른 하나는 사용자가 존재하지 않는다고 인식한 경우, 상기 전자 장치는 사용자가 원거리에 있거나, 전자 장치를 볼 수 없는 상황으로 인식하고 LED로만 알람 정보를 제공할 수 있다.
도 10은 본 발명의 한 실시예에 따른 전자 장치의 동작을 제어하는 방법을 설명하기 위한 도면이다.
상기 도 10을 참조하면, 상기 전자 장치는 사용자의 존재 상태의 변경이 감지된 후, 적어도 한번 이상 상기 환경 센서를 이용한 확인 과정을 더 수행할 수 있다. 이는 도 10의 식별 부호 1001에 도시된 바와 같이, 전자 장치의 주변에 사람이 지나가는 경우 순간적으로 환경 정보(예: VOC)가 변경될 수 있다. 이와 같이, 상기 전자 장치가 사람이 많이 지나다니는 환경에서 위치하는 경우 상기 부재중 모드와 사용 준비 모드가 빈번하게 변경될 수 있다. 이러한 문제의 발생을 방지하기 위하여, 상기 전자 장치는 환경 센서를 통해 적어도 한번의 재확인 과정을 수행하여 일정 시간 이상 환경 변화가 유지되는 경우 사용자가 존재하는 것으로 인식할 수 있다.
상기 사용자의 존재를 인식하기 위한 임계치는 전자 장치가 위치하는 장소에 따라 달라질 수 있다. 예를 들어, 사용자들이 분산되어 있는 도서관의 임계치에 비하여, 사용자들이 상대적으로 밀집될 수 있는 열람실의 임계치는 높게 설정될 수 있다. 예를 들어, 상기 도 10에 도시된 바와 같이 도서관의 임계치는 약 40이고, 열람실의 임계치는 90으로 설정될 수 있다.
다른 실시예에서는, 상기 다수번의 확인 과정을 수행하는 방법은 사람이 많이 지나다니는 환경에서 사생활 보호 및 공공 에티켓을 위해 사용될 수 있다. 예를 들어, 사용자가 전자 장치의 주변에서 벗어난 상황에서, GPS, 와이 파이, 셀(cell), 저전력 블루투스(BLE) 등을 통해 획득되는 위치 정보 또는 시설에 대한 정보(명칭)을 기반으로 공공시설로 추정되거나, 환경 센서의 값이 단기간 변화 후 회복하는 일이 다수번 반복될 경우, 상기 전자 장치는 부재중 모드로의 진입을 강화하고, 사용 준비 모드로의 진입을 강화할 수 있다.
상기 전자 장치는 일반적인 부재중 모드인 경우 음성 및 진동 세기를 약하게 하고, 강화된 부재중 모드인 경우 음성 및 진동의 세기를 더 약하게 하거나 무음 모드로 변경할 수 있다. 다른 실시예에서는, 상기 전자 장치는 일반적인 부재중 모드인 경우 음성을 진동으로 변경하고, 강화된 부재중 모드인 경우 음성을 무음으로 변경할 수 있다.
상기 전자 장치는 사용자의 존재를 나타내는 설정값이 일정 시간 동안 일정 횟수 이상 발생하면, 사용 준비 모드로의 진입을 강화할 수 있다. 예를 들어, 상기 전자 장치는 다 수번(예: 5회) 이상 연속적으로 사용자가 존재하는 것으로 인식되는 경우 사용 준비 모드로 진입할 수 있다. 상기 사용자의 존재 여부는 1초 미만에서 수 분 간격으로 인식될 수 있다. 이때, 상기 전자 장치는 연속적인 측정 결과가 아닌 일정 간격의 측정 결과를 선택하여 사용자의 존재 여부를 결정할 수 있다.
이상에서 상술한 본원 발명의 환경 센서를 가지는 전자 장치는 사용자가 전자 장치의 주변에서 멀어지는 경우 부재중 모드로 진입하여 백그라운드 어플리케이션을 정리(또는 종료)하고, AOD의 동작을 중지할 수 있다. 이를 통해, 본원 발명의 다양한 실시예들은 전자 장치의 전류 소모를 최소화할 수 있다. 이후, 사용자가 전자 장치의 주변으로 되돌아 오는 경우 부재중 모드를 해제하고, 사용 준비 모드로 진입하여 정리(또는 종료)된 백그라운드 어플리케이션을 자동으로 실행, AOD를 온하며, 부재중 수신된 이벤트에 대한 알림을 수행할 수 있다.
예를 들어, 사용자가 전자 장치를 테이블 등에 충전 또는 방치할 수 있다. 상기 전자 장치는 가속도 센서, 지자기 센서 등을 이용해 전자 장치의 이동이 감지되지 않는 경우, 전자 장치의 전면 및 후면에 위치하는 조도센서 또는 이미지센서(예: 카메라)를 이용하여 주머니 등 닫힌 공간에 있지 않은지 판단할 수 있다. 또한, 상기 전자 장치는 가속도 센서 및 조도 센서 또는 이미지 센서의 측정 결과와 종합하여 전자 장치의 전면 또는 후면 중 어느 면이 위를 향하고 있는지 판단할 수 있다.
상기 전자 장치의 이동이 감지되지 않으며, 주머니와 같이 갇힌 공간이 아닌 경우, 상기 전자 장치는 주기적으로 온도, 습도, 가스 또는 풍속센서 등 환경 센서의 온하여 환경 정보를 모니터링할 수 있다. 상기 모니터링은 가속도 센서를 통해 전자 장치가 멈췄음을 판단한 시점부터 과거(예: 1분전)까지의 데이터를 모니터링할 수도 있고, 새로 측정되는 데이터를 일정 기간(예: 30초) 동안 모니터링 할 수도 있다. 상기 모니터링은 사용자가 자리를 비웠는지를 판단하는 동작을 의미할 수 있다.
사용자가 의도적으로 전자 장치를 고정시키고 특정 동작을 수행시키는 상태인지를 판단하기 위해, 상기 전자 장치는 블루투스와 같은 근거리 무선 통신이 연결된 타 전자 장치가 있는지, AOD가 아닌 다른 화면이 켜진 상태인지, 음악서비스, 전화 등 동작을 수행하고 있는지 확인할 수 있다. 근거리 무선 통신이 연결된 타 전자 장치가 없고, 화면이 꺼져있고, 다른 동작을 수행하고 있지 않다면, 상기 전자 장치는 미사용 상태로 인식할 수 있다.
상기 전자 장치가 움직이지 않고, 미사용 상태로 인식된 상태에서, 상기 전자 장치는 온도, 습도, 가스, 냄새 또는 풍속 센서 등 환경센서에 의해 주변 환경 정보의 변화를 감지할 수 있다. 예를 들어, 도 6b의 그래프와 같이 이산화탄소의 농도 증가 또는 감소를 감지할 수 있다. 상기 전자 장치는 환경 센서를 통한 자리 비움에 대한 판단을 1회만 수행할 수 있다. 어떤 실시예에 따르면, 상기 자리비움에 대한 판단의 정확도를 높이기 위하여, 상기 전자 장치는 환경 센서를 통한 자리 비움 여부를 2회 이상 수행할 수도 있다.
다른 실시예에 따르면, 상기 자리 비움의 판단에 대한 정확도를 높이기 위해, 상기 전자 장치는 사용자를 감지할 수 있는 다른 센서(예: 광학 센서, 마이크 등)를 이용하여 자리 비움에 여부를 재판단할 수 있다. 예를 들어, 광학 센서(카메라, 조도 센서, 근접센서 등)를 이용하여 주변의 움직임이 없어지거나, 멀어지는 것을 모니터링하거나, 마이크를 통해 발소리 및 음성이 작아지는 것을 모니터링할 수 있다. 상기 광학 센서 또는 마이크를 이용한 자리 비움에 대한 판단은 1회 또는 다수 번 수행될 수 있다.
상기 환경 센서 및 상기 다른 센서 중 하나의 결과만이 사용자가 자리를 비운 것으로 판단할 경우, 상기 전자 장치는 준 부재중 모드로 진입할 수 있다. 예를 들어, 상기 전자 장치는 관성 센서 및/또는 조도 센서를 통해 인식된 각도 상태를 확인하고, 상기 전자 장치의 전면이 위를 향하고 있을 경우 전면에 위치하는 LED를 통해 부재중 메시지의 수신을 통지할 수 있다. 다른 실시예에 따르면, 상기 전자 장치는 후면이 위를 향하고 있을 경우 후면에 위치하는 flash 또는 LED를 이용하여 부재중 메시지의 수신을 통지할 수 있다.
사용자가 일정 기간(예: 3분)이상 부재중 메시지(문자 또는 전화)를 확인하지 않을 경우, 상기 전자 장치는 부재중 모드로 진입할 수 있다. 예를 들어, 상기 전자 장치는 동작중인 AOD를 오프하고, 백그라운드 어플리케이션을 종료하며, 부재중 메시지의 알림을 중지하여 전류 소모를 최소화할 수 있다. 이때, 상기 전자 장치는 수신되는 문자, 전화, 스케줄 등을 정리하는 저장할 뿐, 알림을 통지하지 않을 수 있다.
상기 환경 센서 및 상기 다른 센서의 결과가 사용자가 자리를 비운 것으로 판단할 경우, 상기 전자 장치는 바로 부재중 모드로 동작할 수 있다.
상기 준부재중 모드 또는 부재중 모드에서, 상기 전자 장치는 사용자의 접근을 감지할 수 있다. 예를 들어, 상기 전자 장치는 환경 센서 및 다른 센서(예: 광학 센서 및/또는 마이크) 중 적어도 하나를 통해 사용자의 접근을 감지할 수 있다.
어떤 실시예에 따르면, 상기 환경센서 및 다른 센서를 통해 사용자가 접근하였다가 멈춰있지 않고 지나가는 것으로 인식이 되고, 이런 경우가 일정 횟수 이상 반복될 경우, 상기 전자 장치는 사용자의 접근에 대한 확인의 횟수를 늘려 주변에 사람이 멈춰있음이 확인될 경우에만 주변에 사용자가 접근했다고 인식하도록 할 수 있다.
어떤 실시예에 따르면, 상기 환경 센서 및 상기 다른 센서 중 하나의 결과만이 사용자가 접근한 것으로 판단될 경우, 상기 전자 장치는 준 사용 준비 모드로 진입할 수 있다. 예를 들어, 상기 전자 장치는 LED를 통한 알림 통지와 AOD를 온하고, 종료된 백그라운드 어플리케이션 중 일부만 깨우고, 부재중 전화, 문자, 스케줄을 화면에 표시하지 않을 수 있다.
다른 실시예에 따르면, 상기 환경 센서 및 상기 다른 센서가 사용자의 접근을 감지할 경우, 상기 전자 장치는 LED를 통한 알림 통지없이, AOD를 온하고, 종료된 백그라운드 어플리케이션을 모두 깨우며, 부재중 전화, 문자, 스케줄을 정리하여 화면에 표시할 수 있다. 다른 실시예에서는, 상기 전자 장치는 소리, 진동 등을 통한 청각적 및/또는 촉각적 통지를 함께 제공할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 도 4의 전자 장치(400), 도 5의 전자 장치(500))의 동작을 제어하는 방법은, 일정 주기로 환경 정보를 수집하는 동작; 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식하는 동작; 및 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 환경 정보를 수집하는 동작은 온도, 습도, 풍속, 냄새, 및 가스 중 적어도 하나를 수집하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 환경 정보를 기반으로 사용자의 존재 여부를 인식하는 동작은 이전 주기에 수집된 환경 정보와 현재 수집된 환경 정보의 차이가 기 설정된 제1임계치 이상인지 적어도 한번 확인하는 동작; 또는 상기 현재 수집된 환경 정보가 기 설정된 제2임계치 이상인지 적어도 한번 확인하는 동작 중 어느 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 제1임계치 및 제2임계치는 상기 전자 장치가 위치하는 장소의 환경 정보에 따라 가변될 수 있다.
다양한 실시예들에 따르면, 상기 전자 장치의 동작을 제어하는 동작은 상기 전자 장치의 주변에 사용자가 존재하는 경우 사용 준비 모드로 진입하는 동작; 및 상기 전자 장치의 주변에 사용자가 존재하지 않는 경우 상기 전자 장치에 포함된 구성의 적어도 일부의 전원 및 기능 중 적어도 하나를 제어하는 부재중 모드로 진입하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 방법은 상기 전자 장치가 사용 중인지 확인하는 동작; 및 상기 사용 중인 경우 상기 전자 장치의 주변에 사용자가 존재하는 것으로 결정하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 사용 중인지 확인하는 동작은 디스플레이가 온 상태인지 확인하는 동작; 터치 입력이 감지되는지 확인하는 동작; 오디오 재생 기능이 실행 중인지 확인하는 동작; 상기 전자 장치가 그립 상태인지 확인하는 동작; 및 상기 전자 장치의 움직임이 감지되는지 확인하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 전자 장치의 동작을 제어하는 동작은 상기 전자 장치와 유선 또는 무선으로 연동된 적어도 하나의 타 전자 장치가 존재하는지 확인하는 동작; 및 상기 타 전자 장치가 존재하는 경우 상기 타 전자 장치와 연관된 기능을 유지하고, 다른 기능을 종료하는 준 부재중 모드로 진입하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 환경 센서를 통해 사용자가 존재하는 것으로 인식되면, 광학 센서, 이미지 센서 및 마이크 중 적어도 하나를 통해 사용자의 존재 여부를 재인식하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 사용자의 존재 여부를 인식하는 동작은 음성 인식, 얼굴 인식, 생체 정보 인식 중 적어도 하나를 통해 인식되는 현재의 사용자 정보와 상기 전자 장치에 기 등록된 사용자 정보를 비교하여 상기 전자 장치의 사용자인지 확인하는 동작; 및 등록된 사용자가 주변에 위치할 때 수집되는 냄새 정보를 저장하고, 상기 저장된 냄새 정보와 현재의 냄새 정보를 비교하여 상기 전자 장치의 사용자인지 확인하는 동작 중 적어도 하나를 더 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 이상의 조합으로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device)를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장매체(computer-readable storage media)(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시예에 따르면, 적어도 하나의 명령들을 저장하고 있는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 일정 주기로 환경 정보를 수집하는 동작; 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식하는 동작; 및 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시예는 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 환경 센서; 및
    상기 적어도 하나의 환경 센서와 기능적으로 연결되어, 일정 주기로 환경 정보를 수집하도록 상기 적어도 하나의 환경 센서를 제어하고, 상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 인식하며, 상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하도록 설정된 적어도 하나의 프로세서를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 환경 센서는
    온도 센서, 습도 센서, 풍속 센서, 냄새 센서 및 가스 센서 중 적어도 하나를 포함하는 전자 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는
    이전 주기에 수집된 환경 정보와 현재 수집된 환경 정보의 차이가 기 설정된 제1임계치를 초과하는지 적어도 한번 확인하거나, 상기 현재 수집된 환경 정보가 기 설정된 제2임계치 이상인지 적어도 한번 확인하여 상기 사용자의 존재 여부를 인식하도록 설정된 전자 장치.
  4. 제 3 항에 있어서,
    상기 제1임계치 및 제2임계치는
    상기 전자 장치가 위치하는 장소의 환경 정보에 따라 가변되는 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는
    상기 전자 장치의 주변에 사용자가 존재하는 경우 사용 준비 모드로 진입하고,
    상기 전자 장치의 주변에 사용자가 존재하지 않는 경우 상기 전자 장치와 유선 또는 무선으로 연동된 적어도 하나의 타 전자 장치가 존재하는지 확인하고, 상기 타 전자 장치가 존재하는 경우 상기 타 전자 장치와 연관된 기능을 유지하고, 다른 기능을 종료하는 준 부재중 모드로 진입하며,
    상기 타 전자 장치가 존재하지 않는 경우 상기 전자 장치에 포함된 구성의 적어도 일부의 전원 및 기능 중 적어도 하나를 제어하는 부재중 모드로 진입하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는
    상기 전자 장치가 사용 중인지 확인하고, 사용 중인 경우 상기 전자 장치의 주변에 사용자가 존재하는 것으로 결정하는 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는
    디스플레이가 온 상태이거나, 터치 입력이 감지되거나, 오디오 재생 기능이 실행 중이거나, 상기 전자 장치가 그립 상태이거나, 상기 전자 장치의 움직임이 감지되는 경우 상기 사용중인 것으로 결정하는 전자 장치.
  8. 제 1 항에 있어서,
    사용자의 존재 여부를 인식하기 위한 광학 센서, 이미지 센서 및 마이크 중 적어도 하나를 더 포함하며,
    상기 프로세서는
    상기 환경 센서를 통해 사용자가 존재하는 것으로 인식되면, 상기 광학 센서, 상기 이미지 센서 및 상기 마이크 중 적어도 하나를 통해 사용자의 존재 여부를 재인식하도록 제어하는 전자 장치.
  9. 제 1 항에 있어서,
    상기 프로세서는
    음성 인식, 얼굴 인식, 생체 정보 인식 중 적어도 하나를 통해 인식되는 현재의 사용자 정보와 상기 전자 장치에 기 등록된 사용자 정보를 비교하여 상기 전자 장치의 사용자인지 확인하거나, 등록된 사용자가 주변에 위치할 때 수집되어 저장된 냄새 정보와 현재의 냄새 정보를 비교하여 상기 전자 장치의 사용자인지 확인하는 전자 장치.
  10. 전자 장치의 동작을 제어하는 방법에 있어서,
    일정 주기로 환경 정보를 수집하는 동작;
    상기 수집된 환경 정보를 기반으로 사용자의 존재 여부를 확인하는 동작; 및
    상기 사용자의 존재 여부에 따라 상기 전자 장치의 동작을 제어하는 동작을 포함하는 방법.
  11. 제10항에 있어서,
    상기 환경 정보를 수집하는 동작은
    온도, 습도, 풍속, 냄새, 및 가스 중 적어도 하나를 수집하는 동작을 포함하는 방법.
  12. 제10항에 있어서,
    상기 환경 정보를 기반으로 사용자의 존재 여부를 인식하는 동작은
    이전 주기에 수집된 환경 정보와 현재 수집된 환경 정보의 차이가 기 설정된 제1임계치 이상인지 적어도 한번 확인하는 동작; 또는
    상기 현재 수집된 환경 정보가 기 설정된 제2임계치 이상인지 적어도 한번 확인하는 동작 중 어느 하나를 포함하는 방법.
  13. 제 10 항에 있어서,
    상기 전자 장치의 동작을 제어하는 동작은
    상기 전자 장치의 주변에 사용자가 존재하는 경우 사용 준비 모드로 진입하는 동작; 및
    상기 전자 장치의 주변에 사용자가 존재하지 않는 경우 상기 전자 장치와 유선 또는 무선으로 연동된 적어도 하나의 타 전자 장치가 존재하는지 확인하고, 상기 타 전자 장치가 존재하는 경우 상기 타 전자 장치와 연관된 기능을 유지하고, 다른 기능을 종료하는 준 부재중 모드로 진입하는 동작;
    상기 타 전자 장치가 존재하지 않는 경우 상기 전자 장치에 포함된 구성의 적어도 일부의 전원 및 기능 중 적어도 하나를 종료하는 부재중 모드로 진입하는 동작을 포함하는 방법.
  14. 제10항에 있어서,
    상기 환경 센서를 통해 사용자가 존재하는 것으로 인식되면, 광학 센서, 이미지 센서 및 마이크 중 적어도 하나를 통해 사용자의 존재 여부를 재인식하는 동작을 더 포함하는 방법.
  15. 제10항에 있어서,
    상기 사용자의 존재 여부를 인식하는 동작은
    음성 인식, 얼굴 인식, 생체 정보 인식 중 적어도 하나를 통해 인식되는 현재의 사용자 정보와 상기 전자 장치에 기 등록된 사용자 정보를 비교하여 상기 전자 장치의 사용자인지 확인하는 동작; 및
    등록된 사용자가 주변에 위치할 때 수집되는 냄새 정보를 저장하고, 상기 저장된 냄새 정보와 현재의 냄새 정보를 비교하여 상기 전자 장치의 사용자인지 확인하는 동작 중 적어도 하나를 더 포함하는 방법.
PCT/KR2017/010359 2016-10-26 2017-09-21 전자 장치 및 그의 동작을 제어하는 방법 Ceased WO2018080023A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/342,321 US11172450B2 (en) 2016-10-26 2017-09-21 Electronic device and method for controlling operation thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0140073 2016-10-26
KR1020160140073A KR102693433B1 (ko) 2016-10-26 2016-10-26 전자 장치 및 그의 동작을 제어하는 방법

Publications (1)

Publication Number Publication Date
WO2018080023A1 true WO2018080023A1 (ko) 2018-05-03

Family

ID=62025140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010359 Ceased WO2018080023A1 (ko) 2016-10-26 2017-09-21 전자 장치 및 그의 동작을 제어하는 방법

Country Status (3)

Country Link
US (1) US11172450B2 (ko)
KR (1) KR102693433B1 (ko)
WO (1) WO2018080023A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111795448A (zh) * 2020-07-20 2020-10-20 东江环保股份有限公司 智能密闭空间空气消毒净化系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7417972B2 (ja) * 2018-04-19 2024-01-19 パナソニックＩｐマネジメント株式会社 電力システムおよび電力システムの制御方法
KR101956141B1 (ko) * 2018-06-04 2019-03-11 주식회사 현대아이티 소비 전력을 줄인 전자 칠판
KR102006274B1 (ko) * 2018-11-09 2019-08-01 주식회사 티포엘 질소화합물 측정용 그래핀 복합체 기반 반도체식 가스센서를 포함하는 IoT 가스센서 디바이스 및 이를 이용하는 시스템
US11048317B2 (en) * 2019-02-28 2021-06-29 Motorola Mobility Llc Gas sensor augmented human presence detection system
US12210797B2 (en) 2019-02-28 2025-01-28 Sonos, Inc. Playback transitions
CN113748689A (zh) * 2019-02-28 2021-12-03 搜诺思公司 音频设备之间的回放转换
US11347293B2 (en) * 2019-09-20 2022-05-31 Dell Products, L.P. Management of turbo states based upon user presence
GB202001725D0 (en) * 2020-02-07 2020-03-25 Contained Tech Uk Limited An intrusion detector for a lorry
US11593125B2 (en) * 2020-08-19 2023-02-28 Dell Products L.P. Adjusting wireless docking resource usage
US12056413B2 (en) 2020-09-25 2024-08-06 Microsoft Technology Licensing, Llc Contextual workflow triggering on devices
US11410267B1 (en) * 2021-03-11 2022-08-09 Dell Products, L.P. Systems and methods for managing graphics processor usage by modern workspaces
CN116745736A (zh) * 2021-04-18 2023-09-12 上海联影医疗科技股份有限公司 医学设备控制的系统和方法
IT202100019808A1 (it) * 2021-07-26 2023-01-26 St Microelectronics Srl Metodo di controllo di un apparecchio per l'attivazione di una o piu' funzionalita' dello stesso
JP7413481B1 (ja) * 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488938B1 (ko) * 2013-09-04 2015-02-11 주식회사 템퍼스 전자 디바이스의 전원 제어장치
KR101497181B1 (ko) * 2011-05-13 2015-02-27 서울시립대학교 산학협력단 통화모드를 제어하는 방법, 모바일 단말기 및 기록매체
KR20150029041A (ko) * 2013-08-08 2015-03-18 중앙대학교 산학협력단 전력 절감 방법 및 장치
KR20150145860A (ko) * 2014-06-19 2015-12-31 삼성전자주식회사 전자 장치 및 전자 장치에서 기능 관리 방법
KR20160027923A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 실내 온습도 조절 방법 및 장치
KR20160060968A (ko) * 2014-11-21 2016-05-31 삼성전자주식회사 디스플레이 장치를 제어하기 위한 사용자 단말 및 이의 제어 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665805B1 (en) * 1999-12-27 2003-12-16 Intel Corporation Method and apparatus for real time monitoring of user presence to prolong a portable computer battery operation time
KR101545876B1 (ko) * 2009-01-22 2015-08-27 삼성전자주식회사 모션 센서 기반의 전력 소모 감소 방법 및 이를 이용한 휴대 단말기
KR101099745B1 (ko) * 2009-11-24 2011-12-28 주식회사 루키스 작업 환경 모니터링 시스템 및 그 방법
JP5876142B2 (ja) * 2011-05-12 2016-03-02 アップル インコーポレイテッド 存在センサ
US10270748B2 (en) * 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
KR102246120B1 (ko) * 2014-11-21 2021-04-29 삼성전자주식회사 디스플레이 장치를 제어하기 위한 사용자 단말 및 이의 제어 방법
US10165397B2 (en) * 2016-02-18 2018-12-25 Comcast Cable Communications, Llc Proximity detection and targeted communications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101497181B1 (ko) * 2011-05-13 2015-02-27 서울시립대학교 산학협력단 통화모드를 제어하는 방법, 모바일 단말기 및 기록매체
KR20150029041A (ko) * 2013-08-08 2015-03-18 중앙대학교 산학협력단 전력 절감 방법 및 장치
KR101488938B1 (ko) * 2013-09-04 2015-02-11 주식회사 템퍼스 전자 디바이스의 전원 제어장치
KR20150145860A (ko) * 2014-06-19 2015-12-31 삼성전자주식회사 전자 장치 및 전자 장치에서 기능 관리 방법
KR20160027923A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 실내 온습도 조절 방법 및 장치
KR20160060968A (ko) * 2014-11-21 2016-05-31 삼성전자주식회사 디스플레이 장치를 제어하기 위한 사용자 단말 및 이의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111795448A (zh) * 2020-07-20 2020-10-20 东江环保股份有限公司 智能密闭空间空气消毒净化系统

Also Published As

Publication number Publication date
KR20180045572A (ko) 2018-05-04
US20200053651A1 (en) 2020-02-13
US11172450B2 (en) 2021-11-09
KR102693433B1 (ko) 2024-08-09

Similar Documents

Publication Publication Date Title
WO2018080023A1 (ko) 전자 장치 및 그의 동작을 제어하는 방법
WO2017209528A1 (en) Electronic apparatus and operating method thereof
WO2016085265A1 (en) Method and apparatus for detecting that a device is immersed in a liquid
WO2016204551A1 (en) Device and method for providing notification on wireless charging state
WO2018131932A1 (ko) 전자 장치의 사용 환경에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2018043998A1 (ko) 전자 장치 및 그 제어 방법
WO2018074898A1 (ko) 송신 전력을 제어하기 위한 전자장치 및 방법
WO2018066847A1 (ko) 무선 충전을 제어하는 전자 장치 및 방법
WO2018155928A1 (ko) 복수의 생체 센서를 이용하여 인증을 수행하기 위한 전자 장치 및 그의 동작 방법
WO2018151443A1 (ko) 가스를 측정하는 전자 장치 및 그 방법
WO2018217066A1 (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
WO2018101777A1 (ko) 무선 연결을 이용한 오디오 스트리밍 방법 및 장치
WO2016163674A1 (ko) 서버, 전자 장치 및 전자 장치의 정보 제공 방법
WO2018143643A1 (ko) 전자장치 및 이를 사용하여 디스플레이에 연동된 생체 센서의 제어 방법
WO2017082609A1 (ko) 전자 장치 및 가스 센서의 활용 방법
WO2018026138A1 (ko) 근거리 무선 통신 네트워크에서 스캔 방법 및 이를 구현하는 전자 장치
WO2017131401A1 (ko) 전자 장치 및 전자 장치의 사용자 인터페이스 제어 방법
WO2017146482A1 (ko) 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
WO2017175962A1 (ko) 화면을 표시하는 전자 장치 및 그 제어 방법
WO2018216892A1 (ko) 여러 종류의 전자 펜을 사용하기 위한 방법 및 그 전자 장치
WO2018021764A1 (ko) 어플리케이션에 대한 알림을 관리하는 방법 및 그 전자 장치
WO2017119690A1 (ko) 전자 장치 및 그 동작 방법
WO2017090907A1 (ko) 전자 장치의 상태에 따른 음성 신호 처리 방법 및 그 전자 장치
WO2017047967A1 (ko) 전자 장치 및 그 기능 제어 방법
WO2017126767A1 (ko) 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17864781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17864781

Country of ref document: EP

Kind code of ref document: A1