[go: up one dir, main page]

TWI899845B - 基於步態的人工智慧(ai)生成音樂之裝置 - Google Patents

基於步態的人工智慧(ai)生成音樂之裝置

Info

Publication number
TWI899845B
TWI899845B TW113105631A TW113105631A TWI899845B TW I899845 B TWI899845 B TW I899845B TW 113105631 A TW113105631 A TW 113105631A TW 113105631 A TW113105631 A TW 113105631A TW I899845 B TWI899845 B TW I899845B
Authority
TW
Taiwan
Prior art keywords
gait
user
module
music
sensor
Prior art date
Application number
TW113105631A
Other languages
English (en)
Other versions
TW202534665A (zh
Inventor
周耀聖
吳崇媛
周研瀚
姜林毅
崔疆
Original Assignee
矽響先創科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矽響先創科技股份有限公司 filed Critical 矽響先創科技股份有限公司
Priority to TW113105631A priority Critical patent/TWI899845B/zh
Priority to CN202410421068.0A priority patent/CN120510825A/zh
Priority to US18/940,873 priority patent/US20250266022A1/en
Priority to JP2024204723A priority patent/JP2025126122A/ja
Priority to KR1020240171497A priority patent/KR20250126979A/ko
Priority to EP24219145.0A priority patent/EP4604116A1/en
Publication of TW202534665A publication Critical patent/TW202534665A/zh
Application granted granted Critical
Publication of TWI899845B publication Critical patent/TWI899845B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G10H1/42—Rhythm comprising tone forming circuits
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/44—Footwear characterised by the shape or the use with electrical or electronic arrangements with sensors, e.g. for detecting contact or position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7405—Details of notification to user or communication with user or patient; User input means using sound
    • A61B5/7415—Sound rendering of measured values, e.g. by pitch or volume variation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G10H2210/115—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/341—Rhythm pattern selection, synthesis or composition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/336—Control shoe or boot, i.e. sensor-equipped lower part of lower limb, e.g. shoe, toe ring, sock, ankle bracelet or leg control attachment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461—Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal
    • G10H2220/561—Piezoresistive transducers, i.e. exhibiting vibration, pressure, force or movement -dependent resistance, e.g. strain gauges, carbon-doped elastomers or polymers for piezoresistive drumpads, carbon microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

一種基於步態的人工智慧(AI)生成音樂之裝置，包括：感測器組件，設置於使用者的足部，其包括壓力感測裝置以及慣性感測模組，收集使用者的運動相關之數據；一計算電子裝置，通信的耦接感測器組件，接收使用者的運動相關之數據，並利用步態分析模組分析運動相關之數據獲得使用者的步態參數，然後由節律參數提取模組提取使用者的步態參數中運動相關節律參數；一AI音樂生成模組，通信的耦接該計算電子裝置，接收使用者的運動相關節律參數，藉以將運動相關節律參數轉換成對應的節拍數、高低音、輕重音，並利用AI演算法加入旋律生成一段音樂輸出。

Description

基於步態的人工智慧(AI)生成音樂之裝置
本發明涉及以人工智慧(AI)生成音樂的相關技術領域，特別是一種基於步態的AI生成音樂之裝置。
由於電子技術以及資訊和通信技術的發展，透過各式感測器可以偵測及提取使用者的運動步態相關之資訊。先前技術，例如美國專利US 5765300曾嘗試開發電子踢踏舞鞋，使用壓力感測器或其他方式來偵測舞者的活動，然後透過電纜或無線方式發送相應的音樂數位介面(Musical Instrument Digital Interface,MIDI)音符。例如，該專利提供一種由鞋子激活的聲音合成器裝置，其能夠將鞋的運動轉化為可聽見的聲音。此聲音合成器裝置包括鞋，其中設置有至少一個觸發元件，當鞋彎曲到預定程度時能夠產生觸發信號。當鞋子與地板接觸時，鞋子會彎曲。透過以受控方式使鞋的不同部分與地板接觸，人可以選擇性地控制來自包含在鞋內的任何觸發元件的觸發訊號的產生。提供聲音合成器電路，其耦合到包含在鞋內的每個觸發元件。當從鞋子接收到觸發訊號時，聲音合成器電路會透過揚聲器產生可聽聲音。
壓力感測器也可以嵌入地板或安裝在地板上的表面，並用作家庭 遊戲控制器或是做為追蹤使用者的運動和活動以追蹤健身訓練進度的裝置，上述感測器可將資料封包傳輸到直接連接到行動裝置的接收器。
音樂和舞蹈代表現代社會中一種受讚賞的嗜好和令人愉快的活動。學習跳舞是全世界最受歡迎的活動之一。學習與喜愛的音樂同步的特別快速且非常動態的動作並不容易。
在時間和空間上執行和諧的動力運動，例如跳舞或運動時使用者的身體移動時，是一個複雜的過程。
節奏與人們日常生活的聯繫越來越緊密，譬如人們可以隨著音訊的節奏進行運動、可以基於音訊的節奏設計出相應的節奏遊戲、可以設計燈光隨著音訊的節奏進行閃爍等。為了獲取音訊的節奏，通常需要從音訊中確定節奏點，所以在相關技術領域中，如何準確地確定音訊的節奏點成為當前亟需解決的問題。
想要自動生成一段音樂並不簡單。除了旋律生成，還需要考慮多軌伴奏生成、歌詞生成、配器和編曲等元素。然而，由於目前人工智能技術的快速發展，利用生成式人工智慧技術(包括機器學習模型以及深度學習模型)來將收集到使用者的運動步態之節奏生成一段音樂已成為可能。
為了達到上述目的，本發明提出一種基於步態的AI生成音樂之裝置，包括：感測器組件，設置於使用者的足部，其包括壓力感測裝置以及慣性感測模組，被配置為收集該使用者的運動相關之數據；一計算電子裝置，通信的耦接該感測器組件，被配置為接收該使用者的該運動相關之數據，並利用一設置於該計算電子裝置中的步態分析模組分析該運動相關之數據獲得該使用者的步態參數，然後由設置於該計算電子裝置中的節律參數提取模組提取該使用者的該步態參數中與該使用者的運動相關節律參數；一AI音樂生成模組，通信的耦接該計算電子裝置，被配置為接收該使用者的該運動相關節律參數，藉以將該運動相關節律參數轉換成對應的節拍數、高低音、輕重音，並利用AI演算法加入旋律生成一段音樂輸出。
以一實施例而言，上述基於步態的AI生成音樂之裝置更包含：一音樂步態互動模組，設置於該計算電子裝置，配合由該AI音樂生成模組所生成之該音樂的節律而產生之動態化圖案，用於與該使用者互動。
以一實施例而言，上述之壓力感測裝置包括複數個壓力感測器，設置於鄰接該使用者足部的腳趾區以及足部的腳跟區，用於分別感測該腳趾區以及該腳跟區的壓力分佈。
以一實施例而言，上述之慣性感測模組包括加速度計結合陀螺儀的複合感測器，設置於鄰接該使用者足部的足弓，用於感測該使用者的足部動作。
以一實施例而言，上述之慣性感測模組更包含GPS感測器。
以一實施例而言，上述之步態參數包括該使用者的踢地次數、步幅、步長、步頻、站立時間、前進、後退、跳躍以及運動軌跡；上述運動相關節律參數包括節奏、速度、跳躍高度、力道以及步幅。
以一實施例而言，上述之感測器組件更包括：微處理器，用於蒐集及分析該壓力感測裝置、該慣性感測模組及該GPS感測器所偵測到的電子訊號，並將其轉換為對應的足壓分布資訊、加速度資訊以及GPS資訊；記憶體，耦接該微處理器，用於儲存該足壓分布資訊、該加速度資訊以及該GPS資訊；無線收發器，耦接該微處理器，用於將該足壓分布資訊、該加速度資訊以及該GPS資訊無線傳輸至外部電子裝置；及電源供應裝置，用以對該壓力感測裝置、該慣性感測模組、該該GPS感測器、該微處理器、該記憶體、以及該無線數據傳輸/接收裝置供電。
以一實施例而言，上述之無線收發器是藍芽晶片、WiFi或類似功能之數據傳輸/接收裝置。
以一實施例而言，上述之AI音樂生成模組係設置於一雲端伺服器；上述之雲端伺服器為一般伺服器或是生成式AI伺服器。
100:系統架構
102:感測器組件
(102a、102b):感測器模組
104:電子計算裝置
106:雲端伺服器
108:使用者
210:鞋墊
214:足弓墊
215:近鞋頭區
216:慣性感測模組
216-1:複合感測器
216-2:GPS感測器
(216a、216b):慣性感測模組
219:足弓外側區
220:腳跟區
222:導線
224:佈線
232:無線收發器
(232a、232b):無線收發器
234:微處理器
235:記憶體
237:電源供應裝置
238:壓力感測裝置
(238a、238b):壓力感測裝置
340:步態分析模組
342:計算核心
342a:處理器
342b:其他計算核心組件
343:使用者介面
344:網際網路介面
345:無線通信收發器
346:存儲裝置
350:節律參數提取模組
360:AI音樂生成模組
370:音樂步態互動模組
〔圖1〕顯示實現基於步態的AI生成音樂之裝置的系統架構100。
〔圖2〕顯示根據本發明所提之壓力感測器的分布以及其布線的示意圖。
〔圖3〕顯示根據本發明實施例所提感測器組件之功能方塊示意圖。
〔圖4〕顯示感測器模組與外部耦接的計算電子裝置通訊的系統方塊示意圖。
〔圖5〕顯示對應於圖1的系統架構之功能方塊圖。
此處本發明將針對發明具體實施例及其觀點加以詳細描述，此類描述為解釋本發明之結構或步驟流程，其係供以說明之用而非用以限制本發明之申請專利範圍。因此，除說明書中之具體實施例與較佳實施例外，本發明亦可廣泛施行於其他不同的實施例中。以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可藉由本說明書所揭示之內容輕易地瞭解本發明之功效性與其優點。且本發明亦可藉由其他具體實施例加以運用及實施，本說明書所闡述之各項細節亦可基於不同需求而應用，且在不悖離本發明之精神下進行 各種不同的修飾或變更。
本發明提出一種基於步態的AI生成音樂之裝置。其概念為依照使用者的運動步態相關之資訊，以AI演算法來編曲。舉例而言，於一場羽球賽，參賽者有許多的跳躍、前進、後退等等步態有關的參數，可以由這些步態相關的參數提取節奏、速度、跳躍高度、力道、步輻等相關參數，這些參數可以對應成節拍數、高低音、輕重音等，利用AI演算法加入旋律，一首與運動關聯的AI樂曲就能產生。
基於上述概念，參考圖1，其顯示實現上述基於步態的AI生成音樂之裝置的系統架構100，其包括感測器組件102、計算電子裝置104以及雲端伺服器106。感測器組件102可通信地與外部耦接之計算電子裝置104連接，外部耦接之計算電子裝置104可以接收由上述感測器組件102所收集到的數據。計算電子裝置104則可以透過網際網路通信地連接雲端伺服器106。根據本發明的實施例，雲端伺服器106可以是一般的網路伺服器或是生成式AI伺服器。
根據本發明實施例，感測器組件102具有無線收發裝置，被配置為將感測器組件102收集到的與使用者108之運動相關的資料無線地傳送到外部耦接的計算電子裝置104的訊號接收器，例如。如下文更詳細討論的，感測器組件102可以佩戴在使用者108身上，例如使用者108的鞋或腳(足部)，並且包括複數個壓力感測器和慣性感測器模組(包括無線電收發器)。根據本發明之實施例，複數個壓力感測器和(包括無線收發器)可以是分離的或是整合在一起。根據本發 明之實施例，感測器組件102可以佩戴在使用者的兩隻腳上(足部)。由感測器組件102產生並由其所包含的無線收發器所發送的訊號(包括前面所提的使用者108之運動相關的數據)可以由設置於外部耦接的的計算電子裝置104之無線電接收器(未顯示)所接收，計算電子裝置104包括諸如智慧型手機、筆記型電腦、平板電腦或個人電腦之類的計算裝置。
根據本發明之實施例，前面所提與使用者108之運動相關的數據資料，例如跳躍、前進、後退等等步態有關的數據，可以透過無線傳輸由計算電子裝置104接收並進行步態分析，隨後得到步態參數並經由網路上傳至雲端伺服器106，用於後續分析並生成音樂。上述系統還包括安裝在計算電子裝置104上的應用程式，該應用程式包括在感測器組件102、計算電子裝置104，例如智慧型手機、平板電腦等行動裝置，和雲端伺服器106之間接收和發送數據的指令。上述應用程式可基於Android、Windows 10或iOS平台，其還可以將訊號上傳到雲端伺服器106以進行儲存和/或運算處理。上述系統架構100能夠透過計算電子裝置104連續地收集使用者108運動相關的數據，透過計算電子裝置104執行可執行的演算程式用於例如，執行步態分析相關的演算法、對接收到的與使用者運動相關數據進行步態參數的提取。
為了詳細說明感測器組件102，如圖2所示，感測器組件102包括複數個壓力感測器以及慣性感測模組。其中，複數個壓力感測器與慣性感測模組可以整合在一起或是分離的。為了方便說明，圖2僅顯示感測器組件102中複數個壓力感測器與慣性感測模組整合在一起的示例，例如整合於鞋墊210，其他不脫 離本發明精神之感測器組件102示例，例如整合於鞋子、或是鞋底亦屬於本發明保護之範圍。參考圖2，壓力感測器(未顯示)可以於整塊鞋墊只有近鞋頭區215、足弓外側區219及腳跟區220位置設置，近鞋頭區215對應於腳趾區、前腳掌區，上述各區均具有複數個壓力感測器(未顯示)且可以依需求設置不同密度的壓力感測器(未顯示)，個別壓力感測器利用導線222電連接至慣性感測模組216。以一實施例而言，壓力感測器為電容式壓力感測器，其中，不同數目的複數個電容式壓力感測器以及相應佈線224形成可撓式壓力感應裝置，設置於鞋墊210的不同部位用於感測使用者足部的不同區域(例如，前述的近鞋頭區215、足弓外側區219及腳跟區220位置)的足壓分佈。然而，根據替代實施例，壓力感測器亦可為電阻式壓力感測器。其中，慣性感測模組216，包括無線收發器，例如藍芽晶片，以及其他電子組件(包括慣性測量單元、GPS感測器)，則全部內藏於鞋墊210中足弓部的足弓墊214之內。以一實施例而言，慣性感測模組216可以是由印刷電路板整合的電子感測模組，其具有連接端子與上述複數個壓力感測裝置電性連接。
根據本發明之實施例，感測器組件102可以提供關於使用者的身體運動相關數據/資訊。在一些實施例中，感測器組件102中的慣性感測模組216，可以包括(1)可穿戴式無線即時動作感測設備或IMU(inertial measurement units，慣性測量單元)，(2)可穿戴式無線即時組合多區足底壓力/六維動作捕捉(IMU)設備。
根據本發明實施例，慣性感測模組216至少包括加速度計、陀螺儀、GPS感測器等裝置。其中，加速度計以及陀螺儀可以利用基於微機電系統 (Micro-Electro-Mechanical Systems，MEMS)技術製作的感測器，加速度計以及陀螺儀可以整合為具有六個自由度的六軸加速度計和陀螺儀的複合感測器。
因此，示例性感測器組件102可以是組合多區足底壓力/六個自由度動作的偵測設備。當使用者在運動期間，感測器組件102記錄使用者的腳壓(透過複數個壓力感測器)和六個自由度動作分佈(透過慣性感測模組216)。在一些實施例中，腳壓/六個自由度動作偵測設備具有可變的記錄持續時間間隔，對於包括近鞋頭區215、足弓外側區219及腳跟區220的腳壓分佈，透過採樣電路獲取每隻腳的壓力點資料，於每個採樣間隔獲得腳壓圖。
感測器組件102可包括慣性感測模組216，其透過具有六個自由度的六軸加速度計和陀螺儀的複合感測器做為六維動作偵測裝置(或稱為六軸慣性測量裝置)，該裝置係基於六個自由度微機電系統(Micro-Electro-Mechanical Systems,MEMS)的感測器偵測動作變化，該六維動作偵測裝置確定三個維度的線性加速度Ax、Ay、Az以及作為俯仰(pitch)、偏航(yaw)和滾轉(roll)的旋轉動作。例如，透過採樣電路以100Hz採樣可以於每秒產生600個動作資料點。對於每個採樣間隔獲得這些腳部的動作捕捉。利用六個自由度動作偵測裝置結合多區壓力感測裝置(例如，設置於鞋墊之複數個壓力感測器)允許在行走/運動時進行可映射的空間和時間步態動態跟蹤。
圖3顯示感測器組件102之功能方塊示意圖，其包括能夠透過無線收發器(TX/RX)232進行數據傳輸/接收的慣性感測模組216。雖然圖2顯示了無線 收發器(TX/RX)232是整合至慣性感測模組216中，但是本領域技術人員可以理解無線收發器(TX/RX)232也可以作為一個分離的組件用於數據傳輸/接收的目的。於圖3的例子中，慣性感測模組216可以包括用於傳輸數據到一個或複數個遠端系統和/或從一個或複數個遠端系統接收數據的無線收發器(TX/RX)232。在一實施例中，無線收發器232可以是藍芽晶片、WiFi、RF、Zigbee、窄通道IOT(NB-IOT)等低功耗，中長距離的連網裝置或類似功能之無線收發器。慣性感測模組216可以經由連接端子與設置於鞋墊之複數個壓力感測器(壓力感測裝置238)電性連接。慣性感測模組216還包括處理裝置(例如，一個或多個微處理器234)、記憶體235、複合感測器216-1(包括，加速度計、陀螺儀(G-sensor))、GPS感測器216-2以及電源供應裝置237。電源供應裝置237可以向壓力感測裝置238、和/或感測器組件102的其他裝置(例如，微處理器234、記憶體235、複合感測器216-1、GPS感測器216-2等)供電。以一較佳實施例，電源供應裝置237包括可充電式固態電池、電感線圈(用於與外部無線充電系統耦合對電池進行無線充電)以及USB充電接口。這裡應了解的是感測器組件102可以提供由計算機程式/演算法執行對使用者身體運動相關數據的蒐集和儲存(例如，使用者的足部壓力分佈數據或與地面互動的壓力數據(例如衝擊力等)、使用者的運動軌跡(前進、後退、跳躍)、速度/距離、加速度、角定向相關數據和角定向變化等)，並且這些程式/演算法可以被儲存和/或被執行。
透過無線收發器232可以完成對一個或複數個感測器的連接，並且提供附加的複合感測器216-1、GPS感測器216-2等用來偵測或提供數據或與各種不同參數相關的資訊。這些數據或資訊包括與使用者相關的生理數據，包含使 用者的足部壓力分佈數據或與地面互動的壓力數據、使用者的運動軌跡(前進、後退、跳躍)、速度/距離、GPS數據、加速度輸出/數據、角定向相關數據和角定向變化(由陀螺儀感測器得知)，這些數據可以被儲存於記憶體或經由無線收發器232傳送到遠端的計算電子設備或伺服器。
慣性感測模組216還可以被構造為用於與外部耦接的計算電子裝置104進行通訊，外部耦接的計算電子裝置104可以包括諸如智慧型手機、筆記型電腦、平板電腦或個人電腦之類的計算裝置。
從系統的角度來看，如圖4所示，單一使用者108使用兩個腳(足部)的感測器組件102，每隻腳一個，例如分別設置於左、右鞋墊的感測器模組(102a、102b)。
圖4顯示感測器模組(102a、102b)與外部耦接的計算電子裝置104通訊的系統方塊示意圖。其中，設置於使用者108足部(例如左、右鞋墊)的感測器模組(102a、102b)，其各自包括一內藏於鞋墊之足弓部的慣性感測模組(216a、216b)與壓力感測裝置(238a、238b)電連接，用以接收以及分析使用者的足壓分佈數據，並透過位於感測模組內之無線收發器(232a、232b)將上述數據傳送到遠端的計算設備或伺服器。上述慣性感測模組(216a、216b)各自包括處理裝置(例如，一個或多個微處理器)、記憶體、附加的感測器以及電源供應裝置(參考圖2)。
外部耦接的計算電子裝置104是可以傳送數據，處理數據和/或存 儲數據的任何電子設備。以一實施例而言，外部耦接的計算電子裝置104是可攜式計算裝置。可攜式計算裝置可以是社交網路設備、遊戲設備、手機、智慧型手機、個人數位助理、數位音頻/視頻播放器、筆記型電腦、平板電腦、視頻遊戲控制器和/或任何其他包含計算核心的便攜式設備。
外部耦接的計算電子裝置104包括計算核心342、使用者介面343、網際網路介面344、無線通信收發器345和存儲裝置346。使用者介面343包括一個或多個輸入設備(例如，鍵盤、觸控螢幕、語音輸入裝置等)、一個或多個音頻輸出裝置(例如揚聲器、耳機插孔等)和/或一個或多個可視輸出裝置(例如視頻圖形顯示器、觸控螢幕等等)。網際網路介面344包括一個或多個聯網裝置(例如，無線局域網(WLAN)裝置、有線LAN裝置、無線廣域網(WWAN)裝置等)。存儲裝置346包括快閃記憶裝置，一個或多個硬碟驅動器，一個或多個固態(SS)存儲設備和/或雲端存儲器。
計算核心342包括處理器342a和其他計算核心組件342b。其他計算核心組件342b包括視頻圖形處理單元、存儲器控制器、主存儲器(例如，RAM)、一個或多個輸入/輸出(I/O)裝置介面模組，輸入/輸出(I/O)介面，輸入/輸出(I/O)控制器、周邊裝置介面、一個或多個USB介面模組、一個或多個網路介面模組、一個或多個記憶體介面模組和/或一個或多個周邊裝置介面模組。
計算電子裝置104無線通信收發器345和感測器模組(102a、102b)的無線收發器(232a、232b)具有類似的收發器類型(例如，藍牙、WLAN、Wifi等)。 無線收發器(232a、232b)直接與無線通信收發器345通信，以透過各自的感測器模組(102a、102b)共享收集的數據和/或從外部耦接之計算裝置104接收指令。除此以外或作為替代，無線收發器(232a、232b)在它們與其中之一之間通訊收集的數據。無線收發器(232a、232b)將集體數據傳送到外部耦接之計算電子裝置104的無線通信收發器345。
根據本發明實施例，參考圖1-4，當使用者108踩到壓力感測器上時，壓力感測裝置(238a、238b)被啟動。當使用者移動腳步、跳躍或跑步時，慣性測量模組(216a、216b)被啟動。壓力感測裝置(238a、238b)和慣性測量模組(216a、216b)都會向外部耦接的計算電子裝置104發送電訊號。感測器組件102的微處理器234可以用於偵測及分析使用者在運動時與其足部相關的數據，例如使用者足部的壓力波曲線(壓力隨時間變化之曲線)、加速度曲線(Ax、Ay、Az隨時間變化之曲線)或角速度(ωx、ωy、ωz隨時間變化之曲線)中的峰值，藉以將這些連續壓力波和加速度曲線轉換為離散脈衝訊號，並將這些離散脈衝訊號按照時間序編號，形成相應的壓力、加速度或角速度時間序脈衝訊號。
根據本發明實施例，慣性測量模組(216a、216b)中的陀螺儀可以依次積分沿著著X、Y和Z軸的加速度曲線Ax、Ay及Az，以獲得X、Y和Z軸的速度Vx、Vy及Vz；慣性測量模組(216a、216b)中的陀螺儀可以依次積分繞著X、Y和Z軸旋轉的角速度ωx、ωy及ωz，以獲得俯仰角(θ)，翻滾角(γ)和偏航角(ψ)。
在典型的身體運動中，例如行走、跳舞或球類運動，人們會在左 腳和右腳之間交替行走。為了從這些交替的腳步聲中產生音符的音階，從感測器模組(102a、102b)的無線收發器(232a、232b)發出的每個訊號脈衝都按順序編號。
如何透過壓力感測裝置(238a、238b)所偵測到的壓力波曲線(壓力隨時間變化)分析使用者的步態相關資訊，舉例來說，使用者108的跨步時間(stride time)的時間長度可以由使用者108同一隻腳連續的腳跟著地(heel strike)之間的時間差所測量，而使用者的擺動時間(即，腳在空中擺動的時間長度)可以由使用者同一隻腳的腳趾離地(toe off)和足跟著地(heel strike)之間的時間差所測量，並且使用者108的站立時間(即，腳與地板接觸的時間長度)可以由足跟著地(heel strike)和腳趾離地(toe off)之間的時間差所測量。該數據還可以與慣性感測模組(216a、216b)測量單元以及GPS感測器236所接收資料配合，以便能夠測量步長或步距以及其他腳步/步態的功能特徵(performance characteristics)。
根據本發明實施例，足跟著地(heel strike)之壓力訊號對應圖2所示的腳跟區220設置的壓力感測器所感測的腳壓分佈訊號，腳趾離地(toe off)壓力訊號對應圖2所示的近鞋頭區215設置的壓力感測器所感測的腳壓分佈訊號。
根據前述段落的描述，藉由分析使用者108的腳部之壓力波曲線(壓力隨時間變化)可以獲得踢地次數、步幅、步長、步頻以及站立時間等資訊，這些資訊配合慣性感測模組(216a、216b)的加速度計以及GPS感測器所接收數據可以進一步得到使用者的前進、後退、跳躍、運動軌跡等步態有關參數，另外透過慣性感測模組(216a、216b)的陀螺儀所接收的數據可以進一步得到使用者腳部 之旋轉動作。
參考圖5，其顯示對應於圖1的系統架構之功能方塊圖，外部耦接之計算電子裝置104接收使用者108的運動相關數據，亦即壓力、加速度之時間序脈衝訊號，透過步態分析模組340處理數據以產生各種步態參數。例如，外部耦接之計算電子裝置104的處理器342結合步態分析模組340中的演算電路或演算法處理來自感測器模組(102a、102b)的壓力、加速度及角速度之時間序脈衝訊號等與使用者108的運動相關數據。外部耦接之計算電子裝置104將收集到的使用者之運動相關數據，經由設置於步態分析模組340中步態分析演算法來分析使用者108左右腳上壓力、加速度及角速度的時間序脈衝訊號，並配合收集到的GPS數據可以獲得使用者108的踢地次數、步幅、步長、步頻、站立時間、跳躍、前進、後退、腳部旋轉動作以及運動軌跡等步態參數資訊並輸出，然後這些輸出的步態相關的參數經由一節律參數提取模組350提取節奏、速度、跳躍高度、力道、步輻、以及腳部旋轉幅度、頻率等相關的運動節律參數。這些運動節律參數可以經由網際網路傳輸至雲端伺服器106的AI音樂生成模組360，藉以將這些節奏、速度、跳躍高度、力道、步輻、以及腳部旋轉幅度、頻率等相關的運動節律參數轉換成對應的節拍數、高低音、輕重音等，並利用AI演算法加入旋律生成一段音樂輸出。因此，一首與運動關聯的AI樂曲就能產生。
根據本發明實施例，上述由AI音樂生成模組所生成之音樂，可以透過設置於外部耦接之計算電子裝置104的音樂步態互動模組370與使用者互動。舉例而言，音樂步態互動模組370為一應用程式(APP)，其可以被製作成具有 趣味化康復功能的團體線上遊戲，並且可以透過遊戲難度及評分機制劃分出康復等級。上述之團體線上遊戲可以包括手機跳舞機應用程式(APP)，例如具有配合由AI音樂生成模組360所生成之音樂的節律而產生之動態化圖案，用於與使用者互動，例如訓練使用者隨著步態節律(由手機跳舞機產生)進行復健。
根據本發明實施例，上述的AI音樂生成模組360可以包括Amper Music、AVIA、Ecrett Music、Soundraw、Boomy、MuseNet或Amadeus等類似的AI音樂生成器，能透過機器學習製作音樂。
根據本發明的替代實施例，其中對應圖5的系統架構可以包含由多個個體(複數個使用者)的物理運動所產生的無線訊號，包括由設置於複數個使用者相應足部的感測器組件所感測到的相應之壓力、加速度以及GPS數據。舉例來說，這樣的複數個個體可以是舞蹈團體的成員或可以是運動賽事中的參賽者。
舉例而言，多人系統具有一群人，其中每個成員配備有相應感測器組件，每個感測器組件具有無線電收發器單元。每個對應的感測器和無線電收發器單元可以與計算電子裝置104的無線通信收發器345通信。
以上所述係為本發明之較佳實施例，凡此領域之技藝者應得以領會其係用以說明本發明，而非用以限定本發明所主張之專利權範圍，其專利保護範圍當視後附之申請專利範圍及其等同領域而定。凡熟悉此領域之技藝者，在不脫離本專利精神或範圍內，所作之更動或潤飾，均屬於本發明所揭示精神下所完 成之等效改變或設計，且應包含在下述之申請專利範圍內。
100:系統架構
102:感測器組件
104:計算電子裝置
106:雲端伺服器
108:使用者
340:步態分析模組
342a:處理器
350:節律參數提取模組
360:AI音樂生成模組
370:音樂步態互動模組

Claims (10)

  1. 一種基於步態的人工智慧(AI)生成音樂之裝置，包括： 感測器組件，設置於使用者的足部，其包括壓力感測裝置以及慣性感測模組，被配置為收集該使用者的運動相關之數據； 一計算電子裝置，通信地耦接該感測器組件，該計算電子裝置包含步態分析模組及節律參數提取模組，其中該步態分析模組用以分析該運動相關之數據，以利獲得步態參數，該節律參數提取模組分析該步態參數用以提取運動相關節律參數； 一AI音樂生成模組，通信的耦接該計算電子裝置，被配置為接收該運動相關節律參數，藉以將該運動相關節律參數轉換成對應的節拍數、高低音、輕重音，並加入旋律，以生成音樂輸出至該計算電子裝置；以及 其中該感測器組件以該慣性感測模組之多軸自由度動作偵測裝置結合該壓力感測裝置之多區壓力感測器，以利進行時間/空間之步態映射及動態跟蹤。
  2. 如請求項1所述的基於步態的人工智慧(AI)生成音樂之裝置，更包含一音樂步態互動模組，設置於該計算電子裝置，配合由該AI音樂生成模組所生成之該音樂的節律而產生之動態化圖案，用於與該使用者互動。
  3. 如請求項1所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之壓力感測裝置包括複數個壓力感測器，用於分別感測該腳趾區以及該腳跟區的壓力分佈。
  4. 如請求項1所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之慣性感測模組包括加速度計結合陀螺儀的複合感測器，用於感測該使用者的足部動作。
  5. 如請求項4所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之慣性感測模組更包含GPS感測器。
  6. 如請求項1所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之步態參數包括該使用者的踢地次數、步幅、步長、步頻、站立時間、前進、後退、跳躍以及運動軌跡。
  7. 如請求項1所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述運動相關節律參數包括節奏、速度、跳躍高度、力道、步幅、以及腳步旋轉幅度、頻率。
  8. 如請求項4所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之感測器組件更包括： 微處理器，用於蒐集及分析該壓力感測裝置、該慣性感測模組及該GPS感測器所偵測到的電子訊號，並將其轉換為對應的足壓分布資訊、加速度資訊以及GPS資訊； 記憶體，耦接該微處理器，用於儲存該足壓分布資訊、該加速度資訊以及該GPS資訊； 無線收發器，耦接該微處理器，用於將該足壓分布資訊、該加速度資訊以及該GPS資訊無線傳輸至外部電子裝置；及 電源供應裝置，用以對該壓力感測裝置、該慣性感測模組、該該GPS感測器、該微處理器、該記憶體、以及該無線數據傳輸/接收裝置供電。
  9. 如請求項8所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之無線收發器是藍芽或WiFi裝置。
  10. 如請求項1所述的基於步態的人工智慧(AI)生成音樂之裝置，其中上述之AI音樂生成模組係設置於一雲端伺服器或該計算電子裝置；上述之雲端伺服器為生成式AI伺服器。
TW113105631A 2024-02-17 2024-02-17 基於步態的人工智慧(ai)生成音樂之裝置 TWI899845B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW113105631A TWI899845B (zh) 2024-02-17 2024-02-17 基於步態的人工智慧(ai)生成音樂之裝置
CN202410421068.0A CN120510825A (zh) 2024-02-17 2024-04-09 基于步态的人工智能生成音乐的装置
US18/940,873 US20250266022A1 (en) 2024-02-17 2024-11-08 Apparatus for Generating AI-Generated Music Based on Gait
JP2024204723A JP2025126122A (ja) 2024-02-17 2024-11-25 足取りに基づく人工知能（ａｉ）音楽生成装置
KR1020240171497A KR20250126979A (ko) 2024-02-17 2024-11-26 보행 기반 ai 생성-음악 생성 장치
EP24219145.0A EP4604116A1 (en) 2024-02-17 2024-12-11 Apparatus for generating ai-generated music based on gait

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW113105631A TWI899845B (zh) 2024-02-17 2024-02-17 基於步態的人工智慧(ai)生成音樂之裝置

Publications (2)

Publication Number Publication Date
TW202534665A TW202534665A (zh) 2025-09-01
TWI899845B true TWI899845B (zh) 2025-10-01

Family

ID=93893363

Family Applications (1)

Application Number Title Priority Date Filing Date
TW113105631A TWI899845B (zh) 2024-02-17 2024-02-17 基於步態的人工智慧(ai)生成音樂之裝置

Country Status (6)

Country Link
US (1) US20250266022A1 (zh)
EP (1) EP4604116A1 (zh)
JP (1) JP2025126122A (zh)
KR (1) KR20250126979A (zh)
CN (1) CN120510825A (zh)
TW (1) TWI899845B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765300A (en) * 1995-12-28 1998-06-16 Kianka; Michael Shoe activated sound synthesizer device
US20100263518A1 (en) * 2000-01-11 2010-10-21 Yamaha Corporation Apparatus and Method for Detecting Performer's Motion to Interactively Control Performance of Music or the Like
CN109189979A (zh) * 2018-08-13 2019-01-11 腾讯科技（深圳）有限公司 音乐推荐方法、装置、计算设备和存储介质
WO2019062716A1 (zh) * 2017-09-30 2019-04-04 腾讯科技（深圳）有限公司 一种音乐的生成方法和装置
WO2021163377A1 (en) * 2020-02-11 2021-08-19 Aimi Inc. Music content generation
CN114141216A (zh) * 2021-11-30 2022-03-04 北京小米移动软件有限公司 音乐旋律的生成方法、模型的训练方法、装置及介质
US20220114993A1 (en) * 2018-09-25 2022-04-14 Gestrument Ab Instrument and method for real-time music generation
CN115273216A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 目标运动模式的识别方法及相关设备
CN115363587A (zh) * 2022-10-26 2022-11-22 安徽星辰智跃科技有限责任公司 基于音乐创作的神经心理评估及干预的方法、系统和装置
CN117496923A (zh) * 2023-10-20 2024-02-02 北京声智科技有限公司 歌曲生成方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3648666A4 (en) * 2017-07-06 2021-02-17 Joseph, Robert Mitchell SONIFICATION OF BIOMETRIC DATA, STATE SONGS GENERATION, MODELING OF BIOLOGICAL SIMULATIONS AND ARTIFICIAL INTELLIGENCE
KR20210036486A (ko) * 2019-09-26 2021-04-05 이찬기 가속도센서와 압력센서를 이용한 스마트 신발
CN215007477U (zh) * 2021-04-09 2021-12-03 凌晓军 可穿戴电子设备
AU2022228200A1 (en) * 2022-04-11 2023-10-26 Solid Automotive Group The SoundTracktoYourLife (STYL) application is the generator of AI created MUSIC (USIC), creating music uniquely created for you with input from both the environmental factors around you and from your own body language. Changes in the listeners real-time environment alter the nature of the music, to increase or decrease the intensity of the generated USIC and change its structure, to influence the enjoyment or behavior of the listener.

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765300A (en) * 1995-12-28 1998-06-16 Kianka; Michael Shoe activated sound synthesizer device
US20100263518A1 (en) * 2000-01-11 2010-10-21 Yamaha Corporation Apparatus and Method for Detecting Performer's Motion to Interactively Control Performance of Music or the Like
WO2019062716A1 (zh) * 2017-09-30 2019-04-04 腾讯科技（深圳）有限公司 一种音乐的生成方法和装置
EP3637283A1 (en) * 2017-09-30 2020-04-15 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating music
CN109189979A (zh) * 2018-08-13 2019-01-11 腾讯科技（深圳）有限公司 音乐推荐方法、装置、计算设备和存储介质
US20220114993A1 (en) * 2018-09-25 2022-04-14 Gestrument Ab Instrument and method for real-time music generation
WO2021163377A1 (en) * 2020-02-11 2021-08-19 Aimi Inc. Music content generation
CN115273216A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 目标运动模式的识别方法及相关设备
CN114141216A (zh) * 2021-11-30 2022-03-04 北京小米移动软件有限公司 音乐旋律的生成方法、模型的训练方法、装置及介质
CN115363587A (zh) * 2022-10-26 2022-11-22 安徽星辰智跃科技有限责任公司 基于音乐创作的神经心理评估及干预的方法、系统和装置
CN117496923A (zh) * 2023-10-20 2024-02-02 北京声智科技有限公司 歌曲生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4604116A1 (en) 2025-08-20
TW202534665A (zh) 2025-09-01
CN120510825A (zh) 2025-08-19
KR20250126979A (ko) 2025-08-26
JP2025126122A (ja) 2025-08-28
US20250266022A1 (en) 2025-08-21

Similar Documents

Publication Publication Date Title
US11382383B2 (en) Smart footwear with wireless charging
Paradiso et al. Design and implementation of expressive footwear
CN102131551B (zh) 运动检测系统
JP6539272B2 (ja) コンピュータにより実現される方法、非一時的かつコンピュータが読み取り可能な媒体、および単一装置
US20100035688A1 (en) Electronic Game That Detects and Incorporates a User's Foot Movement
US20110184248A1 (en) Storage medium having stored therein information processing program, information processing device, information processing method, and information processing system
US10761598B2 (en) System and method for generating wireless signals and controlling digital responses from physical movement
US20220351708A1 (en) Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
US20220155851A1 (en) System and method for adapting auditory biofeedback cues and gait analysis using wireless signals and digital responses
Paradiso et al. The cybershoe: A wireless multisensor interface for a dancer's feet
TWI899845B (zh) 基於步態的人工智慧(ai)生成音樂之裝置
Rekimoto et al. Sensing gamepad: electrostatic potential sensing for enhancing entertainment oriented interactions
Paradiso Footnotes: personal reflections on the development of instrumented dance shoes and their musical applications
US20210178250A1 (en) Electronic Motion Sensing Devices and Method of Operating Same
TW201904517A (zh) 可攜式運動監視系統
US10950138B1 (en) Drumming fitness system and method
Parker Human motion as input and control in kinetic games
KR101193236B1 (ko) 음악 재생 장치 및 이를 이용한 음악 재생 시스템
CA3176034A1 (en) System and method for determining running power
CN117122871A (zh) 基于虚拟现实技术的肢体锻炼监测系统