[go: up one dir, main page]

WO2018122957A1 - スポーツ動作解析支援システム、方法およびプログラム - Google Patents

スポーツ動作解析支援システム、方法およびプログラム Download PDF

Info

Publication number
WO2018122957A1
WO2018122957A1 PCT/JP2016/088885 JP2016088885W WO2018122957A1 WO 2018122957 A1 WO2018122957 A1 WO 2018122957A1 JP 2016088885 W JP2016088885 W JP 2016088885W WO 2018122957 A1 WO2018122957 A1 WO 2018122957A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
data
unit
sports
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/088885
Other languages
English (en)
French (fr)
Inventor
洋介 本橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2016/088885 priority Critical patent/WO2018122957A1/ja
Priority to JP2018558561A priority patent/JP6677320B2/ja
Publication of WO2018122957A1 publication Critical patent/WO2018122957A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a sports motion analysis support system, a sports motion analysis support method, and a sports motion analysis support program that support motion analysis in sports.
  • Motion capture is known as a technique that can be used for motion analysis in sports.
  • application software that displays a trajectory of a specific part of the body (for example, an ankle) based on a moving image obtained by imaging a person who is playing sports.
  • application software that displays the difference between a model form and the form of a sports person.
  • Patent Document 1 discloses a system in which a skeleton image serving as a model and a skeleton image that matches a learner's body shape is superimposed and displayed on a video obtained by photographing a form such as a golf swing of a learner with a video camera. Are listed.
  • the following shows an example where the form and the result of the action including the form do not always correspond completely. For example, even if a person's form is good, it may happen that the person's condition was not good and the result was not good. Also, for example, even if a person's form is good, it may occur that good results are not achieved due to external factors such as rain and wind. Similarly, even if a person moves in a form in which the ball tends to fly in the right direction, the ball may fly in the left direction due to conditions or external factors.
  • users can present a video that represents a behavior that includes a form that is likely to produce a predetermined result statistically from many videos, the user can improve his / her own form or the competitor's form.
  • the video can be used to discover spiders.
  • Patent Document 1 displays a skeleton image superimposed on one moving image. Accordingly, when there are a large number of moving images, the user must check each moving image on which the skeleton images are superimposed one by one.
  • the present invention provides a sports motion analysis support system and a sports motion analysis support that can easily identify video image data representing a motion including a form in which a predetermined result is likely to occur from a lot of motion image data. It is an object to provide a method and a sports motion analysis support program.
  • a sports motion analysis support system includes a data storage unit that stores a plurality of pieces of data in which video image data representing a series of motions in sports and the results of the motions are associated with each other, and motions and results corresponding to the motions
  • a learning unit that learns a model representing the relationship between the image data, a prediction unit that calculates a predicted value of the result based on the model for each image data, and a data storage unit that is based on the predicted value calculated for each image data
  • a selection unit that selects a predetermined number of image data from the plurality of image data stored in the image data.
  • the sports motion analysis support method includes a computer including a data storage unit that stores a plurality of data in which image data of a moving image representing a series of motions in sports and the results of the motions are associated with each other.
  • the model representing the relationship with the result corresponding to the operation is learned, and the predicted value of the result is calculated based on the model for each image data, and the data storage unit is calculated based on the predicted value calculated for each image data.
  • a predetermined number of image data is selected from a plurality of stored image data.
  • a sports motion analysis support program is a sport mounted on a computer including a data storage unit that stores a plurality of data in which image data of a moving image representing a series of motions in sports and the results of the motions are associated with each other.
  • a motion analysis support program in which a computer learns a model representing a relationship between a motion and a result corresponding to the motion, and a prediction processing that calculates a predicted value based on the model for each image data And a selection process for selecting a predetermined number of pieces of image data from a plurality of pieces of image data stored in the data storage unit based on a predicted value calculated for each piece of image data.
  • FIG. 1 is a block diagram illustrating an example of a sports motion analysis support system according to a first embodiment of the present invention. It is a schematic diagram which shows a series of operation
  • Embodiment 1 a case will be described in which the result of a sport operation is represented by a numerical value indicating a score.
  • a sport a long jump will be described as an example. Therefore, in the present embodiment, a case where the result of the long jump operation is a numerical value indicating a score (in this example, a jump distance) will be described as an example.
  • the first embodiment can also be applied to other sports in which the result of the motion is represented by a numerical value indicating the result.
  • FIG. 1 is a block diagram showing an example of a sports motion analysis support system according to the first embodiment of the present invention.
  • the sports motion analysis support system 1 according to the first embodiment of the present invention includes a data storage unit 2, a learning unit 4, a prediction unit 5, an operation unit 8, a selection unit 6, and a display unit 7.
  • the data storage unit 2 is a storage device that stores a plurality of data in which image data of a moving image representing a series of actions in sports and the results of the actions are associated with each other.
  • image data of a moving image representing a series of actions in sports and the results of the actions are associated with each other.
  • moving image data representing a series of actions of a person who performs a long jump is associated with a result (jumping distance) obtained as a result of the action.
  • the data storage unit 2 stores a plurality of such data.
  • the manner of associating the image data with the results is not particularly limited.
  • the grade may exist as data different from the image data, and the image data and the grade may be associated with each other.
  • the image data and the results may be associated with each other in a manner in which the grade is included in the moving image of the image data (in other words, the manner in which the grade is expressed on the moving image). This also applies to embodiments described later.
  • the former will be described as an example.
  • FIG. 2 is a schematic diagram showing a series of actions of a person who performs a long jump (hereinafter referred to as a player).
  • a player a person who performs a long jump
  • FIG. 2 to simplify the drawing, for example, the same posture is illustrated as the posture of the player when running, but the actual player moves a series of limbs while moving the limbs and the like. Perform the action.
  • the athlete makes a run, jumps at the crossing board 11, and then lands.
  • moving image data representing the series of operations can be obtained.
  • the data which matched the image data and the result at that time become one data.
  • the data storage unit 2 stores a plurality of such data in advance.
  • the grade associated with the image data is an actual measurement value.
  • FIG. 3 is a schematic diagram showing an example of a plurality of data in which image data and results (actual measurement values) are associated with each other.
  • individual image data is indicated by a symbol in which a number “#” and a number are connected for convenience.
  • the data storage unit 2 stores, for example, data illustrated in FIG. 3 in advance. Although FIG. 3 shows 20 pieces of data, the number of data stored in the data storage unit 2 is not limited to 20, and more data may be stored.
  • a plurality of storage units 2 may be stored.
  • the data storage unit 2 stores a plurality of data related to a specific player.
  • the specific player may be a player who uses the sports motion analysis support system 1 of the present invention, or a player who is instructed by a coach using the sports motion analysis support system 1.
  • the specific player may be a player who is a competitor for the user who uses the sports motion analysis support system 1 of the present invention. This also applies to other embodiments described later.
  • the movie represents a series of actions of a player
  • the movie also represents the form of the player.
  • the learning unit 4 uses a plurality of data stored in the data storage unit 2 (see, for example, FIG. 3) as teacher data, and the motion of the player represented by the video and the results (jumping distance) corresponding to the motion.
  • the learning unit 4 When learning the model, the learning unit 4 extracts a still image from each image data of the moving image every predetermined time (for example, every 0.5 seconds). That is, the learning unit 4 extracts a set of still images from moving image data. This set of still images represents the movement and form of the player.
  • 0.5 second was illustrated as an example of the above-mentioned predetermined time here, the above-mentioned predetermined time is not limited to 0.5 second.
  • the learning unit 4 learns, as a model, a model in which a set of still images is an explanatory variable and a score is an objective variable. Therefore, it is possible to calculate the predicted value of the score using the model obtained by learning and the moving image data (more specifically, a set of still images extracted from the moving image data). .
  • the model learned by the learning unit 4 can also be said to be a model representing the relationship between the player's form and the grade.
  • the machine learning algorithm may be any algorithm that can learn a model for calculating a predicted value of results using moving image data.
  • the prediction unit 5 calculates the predicted value of the results for each image data stored in the data storage unit 2 based on the model learned by the learning unit 4.
  • the prediction unit 5 may extract a set of still images from the image data when calculating the predicted value of the grade for one image data. And the prediction part 5 should just calculate the predicted value of a grade by applying the set of the still image to a model as an explanatory variable.
  • the selection unit 6 corresponds to each image data in which the predicted value of the score calculated by the predicting unit 5 corresponds from the upper first to the upper predetermined number, and the predicted value of the result corresponds to the lower first to the lower predetermined number Each image data being selected is selected.
  • the values representing the upper predetermined number and the lower predetermined number are specified by the user of the sports motion analysis support system 1. It can be said that the values representing the upper predetermined number and the lower predetermined number are selection criteria when the selection unit 6 selects image data.
  • the operation unit 8 is a user interface for the user to input values representing the upper predetermined number and the lower predetermined number to the sports motion analysis support system 1 (more specifically, the selection unit 6).
  • the operation unit 8 is a user interface for the user to input selection criteria.
  • the operation unit 8 is realized by an input device such as a keyboard, for example.
  • the mode of the operation unit 8 is not limited to such an input device.
  • the selection unit 6 corresponds to each image data in which the predicted value of the score corresponds from the top first to the top predetermined number, and the predicted value of the score corresponds from the bottom to the bottom predetermined number.
  • the case where each image data being selected is selected has been described.
  • the selection unit 6 selects each image data corresponding to the predicted value of the grade from the first highest to the upper predetermined number, and for each image data corresponding to the predicted value from the lower first to the lower predetermined number May not be selected.
  • the selection unit 6 selects each image data corresponding to the predicted value of the grade from the lower first to the lower predetermined number, and each image whose predicted value corresponds to the upper first to the upper predetermined number There is no need to select data.
  • each image data in which the selection unit 6 corresponds to the predicted value of the grade from the top first to the top predetermined number, and the image in which the predicted value of the grade corresponds to the bottom first to the lower predetermined number A case where data is selected will be described as an example.
  • each piece of image data corresponding to the predicted value from the top first to the top predetermined is image data of a moving image predicted to have good results.
  • each piece of image data corresponding to the predicted value from the lower first to the lower predetermined number is image data of a moving image that is predicted to have poor results.
  • each piece of image data having a predicted value corresponding to the top first to the top predetermined is video image data that is predicted to have poor results. Further, each piece of image data corresponding to the predicted values from the lower first to the lower predetermined number is image data of a moving image predicted to have good results.
  • the selection unit 6 selects the image data corresponding to the predicted value of the grade from the top 1 to the top number, and the predicted value of the grade corresponds to the lowest 1 to the lowest order. It may be determined in advance whether the selected image data is selected. That is, the selection criterion may be determined in advance. In that case, the operation unit 8 may not be provided. The selection unit 6 may be set in advance so as to select the image data with the highest grade predicted value and the image data with the lowest grade predicted value.
  • the display unit 7 displays a moving image of each image data selected by the selection unit 6.
  • the display unit 7 includes each image data corresponding to the predicted value of the grade from the first highest to the highest predetermined number, and each image data corresponding to the predicted value of the grade from the lower first to the lower predetermined number Are displayed separately.
  • the display unit 7 displays, on the right side of the screen, the moving image of each image data corresponding to the predicted value of the grade from the top first to the top predetermined number, and the grade predicted value is from the bottom first to the lower predetermined number.
  • You may display the moving image of each image data applicable to the left of the screen.
  • the mode of displaying both separately is not limited to the above example.
  • Learning unit 4, prediction unit 5, selection unit 6 and display unit 7 are realized by, for example, a CPU (Central Processing Unit) of a computer having a display device (not shown in FIG. 1).
  • the CPU reads a sports motion analysis support program from a program recording medium such as a computer program storage device (not shown in FIG. 1), and in accordance with the sports motion analysis support program, the learning unit 4, the prediction unit 5, and the selection unit 6 and the display unit 7 may be operated.
  • the display unit 7 a part that actually displays a moving image is realized by a display device, and a part that performs display control of a moving image based on image data is realized by a CPU.
  • the computer may be a personal computer or a portable computer such as a smartphone. These points are the same in other embodiments described later.
  • the sports motion analysis support system 1 may have a configuration in which two or more physically separated devices are connected by wire or wirelessly.
  • the sports motion analysis support system 1 may be realized as a system in which a portable computer such as a smartphone and a server cooperate. This also applies to other embodiments described later.
  • FIG. 4 is a flowchart showing an example of processing progress of the first embodiment of the present invention.
  • description may be abbreviate
  • the data storage unit 2 stores a plurality of data in advance.
  • a description will be given assuming that a plurality of data shown in FIG.
  • the learning unit 4 uses the data stored in the data storage unit 2 (see FIG. 3) as teacher data to learn a model that represents the relationship between the motion of the player represented by the video and the grade corresponding to the motion. (Step S1). In step S ⁇ b> 1, the learning unit 4 extracts a still image from the individual image data of the moving image every predetermined time (for example, every 0.5 seconds). As a result, the set of still images is associated with the grade. Then, the learning unit 4 only needs to learn a model in which a set of still images is used as an explanatory variable and a score is used as an objective variable. As described above, this model can also be said to be a model representing the relationship between the player's form and the grade.
  • the prediction unit 5 calculates a predicted value of the grade based on the model obtained in step S1 for each image data included in the teacher data (see FIG. 3) (step S2). As described above, the prediction unit 5 extracts a set of still images from the image data and calculates the set of still images as an explanatory variable to the model when calculating the predicted value of the grade for one image data. By doing so, the predicted value of the grade may be calculated. The prediction unit 5 may perform this process for each image data.
  • FIG. 5 is an explanatory diagram showing an example of the predicted value obtained in step S2. In this example, it is assumed that the predicted value of the result shown in FIG. 5 is calculated for each image data in step S2.
  • the selection unit 6 receives an input of selection criteria from the user via the operation unit 8 (step S3).
  • the selection unit 6 receives input of values representing the upper predetermined number and the lower predetermined number via the operation unit 8.
  • “2” is input as a value representing the upper predetermined number and the lower predetermined number will be described as an example.
  • the selection unit 6 selects image data based on the predicted value of the score calculated in step S2 and the selection criterion input in step S3 (step S4).
  • the selection unit 6 corresponds to each image data in which the predicted value of the grade corresponds to the top first to the top second, and the predicted value of the grade corresponds to the lowest first to the lowest second. Select each image data.
  • the top first predicted value is “8m95”, and this predicted value corresponds to image data # 5.
  • the second highest predicted value is “8m93”, and this predicted value corresponds to the image data # 4.
  • the lower first prediction value is “7m00”, and this prediction value corresponds to the image data # 17.
  • the lower second of the predicted value is “7m50”, and this predicted value corresponds to the image data # 14.
  • the selection unit 6 selects # 5 and # 4 as the respective image data corresponding to the predicted values from the upper first to the upper second, and the predicted values are from the lower first to the lower 2 # 17 and # 14 are selected as the image data corresponding to the first.
  • the display unit 7 displays a moving image of the image data selected in step S4 (step S5).
  • the display unit 7 displays the moving images # 5 and # 4 and the moving images # 17 and # 14, respectively.
  • the model is generated using a plurality of combinations of moving images and results. Therefore, when the predicted value of the grade is calculated by this model, it can be said that the predicted value statistically well represents the tendency of the grade according to the form.
  • the selection unit 6 uses the image data corresponding to the predicted values from the top first to the upper predetermined position and the image data corresponding to the predicted values from the upper first to the upper predetermined position.
  • the display unit 7 displays a moving image of each image data.
  • the video of each image data corresponding to the predicted value from the top first to the top predetermined number (assumed to be the nth) has a score of n from the video that is statistically predicted to have the best grade.
  • the moving image of each image data corresponding to the predicted value from the lower first to the lower predetermined number (assumed to be the nth) is the nth from the video that is statistically predicted to have the worst result.
  • factors that do not appear in the form are excluded, and the video when the results are predicted to be statistically good and the results are statistically It is possible to display a video that is predicted to be bad. By checking these videos, the user can expect a statistically good form or a statistically bad result without considering conditions or external factors. You can check the form and analyze the form.
  • the image data when the actual result is the best is # 4
  • the image data indicating the form in which the best result is statistically best is # 5.
  • the moving image of the image data # 4 is also displayed, but the user performs analysis for improving the form, for example, by analyzing the image of the image data # 5 more particularly. Can do.
  • # 17 shown in FIG. 5 is a video when the actual result was the third worst.
  • the predicted value of the score of # 17 is the first lower order. Therefore, it can be said that the moving image # 17 represents a form in which statistically worst results are likely to be obtained.
  • the user can perform analysis for improving the form, for example, by confirming the moving image # 17 selected by the selection unit 6.
  • video image data representing an operation including a form that easily produces good results or an image of a movie representing an operation including a form that easily produces bad results.
  • Data can be easily identified.
  • the selection criteria may be determined in advance.
  • a selection criterion that prescribes selection of the first image data with the highest predicted value and the first image data with the lower predicted value of the grade may be determined in advance.
  • the learning unit 4 uses a model that uses external factors and player conditions as explanatory variables. You may learn.
  • the prediction unit 5 may substitute 0 for the explanatory variable of the external factor in the model, or substitute a value representing “good” for the explanatory variable of the condition. .
  • the predicted value of the result excluding the external factors and the change of the condition is obtained, and as a result, the same effect as described above can be obtained.
  • external factors and condition data are required during model learning.
  • the plurality of data storage units 2 may store data in which moving image data, results, external factors, and conditions are associated with each other.
  • An example of such data is shown in FIG.
  • the learning unit 4 can learn a model in which not only a moving image but also a wind speed and a condition of a tail wind are explanatory variables using a plurality of data illustrated in FIG. 6 as teacher data.
  • “0” means “good” and “1” means “bad”.
  • Embodiment 2 a case will be described in which the result of a sports operation is represented by an event.
  • a PK penalty kick
  • the result of the PK action is one of two types of events: “the ball flew to the right” and “the ball flew to the left”.
  • the second embodiment can be applied to other sports in which the result of the operation is represented as an event.
  • the sports motion analysis support system according to the second embodiment of the present invention can be represented by the block diagram shown in FIG. 1 similarly to the sports motion analysis support system 1 according to the first embodiment.
  • a second embodiment will be described. Explanation of matters similar to those in the first embodiment will be omitted as appropriate.
  • a sports motion analysis support system 1 according to the second embodiment includes a data storage unit 2, a learning unit 4, a prediction unit 5, an operation unit 8, a selection unit 6, and a display unit 7 (see FIG. 1). ).
  • the data storage unit 2 is a storage device that stores a plurality of data in which image data of a moving image representing a series of actions in sports and the results of the actions are associated with each other.
  • image data of a moving image representing a series of actions in sports and the results of the actions are associated with each other.
  • moving image image data representing a series of actions of a person who performs PK hereinafter referred to as a player
  • an event (“the ball flew to the right” as a result of the actions).
  • the data storage unit 2 stores a plurality of such data.
  • “right” is assumed to be “right” when viewed from the player who performed PK. The same applies to “left”.
  • the result (event) of the PK operation is represented by binary values.
  • FIG. 7 is a schematic diagram showing a series of actions of a player performing PK.
  • the same posture is illustrated as the posture of the player performing PK, but the actual player performs a series of operations while moving the limbs and the like.
  • the player who performs PK makes a run toward the ball 21 placed in front of the goalkeeper 22 and kicks the ball 21. Then, the ball 21 flies to the right or left. That is, event “1” or event “0” occurs.
  • By capturing a series of actions of a player performing PK with a video camera moving image data representing the series of actions can be obtained. And the data which matched the image data and the event at that time ("1" or "0”) become one data.
  • the data storage unit 2 stores a plurality of such data in advance.
  • FIG. 8 is a schematic diagram showing an example of a plurality of data in which image data and events are associated with each other. Similarly to FIG. 3, each image data is indicated by a symbol in which a number “#” and a number are connected for convenience. Although 20 pieces of data are shown in FIG. 8, the number of pieces of data stored in the data storage unit 2 is not limited to 20, and more pieces of data may be stored.
  • the learning unit 4 uses a plurality of data (for example, see FIG. 8) stored in the data storage unit 2 as teacher data, and represents the relationship between the motion of the player represented by the video and the result corresponding to the motion.
  • the model is learned by machine learning. More specifically, the learning unit 4 learns a model that represents the relationship between the motion of the player and the probability that the event “1” will occur or the probability that the event “0” will occur.
  • the learning unit 4 When learning the model, the learning unit 4 extracts a still image from each image data of the moving image every predetermined time (for example, every 0.2 seconds). That is, the learning unit 4 extracts a set of still images from moving image data. That is, the learning unit 4 extracts a set of still images from moving image data. This operation is the same as the operation of the learning unit 4 in the first embodiment. As described in the first embodiment, this set of still images represents the movement and form of the player.
  • 0.2 second was illustrated as an example of the above-mentioned predetermined time here, the above-mentioned predetermined time is not limited to 0.2 second.
  • the learning unit 4 learns, as a model, a model in which a set of still images is used as an explanatory variable, and a probability that an event “1” occurs or a probability that an event “0” occurs is an objective variable. Therefore, the probability of event “1” or event “0” using a model obtained by learning and moving image data (more specifically, a set of still images extracted from moving image data). Can be calculated.
  • a case where the probability that the event “1” occurs or the probability that the event “0” occurs is represented by one objective variable that can take a value in the range of 0 to 1 will be described as an example.
  • the value of the objective variable represents the probability that the event “1” (that is, the event “the ball flies to the right”) will occur. The closer it is, the higher the probability that the event “1” will occur. The closer the value is to 0.5, the lower the probability that the event “1” will occur. If the value of the objective variable is smaller than 0.5, the value represents the probability that the event “0” (that is, the event “the ball flies to the left”) will occur, and the value is zero. The closer it is, the higher the probability that an event “0” will occur. The closer the value is to 0.5, the lower the probability that an event “0” will occur.
  • the learning unit 4 may use, for example, logistic regression analysis as a machine learning algorithm.
  • the learning unit 4 may learn a model representing the relationship between the player's motion and the probability of occurrence of the event “1” or the probability of occurrence of the event “0” by logistic regression analysis.
  • the model learned by the learning unit 4 can also be said to be a model representing the relationship between the player's form and the probability of occurrence of event “1” or the probability of occurrence of event “0”.
  • the learning unit 4 may learn a model in which the probability that the event “1” occurs and the probability that the event “0” occurs are objective variables.
  • the probability that the event “1” occurs is, for example, a value in the range of 0 to 1, and the higher the value, the higher the probability that the event “1” occurs.
  • the probability that the event “0” occurs is, for example, a value in the range of 0 to 1, and the larger the value, the higher the probability that the event “0” occurs.
  • the sum of the probability of occurrence of event “1” and the probability of occurrence of event “0” may be 1.
  • the value of the objective variable is greater than 0.5
  • the value represents the probability of occurrence of event “1”
  • the value of the objective variable is less than 0.5, the probability of occurrence of event “0”.
  • the probability is low.
  • the value is smaller than 0.5, the closer the value is to 0, the higher the probability that an event “0” will occur. The closer the value is to 0.5, the lower the probability that an event “0” will occur. Represents.
  • the prediction unit 5 calculates the probability that the event “1” occurs or the probability that the event “0” occurs for each image data stored in the data storage unit 2 based on the model learned by the learning unit 4.
  • the probability that the event “1” will occur or the probability that the event “0” will occur can be said to be one of the aspects of the predicted value of the result corresponding to the action.
  • the prediction unit 5 may extract a set of still images from the image data when calculating the probability for one image data. Then, the prediction unit 5 may calculate the probability (the value of the objective variable) by applying the set of still images as an explanatory variable to the model.
  • values representing events actually generated by the action are, for example, names It can be said that it is a scale.
  • the value of the objective variable calculated by the prediction unit 5 based on the model represents the probability.
  • the possible values of the objective variable are continuous values in the range of 0 to 1. Therefore, it can be said that the value of the objective variable calculated by the prediction unit 5 based on the model is, for example, an order scale.
  • the selection unit 6 corresponds to each image data in which the value of the objective variable calculated by the prediction unit 5 corresponds to the upper first to the upper predetermined number, and the value of the objective variable corresponds to the lower first to the lower predetermined number.
  • Each image data being selected is selected.
  • Values representing the upper predetermined number and the lower predetermined number are specified by the user of the sports motion analysis support system 1. This value can be said to be a selection criterion when the selection unit 6 selects image data.
  • the operation unit 8 is the same as the operation unit 8 in the first embodiment, and a description thereof will be omitted.
  • the selection unit 6 corresponds to each image data in which the value of the objective variable corresponds to the upper first to the upper predetermined number, and the value of the objective variable corresponds to the lower first to the lower predetermined number.
  • the case where each image data being selected is selected has been described.
  • the selection unit 6 selects each image data in which the value of the objective variable calculated by the prediction unit 5 corresponds to the upper first to the upper predetermined number, and the value of the objective variable is from the lower first to the lower predetermined number. It is not necessary to select each image data corresponding to.
  • the selection unit 6 selects each image data in which the value of the objective variable calculated by the prediction unit 5 corresponds to the first lower order to the lower predetermined order, and the value of the objective variable is the upper first to the upper predetermined. It is not necessary to select each image data corresponding to the first.
  • the selection unit 6 selects each image data in which the value of the objective variable corresponds to the upper first to the upper predetermined position, and each image in which the value of the objective variable corresponds to the lower first to the lower predetermined position.
  • a case where data is selected will be described as an example.
  • each piece of image data corresponding to the value of the objective variable from the top first to the top predetermined is image data of a moving image that is predicted to have a high probability of occurrence of the event “1”.
  • each piece of image data in which the value of the objective variable corresponds from the lower first to the predetermined lower order is image data of a moving image that is predicted to have a high probability of occurrence of the event “0”.
  • the selection criteria may be determined in advance. In that case, the operation unit 8 may not be provided.
  • the selection unit 6 may be set in advance so as to select the image data having the highest value of the objective variable and the image data having the lowest value of the objective variable.
  • the display unit 7 displays a moving image of each image data selected by the selection unit 6.
  • the display unit 7 displays each image data corresponding to the value of the objective variable from the upper first to the upper predetermined position, and each image data corresponding to the value of the objective variable from the lower first to the lower predetermined position. Distinguish and display.
  • the display unit 7 may display the moving image of the former image data on the right side of the screen and display the latter image data on the left side of the screen.
  • the mode of displaying both separately is not limited to the above example.
  • FIG. 9 is a flowchart showing an example of processing progress of the second embodiment of the present invention.
  • description may be abbreviate
  • the data storage unit 2 stores a plurality of data in advance.
  • a description will be given assuming that a plurality of data shown in FIG.
  • the learning unit 4 uses the data stored in the data storage unit 2 (see FIG. 8) as teacher data, and the motion of the player represented by the video and the probability that the event “1” will occur or the event “0”. A model representing the relationship with the probability of occurrence of learning is learned (step S11).
  • the learning unit 4 may learn a model by logistic regression analysis, for example.
  • step S11 the learning unit 4 extracts still images from the individual image data of the moving image every predetermined time.
  • the set of still images is associated with the event “1” or “0” that actually occurred.
  • the learning unit 4 may learn a model in which a set of still images is used as an explanatory variable, and a probability that an event “1” occurs or a probability that an event “0” occurs is an objective variable.
  • this model can also be said to be a model representing the relationship between the player's form and the probability of occurrence of event “1” or the probability of occurrence of event “0”.
  • the prediction unit 5 calculates the value of the objective variable for each image data included in the teacher data (see FIG. 8) based on the model obtained in step S11 (step S12).
  • This objective variable represents the probability that the event “1” will occur or the probability that the event “0” will occur.
  • the prediction unit 5 extracts a set of still images from the image data, and uses the set of still images as an explanatory variable. What is necessary is just to calculate the value of an objective variable by applying to a model.
  • the prediction unit 5 may perform this process for each image data.
  • FIG. 10 is an explanatory diagram showing an example of the probability (the value of the objective variable) obtained in step S12. In the following description, it is assumed that the probability (value of the objective variable) shown in FIG. 10 is calculated for each image data in step S12.
  • the selection unit 6 receives an input of selection criteria from the user via the operation unit 8 (step S13).
  • the selection unit 6 receives input of values representing the upper predetermined number and the lower predetermined number via the operation unit 8.
  • “2” is input as a value representing the upper predetermined number and the lower predetermined number will be described as an example.
  • the selection unit 6 selects image data based on the value of the objective variable calculated in step S12 and the selection criterion input in step S13 (step S14).
  • the selection unit 6 corresponds to each image data in which the value of the objective variable corresponds to the upper first to the upper second, and the value of the objective variable corresponds to the lower first to the lower second. Select each image data.
  • the selection unit 6 selects # 13 and # 1 as the respective image data corresponding to the value of the objective variable from the upper first to the upper second, and the value of the objective variable is from the lower first.
  • # 4 and # 7 are selected as the image data corresponding to the lower second (see FIG. 10).
  • the display unit 7 displays the moving image of the image data selected in step S14 (step S15).
  • the display unit 7 displays the moving images # 13 and # 1, and the moving images # 4 and # 7, respectively.
  • the model is generated using a plurality of combinations of moving images and events. Therefore, it can be said that the value calculated based on the model and representing the probability of occurrence of event “1” or the probability of occurrence of event “0” statistically represents the tendency corresponding to the form.
  • the learning unit 4 generates a model having the probability that the event “1” occurs or the probability that the event “0” occurs as an objective variable. That is, the event in the teacher data is not a continuous value, but the value of the objective variable calculated based on the model is a continuous value. Therefore, it is possible to easily rank image data based on the value of the objective variable. Therefore, even if the number of image data is large, the image data of a movie that is statistically predicted when the event “1” occurs (that is, the image data of the movie that is statistically predicted when the ball flies to the right), It is possible to easily identify moving image data that is statistically predicted when the event “0” occurs (that is, moving image data that is statistically predicted that the ball flies to the left).
  • the user can analyze the form when the ball is predicted to fly to the right and the form when the ball is predicted to be statistically predicted to fly to the left. .
  • the user of the sports motion analysis support system 1 is a player who performs PK.
  • the user stores the image data and event of his / her moving image in the data storage unit 2 as teacher data, for example, so as to find a wrinkle of his / her form and eliminate the wrinkle of the form. It can be used for improvement. If such a habit disappears, it becomes difficult for the goalkeeper of the opponent team to predict the direction of the ball from the form, which is advantageous to the player who performs the PK.
  • the user of the sports motion analysis support system 1 may be a goal keeper.
  • the user of the sports motion analysis support system 1 may be a goal keeper.
  • image data and events of a player's moving image in the data storage unit 2 as teacher data
  • analysis for the purpose of finding that player's habit can be performed. If the opponent team's trap is discovered, it becomes easier for the goalkeeper to predict the direction of the ball after the PK from the player's form of the opponent team, which is advantageous for the goalkeeper.
  • the soccer PK has been described as an example.
  • the data storing unit 2 stores data in which image data obtained by capturing a pitching motion of a baseball pitcher and an event are associated with each other. It may be memorized. In this case, for example, “the ball type was straight”, “the ball type was a curve”, “the ball type was a fork”, and the like may be events.
  • the learning part 4 should just produce
  • the selection unit 6 also includes, for example, an upper predetermined number of image data with a high probability that the ball type is straight, an upper predetermined number of image data with a high probability that the ball type is a curve, and a probability that the ball type is a fork.
  • the upper predetermined number of image data having a higher value may be selected.
  • the sports motion analysis support system 1 may include a data acquisition unit that acquires data to be stored in the data storage unit 2 from the outside.
  • FIG. 11 is a block diagram illustrating a configuration example in the case where a data acquisition unit is provided.
  • the data storage unit 2, the learning unit 4, the prediction unit 5, the operation unit 8, the selection unit 6, and the display unit 7 are the same as those elements in the first embodiment and those in the second embodiment. The description is omitted.
  • the data acquisition unit 9 acquires a plurality of pieces of data in which moving image data representing a series of motions in sports and the results of the motions are associated with each other, and stores them in the data storage unit 2.
  • the data acquisition unit 9 may access the device, acquire a plurality of data from the device, and store the data in the data storage unit 2.
  • the processing after the data acquisition unit 9 stores a plurality of data in the data storage unit 2 is the same as the processing described in the first embodiment or the processing described in the second embodiment.
  • the data acquisition unit 9 is realized by, for example, a CPU of a computer that operates according to a sports motion analysis support program.
  • the long jump, PK in soccer, pitcher pitching in baseball, etc. are exemplified.
  • the operation of the sport to which the present invention is applied is not limited to these.
  • the data storage unit 2 may store data associating image data of an action tossed by a volleyball setter with a result indicating whether the ball flew to the right or left.
  • the present invention can be applied to a rugby formation, an American football formation, and the like.
  • the present invention can be applied to various sports operations.
  • FIG. 12 is a schematic block diagram showing a configuration example of a computer according to each embodiment of the present invention.
  • the computer 1000 includes a CPU 1001, a main storage device 1002, an auxiliary storage device 1003, an interface 1004, a display device 1005, and an input device 1006.
  • the input device 1006 corresponds to the operation unit 8.
  • the sports motion analysis support system 1 is implemented in a computer 1000.
  • the operation of the sports motion analysis support system 1 is stored in the auxiliary storage device 1003 in the form of a program (sport motion analysis support program).
  • the CPU 1001 reads out the program from the auxiliary storage device 1003, develops it in the main storage device 1002, and executes the above processing according to the program.
  • the auxiliary storage device 1003 is an example of a tangible medium that is not temporary.
  • Other examples of the non-temporary tangible medium include a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory connected via the interface 1004.
  • this program is distributed to the computer 1000 via a communication line, the computer 1000 that has received the distribution may develop the program in the main storage device 1002 and execute the above processing.
  • the program may be for realizing a part of the above-described processing.
  • the program may be a differential program that realizes the above-described processing in combination with another program already stored in the auxiliary storage device 1003.
  • circuitry IV circuitry IV
  • processors or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. Part or all of each component may be realized by a combination of the above-described circuit and the like and a program.
  • the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • FIG. 13 is a block diagram showing an outline of the present invention.
  • the sports motion analysis support system of the present invention includes a data storage unit 2, a learning unit 4, a prediction unit 5, and a selection unit 6.
  • the data storage unit 2 stores a plurality of pieces of data in which moving image data representing a series of actions in sports and results of the actions are associated with each other.
  • the learning unit 4 learns a model representing the relationship between an action and a result corresponding to the action.
  • the prediction unit 5 calculates the predicted value of the result based on the model for each image data.
  • the selection unit 6 selects a predetermined number of image data from the plurality of image data stored in the data storage unit 2 based on the predicted value calculated for each image data.
  • the result of the operation associated with the image data may be a numerical value indicating the score
  • the learning unit 4 may learn a model that represents the relationship between the motion and the numerical value indicating the score.
  • the result of the action associated with the image data may be an event, and the learning unit 4 may learn a model that represents the relationship between the action and the probability that the event will occur.
  • the learning unit 4 may be configured to learn a model representing the relationship between the motion and the probability of occurrence of an event by logistic regression analysis.
  • the present invention can be suitably applied to a sports motion analysis support system that supports motion analysis in sports.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する。学習部４は、動作とその動作に対応する結果との関係を表すモデルを学習する。予測部５は、画像データ毎に、モデルに基づいて、結果の予測値を算出する。選択部６は、画像データ毎に算出された予測値に基づいて、データ記憶部２に記憶されている複数の画像データから所定数の画像データを選択する。

Description

スポーツ動作解析支援システム、方法およびプログラム
　本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムに関する。
　スポーツにおける動作の解析に利用可能な技術として、モーションキャプチャが知られている。
　また、スポーツをしている人を撮像して得られた動画に基づいて、身体の特定の部位（例えば、足首）等の軌跡を表示するアプリケーションソフトウェアが存在する。また、手本となるフォームと、スポーツをしている人のフォームとの差を表示するアプリケーションソフトウェアが存在する。
　特許文献１には、学習者のゴルフスウィング等のフォームをビデオカメラで撮影した動画に、手本となるスケルトン画像であって、学習者の体型に合わせたスケルトン画像を重ね合わせて表示するシステムが記載されている。
特開２００５－２３７４９４号公報
　スポーツを行う際のフォームと、そのフォームを含む動作の結果とが、完全に対応しているとは限らない。なお、スポーツにおける動作の結果の例として、スポーツの成績を示す数値が挙げられる。成績を示す数値以外の結果の例として、事象が挙げられる。事象の具体例として、例えば、サッカーのＰＫ（penalty kick）後にボールがどちらの方向に飛んだかという事項のような、スポーツで用いる用具の動きに関する事項等が挙げられる。
　以下に、フォームと、そのフォームを含む動作の結果とが、完全に対応しているとは限らないという例を示す。例えば、ある人のフォームがよくても、その人のコンディションがよくなかったために、よい成績が出なかったということが生じ得る。また、例えば、ある人のフォームがよくても、雨や風等の外的要因により、よい成績が出なかったということが生じ得る。同様に、ボールが右方向に飛ぶ傾向が強いフォームで人が動作したとしても、コンディションや外的要因等によって、ボールが左方向に飛ぶことも生じ得る。
　しかし、統計的には、このようなフォームであればよい成績が出やすいという傾向や、このようなフォームであればボールが特定の方向に飛びやすい等といった傾向は存在する。
　多くの動画の中から、統計的に所定の結果が生じやすいフォームを含む動作を表す動画をユーザに提示することができれば、ユーザは、自分のフォームの改善や、競争相手となる選手のフォームの癖の発見等に、その動画を役立てることができる。
　しかし、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを特定する場合、個々の動画を１つ１つ確認していくとすると、確認のための作業負担が非常に大きくなる。
　特許文献１に記載されたシステムは、１つの動画にスケルトン画像を重ね合わせて表示する。従って、多数の動画が存在する場合には、ユーザは、スケルトン画像が重ね合された動画を１つ１つ確認していかなければならない。
　そこで、本発明は、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することができるスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムを提供することを目的とする。
　本発明によるスポーツ動作解析支援システムは、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、動作とその動作に対応する結果との関係を表すモデルを学習する学習部と、画像データ毎に、モデルに基づいて、結果の予測値を算出する予測部と、画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択部とを備えることを特徴とする。
　また、本発明によるスポーツ動作解析支援方法は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、動作とその動作に対応する結果との関係を表すモデルを学習し、画像データ毎に、モデルに基づいて、結果の予測値を算出し、画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択することを特徴とする。
　また、本発明によるスポーツ動作解析支援プログラムは、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、コンピュータに、動作とその動作に対応する結果との関係を表すモデルを学習する学習処理、画像データ毎に、モデルに基づいて、結果の予測値を算出する予測処理、および、画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択処理を実行させることを特徴とする。
　本発明によれば、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することができる。
本発明の第１の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。 走り幅跳びを行う人の一連の動作を示す模式図である。 画像データと成績とを対応付けた複数のデータの例を示す模式図である。 本発明の第１の実施形態の処理経過の例を示すフローチャートである。 ステップＳ２で得られた予測値の例を示す説明図である。 画像データと、成績と、外的要因と、コンディションとを対応付けた複数のデータの例を示す模式図である。 ＰＫを行う選手の一連の動作を示す模式図である。 画像データと事象とを対応付けた複数のデータの例を示す模式図である。 本発明の第２の実施形態の処理経過の例を示すフローチャートである。 ステップＳ１２で得られた確率の例を示す説明図である。 データ取得部を備える場合の構成例を示すブロック図である。 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。 本発明の概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　本発明の第１の実施形態では、スポーツの動作の結果が、成績を示す数値で表される場合を説明する。また、第１の実施形態では、スポーツとして、走り幅跳びを例にして説明する。従って、本実施形態では、走り幅跳びの動作の結果が、成績を示す数値（本例では、跳躍距離）である場合を例にして説明する。ただし、第１の実施形態は、成績を示す数値で動作の結果が表される他のスポーツにも適用可能である。
　図１は、本発明の第１の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。本発明の第１の実施形態のスポーツ動作解析支援システム１は、データ記憶部２と、学習部４と、予測部５と、操作部８と、選択部６と、表示部７とを備える。
　データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する記憶装置である。本例では、各データにおいて、走り幅跳びを行う人の一連の動作を表す動画の画像データと、その動作の結果として得られた成績（跳躍距離）とが対応付けられている。データ記憶部２は、そのようなデータを複数記憶する。
　画像データと成績との対応付けの態様は、特に限定されない。例えば、成績が画像データとは別のデータとして存在し、画像データと成績とが対応付けられていてもよい。また、例えば、画像データの動画に成績が内包される態様（換言すれば、成績が動画上に表される態様）で、画像データと成績とが対応付けられていてもよい。この点は、後述の実施形態においても同様である。以下、前者を例にして説明する。
　図２は、走り幅跳びを行う人（以下、選手と記す。）の一連の動作を示す模式図である。なお、図２では、図面を簡単にするために、例えば、助走しているときの選手の姿勢として、同一の姿勢を図示しているが、実際の選手は、手足等を動かしながら、一連の動作を行う。選手は、助走をして、踏切板１１で跳躍し、その後、着地する。この一連の動作をビデオカメラで撮像することによって、一連の動作を表す動画の画像データを得ることができる。そして、その画像データと、その時の成績とを対応付けたデータが１つのデータとなる。データ記憶部２は、予め、そのようなデータを複数記憶する。画像データに対応付けられる成績は、実測値である。
　図３は、画像データと成績（実測値）とを対応付けた複数のデータの例を示す模式図である。図３では、個々の画像データを便宜的に符号“＃”と番号を連ねた記号で示している。データ記憶部２は、例えば、図３に例示するデータを予め記憶している。図３では２０個のデータを示しているが、データ記憶部２に記憶されるデータの数は２０個に限定されず、さらに多くのデータが記憶されていてもよい。
　なお、特定の選手を対象にして解析を行う場合には、その特定の選手の練習時や競技時に撮像を行って得られた動画の画像データとその時の成績とを対応付けたデータを、データ記憶部２に複数、記憶させておけばよい。以下、データ記憶部２が、特定の選手に関するデータを複数記憶している場合を例にして説明する。また、この特定の選手は、本発明のスポーツ動作解析支援システム１を利用する選手自身、または、スポーツ動作解析支援システム１を利用するコーチ等によって指導される選手であってもよい。あるいは、上記の特定の選手は、本発明のスポーツ動作解析支援システム１を利用するユーザにとって、競争相手となる選手であってもよい。この点は、後述の他の実施形態においても同様である。
　動画は、選手の一連の動作を表しているので、その動画は、その選手のフォームも表している。
　学習部４は、データ記憶部２に記憶されている複数のデータ（例えば、図３を参照）を教師データとして、動画が表わしている選手の動作と、その動作に対応する成績（跳躍距離）との関係を表すモデルを、機械学習によって学習する（換言すれば、生成する）。
　学習部４は、モデルを学習する際に、動画の個々の画像データからそれぞれ、所定時間毎（例えば、０．５秒毎）に静止画を抽出する。すなわち、学習部４は、動画の画像データから静止画の集合を抽出する。この静止画の集合は、選手の動作およびフォームを表している。なお、ここでは、上述の所定時間の例として０．５秒を例示したが、上述の所定時間は０．５秒に限定されない。
　学習部４は、モデルとして、静止画の集合を説明変数とし、成績を目的変数とするモデルを学習する。従って、学習によって得られたモデルと、動画の画像データ（より具体的には、動画の画像データから抽出した静止画の集合）とを用いて、成績の予測値を算出することが可能である。
　また、本実施形態において、学習部４によって学習されるモデルは、選手のフォームと成績との関係を表すモデルであるということもできる。
　なお、機械学習のアルゴリズムは、動画の画像データを用いて成績の予測値を算出するモデルを学習可能なアルゴリズムであればよい。
　予測部５は、学習部４によって学習されたモデルに基づいて、データ記憶部２に記憶されている画像データ毎に、成績の予測値を算出する。
　予測部５は、１つの画像データに関して、成績の予測値を算出する際に、その画像データから静止画の集合を抽出すればよい。そして、予測部５は、その静止画の集合を説明変数としてモデルに適用することによって、成績の予測値を算出すればよい。
　選択部６は、予測部５によって算出された成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを選択する。この上位所定番目および下位所定番目を表す値は、スポーツ動作解析支援システム１のユーザによって指定される。この上位所定番目および下位所定番目を表す値は、選択部６が画像データを選択する際の選択基準であるということができる。
　操作部８は、上位所定番目および下位所定番目を表す値をユーザがスポーツ動作解析支援システム１（より具体的には、選択部６）に入力するためのユーザインタフェースである。換言すれば、操作部８は、選択基準をユーザが入力するためのユーザインタフェースである。操作部８は、例えば、キーボード等の入力デバイスによって実現される。ただし、操作部８の態様は、そのような入力デバイスに限定されない。
　なお、上記の説明では、選択部６が、成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を説明した。選択部６は、成績の予測値が上位１番目から上位所定番目までに該当している各画像データを選択し、予測値が下位１番目から下位所定番目までに該当している各画像データについては選択しなくてもよい。あるいは、選択部６は、成績の予測値が下位１番目から下位所定番目までに該当している各画像データを選択し、予測値が上位１番目から上位所定番目までに該当している各画像データについては選択しなくてもよい。
　以下、選択部６が、成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を例にして説明する。
　なお、走り幅跳びの場合、成績となる跳躍距離の値が大きいほど、成績がよく、跳躍距離の値が小さいほど、成績が悪いことになる。従って、予測値が上位１番目から上位所定番目までに該当している各画像データは、成績がよいと予測される動画の画像データである。また、予測値が下位１番目から下位所定番目までに該当している各画像データは、成績が悪いと予測される動画の画像データである。
　スポーツの種類によっては、成績の値が大きいほど成績が悪く、成績の値が小さいほど成績がよいと言える場合もあり得る。そのような場合、予測値が上位１番目から上位所定番目までに該当している各画像データは、成績が悪いと予測される動画の画像データである。また、予測値が下位１番目から下位所定番目までに該当している各画像データは、成績がよいと予測される動画の画像データである。
　また、選択部６が、成績の予測値が上位１番目から上位何番目までに該当している画像データを選択するのか、および、成績の予測値が下位１番目から下位何番目までに該当している画像データを選択するのかが、予め定められていてもよい。すなわち、選択基準は、予め定められていてもよい。その場合、操作部８が設けられていなくてもよい。また、選択部６は、成績の予測値が上位１番目である画像データと、成績の予測値が下位１番目である画像データとを選択するように予め定められていてもよい。
　表示部７は、選択部６によって選択された各画像データの動画を表示する。表示部７は、成績の予測値が上位１番目から上位所定番目までに該当している各画像データと、成績の予測値が下位１番目から下位所定番目までに該当している各画像データとを区別して表示する。例えば、表示部７は、成績の予測値が上位１番目から上位所定番目までに該当している各画像データの動画を画面の右側に表示し、成績の予測値が下位１番目から下位所定番目までに該当している各画像データの動画を画面の左側に表示してもよい。両者を区別して表示する態様は、上記の例に限定されない。
　学習部４、予測部５、選択部６および表示部７は、例えば、ディスプレイ装置（図１において図示略）を有するコンピュータのＣＰＵ（Central Processing Unit ）によって実現される。この場合、ＣＰＵは、コンピュータのプログラム記憶装置（図１において図示略）等のプログラム記録媒体からスポーツ動作解析支援プログラムを読み込み、そのスポーツ動作解析支援プログラムに従って、学習部４、予測部５、選択部６および表示部７として動作すればよい。表示部７のうち、実際に動画を表示する部分はディスプレイ装置によって実現され、画像データに基づいて動画の表示制御を行う部分はＣＰＵによって実現される。また、上記のコンピュータは、パーソナルコンピュータであってもよく、あるいは、スマートフォン等の携帯型のコンピュータであってもよい。これらの点は、後述の他の実施形態においても同様である。
　また、スポーツ動作解析支援システム１は、２つ以上の物理的に分離した装置が有線または無線で接続されている構成であってもよい。例えば、スポーツ動作解析支援システム１は、スマートフォン等の携帯型のコンピュータとサーバとが連携したシステムとして実現されてもよい。この点も、後述の他の実施形態において同様である。
　次に、処理経過について説明する。図４は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。なお、既に説明した動作については、適宜、説明を省略する場合がある。
　データ記憶部２には、予め複数のデータが記憶されているものとする。本例では、便宜的に、図３に示す複数のデータがデータ記憶部２に記憶されているものとして説明する。
　学習部４は、データ記憶部２に記憶されているデータ（図３参照）を教師データとして、動画が表わしている選手の動作と、その動作に対応する成績との関係を表すモデルを学習する（ステップＳ１）。ステップＳ１において、学習部４は、動画の個々の画像データからそれぞれ、所定時間毎（例えば、０．５秒毎）に静止画を抽出する。この結果、静止画の集合と、成績とが対応付けられる。そして、学習部４は、静止画の集合を説明変数とし、成績を目的変数とするモデルを学習すればよい。前述のように、このモデルは、選手のフォームと成績との関係を表すモデルであるということもできる。
　予測部５は、教師データ（図３参照）に含まれている画像データ毎に、ステップＳ１で得られたモデルに基づいて、成績の予測値を算出する（ステップＳ２）。前述のように、予測部５は、１つの画像データに関して、成績の予測値を算出する際に、その画像データから静止画の集合を抽出し、その静止画の集合を説明変数としてモデルに適用することによって、成績の予測値を算出すればよい。予測部５は、この処理を画像データ毎に行えばよい。
　図５は、ステップＳ２で得られた予測値の例を示す説明図である。本例では、ステップＳ２において、図５に示す成績の予測値が画像データ毎に算出されたものとして説明する。
　続いて、選択部６は、操作部８を介して、ユーザからの選択基準の入力を受け付ける（ステップＳ３）。本例では、選択部６は、操作部８を介して、上位所定番目および下位所定番目を表す値の入力を受け付ける。また、本例では、上位所定番目および下位所定番目を表す値として“２”が入力された場合を例にして説明する。
　続いて、選択部６は、ステップＳ２で算出された成績の予測値と、ステップＳ３で入力された選択基準とに基づいて、画像データを選択する（ステップＳ４）。本例では、選択部６は、成績の予測値が上位１番目から上位２番目までに該当している各画像データと、成績の予測値が下位１番目から下位２番目までに該当している各画像データとを選択する。図５に示す例では、予測値の上位１番目は“８ｍ９５”であり、この予測値は画像データ＃５に対応する。また、予測値の上位２番目は“８ｍ９３”であり、この予測値は画像データ＃４に対応する。また、予測値の下位１番目は“７ｍ００”であり、この予測値は画像データ＃１７に対応する。予測値の下位２番目は“７ｍ５０”であり、この予測値は画像データ＃１４に対応する。
　従って、本例では、選択部６は、予測値が上位１番目から上位２番目までに該当している各画像データとして、＃５，＃４を選択し、予測値が下位１番目から下位２番目までに該当している各画像データとして、＃１７，＃１４を選択する。
　続いて、表示部７は、ステップＳ４で選択された画像データの動画を表示する（ステップＳ５）。本例では、表示部７は、＃５，＃４の動画と、＃１７，＃１４の動画とをそれぞれ表示する。
　本実施形態において、モデルは、動画と成績との組み合わせを複数個用いて生成される。従って、このモデルによって成績の予測値を算出した場合、その予測値は、フォームに応じた成績の傾向を統計的によく表しているということができる。本実施形態では、選択部６が、予測値が上位１番目から上位所定番目までに該当している各画像データと、予測値が上位１番目から上位所定番目までに該当している各画像データとを選択し、表示部７がその各画像データの動画を表示する。本例では、予測値が上位１番目から上位所定番目（ｎ番目とする。）までに該当している各画像データの動画は、成績が最もよいと統計的に予測される動画から成績がｎ番目によいと統計的に予測される動画までの各動画である。また、予測値が下位１番目から下位所定番目（ｎ番目とする。）までに該当している各画像データの動画は、成績が最も悪いと統計的に予測される動画から成績がｎ番目に悪いと統計的に予測される動画までの各動画である。従って、本実施形態では、画像データの数が多くても、成績がよいと統計的に予測される動画の画像データや、成績が悪いと統計的に予測される動画の画像データを容易に特定することができる。そして、本実施形態では、フォームに表れない要因（選手のコンディション、風や雨等の外的要因）を除外し、統計的に成績がよいと予測されるときの動画と、統計的に成績が悪いと予測されるときの動画とを表示することができる。ユーザは、これらの動画を確認することで、コンディションや外的要因等を考慮せずに、統計的に成績がよいと予測されるときのフォームや、統計的に成績が悪いと予測されるときのフォームを確認し、フォームの分析を行うことができる。
　例えば、図５を参照すると、実際の成績が最もよかったときの画像データは＃４であるが、統計的に最もよい成績が出やすいフォームを示す画像データは＃５である。上記の例では、画像データ＃４の動画も表示されるが、ユーザは、特に、画像データ＃５の画像をより重点的に分析することによって、例えば、フォームの改善のための分析を行うことができる。
　また、図５に示す＃１７は、実際の成績が３番目に悪かった時の動画である。しかし、＃１７の成績の予測値は、下位１番目である。従って、＃１７の動画は、統計的に最も悪い成績が出やすいフォームを表していると言える。ユーザは、選択部６によって選択された＃１７の動画を確認することによって、例えば、フォームの改善のための分析を行うことができる。
　このように、本実施形態では、多くの動画の画像データの中から、よい成績が出やすいフォームを含む動作を表す動画の画像データや、悪い成績が出やすいフォームを含む動作を表す動画の画像データを容易に特定することができる。
　既に説明したように、選択基準は、予め定められていてもよい。また、予測値の上位１番目の画像データと成績の予測値の下位１番目の画像データとを選択することを規定した選択基準が予め定められていてもよい。
　また、学習部４は、モデルを学習する際に、動画（より具体的には、動画から抽出した静止画の集合）の他に、外的要因や、選手のコンディションも説明変数とするモデルを学習してもよい。この場合、予測部５は、成績の予測値を算出する場合、モデルにおける外的要因の説明変数に０を代入したり、コンディションの説明変数に“良”を表す値を代入したりすればよい。この場合にも、この場合にも、外的要因や、コンディションの変化を排除した成績の予測値が得られ、その結果、上記と同様の効果が得られる。なお、この場合、モデル学習時に、外的要因やコンディションのデータの必要になる。従って、動画の画像データと、成績と、外的要因と、コンディションとを対応付けたデータを複数データ記憶部２に記憶させておけばよい。このようなデータの例を図６に示す。学習部４は、図６に例示する複数のデータを教師データとして、動画だけでなく、追い風の風速やコンディションも説明変数とするモデルを学習することができる。なお、図６に示すコンディションの欄で、“０”は“良”を意味し、“１”は“悪”を意味する。
実施形態２．
　本発明の第２の実施形態では、スポーツの動作の結果が事象で表される場合を説明する。また、第２の実施形態では、サッカーにおけるＰＫ（penalty kick）を例にして説明する。そして、ＰＫの動作の結果が、「ボールが右に飛んだ。」、「ボールが左に飛んだ。」という二種類の事象のいずれかであるものとして説明する。ただし、第２の実施形態は、動作の結果が事象として表される他のスポーツにも適用可能である。
　本発明の第２の実施形態のスポーツ動作解析支援システムは、第１の実施形態のスポーツ動作解析支援システム１と同様に、図１に示すブロック図で表すことができるので、図１を用いて第２の実施形態を説明する。第１の実施形態と同様の事項については、適宜説明を省略する。第２の実施形態のスポーツ動作解析支援システム１は、データ記憶部２と、学習部４と、予測部５と、操作部８と、選択部６と、表示部７とを備える（図１参照）。
　データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する記憶装置である。本例では、各データにおいて、ＰＫを行う人（以下、選手と記す。）の一連の動作を表す動画の画像データと、その動作の結果として得られた事象（「ボールが右に飛んだ。」という事象、または、「ボールが左に飛んだ。」という事象）とが対応付けられている。データ記憶部２は、そのようなデータを複数記憶する。本例では、「右」は、ＰＫを行った選手から見た場合の「右」であるものとする。「左」に関しても同様である。
　「ボールが右に飛んだ。」という事象を“１”で表し、「ボールが左に飛んだ。」という事象を“０”で表すものとする。すなわち、ＰＫの動作の結果（事象）を二値で表すものとする。
　図７は、ＰＫを行う選手の一連の動作を示す模式図である。図７では、図面を簡単にするために、ＰＫを行う選手の姿勢として同一の姿勢を図示しているが、実際の選手は、手足等を動かしながら、一連の動作を行う。ＰＫを行う選手は、ゴールキーパー２２の前方に置かれたボール２１に向かって助走をして、ボール２１を蹴る。そして、ボール２１は、右または左に飛んでいく。すなわち、事象“１”あるいは事象“０”が生じる。ＰＫを行う選手の一連の動作をビデオカメラで撮像することによって、一連の動作を表す動画の画像データを得ることができる。そして、その画像データと、その時の事象（“１”または“０”）とを対応付けたデータが１つのデータとなる。データ記憶部２は、予め、そのようなデータを複数記憶する。
　図８は、画像データと事象とを対応付けた複数のデータの例を示す模式図である。図３と同様に、個々の画像データを便宜的に符号“＃”と番号を連ねた記号で示している。図８では、２０個のデータを示しているが、データ記憶部２に記憶されるデータの数は２０個に限定されず、さらに多くのデータが記憶されていてもよい。
　学習部４は、データ記憶部２に記憶されている複数のデータ（例えば、図８参照）を教師データとして、動画が表わしている選手の動作と、その動作に対応する結果との関係を表すモデルを、機械学習によって学習する。より具体的には、学習部４は、選手の動作と、その動作により事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルを学習する。
　学習部４は、モデルを学習する際に、動画の個々の画像データからそれぞれ、所定時間毎（例えば、０．２秒毎）に静止画を抽出する。すなわち、学習部４は、動画の画像データから静止画の集合を抽出する。すなわち、学習部４は、動画の画像データから静止画の集合を抽出する。この動作は、第１の実施形態における学習部４の動作と同様である。第１の実施形態で説明したように、この静止画の集合は、選手の動作およびフォームを表している。なお、ここでは、上述の所定時間の例として０．２秒を例示したが、上述の所定時間は０．２秒に限定されない。
　学習部４は、モデルとして、静止画の集合を説明変数とし、事象“１”が生じる確率または事象“０”が生じる確率を目的変数とするモデルを学習する。従って、学習によって得られたモデルと、動画の画像データ（より具体的には、動画の画像データから抽出した静止画の集合）とを用いて、事象“１”が生じる確率または事象“０”が生じる確率を算出することができる。ここでは、事象“１”が生じる確率または事象“０”が生じる確率が、０～１の範囲の値をとり得る１つの目的変数で表される場合を例にして説明する。この場合、目的変数の値が０．５より大きければ、その値は、事象“１”（すなわち、「ボールが右に飛ぶ。」という事象）が生じる確率を表わしていて、その値が１に近いほど、事象“１”が生じる確率が高く、その値が０．５に近いほど、事象“１”が生じる確率が低いということを表している。また、目的変数の値が０．５よりも小さければ、その値は、事象“０”（すなわち、「ボールが左に飛ぶ。」という事象）が生じる確率を表わしていて、その値が０に近いほど、事象“０”が生じる確率が高く、その値が０．５に近いほど、事象“０”が生じる確率が低いということを表している。
　学習部４は、機械学習のアルゴリズムとして、例えば、ロジスティック回帰分析を用いればよい。例えば、学習部４は、ロジスティック回帰分析によって、選手の動作と、その動作により事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルを学習すればよい。
　本例において、学習部４によって学習されるモデルは、選手のフォームと、事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルであるということもできる。
　上記の例では、１つの目的変数の値が０．５より大きければ、その値が事象“１”の生じる確率を表し、その目的変数の値が０．５より小さければ、その値が事象“０”の生じる確率を表す場合を説明した。モデルの態様は、上記の例に限定されない。例えば、学習部４は、事象“１”が生じる確率と、事象“０”が生じる確率とをそれぞれ目的変数とするモデルを学習してもよい。この場合、事象“１”が生じる確率は、例えば、０～１の範囲の値であり、値が大きいほど、事象“１”が生じる確率が高いことを表わしていてもよい。同様に、事象“０”が生じる確率も、例えば、０～１の範囲の値であり、値が大きいほど、事象“０”が生じる確率が高いことを表わしていてもよい。また、この場合、事象“１”が生じる確率と、事象“０”が生じる確率との和が１であってもよい。
　以下、目的変数の値が０．５より大きければ、その値が事象“１”の生じる確率を表し、その目的変数の値が０．５より小さければ、その値が事象“０”の生じる確率を表す場合を例にして説明する。この場合、前述のように、値が０．５より大きいならば、値が１に近いほど、事象“１”が生じる確率が高く、値が０．５に近いほど、事象“１”が生じる確率が低いということを表している。また、値が０．５より小さいならば、値が０に近いほど、事象“０”が生じる確率が高く、値が０．５に近いほど、事象“０”が生じる確率が低いということを表している。
　予測部５は、学習部４によって学習されたモデルに基づいて、データ記憶部２に記憶されている画像データ毎に、事象“１”が生じる確率または事象“０”が生じる確率を算出する。事象“１”が生じる確率または事象“０”が生じる確率は、動作に対応する結果の予測値の態様の一つであるということができる。
　予測部５は、１つの画像データに関して、確率を算出する際に、その画像データから静止画の集合を抽出すればよい。そして、予測部５は、その静止画の集合を説明変数としてモデルに適用することによって、確率（目的変数の値）を算出すればよい。
　選手の動作を撮像することによって画像データを生成する際に、その動作によって実際に生じた事象を表す値（本例では“１”および“０”。図８を参照。）は、例えば、名義尺度であるということができる。また、予測部５がモデルに基づいて算出される目的変数の値は、確率を表している。また、この目的変数の取り得る値は、０～１の範囲の連続値である。従って、予測部５がモデルに基づいて算出する目的変数の値は、例えば、順序尺度であるということができる。
　選択部６は、予測部５によって算出された目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当している各画像データとを選択する。上位所定番目および下位所定番目を表す値は、スポーツ動作解析支援システム１のユーザによって指定される。また、この値は、選択部６が画像データを選択する際の選択基準であるということができる。
　操作部８は、第１の実施形態における操作部８と同様であり、説明を省略する。
　なお、上記の説明では、選択部６が、目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を説明した。選択部６は、予測部５によって算出された目的変数の値が上位１番目から上位所定番目までに該当している各画像データを選択し、目的変数の値が下位１番目から下位所定番目までに該当している各画像データについては選択しなくてもよい。あるいは、選択部６は、予測部５によって算出された目的変数の値が下位１番目から下位所定番目までに該当している各画像データを選択し、目的変数の値が上位１番目から上位所定番目までに該当している各画像データについては選択しなくてもよい。
　以下、選択部６が、目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当している各画像データとを選択する場合を例にして説明する。
　なお、本例では、目的変数の値が上位１番目から上位所定番目までに該当している各画像データは、事象“１”が発生する確率が高いと予測される動画の画像データである。また、目的変数の値が下位１番目から下位所定番目までに該当している各画像データは、事象“０”が発生する確率が高いと予測される動画の画像データである。
　また、選択基準は、予め定められていてもよい。その場合、操作部８が設けられていなくてもよい。また、選択部６は、目的変数の値が上位１番目である画像データと、目的変数の値が下位１番目である画像データとを選択するように予め定められていてもよい。
　表示部７は、選択部６によって選択された各画像データの動画を表示する。表示部７は、目的変数の値が上位１番目から上位所定番目までに該当している各画像データと、目的変数の値が下位１番目から下位所定番目までに該当しる各画像データとを区別して表示する。例えば、表示部７は、前者の各画像データの動画を画面の右側に表示し、後者の各画像データを画面の左側に表示してもよい。両者を区別して表示する態様は、上記の例に限定されない。
　次に、処理経過について説明する。図９は、本発明の第２の実施形態の処理経過の例を示すフローチャートである。なお、既に説明した動作については、適宜、説明を省略する場合がある。
　データ記憶部２には、予め複数のデータが記憶されているものとする。本例では、便宜的に、図８に示す複数のデータがデータ記憶部２に記憶されているものとして説明する。
　学習部４は、データ記憶部２に記憶されているデータ（図８参照）を教師データとして、動画が表わしている選手の動作と、その動作により事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルを学習する（ステップＳ１１）。学習部４は、例えば、ロジスティック回帰分析によってモデルを学習すればよい。
　ステップＳ１１において、学習部４は、動画の個々の画像データからそれぞれ、所定時間毎に静止画を抽出する。この結果、静止画の集合と、実際に生じた事象“１”または“０”とが対応付けられる。そして、学習部４は、静止画の集合を説明変数とし、事象“１”が生じる確率または事象“０”が生じる確率を目的変数とするモデルを学習すればよい。前述のように、このモデルは、選手のフォームと、事象“１”が生じる確率または事象“０”が生じる確率との関係を表すモデルであるということもできる。
　予測部５は、教師データ（図８参照）に含まれている画像データ毎に、ステップＳ１１で得られたモデルに基づいて、目的変数の値を算出する（ステップＳ１２）。この目的変数は、事象“１”が生じる確率または事象“０”が生じる確率を表している。前述のように、予測部５は、１つの画像データに関して、確率（目的変数の値）を算出する際に、その画像データから静止画の集合を抽出し、その静止画の集合を説明変数としてモデルに適用することによって、目的変数の値を算出すればよい。予測部５は、この処理を画像データ毎に行えばよい。
　図１０は、ステップＳ１２で得られた確率（目的変数の値）の例を示す説明図である。以下、ステップＳ１２において、図１０に示す確率（目的変数の値）が画像データ毎に算出されたものとして説明する。
　続いて、選択部６は、操作部８を介して、ユーザからの選択基準の入力を受け付ける（ステップＳ１３）。本例では、選択部６は、操作部８を介して、上位所定番目および下位所定番目を表す値の入力を受け付ける。また、本例では、上位所定番目および下位所定番目を表す値として“２”が入力された場合を例にして説明する。
　続いて、選択部６は、ステップＳ１２で算出された目的変数の値と、ステップＳ１３で入力された選択基準とに基づいて、画像データを選択する（ステップＳ１４）。本例では、選択部６は、目的変数の値が上位１番目から上位２番目までに該当している各画像データと、目的変数の値が下位１番目から下位２番目までに該当している各画像データとを選択する。本例では、選択部６は、目的変数の値が上位１番目から上位２番目までに該当している各画像データとして、＃１３，＃１を選択し、目的変数の値が下位１番目から下位２番目までに該当している各画像データとして、＃４，＃７を選択する（図１０参照）。
　続いて、表示部７は、ステップＳ１４で選択された画像データの動画を表示する（ステップＳ１５）。本例では、表示部７は、＃１３，＃１の動画と、＃４，＃７の動画とをそれぞれ表示する。
　本実施形態において、モデルは、動画と事象との組み合わせを複数個用いて生成される。従って、そのモデルに基づいて算出された、事象“１”が生じる確率または事象“０”が生じる確率を表す値は、フォームに応じた傾向を統計的によく表しているということができる。
　また、学習部４は、事象“１”が生じる確率または事象“０”が生じる確率を目的変数とするモデルを生成する。すなわち、教師データにおける事象は、連続値ではないが、モデルに基づいて算出される目的変数の値は連続値である。従って、目的変数の値に基づいて、画像データの順位付けを容易に行うことができる。従って、画像データの数が多くても、事象“１”が生じると統計的に予測される動画の画像データ（すなわち、ボールが右に飛ぶと統計的に予測される動画の画像データ）や、事象“０”が生じると統計的に予測される動画の画像データ（すわなち、ボールが左に飛ぶと統計的に予測される動画の画像データ）を、容易に特定することができる。
　ユーザは、これらの動画を確認することで、ボールが右に飛ぶと統計的に予測される場合のフォームや、ボールが左に飛ぶと統計的に予測される場合のフォームを分析することができる。
　また、スポーツ動作解析支援システム１のユーザが、ＰＫを行う選手であるとする。この場合、ユーザは、自分の動画の画像データおよび事象を教師データとしてデータ記憶部２に記憶させておくことで、例えば、自分のフォームの癖を発見し、その癖をなくすように、フォームの改善に役立てることができる。そのような癖がなくなれば、対戦チームのゴールキーパーは、フォームからボールの方向を予測しづらくなり、ＰＫを行う選手にとって有利になる。
　また、スポーツ動作解析支援システム１のユーザが、ゴールキーパーであってもよい。この場合、対戦チームの選手の動画の画像データおよび事象を教師データとしてデータ記憶部２に記憶させておくことで、その選手の癖の発見を目的とした分析ができる。対戦チームの選手の癖を発見すれば、ゴールキーパーは、対戦チームの選手のフォームからＰＫ後のボールの方向を予測しやすくなり、ゴールキーパーにとって有利になる。
　また、上記の第２の実施形態ではサッカーのＰＫを例にして説明したが、野球のピッチャーの投球動作を撮像して得た画像データと事象とを対応付けたデータを複数データ記憶部２に記憶させていてもよい。この場合、例えば、「球種がストレートであった。」、「球種がカーブであった。」、および「球種がフォークであった。」等を事象とすればよい。そして、学習部４は、球種がストレートである確率、球種がカーブである確率、球種がフォークである確率を目的変数とするモデルを生成すればよい。また、選択部６は、例えば、球種がストレートである確率が高い上位所定数の画像データ、球種がカーブである確率が高い上位所定数の画像データ、および、球種がフォークである確率が高い上位所定数の画像データを選択してもよい。
　また、本発明の各実施形態において、スポーツ動作解析支援システム１は、データ記憶部２に記憶させるデータを外部から取得するデータ取得部を備えていてもよい。図１１は、データ取得部を備える場合の構成例を示すブロック図である。データ記憶部２、学習部４、予測部５、操作部８、選択部６および表示部７は、第１の実施形態におけるそれらの要素や、第２の実施形態におけるそれらの要素と同様であり、説明を省略する。
　データ取得部９は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数取得し、データ記憶部２に記憶させる。
　例えば、上記のデータが外部の装置（図示略）に複数記憶されているとする。この場合、データ取得部９は、その装置にアクセスして、その装置からデータを複数取得して、データ記憶部２に記憶させればよい。データ取得部９が複数のデータをデータ記憶部２に記憶させた後の処理は、第１の実施形態で説明した処理、または、第２の実施形態で説明した処理と同様である。
　データ取得部９は、例えば、スポーツ動作解析支援プログラムに従って動作するコンピュータのＣＰＵによって実現される。
　以上の説明では、走り幅跳び、サッカーにおけるＰＫ、野球におけるピッチャーの投球等を例示した。本発明が適用されるスポーツの動作は、これらに限定されない。例えば、ゴルフにおけるスイング動作の画像データと、成績（飛距離）とを対応付けたデータを、複数データ記憶部２に記憶させておいてもよい。また、例えば、バレーボールのセッターがトスする動作の画像データと、ボールが右に飛んだか、左に飛んだかを示す結果とを対応付けたデータを、複数データ記憶部２に記憶させておいてもよい。また、例えば、ラグビーのフォーメーションや、アメリカンフットボールのフォーメーション等にも、本発明を適用可能である。このように、本発明は、種々のスポーツの動作に適用可能である。
　図１２は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。入力デバイス１００６は、操作部８に相当する。
　本発明の各実施形態のスポーツ動作解析支援システム１は、コンピュータ１０００に実装される。スポーツ動作解析支援システム１の動作は、プログラム（スポーツ動作解析支援プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の処理を実行する。
　補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
　また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
　また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本発明の概要について説明する。図１３は、本発明の概要を示すブロック図である。本発明のスポーツ動作解析支援システムは、データ記憶部２と、学習部４と、予測部５と、選択部６とを備える。
　データ記憶部２は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する。
　学習部４は、動作とその動作に対応する結果との関係を表すモデルを学習する。
　予測部５は、画像データ毎に、モデルに基づいて、結果の予測値を算出する。
　選択部６は、画像データ毎に算出された予測値に基づいて、データ記憶部２に記憶されている複数の画像データから所定数の画像データを選択する。
　そのような構成により、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することができる。
　画像データに対応付けられる動作の結果が、成績を示す数値であり、学習部４が、動作と、成績を示す数値との関係を表すモデルを学習する構成であってもよい。
　また、画像データに対応付けられる動作の結果が、事象であり、学習部４が、動作と、事象が生じる確率との関係を表すモデルを学習する構成であってもよい。
　また、学習部４が、動作と、事象が生じる確率との関係を表すモデルを、ロジスティック回帰分析によって学習する構成であってもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システムに好適に適用可能である。
　１　スポーツ動作解析支援システム
　２　データ記憶部
　４　学習部
　５　予測部
　６　選択部
　７　表示部
　８　操作部
　９　データ取得部

Claims (6)

  1. 　スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
    　前記動作と前記動作に対応する結果との関係を表すモデルを学習する学習部と、
    　前記画像データ毎に、前記モデルに基づいて、結果の予測値を算出する予測部と、
    　前記画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択部とを備える
    　ことを特徴とするスポーツ動作解析支援システム。
  2. 　画像データに対応付けられる動作の結果は、成績を示す数値であり、
    　学習部は、動作と、成績を示す数値との関係を表すモデルを学習する
    　請求項１に記載のスポーツ動作解析支援システム。
  3. 　画像データに対応付けられる動作の結果は、事象であり、
    　学習部は、動作と、事象が生じる確率との関係を表すモデルを学習する
    　請求項１に記載のスポーツ動作解析支援システム。
  4. 　学習部は、動作と、事象が生じる確率との関係を表すモデルを、ロジスティック回帰分析によって学習する
    　請求項３に記載のスポーツ動作解析支援システム。
  5. 　スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
    　前記動作と前記動作に対応する結果との関係を表すモデルを学習し、
    　前記画像データ毎に、前記モデルに基づいて、結果の予測値を算出し、
    　前記画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する
    　ことを特徴とするスポーツ動作解析支援方法。
  6. 　スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
    　前記コンピュータに、
    　前記動作と前記動作に対応する結果との関係を表すモデルを学習する学習処理、
    　前記画像データ毎に、前記モデルに基づいて、結果の予測値を算出する予測処理、および、
    　前記画像データ毎に算出された予測値に基づいて、データ記憶部に記憶されている複数の画像データから所定数の画像データを選択する選択処理
    　を実行させるためのスポーツ動作解析支援プログラム。
PCT/JP2016/088885 2016-12-27 2016-12-27 スポーツ動作解析支援システム、方法およびプログラム Ceased WO2018122957A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/088885 WO2018122957A1 (ja) 2016-12-27 2016-12-27 スポーツ動作解析支援システム、方法およびプログラム
JP2018558561A JP6677320B2 (ja) 2016-12-27 2016-12-27 スポーツ動作解析支援システム、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/088885 WO2018122957A1 (ja) 2016-12-27 2016-12-27 スポーツ動作解析支援システム、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2018122957A1 true WO2018122957A1 (ja) 2018-07-05

Family

ID=62707960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088885 Ceased WO2018122957A1 (ja) 2016-12-27 2016-12-27 スポーツ動作解析支援システム、方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6677320B2 (ja)
WO (1) WO2018122957A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097196A1 (ja) * 2020-11-04 2022-05-12 日本電信電話株式会社 暫定目標動作決定装置、暫定目標動作決定方法、プログラム
JP2022102577A (ja) * 2020-12-25 2022-07-07 エヌ・ティ・ティ・コミュニケーションズ株式会社 評価装置、評価方法および評価プログラム
CN115068920A (zh) * 2022-07-12 2022-09-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 运动训练方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080312010A1 (en) * 2007-05-24 2008-12-18 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
WO2015080063A1 (ja) * 2013-11-27 2015-06-04 株式会社ニコン 電子機器
JP2015119833A (ja) * 2013-12-24 2015-07-02 カシオ計算機株式会社 運動支援システム及び運動支援方法、運動支援プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080312010A1 (en) * 2007-05-24 2008-12-18 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
WO2015080063A1 (ja) * 2013-11-27 2015-06-04 株式会社ニコン 電子機器
JP2015119833A (ja) * 2013-12-24 2015-07-02 カシオ計算機株式会社 運動支援システム及び運動支援方法、運動支援プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097196A1 (ja) * 2020-11-04 2022-05-12 日本電信電話株式会社 暫定目標動作決定装置、暫定目標動作決定方法、プログラム
JP2022102577A (ja) * 2020-12-25 2022-07-07 エヌ・ティ・ティ・コミュニケーションズ株式会社 評価装置、評価方法および評価プログラム
CN115068920A (zh) * 2022-07-12 2022-09-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 运动训练方法、装置、设备及存储介质
CN115068920B (zh) * 2022-07-12 2023-08-11 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 运动训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JPWO2018122957A1 (ja) 2019-03-28
JP6677320B2 (ja) 2020-04-08

Similar Documents

Publication Publication Date Title
US12138042B2 (en) Methods and systems for facilitating interactive training of body-eye coordination and reaction time
US12370429B2 (en) Computer vision and artificial intelligence applications for performance evaluation and/or skills development
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
US20160042652A1 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
RU2645553C2 (ru) Устройство и способ для автоматической оценки хода тренировочного упражнения
US20240428439A1 (en) User analytics using a camera device and associated systems and methods
JP6677319B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
CN108694466A (zh) 击球路线的推荐方法及装置
US20210170230A1 (en) Systems and methods for training players in a sports contest using artificial intelligence
CN112204570B (zh) 动态地确定区域
Jiang et al. Golfpose: Golf swing analyses with a monocular camera based human pose estimation
JP6677320B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
US20220143485A1 (en) Display method, non-transitory computer-readable storage medium, and information processing apparatus
JP6760610B2 (ja) 位置計測システム、及び位置計測方法
JP7622542B2 (ja) 動作改善装置、動作改善方法、動作改善プログラム及び動作改善システム
US20220035456A1 (en) Methods and systems for performing object detection and object/user interaction to assess user performance
JP7740693B2 (ja) 戦術分析装置およびその制御方法、並びに制御プログラム
JP2020054748A (ja) プレイ分析装置、及び、プレイ分析方法
JP2020054747A (ja) プレイ分析装置、及び、プレイ分析方法
KR102835721B1 (ko) 경기 영상 분석을 위한 텍스트 라벨을 제공하기 위한 장치, 방법 및 기록 매체
WO2020217844A1 (ja) データ処理装置、データ処理方法、およびプログラム
WO2020071092A1 (ja) プレイ分析装置、及び、プレイ分析方法
US20250010132A1 (en) Evaluation apparatus, evaluation method, and program
JP2021022153A (ja) データ処理装置、データ処理方法、およびプログラム
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16925118

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018558561

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16925118

Country of ref document: EP

Kind code of ref document: A1