RU2019128272A - Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде - Google Patents
Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде Download PDFInfo
- Publication number
- RU2019128272A RU2019128272A RU2019128272A RU2019128272A RU2019128272A RU 2019128272 A RU2019128272 A RU 2019128272A RU 2019128272 A RU2019128272 A RU 2019128272A RU 2019128272 A RU2019128272 A RU 2019128272A RU 2019128272 A RU2019128272 A RU 2019128272A
- Authority
- RU
- Russia
- Prior art keywords
- user
- training
- project
- tasks
- computer
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
- G06Q10/1091—Recording time for administrative or management purposes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Educational Technology (AREA)
- Operations Research (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Claims (58)
1. Компьютерный способ определения производительности пользователя в компьютерной краудсорсинговой среде, выполняемый сервером и на этапе обучения включающий в себя:
- получение сервером обучающего проекта, подлежащего выполнению в компьютерной краудсорсинговой среде и содержащего множество обучающих задач;
- определение сервером набора специфических признаков проекта, указывающих на одну или несколько характеристик обучающего проекта;
- получение сервером множества отправленных пользователем обучающих результатов, соответствующих множеству обучающих задач;
- определение сервером набора специфических признаков пары пользователь-задача, представляющих характеристики пользовательских взаимодействий между пользователем и множеством обучающих результатов;
- определение сервером истории активности пользователя, связанной с пользователем и содержащей ранее собранные характеристики пользовательских взаимодействий в компьютерной краудсорсинговой среде;
- формирование сервером набора обучающих данных, содержащего набор специфических признаков проекта, набор специфических признаков пары пользователь-задача и историю активности пользователя;
- обучение алгоритма машинного обучения (MLA), включая определение набора признаков, представляющих свойство набора обучающих данных, и формирование прогнозной функции, основанной на наборе признаков и позволяющей определять производительность пользователя в проекте на основе набора специфических признаков проекта, связанных с проектом, и истории активности пользователя.
2. Способ по п. 1, отличающийся тем, что на этапе использования он дополнительно включает в себя:
- получение сервером проекта этапа использования для выполнения в компьютерной краудсорсинговой среде, содержащего множество задач этапа использования;
- определение сервером набора специфических признаков проекта, связанных с проектом этапа использования; и
- определение с использованием алгоритма MLA производительности пользователя при выполнении проекта на основе набора специфических признаков проекта, связанных с проектом этапа использования, и истории активности пользователя.
3. Способ по п. 2, отличающийся тем, что:
- сервер через сеть связи соединен с клиентским устройством, связанным с пользователем;
- получение проекта этапа использования выполняется до получения клиентским устройством доступа к компьютерной краудсорсинговой среде; и
- способ дополнительно включает в себя отправку значения производительности клиентскому устройству для отображения после получения клиентским устройством доступа к проекту этапа использования в компьютерной краудсорсинговой среде.
4. Способ по п. 2, отличающийся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, представляет собой задачу первого вида, а каждая из задач, включенных в состав множества задач этапа использования, представляет собой задачу второго вида, отличного от первого вида.
5. Способ по п. 2, отличающийся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, отличается от множества старых задач, ранее выполненных пользователем в компьютерной краудсорсинговой среде.
6. Способ по п. 5, отличающийся тем, что множество старых задач представляет собой все задачи, ранее выполненные пользователем в компьютерной краудсорсинговой среде.
7. Способ по п. 6, отличающийся тем, что множество обучающих задач, отличное от множества старых задач, позволяет учитывать эффект обучения.
8. Способ по п. 1, отличающийся тем, что производительность пользователя в проекте представляет собой предсказанную продолжительность выполнения пользователем проекта и/или предсказанный часовой заработок при выполнении проекта.
9. Способ по п. 1, отличающийся тем, что:
- получение множества обучающих результатов включает в себя получение множества обучающих результатов в хронологическом порядке;
- набор специфических признаков пары пользователь-задача содержит по меньшей мере соответствующую отметку времени для каждой обучающей задачи из множества обучающих задач, при этом отметка времени указывает на время, затраченное пользователем на предоставление соответствующего обучающего результата; и
- формирование прогнозной функции включает в себя определение параметра обучения, связанного с пользователем и указывающего на изменение эффективности пользователя в отношении отправки обучающего результата после нескольких обучающих результатов, при этом параметр обучения определяется по меньшей мере на основе анализа соответствующей отметки времени каждой обучающей задачи из множества обучающих задач, отправленных в хронологическом порядке.
10. Способ по п. 9, отличающийся тем, что определение производительности пользователя в проекте включает в себя определение производительности по меньшей мере на основе параметра обучения пользователя.
11. Способ по п. 1, отличающийся тем, что набор специфических признаков проекта включает в себя по меньшей мере одно из следующего:
- количество обучающих задач, включенных в состав множества обучающих задач;
- время создания обучающего проекта;
- количество доступных для выбора результатов в каждой обучающей задаче;
- заработок пользователя за каждую обучающую задачу; и
- длину инструкции к обучающему проекту.
12. Способ по п. 1, отличающийся тем, что история активности пользователя содержит по меньшей мере одно из следующего:
- время регистрации пользователя в компьютерной краудсорсинговой среде;
- количество проектов, выполненных с момента регистрации;
- вид операционной системы устройства, используемого пользователем для отправки множества обучающих результатов; и
- вид этого устройства.
13. Способ по п. 1, отличающийся тем, что алгоритм MLA представляет собой алгоритм MLA на основе модели деревьев решений с градиентным бустингом.
14. Система для определения производительности пользователя в компьютерной краудсорсинговой среде, содержащая сервер с процессором, выполненным с возможностью на этапе обучения:
- получения обучающего проекта, подлежащего выполнению в компьютерной краудсорсинговой среде и содержащего множество обучающих задач;
- определения набора специфических признаков проекта, указывающих на одну или несколько характеристик обучающего проекта;
- получения множества отправленных пользователем обучающих результатов, соответствующих множеству обучающих задач;
- определения набора специфических признаков пары пользователь-задача, представляющих характеристики пользовательских взаимодействий между пользователем и множеством обучающих результатов;
- определения истории активности пользователя, связанной с пользователем и содержащей ранее собранные характеристики пользовательских взаимодействий в компьютерной краудсорсинговой среде;
- формирования набора обучающих данных, содержащего набор специфических признаков проекта, набор специфических признаков пары пользователь-задача и историю активности пользователя; и
- обучения алгоритма MLA, для чего процессор выполнен с возможностью определения набора признаков, представляющих свойство набора обучающих данных, и формирования прогнозной функции, основанной на наборе признаков и позволяющей определять производительность пользователя в проекте на основе набора специфических признаков проекта, связанных с этим проектом, и истории активности пользователя.
15. Система по п. 14, отличающаяся тем, что процессор дополнительно выполнен с возможностью на этапе использования:
- получения проекта этапа использования для выполнения в компьютерной краудсорсинговой среде, содержащего множество задач этапа использования;
- определения набора специфических признаков проекта, связанных с проектом этапа использования;
- определения с использованием алгоритма MLA производительности пользователя при выполнении проекта на основе набора специфических признаков проекта, связанных с проектом этапа использования, и истории активности пользователя.
16. Система по п. 15, отличающаяся тем, что:
- сервер через сеть связи соединен с клиентским устройством, связанным с пользователем;
- процессор выполнен с возможностью получения проекта этапа использования до получения клиентским устройством доступа к компьютерной краудсорсинговой среде; и
- процессор дополнительно выполнен с возможностью отправки значения производительности клиентскому устройству для отображения после получения клиентским устройством доступа к проекту этапа использования в компьютерной краудсорсинговой среде.
17. Система по п. 15, отличающаяся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, представляет собой задачу первого вида, а каждая из задач, включенных в состав множества задач этапа использования, представляет собой задачу второго вида, отличного от первого вида.
18. Система по п. 15, отличающаяся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, отличается от множества старых задач, ранее выполненных пользователем в компьютерной краудсорсинговой среде.
19. Система по п. 18, отличающаяся тем, что множество старых задач представляет собой все задачи, ранее выполненные пользователем в компьютерной краудсорсинговой среде.
20. Система по п. 19, отличающаяся тем, что множество обучающих задач, отличное от множества старых задач, позволяет учитывать эффект обучения.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019128272A RU2019128272A (ru) | 2019-09-09 | 2019-09-09 | Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде |
| US16/852,512 US11475387B2 (en) | 2019-09-09 | 2020-04-19 | Method and system for determining productivity rate of user in computer-implemented crowd-sourced environment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019128272A RU2019128272A (ru) | 2019-09-09 | 2019-09-09 | Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2019128272A true RU2019128272A (ru) | 2021-03-09 |
Family
ID=74851079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019128272A RU2019128272A (ru) | 2019-09-09 | 2019-09-09 | Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11475387B2 (ru) |
| RU (1) | RU2019128272A (ru) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12159260B2 (en) * | 2020-12-15 | 2024-12-03 | Target Brands, Inc. | Coordination platform for warehouse operations |
| CN116052503B (zh) * | 2023-03-03 | 2023-11-10 | 中核四川环保工程有限责任公司 | 一种中低放核废液水泥固化产线虚拟仿真培训方法及系统 |
Family Cites Families (111)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1323479A (zh) | 1998-08-12 | 2001-11-21 | 艾姆迪沃西蒂公司 | 通信网络中的网络控制方法和设备 |
| US6560597B1 (en) | 2000-03-21 | 2003-05-06 | International Business Machines Corporation | Concept decomposition using clustering |
| US20020032591A1 (en) | 2000-09-08 | 2002-03-14 | Agentai, Inc. | Service request processing performed by artificial intelligence systems in conjunctiion with human intervention |
| US7693738B2 (en) | 2001-03-22 | 2010-04-06 | Guinta Lawrence R | Computer-aided methods and apparatus for assessing an organizational process or system |
| US20030154181A1 (en) | 2002-01-25 | 2003-08-14 | Nec Usa, Inc. | Document clustering with cluster refinement and model selection capabilities |
| US7366705B2 (en) | 2004-04-15 | 2008-04-29 | Microsoft Corporation | Clustering based text classification |
| US8170897B1 (en) | 2004-11-16 | 2012-05-01 | Amazon Technologies, Inc. | Automated validation of results of human performance of tasks |
| WO2006065862A2 (en) | 2004-12-13 | 2006-06-22 | Guinta Lawrence R | Critically/vulnerability/risk logic analysis methodology for business enterprise and cyber security |
| US8266130B2 (en) | 2006-01-23 | 2012-09-11 | Chacha Search, Inc. | Search tool providing optional use of human search guides |
| US7747083B2 (en) | 2006-03-27 | 2010-06-29 | Yahoo! Inc. | System and method for good nearest neighbor clustering of text |
| US20070226207A1 (en) | 2006-03-27 | 2007-09-27 | Yahoo! Inc. | System and method for clustering content items from content feeds |
| US20070260601A1 (en) | 2006-05-08 | 2007-11-08 | Thompson Henry S | Distributed human improvement of search engine results |
| US20080027913A1 (en) | 2006-07-25 | 2008-01-31 | Yahoo! Inc. | System and method of information retrieval engine evaluation using human judgment input |
| US9330071B1 (en) | 2007-09-06 | 2016-05-03 | Amazon Technologies, Inc. | Tag merging |
| US8195498B2 (en) | 2009-05-18 | 2012-06-05 | Microsoft Corporation | Modeling a plurality of contests at a crowdsourcing node |
| US8140518B2 (en) | 2010-01-08 | 2012-03-20 | Yahoo! Inc. | System and method for optimizing search results ranking through collaborative gaming |
| US10853744B2 (en) | 2010-06-17 | 2020-12-01 | Figure Eight Technologies, Inc. | Distributing a task to multiple workers over a network for completion while providing quality control |
| US9305263B2 (en) | 2010-06-30 | 2016-04-05 | Microsoft Technology Licensing, Llc | Combining human and machine intelligence to solve tasks with crowd sourcing |
| US8875131B2 (en) | 2010-11-18 | 2014-10-28 | International Business Machines Corporation | Specification of environment required for crowdsourcing tasks |
| US20120150579A1 (en) | 2010-12-08 | 2012-06-14 | Exvo.Com Company B.V. | Work distribution system and method of distributing work |
| US11087247B2 (en) | 2011-03-23 | 2021-08-10 | Figure Eight Technologies, Inc. | Dynamic optimization for data quality control in crowd sourcing tasks to crowd labor |
| US8554605B2 (en) | 2011-06-29 | 2013-10-08 | CrowdFlower, Inc. | Evaluating a worker in performing crowd sourced tasks and providing in-task training through programmatically generated test tasks |
| US20130029769A1 (en) | 2011-07-29 | 2013-01-31 | Wei-Yeh Lee | Aggregate Crowdsourcing Platforms |
| US8626545B2 (en) | 2011-10-17 | 2014-01-07 | CrowdFlower, Inc. | Predicting future performance of multiple workers on crowdsourcing tasks and selecting repeated crowdsourcing workers |
| US8918789B2 (en) | 2011-10-26 | 2014-12-23 | International Business Machines Corporation | Task assignment using ranking support vector machines |
| US9043285B2 (en) | 2011-10-28 | 2015-05-26 | Linkedin Corporation | Phrase-based data classification system |
| US8489585B2 (en) | 2011-12-20 | 2013-07-16 | Xerox Corporation | Efficient document processing system and method |
| JP5362132B2 (ja) | 2012-01-20 | 2013-12-11 | 住友化学株式会社 | 無機酸化物粉末および無機酸化物含有スラリーならびに該スラリーを使用したリチウムイオン二次電池およびその製造方法 |
| US11568334B2 (en) | 2012-03-01 | 2023-01-31 | Figure Eight Technologies, Inc. | Adaptive workflow definition of crowd sourced tasks and quality control mechanisms for multiple business applications |
| US20150178659A1 (en) | 2012-03-13 | 2015-06-25 | Google Inc. | Method and System for Identifying and Maintaining Gold Units for Use in Crowdsourcing Applications |
| US8759930B2 (en) | 2012-09-10 | 2014-06-24 | Optiz, Inc. | Low profile image sensor package |
| US20150213392A1 (en) | 2012-09-27 | 2015-07-30 | Carnegie Mellon University | System and Method of Using Task Fingerprinting to Predict Task Performance |
| US20140172767A1 (en) | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Budget optimal crowdsourcing |
| CN103914478B (zh) | 2013-01-06 | 2018-05-08 | 阿里巴巴集团控股有限公司 | 网页训练方法及系统、网页预测方法及系统 |
| US20150363741A1 (en) | 2013-01-18 | 2015-12-17 | Praphul Chandra | Task assignment in crowdsourcing |
| US20140343984A1 (en) | 2013-03-14 | 2014-11-20 | University Of Southern California | Spatial crowdsourcing with trustworthy query answering |
| US20140278634A1 (en) | 2013-03-15 | 2014-09-18 | Microsoft Corporation | Spatiotemporal Crowdsourcing |
| US9384423B2 (en) | 2013-05-28 | 2016-07-05 | Xerox Corporation | System and method for OCR output verification |
| US20150074033A1 (en) | 2013-09-12 | 2015-03-12 | Netspective Communications Llc | Crowdsourced electronic documents review and scoring |
| US9594944B2 (en) | 2013-09-25 | 2017-03-14 | Xerox Corporation | Methods and systems for monitoring a worker performing a crowdsourced task |
| US9954942B2 (en) | 2013-12-11 | 2018-04-24 | Entit Software Llc | Result aggregation |
| US9767419B2 (en) | 2014-01-24 | 2017-09-19 | Microsoft Technology Licensing, Llc | Crowdsourcing system with community learning |
| US10915973B2 (en) | 2014-03-05 | 2021-02-09 | Transform Sr Brands Llc | System and method providing expert audience targeting |
| US10671947B2 (en) | 2014-03-07 | 2020-06-02 | Netflix, Inc. | Distributing tasks to workers in a crowd-sourcing workforce |
| US20150254593A1 (en) | 2014-03-10 | 2015-09-10 | Microsoft Corporation | Streamlined creation and utilization of reference human intelligence tasks |
| US20150262111A1 (en) | 2014-03-12 | 2015-09-17 | Nanyang Technological University | Apparatus and method for efficient task allocation in crowdsourcing |
| US9911088B2 (en) | 2014-05-01 | 2018-03-06 | Microsoft Technology Licensing, Llc | Optimizing task recommendations in context-aware mobile crowdsourcing |
| US20170052761A1 (en) | 2014-05-01 | 2017-02-23 | Answerto Llc | Expert signal ranking system |
| US10642845B2 (en) | 2014-05-30 | 2020-05-05 | Apple Inc. | Multi-domain search on a computing device |
| US20150356489A1 (en) | 2014-06-05 | 2015-12-10 | Microsoft Corporation | Behavior-Based Evaluation Of Crowd Worker Quality |
| US20150356488A1 (en) * | 2014-06-09 | 2015-12-10 | Microsoft Corporation | Evaluating Workers in a Crowdsourcing Environment |
| US9652745B2 (en) | 2014-06-20 | 2017-05-16 | Hirevue, Inc. | Model-driven evaluator bias detection |
| US9430299B2 (en) | 2014-08-06 | 2016-08-30 | International Business Machines Corporation | System, method and product for task allocation |
| JP5946073B2 (ja) | 2014-11-07 | 2016-07-05 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 推定方法、推定システム、コンピュータ・システムおよびプログラム |
| CN104463424A (zh) | 2014-11-11 | 2015-03-25 | 上海交通大学 | 众包中任务最优分配方法及其系统 |
| US20160140477A1 (en) | 2014-11-13 | 2016-05-19 | Xerox Corporation | Methods and systems for assigning tasks to workers |
| US20160210570A1 (en) | 2015-01-15 | 2016-07-21 | Xerox Corporation | Methods and systems for recommending tasks |
| US10366107B2 (en) | 2015-02-06 | 2019-07-30 | International Business Machines Corporation | Categorizing questions in a question answering system |
| CN104794573B (zh) | 2015-04-17 | 2018-05-29 | 上海交通大学 | 产品评估任务中的结果估计方法及众包众测平台 |
| US10061848B2 (en) | 2015-05-22 | 2018-08-28 | Microsoft Technology Licensing, Llc | Ontology-crowd-relevance deep response generation |
| US20160364673A1 (en) | 2015-06-09 | 2016-12-15 | Development Dimensions International, Inc. | Method and system for automated and integrated assessment rating and reporting |
| US20170011077A1 (en) | 2015-07-07 | 2017-01-12 | Socrata, Inc. | Scalable annotation architecture |
| US10210657B2 (en) | 2015-07-24 | 2019-02-19 | The University Of British Columbia | Methods and systems for hex-mesh optimization via edge-cone rectification |
| US20170046794A1 (en) | 2015-08-11 | 2017-02-16 | Accenture Global Services Limited | System for sourcing talent utilizing crowdsourcing |
| US10445671B2 (en) | 2015-08-27 | 2019-10-15 | Accenture Global Services Limited | Crowdsourcing a task |
| US20170061341A1 (en) | 2015-09-01 | 2017-03-02 | Go Daddy Operating Company, LLC | Workflow management for crowd worker tasks with fixed throughput and budgets |
| RU2637431C2 (ru) | 2015-10-12 | 2017-12-04 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система определения оптимального значения параметра аукциона для цифрового объекта |
| US20170154313A1 (en) | 2015-11-30 | 2017-06-01 | Linkedin Corporation | Personalized job posting presentation based on member data |
| CN105608318B (zh) | 2015-12-18 | 2018-06-15 | 清华大学 | 众包标注整合方法 |
| US11074536B2 (en) | 2015-12-29 | 2021-07-27 | Workfusion, Inc. | Worker similarity clusters for worker assessment |
| US20170200101A1 (en) | 2016-01-07 | 2017-07-13 | Tata Consultancy Services Limited | Systems and methods for optimized task allocation |
| CN107025205B (zh) | 2016-01-30 | 2021-06-22 | 华为技术有限公司 | 一种分布式系统中的训练模型的方法及设备 |
| US20170228749A1 (en) | 2016-02-04 | 2017-08-10 | Larvol | System and Method of Facilitating Dynamic Price Adjustment |
| US9438619B1 (en) | 2016-02-29 | 2016-09-06 | Leo M. Chan | Crowdsourcing of trustworthiness indicators |
| RU2632143C1 (ru) | 2016-04-11 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками |
| US10593220B2 (en) | 2016-04-21 | 2020-03-17 | Regina Joseph | Systems and methods for bias-sensitive crowd-sourced analytics |
| US10270788B2 (en) | 2016-06-06 | 2019-04-23 | Netskope, Inc. | Machine learning based anomaly detection |
| US10606952B2 (en) | 2016-06-24 | 2020-03-31 | Elemental Cognition Llc | Architecture and processes for computer learning and understanding |
| US20170372225A1 (en) | 2016-06-28 | 2017-12-28 | Microsoft Technology Licensing, Llc | Targeting content to underperforming users in clusters |
| US10671895B2 (en) | 2016-06-30 | 2020-06-02 | Microsoft Technology Licensing, Llc | Automated selection of subjectively best image frames from burst captured image sequences |
| US10162734B1 (en) | 2016-07-20 | 2018-12-25 | Intuit Inc. | Method and system for crowdsourcing software quality testing and error detection in a tax return preparation system |
| CN106327090A (zh) | 2016-08-29 | 2017-01-11 | 安徽慧达通信网络科技股份有限公司 | 一种应用于带偏好众包系统的真实任务分配方法 |
| CN106203893A (zh) | 2016-09-09 | 2016-12-07 | 扬州大学 | 一种众包环境下的基于遗传算法的任务分配方法 |
| CN106446287A (zh) | 2016-11-08 | 2017-02-22 | 北京邮电大学 | 面向众包场景问答系统答案聚合方法和系统 |
| US11436548B2 (en) | 2016-11-18 | 2022-09-06 | DefinedCrowd Corporation | Identifying workers in a crowdsourcing or microtasking platform who perform low-quality work and/or are really automated bots |
| US20180144654A1 (en) | 2016-11-23 | 2018-05-24 | SparxTeq Inc | Systems and methods for automated grading of geometric shape assessments |
| CN106557891B (zh) | 2016-12-05 | 2021-05-11 | 苏州大学 | 基于用户可靠性的众包任务分配方法 |
| US20180197125A1 (en) | 2017-01-06 | 2018-07-12 | Microsoft Technology Licensing, Llc | Tasks Across Multiple Accounts |
| US10838967B2 (en) | 2017-06-08 | 2020-11-17 | Microsoft Technology Licensing, Llc | Emotional intelligence for a conversational chatbot |
| CN109272003A (zh) | 2017-07-17 | 2019-01-25 | 华东师范大学 | 一种消除深度学习模型中未知错误的方法与装置 |
| EP3438897A1 (en) | 2017-08-04 | 2019-02-06 | Swisscom (Schweiz) AG | Task allocator for crowd sourcing network |
| CN110020098A (zh) | 2017-08-17 | 2019-07-16 | 南京东方网信网络科技有限公司 | 众包系统中抑制水军问题的细粒度推荐机制 |
| CN107767055B (zh) | 2017-10-24 | 2021-07-23 | 北京航空航天大学 | 一种基于串谋检测的众包结果汇聚方法及装置 |
| CN107767058B (zh) | 2017-10-26 | 2021-03-19 | 北京航空航天大学 | 一种众包软件开发者推荐方法 |
| WO2019083392A1 (ru) | 2017-10-27 | 2019-05-02 | Вихаирэйай Инк. | Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей |
| CN107909262B (zh) | 2017-11-13 | 2022-01-07 | 北京航空航天大学 | 一种众包代价复杂度的获取方法 |
| US11205143B2 (en) * | 2018-02-16 | 2021-12-21 | Accenture Global Solutions Limited | Utilizing a machine learning model and natural language processing to manage and allocate tasks |
| US10095688B1 (en) | 2018-04-02 | 2018-10-09 | Josh Schilling | Adaptive network querying system |
| US11093871B2 (en) | 2018-04-16 | 2021-08-17 | International Business Machines Corporation | Facilitating micro-task performance during down-time |
| US10978056B1 (en) | 2018-04-20 | 2021-04-13 | Facebook, Inc. | Grammaticality classification for natural language generation in assistant systems |
| CN109670727B (zh) | 2018-12-30 | 2023-06-23 | 湖南网数科技有限公司 | 一种基于众包的分词标注质量评估系统及评估方法 |
| RU2744032C2 (ru) | 2019-04-15 | 2021-03-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для определения результата выполнения задачи в краудсорсинговой среде |
| US11604980B2 (en) | 2019-05-22 | 2023-03-14 | At&T Intellectual Property I, L.P. | Targeted crowd sourcing for metadata management across data sets |
| CN110503396B (zh) | 2019-08-22 | 2022-12-27 | 电子科技大学 | 基于多技能的复杂空间众包任务分配方法 |
| KR102155790B1 (ko) | 2019-08-30 | 2020-09-14 | 주식회사 크라우드웍스 | 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치 |
| CN110928764B (zh) | 2019-10-10 | 2023-08-11 | 中国人民解放军陆军工程大学 | 移动应用众包测试报告自动化评估方法及计算机存储介质 |
| CN110909880B (zh) | 2019-11-20 | 2022-10-21 | 北京航空航天大学 | 一种基于深度知识追踪的众包任务预测方法 |
| CN111191952A (zh) | 2020-01-06 | 2020-05-22 | 合肥城市云数据中心股份有限公司 | 加入空间众包工作者评分要素的空间众包任务分配方法 |
| CN111291973B (zh) | 2020-01-17 | 2023-09-29 | 麦科思(无锡)数据科技有限公司 | 一种基于联盟的空间众包任务分配方法 |
| KR102156582B1 (ko) | 2020-03-25 | 2020-09-17 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 성실 작업자 선별 및 검수 우선순위 부여 방법 |
| CN111723930A (zh) | 2020-05-29 | 2020-09-29 | 北京航空航天大学 | 一种应用群智监督学习方法的系统 |
-
2019
- 2019-09-09 RU RU2019128272A patent/RU2019128272A/ru unknown
-
2020
- 2020-04-19 US US16/852,512 patent/US11475387B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20210073703A1 (en) | 2021-03-11 |
| US11475387B2 (en) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11307957B2 (en) | Systems and methods for determining optimal cost-to-serve for cloud applications in the public cloud | |
| US20210240459A1 (en) | Selection of deployment environments for applications | |
| US8910128B2 (en) | Methods and apparatus for application performance and capacity analysis | |
| AU2019201821B2 (en) | Generating an execution script for configuration of a system | |
| JP7069029B2 (ja) | 自動予測システム、自動予測方法および自動予測プログラム | |
| KR20190081306A (ko) | 빅데이터 분석 소프트웨어에 대한 자원 할당 방법, 상기 방법을 이용하는 가상화 자원 할당 장치 | |
| JP2018005896A (ja) | シミュレーションジョブを実行するためのシステム、コントローラ、方法、及びプログラム | |
| US11003431B2 (en) | Generating predictive metrics for virtualized deployments | |
| JPWO2011071010A1 (ja) | 負荷特性推定システム、負荷特性推定方法およびプログラム | |
| RU2640637C2 (ru) | Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения | |
| US20190325319A1 (en) | Detecting correlation among sets of time series data | |
| Pinciroli et al. | Performance modeling and analysis of design patterns for microservice systems | |
| AU2020385369A1 (en) | Contact center call volume prediction | |
| CN114153685A (zh) | 服务器带内系统信息预估方法、系统、装置及存储介质 | |
| RU2019128272A (ru) | Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде | |
| CN109739649B (zh) | 资源管理方法、装置、设备及计算机可读存储介质 | |
| KR101700832B1 (ko) | 컴퓨팅 시뮬레이션 작업 필요자원 예측 장치 및 방법 | |
| CN111124634A (zh) | 一种训练方法、装置及电子设备和存储介质 | |
| JP2019086960A (ja) | 特許情報処理装置、特許情報処理方法、およびプログラム | |
| US11907142B2 (en) | Configuring polling times for software applications | |
| CN112800089B (zh) | 一种中间数据存储级别调整方法、存储介质及计算机设备 | |
| CN111553379B (zh) | 基于异步训练的图像数据处理方法和系统 | |
| Dipietro | Performance modelling and optimisation of NoSQL database systems | |
| Müller | Ml-based power consumption prediction models for edge devices | |
| JP2023084805A (ja) | データ補完システム、データ補完装置、補完処理選択方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FZ9A | Application not withdrawn (correction of the notice of withdrawal) |
Effective date: 20220408 |