[go: up one dir, main page]

TWI379205B - Instant communication interacting system and method thereof - Google Patents

Instant communication interacting system and method thereof Download PDF

Info

Publication number
TWI379205B
TWI379205B TW098107997A TW98107997A TWI379205B TW I379205 B TWI379205 B TW I379205B TW 098107997 A TW098107997 A TW 098107997A TW 98107997 A TW98107997 A TW 98107997A TW I379205 B TWI379205 B TW I379205B
Authority
TW
Taiwan
Prior art keywords
instant messaging
information
user
module
interaction
Prior art date
Application number
TW098107997A
Other languages
English (en)
Other versions
TW201033819A (en
Inventor
Hung Hsiu Yu
Hsin Yi Lin
Hsuan Kuan Huang
Ching Yi Kuo
Ching Yi Liu
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098107997A priority Critical patent/TWI379205B/zh
Priority to US12/504,983 priority patent/US8122093B2/en
Publication of TW201033819A publication Critical patent/TW201033819A/zh
Application granted granted Critical
Publication of TWI379205B publication Critical patent/TWI379205B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Description

1379205 六、發明說明: 【發明所屬之技術領域】 - 本發明係有關於一種即時通互動系統及其方法,更詳 , 而言之,係關於一種應用於可執行資訊溝通軟體之資料處 • 理裝置’以供本端使用者透過該資訊溝通軟體與他端使用 v 者產生溝通資訊之即時通互動系統及其方法。 【先前技術】 隨著網路通訊科技的發達’目前遠距的資訊溝通方式 • 已深入大部人的生活之中,即資訊溝通軟體並登入在線 上,以方便與登入線上的其他使用者聯絡。而以現今幾種 資訊溝通軟體而言,大多有提供使用者以特定符號與訊息 作為相互交談時的一種情褚互動表達方式,使線上通訊具 有圖形化的溝通介面,然而這種方式仍屬於一種平面化且 較單調之互動。 因此’為了使互動方式更為生動有趣,目前市面上已 鲁有販賣有如I-Buddy、I-Knock等互動玩具,即依據不同待 定符號與訊息呈現不同的互動反應(如:拍動翅膀、扭轉 身體、發光...等);惟,其該互動反應只能進行一對一的 反應或使用者需自行設定反應,且針對單一個訊息内容無. 論傳訊者是誰所呈現的互動反應皆相同,甚至由於互動反 應的方式過於單調且不夠直覺,而無法讓使用者理解該互 動反應所代表的意義,使得應用效果以及樂趣有限。 為了解決上述問題,如弟20070299919號美國公開專 利案,係揭露一種可依據特定使用者所傳送的特定訊息, 111142 4 1379205 自動予以特定回應的方法,其主要是使用在即時通訊各服 系統,以當各服人員不在時,電腦中的即時通訊軟體會判 . 斷目前詢問客服問題的詢問者身份及問題内容,並依據判 , 斷結果自動給予特定回應;惟其判斷方式係以達表(table) 的.方式預設對應的行動清單(Action List),因此’僅能依 * 據有限且特定的回應與詢問者進行制式的彡動,而無法隨 著使用者的情緒起伏彈性而產生情感等級的呈現。 又如第6907571號的美國公告專利案,其係揭示一種 φ 即時通訊聊天機器人(chatterbot),該機器人除了可和即時 通訊上的其他使用者聊天,也可和其他即時通訊聊天機器 人聊天,而具有AI人工智慧的機制,且在回答時能辨識 使用者與其他聊天機器人的身份.,進而給予不同訊息回 應,惟,該聊天機器人雖然具有學習的機制,但仍需先針 對對話内容設定關聯資料庫且不具有使用者反應回饋之界 面,即該聊天機益人無法完全達到使用者預期的對話互動 反應。 是故,如何提供一種即時通互動系統及其方法,以實 體化,現不同反應讓單—的訊息或表情符號以更有情感等 ^且付合制者期待的方式呈現,實為相關領域之業者目 月1J亟待解決之課題。 【發明内容】 一馨於上述習知技術之缺點’本發明之一目的在於提4 2即時通互㈣統及其方法,以㈣學習與使用者引
機制的加入,判斯在gp拉、S
剁峤在即時通訊上不同他端使用者身份而J 111142 5 ==:使用者期待的互動反應,俾符合人性化 預設傳於提供_種減《建表的方式 法,使單—㈣動清單的㈣通互㈣統及其方 L核情符號以更有情鱗級的方 為達上4目的及其他目現 互動系統,伤靡田认 们料月徙供種即時通訊 置,以供本端:者可執行資訊溝通軟體之資料處理裝 生溝通資^ 崎祕通㈣與他端使用者產
Si:溝使用者的互動裝置依據該他端使ί 、5呈現不同的行為表現,該即時通訊万 資=包t:即時通訊模組,係用以接收或傳送該溝通 :.解析H係用以解析該他端使 資訊而產生至少一柃抹^έ 應的溝通 A夺頰mm ㈣心,且依據魏個不同的特定行 為表現的屬性_及辨識對應的他端使 '用者身份 少-情緒訊息產生對應的標記輸人值;儲存模組,係用' =!:應:顯特定行為表現的屬性關係及對應的他 者身伤的行為權重值,以及儲存對應該些行為 2之編碼貝料;學習模組,制以判斷當該標記輪入值符 合該儲存模組所儲存的行為權重值的判斷條件時,自該儲 存模組取得對應之編碼資料;輸出模組,係用以依據由該 予S換、立所取彳于的編碼資料使該本端使用者的互動裝置^ 出與該編碼資料對應的實體動作;以及回饋模組,^用: 當該輸出模組輪出實體動作時,感應該本端使用者的互= 裝置是否接收到使用者所給予的回應訊號,若否1則依 111142 6 1379205 =:赌:::=值’若是,則依— ㈣禮m _ 產生同程度的修正值來修改該行為 目〜改變該輸出模組所輸出的實體動作。 法,晴供1㈣通訊互動方 、執仃貝訊溝通軟體之資料處理裝置,以供
體與他端使用者產生溝通資 的溝通資訊呈現不同的行=依=端使用者所傳送 互祕置㈣存模組,卿時通訊互動方 為二二了步驟:令該儲存模組儲存對應不同的特定行 屬性關係及對應的該他端使用者身份的行為 解析該他端使用者所回應的該溝通資訊而 的厘^绪訊息’且依據複數個不同的彼行為表現 、屬性關係及辨朗應的他端❹者身份,使該至少 對應的標記輸入值;判斷當該標記輸入值符: 該儲存核組所儲存的行為權重值的判斷條件時,自 模組取得對應之編碼·,使該本端朗者的互動裝置^ 出與該編碼⑽對應的對應的實體動作、及感應該本: 1 吏用者的互動|【是否接收到使用麵㈠的回應訊號, 右否’則依據該標記輸入值儲存該行為權重值,若是,, 依據不同程度的感應結果,分別對應產生不同程度n 值來修改該行為權重值以相應改變該實體動作。 於本發明即時通訊互動系統及其方法之一較佳實扩 例中,該即時通訊模組係可透過資料處理裝置供使用ςς 1379205 入溝通資訊,且該資料處理裝置係可為電腦、手機、個人 數位助理(PDA)或可執行資訊溝通軟體之數位裝置;較佳 -地,該溝通資訊係可為文字資訊、數字資訊、圖像資訊、 - 符號資訊、影像以及聲音資訊之至少一者。 • 於本發明即時通訊互動系統及其方法之一較佳實施 * 例中,該對應的實體動作係可用以表現即時通訊互動不同 個性的反應與行為;較佳地,該對應的動作係可為機構動 作、音效輸出、語句輸出、影像輸出、燈光輸出以及氣味 • 散發之至少一者。 於本發明即時通訊互動系統及其方法之一較隹實施 例中,該行為權重值係依據不同的特定行為表現的屬性關 係及對應的他端使用者身份產生不同的情緒程度反應行 為,且該修正值所對應的該感應結果係依據對該互動裝置 所感應之不同程度的實體接觸所產生,較佳地,該實體接 觸係可為輕拍、敲打、重按以及連續按擊之至少一者,且 ^ 該修正值所對應的該感應結果係可依據不同時段予以特定 程度的設定。 於本發明即時通訊互動系統及其方法之一較佳實施 例中,該即時通訊互動系統復可包括作動單元與該輸出模 組電性連接,該作動單元係為機械結構、顯示器件、揚聲 器之至少一者;較佳地,該機械結構係可為可以外部動力 驅動之機械結構,該顯示器件係可為LED、LCD顯示器、 LED顯示器、電漿顯示器或CRT顯示器之至少一者,該揚 聲器係為°刺σ八。 8 111142 1379205 ‘相較於習知技術,本發明主要係透過接收不同外部他 - 端使用者的即時訊息内容或與談話模式等做為學習的標記 輸入值,互動裝置會依據標記輪入值的不同進而產生出不 1同的反應,此時使用者給予回饋(如懲罰或獎勵)讓互動裝 置學習依據不同外部他端使用者身份產生正確且不同的應 •對反應,不單只是建表對應而有更多的變化以及程度的不 同’使用者給予的回饋機制同樣具有等級的不同可讓學習 的結果更準確’透過學習機制互動裝置會產生使用者所期 • 望的反應,而非隨機或看似無意義的反應,透過學習機制 使用者不需要預設他端使用者對應名單或行動清單 (Action List),以藉由回饋機制使用者終可使互動裝置學 習到正確的反應,實體化展現不同反應讓單一的訊息或表 情符號以更有情感等級且符合使用者期待的方式呈現。. 【實施方式】 以下係藉由特定的具體實例說明本發明之實施方 鲁式’熟悉此技藝之人士可由本說明書所揭示之内容輕易地 瞭解本發明之其他優點與功效。本發明亦可藉由其他不同 的具體實例加以施行或應用,本說明書中的各項細節亦可 基於不同觀點與應用,在不哮離本發明之精神下進行各種 修飾與變更。 請參閱第1圖,係為本發明即時通訊互動系統之實施 例之方塊示意圖。於本實施例中,該即時通訊互動系統100 係應用於可執行資訊溝通軟體之資料處理裝置l〇0a,以供 本端使用者透過該資訊溝通軟體與他端使用者產生溝通資 9 ' 111142 1379205
訊,且該本端使用者的互動裝置100b依據該他端使用者所 傳送的溝通資訊呈現不同的行為表現,該資料處理裝置 -100a係可利用該資訊溝通軟體進行資訊的溝通及分享,例 ,如微軟(Microsoft)公司所提供 MSN(Microsoft Network)通 訊軟體或雅虎(Yahoo)公司所提供之Yah〇〇 Messenger(即時 • 通)通訊軟體或SkyPe公司所提供之Skype通訊軟體或QQ 通訊軟體或ICQ通訊軟體,而該資料處理裝置係為電腦、 手機、個人數位助理(PDA)或可執行資訊溝通軟體之數位 籲 裝置等。 如圖所不,該即時通訊互動系統1〇〇主要係包括:即 時通訊模組10、解析模組2〇、儲存模組3〇、學習模組4〇、 輸出模組50、以及回饋模組6〇所組成,於實施態樣中, 該即時通訊模組10、該解析模組2〇、以及該儲存模組 係可設置於該資料處理裝置1〇〇a上,並將該學習模組、 該輸出模組50、以及該回饋模組6〇設置於該互動裴置1⑼匕 鲁上;而在其它實施態樣中,亦可將該學習模組4〇、該輸出 模組50、以及該回饋模組6〇以及該資料處理裝置皆 整合^該互域置丨_中,但不以此為限,以下即分別針 對即時通訊互動系統i 〇 〇之上揭各物件進行詳細說明: »該即時通訊模組10係用以接收或傳送該溝通資訊。 詳。之—該即時通訊模組1〇係具有一通訊介面,例如可為 具有藍芽(blUet00th)或紅外線或mEE 8〇2」i或或 雖加等資料傳輸協定之通訊介面,以利用該資訊溝通軟 體使本端使用者與—個或多個特定對象的他端使用者產生 111142 10 1379205 共同的對話視窗’以進行資訊的溝通及分享,於較佳的實 施例中,該溝通資訊係可為文字資訊、數字資訊、圖像資 、 訊、符號資訊、影像以及聲音資訊之至少一者。 ’ 該解析模組20係用以解析該溝通資訊(例如:文字、 圖像、聲音…等)而產生至少一情緒訊息(例如:微笑、 • 悲傷、哭泣、生氣…等且辨識傳送該溝通資訊之對應 的他端使用者身份以選擇行為之權重值,另一實施例中, 可使該至少一情緒訊息產生對應的標記輸入值。於較佳的 • 實施例中,該情緒訊息可例如為表情符號或形容文字(例 如:擷取一段文字裡的動詞或形容詞),且該他端使用者 '身份的辨識係可包括帳號、識別密碼、登入/出時間等驗證 資訊的判斷程序。 該儲存模組30係用以分別儲存對應的他端使用者身 份的行為權重值,以及儲存對應該些行為權重值之編碼資 料0
學習模組40係用以依據該情緒訊息以及該行為權重 值決定對應之互動反應,一具體實施例中,該學習模組4〇 判斷當該標记輸入值符合該儲存模組3〇所儲存的行為權 重值的判斷條件時,自該儲存模組取得對應之編碼資料。 詳言之,該學習模組4.0可進—步包括:行為單元41、權 重單元42 ’其巾,該行為單元41係用以設定各該特 重 件 = = = = =他端使用者身份的行為權 ,該權重單元心:!,之編碼資料的判斷條 、S 又疋各該不同屬性的情緒訊息之 Π1142 11 1379205 行為權重值的判斷條件,例如可將不同屬性(如:微笑、 悲傷、哭泣、生氣…等)的情緒訊息來選擇於儲存模組30 、 内相關的情緒訊息的反應程度(例如:針對微笑的情緒訊 息包含小笑、微笑、大笑、狂笑、笑中帶淚等不同的反應 f 程度);亦即,該學習模組40可依據前述行為單元41來 . 判斷情緒反應是否正確,再透過權重單元42來選擇相關的 情緒訊息的反應程度,以自.儲存模組30取得對應之特定個 性行為之表現狀態的編碼資料。此外,在其他實施例中, φ 該權重單元42也可針對不同他端使用者不同的驗證資訊 進一步設定使用者回饋的歷史記錄更新的相關判斷條件 (詳後述)。 輸出模組50係用以依據由該學習模組40所取得的編 碼資料使該本端使用者的互動裝置l〇〇b輸出與該編碼資 料對應的實體動作。詳言之,該實體動作係用以表現即時 通訊互動不同情緒程度反應行為,例如,該實體動作係可 為機構動作、音效輸出、語句輸出、影像輸出、燈光輸出 以及氣味散發之至少一者。此外,該輸出模組50亦可電性 連接作動單元51,藉以具體呈現該互動裝置100b對應已 取得的編碼資料的動作,於一實施例中,該作動單元51 係包括機械結構、顯示器件以及揚聲器…等,其中,該機 械結構係可以外部動力(例如:馬達)驅動之機械結構, 用以呈現實體機械式的動作;該顯示器件係可為LED、LCD 顯示器、LED顯示器、電漿顯示器或CRT顯示器之至少 一者,用以結合該資料處理裝置100a而呈現關於該實體動 12 111142 1379205 作的畫面;而揚聲器係可例如為喇叭,用以透過聲音來呈 現該實體動作。 - 回饋模組60係用以當該輸出模組50輸出實體動作 時,感應該本端使用者的互動裝置l〇〇b是否接收使用者的 5 回應訊號;若否,則該學習模組40依據該標記輸入值將該 . 行為權重值儲存至該儲存模組30 ;若是,則回饋模組60 依據於所接收不同程度的感應結果,分別產生不同程度的 修正值並傳送給該學習模組40,以供該學習模組40修改 φ 該行為權重值以相應改變該輸出模組50所輸出的實體動 作,並將修改後之該行為權重值儲存至該儲存模組30。具 體而言,該修正值所對應的該感應結果係依據對該互動裝 置100b不同程度的輸入訊號所產生,而該輸入訊號的產生 方式係為實體接觸、語音觸發、影像辨識以及人機介面軟 體控制之至少一者,較佳地,該實體接觸係可為輕拍、敲 打、重按以及連續按擊之至少一者之不同由使用者所輸入 的不同行為,以模擬如懲罰或獎勵的回饋機制。 ® 而為清楚說明本發明即時通訊互動系統100之作動方 式,以下即由第1圖同時配合第2-6圖予以說明,如第2 圖所示,係為本發明即時通訊互動系統100藉由學習模組 40之設定示意圖,如圖所示,當本端使用者藉由即時通訊 模組10與至少一個他端使用者進行對談而產生溝通資訊 時,該學習模組40透過解析模組20擷取至少一個情緒訊 息以產生標記輸入值,並依據情緒訊息以及他端使用者之 身分辨識結果分別透過行為單元41與權重單元42選擇權 13 111142 1J/ 重(例如:權重1、2.·. 6 ) 應行為之表現狀態(例如:行^應9該權重的情緒程度反 以由該解析模組20所解析的至,·6)的判斷條件’ 現子以八μ 轉析的至少-情緒訊息依據行為表 H生不同情緒的標記輸人值,經由運算後 卢反庫L為權重值’以呈現不同的特定行為之情緒程 二二於本貝域中,.該學習模組4〇的判斷條件中有關 =、、/可^為行為1(微笑)、行為2(悲傷)、行為3 、 行為4 (生氣)…等的預設互動行為,惟本實 施例關於行為的分類僅為例示,並非以此為限…、 *如第3圖所示,本發明學習模組40讀為單元41對 於己輸入值的運算示意圖,如圖所示,學習模組40之行 為單元41係對於標記輸人值i^行情緒mu 運 算說明如下: 八 運 ⑴標記輸人值(Input),x = [w.,xJ=[x,L表示情绪. 假設輸入為第1種代表情緒,則χ=[ι,〇,..·,〇Κ (2) 學習輸出值(Learning Output) y =[少 . 假設學習後的輪出為第丨種代表情緒,則y = [1〇, ,〇]。 (3) 目標輪出值(丁3犷呂61〇111:{)1^)^ = [^,..,4]=[《]]"。 (4) 學習運算法的輸出值:y = /(w.x),其中w為可調整 的行為權重值作為情緒學習的行為校正用,/為一適用的 轉換函數(Transfer Function or Activation Function),可為 線性或非線性。 學習目標 .min 4 (w)=(d ⑷-y (9) )2 2 a 111142 14 ^/9205 如第4圖所示,本發明學習模組4〇之權重單元42對 ' 於订為權重值的運算示意圖,如圖所示,學習模組40之權 .. 早70 42依據不同的特定行為表現的屬性關係及對應的 他端使用者身份的行為權 重值,以供標記輸入值所符合之 行為權重值的運算示意圖其方法運算說明如下: (1) 輪入值(Input)有兩個,X〗代表他端使用者身分, X2代表情緒表示情緒;假設輸入為編號第2的他端使用 _ 者,情緒程度為第2級程度,貝Χι =[〇,ι,···,〇],χ2 = [0,2,.·.,0]。 (2) 學習輪出值(Learning Output) y = k备..W+L ; 假攻學習後的輸出為第1級行為反應程度,則y = [1〇, ,〇]。 (3) 目標輸出值(Target Output )為使用者回饋 [«·.〇=kL。 (4) 學習運算法的輸出值:y = Jr(Wi.Xi+W2.X2),其中% 與外2為可調整的行為權重值,分別針對不同他端使用者身 • 77與不同代表情緒的行為反應程度大小調整用;/為一適- 的轉換函數(Transfer Function or Activation Function), 可為線性或非線性。 (5)學習目標: min<^(w) = ^2](d(9)-y{q)f 如第5圖所示,係顯示本發明即時通訊互動系統之試 第貫施狀態示意圖,如圖所示,當本端使用者接收到 他端使用者(即A小姐)之即時通訊的溝通訊息時,透過 15 1379205 解析模組20將解析的情緒訊息(input)傳遞給互動裝置 100b進行他端使用者身份溝通資訊的判斷程序,互動襞置 ' 100b内之學習模組100b依據他端使用者身份判斷結果為 • A小姐所傳送之微笑表情符號後進行行為單元41與權重 單元42之選擇選擇出行為權重值1之微笑行為,並藉由互 動裝置100b實體呈現該微笑行為與互動反應,由於該微笑 互動反應符合本端使用者之期待,因此本端使用者並未再 以回饋模組60進行互動裝置100b之行為修正,爾後當A • 小姐傳送相同之即時通訊訊息時,互動裝置100b便會實體 呈現該微笑行為與互動反應。 如第6圖所示,係顧示本發明之係顯示本發明即時通 訊互動系統之試舉第二實施狀態示意圖,該回饋模組60 修正值所對應的該感應結果係可依據不同時段予以特定程 度的設定,即由該權重單元42針對不同他端使用者不同的 驗證資訊進一步設定使用者回饋的歷史記錄更新的相關判 ^ 斷條件,如圖所示,當本端使用者接收到他端使用者(即 B先生)之即時通訊的溝通資訊,透過解析模組20將解析 的情緒訊息(Input)傳遞給互動裝置l〇〇b進行他端使用 者身份與該溝通訊息的判斷程序’互動裝置100b内之學習 模組50依據他端使用者身份與訊息内容判斷結果為B先 生所傳送之微笑表情符號後進行行為單元41與權重單元 .42之選擇輸出行為權重值1之微笑行為,並藉由互動裝置 100b實體呈現該微笑行為與互動反應,由於該微笑互動反 應並不符合本端使用杳之期待,且本端使用者藉由回饋模 16 111142 1379205 組60訊息傳送時間於不同時段給予互動裝置100b不同行 為修正值並傳送給互動裝置100b之學習模組40,例如, , 於早上9點時,學習模組40依據回饋單元60之”輕拍”訊 • 號修正行為單元41與權重單元42之選擇並選擇出行為權 重值3之”大笑”行為;於中午12點時,則以”敲打”訊號修 正行為單元41與權重單元42之選擇並選擇出行為權重值 3之”大笑”行為;.而於晚上11點時,則以”連續按擊”訊號 修正行為單元41與權重單元42之選擇並選擇出行為權重 φ 值3之”大笑”行為,爾後當B先生傳送於不同時段傳送之 即時通訊訊息時,互動裝置l〇〇b將會依據不同時段來個別 判斷所接收的回饋模組60的不同行為實體呈現該大笑行 為與互動反應,因此互動裝置100b最終可表現出依據不同 他端使用者身份於不同時段中與溝通資訊正確之行為與互 動反應。 請參閱第7圖,其係為本發明之即時通訊互動方法之 實施例之流程圖,如圖所示,本發明之即時通訊互動方法, 係應用於可執行資訊溝通軟體之資料處理裝置,以供本端 使用者透過該資訊溝通軟體與他端使用者產生溝通資訊, 且該本端使用者的互動裝置依據該他端使用者所傳送的溝 通資訊與他磕使用者身分呈現不同的行為表現,並提供用 以搭載於該資料處理裝置l〇〇a與該互動裝置100b的儲存 模組30 (請配合參閱第1圖所示),本發明之即時通訊互 動方法係先執行步驟S10。 在步驟S10中,令該互動裝置以初始值/前次行為權 Π 111142 1379205 重值呈現對應的實體動作。在此步驟中,令該互動裝置取 得該儲存模組30中所儲存之初始值/前次行為權重值所對 、 應的編碼資料,並據以呈現對應的實體動作,接著進至步 ‘驟 sn。. 在步驟S11中,判斷該資料處理裝置是否有收到他端 使用者所發出的溝通資訊。在此步驟中,若是,則進至步· .驟S12,若否,則回到步驟S10。, 在步驟S12中,係解析所收到的該溝通資訊而產生至 ❿ 少一情緒訊息,接著進至步驟S13。 在步驟S13中,係依據即時通訊ID判斷他端使用者 .身份以產生對應的標記輸入值。此步驟中,係依據即時通 訊ID判斷他端使用者身份並依據複數個不同的特定行為 表現的屬性關係及所判斷出的他端使用者身份,使該至少 一情緒訊息產生對應的標記輸入值,接著進至步驟S14。 在步驟S14中,.係依據他端使用者身份選取符合之行 為權重值,以取得對應之編碼資料。於此步驟中,判斷當 •- 該標記輸入值符合該儲存模組所儲存之行為權重值的判斷 .條件時,自該鍺存模組取得對應之編碼資料,接著進至步 .驟 S15 〇 在步驟S15中,令該互動裝置依據所取得的編碼資 料,產生對應的實體動作。於此步驟中,係由該儲存模組 30所取得對應之編碼資料,使該本端使用者的互動裝置 l〇〇b輸出與該編碼資料對應的實體動作,接著進至步驟 S16 ° 18 111142 1379205 在步驟S16中,係判斷本'端使用者是否認同互動裝置 所表現的實體動作。於此步驟中,感應該本端使用者的互 * 動裝置i〇ob是否接收到本端使用者所給予之回應訊號,此 回應訊號即為使用者對於是否認同互動裝置所表現的實體 動作而對該互動裝置所作的反應所產生者,若是,則進至 S18,若否,則進至步驟S17。 在步驟S17中,本端使用者透過回饋模紐產生修正 值。於此步驟t,係感應該回應訊號’並依據該回應訊號 馨 的程度產生對應的修正值,並據以修改該行為權重值以相 應改變該實體動作,接著,進至步驟S18。 在步驟S18中’’係記憶對應該他端使用者訊息之行為 . > 權重值至該儲存模組30,接著,回到步驟S11。 綜上所述’本發明主要係透過接收不同使用者的即時 溝通資訊或與談話模式等做為學習的標記輪入值,互動裝 置會依據標記輸入值的不同進而產生出不同的反應,此時 使用者給予回饋(如懲罰或獎勵)讓互動裝置學習依據不同 • 外部他端使用者身份產生正確且不同的應對反應,不單只 是建表對應而有更多的變化以及程度的不同,使用者給予 的回饋機制同樣具有等級的不同可讓學習的結果更準確, 透過學習機制互動裝置會產生使用者所期望的反應,而非 隨機或看似無意義的反應’透過學習機制使用者不需要預 設'他端使用者對應名單或行動清單(Action List),以藉由 回饋機制使用者終可使互動裝置學習到正確的反應,實體 化展現不同反應讓單一的訊息或表情符號以更有情感等級 19 111142 1379205 且符合使用者期待的方式呈現。 上述實施例僅例示性說明本發明之原理及其功效,而 - 非用於限制本發明。任何熟習此項技藝之人士均可在不違 背本發明之精神及範疇下,對上述實施例進行修飾與改 - ., 變。.因此,本發明之權利保護範圍,應如後述之申請專利 範圍所列。 【圖式簡單說明】.. 第1圖係顯示本發明即時通訊互動系統之基本架構示 • 意圖; 第2圖係顯示本發明即時通訊互動系統之判斷條件的 . · · .設定示意圖; :\ . - 第3圖係顯示本發明即時通訊互動系統之學習模組的 行為單元之運算示意圖; 第4圖係顯示本發明即時通訊互動系統之學習模組的 權重單元之運算示意圖; 第5圖係顯示本發明即時通訊互動系統之試舉第一實 施狀態示意圖; 第6圖係顧示本#明即時通訊互動系統之試舉第二實 施狀態示意圖;以及 第7圖係顯示本發明即時通執互動方法之實施例之流 - · . . ' 程圖。 - . - · - 【主要元件符號說明】 100 即時通訊互動系統 • · . · 100a 資料處理裝置 20 111142 1379205 100b 互動裝置 10 即時通訊模組 20 解析模組 30 儲存模組 40 學習模組 41 行為單元 42 權重單元 50 輸出模組 51 作動單元 60 回饋模組 S10-S18 步驟

Claims (1)

  1. .1379205 七、申請專利範凰: _ 1. 一種即時通訊互動系統,係應用於可執行資訊溝通軟 體之資料處理裝置,以供本端使用者透過該資訊溝通 軟體與他端使用者產生互動,.該即時通訊互動系統係 包括: .即時通訊模組,係用以接收或傳送溝通資訊; 解析模組,係用以解析該他端使用者所回應的溝 通資訊以產生至少一情緒訊息,並辨識該他端使用者 的身份資訊; 儲存模組,係用以儲存對應該他端使用者之身份 資訊所預設之行為權童值; 學習模組,係用以依據該情鍺訊息以及該行為權 黨值決定出對應之互動反應,以由該互動反應差生對 應之實體動作; 輸出模組,係用以將該學習模組所決定之互動反 應產生之對應實體動作輸出;以及. 回饋模組,係用以當該輸出模組輸出該互動反應 時,感應是否接收到使用者所給予之回應訊號;若否, 則該學習模組儲存該行為權重值至該儲存模組;若 是,則該回饋模組依據不同程度的感應結果,產生不 同程度的修正值傳送給該學習模組,以供該學習模組 修改該行為權重值,並將修改後之該行為權重值儲存 至該儲存模組。 ’ • *· . 2. 如申請專利範圍第1項所述之即時通訊互動系統,其 22 111142 1379205 中’該即時通訊模組係透過該資料處理裝置供使用者 輸入該溝通資訊,且該資料處理裝置係域腦、手機 個人數位⑽(PDA)、或可執行資訊溝通軟體之數位步 .置。 " 3..如申請專利範圍帛丨項所述之即時通訊互動系统,其 中’該溝通貧訊係為文字資訊、數字資訊、圖像資訊、 符號資訊、影像.以及聲音資訊之至少一者。.° 、- 4.如申請專利範圍第,項所述之即時通訊互動系統,其 中’該對應的實體動作係為機構動作、音效輸出、語 句輸出、影像輪出、燈光輪出以及氣味散發之至少— 5·如申請專利範圍第!項所述之即時通訊互動系統,其 卜該彳τ為權4值係域不同的狀行絲現的屬性 關係及對應的他端使用者身份產生不同的情緒程度反 應行為。 如申外專利範圍第1項所述之即時通訊互動系統,其 中,該修正值所對應的竑感應結果係依據對該回饋模 、、且給予不同程度的輸入訊號所產生。 如申味專利範圍第6項所球之即時通訊互動系統,其 :,該輪入訊號的產生方式係為實體接觸、語音觸發、 8 =像辨識以及人機介面軟體控制之至少-者。' 中申广士利範圍.第7項所述之即時通訊互動系統,其 該貫體接觸係為輕拍 ' 敲打、重按以及連續按擊 之至少一者。 111142 23 1379205 9. 如申請專利範圍第6項所述之即時通訊互動系統,其 中,該修正值所對應的該感應結果係依據不同時段予 以特定程度的設定。 10. 如申請專利範圍第1項所述之即時通訊互動系統,其 中,該即時通訊互動系統復包括作動單元與該輸出模 組電性連接,該作動單元係為機械結構、顯示器_件以 • ·· · . ‘· . 及揚聲器之至少一者。 11. 如申請專利範圍第10項所述之即時通訊互動系統,其 中,該機械結構係為可以外部動力驅動之機械結構。 12. 如申請專利範圍第10項所述之即時通訊互動系統,其 中,該顯示器件係為LED、LCD顯示器、LED顯示器、 電漿顯示器以及CRT顯示器之至少一者。 13. 如申請專利範圍第10項所述之即時通訊互動系統,其 中,該揚聲器係為喇叭。^ 14. 一種即時通訊互動方法,係應用於可執行資訊溝通軟 • . · . 體之資料處理裝置,以供本端使用者透過該資訊溝通 軟體與他端使用者產生互動,該即時通訊互動方法係 包括以下步驟: .解析該他端使用者所傳送的溝通資訊以產生至少 一情緒訊息,並辨識該他端使用者的身份資訊; 自儲存模組取得對應該他端使用者之身份資訊所 預設之行為權重值; 依據該情緒訊息以及該行為權重值決定對應之互 動反應以由該互動反應產生對應之實體動作,再將依 24 111142 1379205 據該互動反應所產生之對應實體動作輸出;以及 感應是否接收到使用者所給予之回應訊號,若 否,則儲存該行為權重值至該儲存模組,若是,則依 據不同程度的感.應結果,產生不同程度的修正值來修 改該行為權重值並儲存至該儲存模組。 15. 如申請專利範圍第14項所述之即時通訊互動方法,其 中,該資料處理裝置係供使用者輸入溝通資訊,且該 • · ' · . . ’ 資料處理裝置係為電腦、手機、個人數位助理(pda) 或可執行資訊溝通軟體之數位裝置。 16. 如申請專利範圍第14項所述之即時通訊互動方法,其 中,該溝通資訊係為文字資訊、數字資訊、圖像資訊、 符號資訊、影像以及聲音資訊之至少一者。 17. 如申請專利範圍第14項所述之即時通訊互動方法,其 中,該對應的實體動作係為機構動作、音效輸出、語 句輸出、影像輸出、燈光輸出以及氣味散發之至少一 者。 18. 如申請專利範圍第14項所述之即時通訊互動方法,其 中,該行為權重值係依據不同的特定行為表現的屬性 • . - 關係及對應的他端使用者身份產生不同的情緒程度反 應行為。 19. 如申請專利範圍第14項所述之即時通訊互動方法,其 中,該修正值所對應的該感應結果係依據不同程度的 輸入訊號所產生I。·. 20. 如申請專利範圍第19項所述之即時通訊互動系統,其 25 111142 1379205 中,該輸入訊號的產生方式係為實體接觸、語音觸發、 影像辨識以及人機介面軟體控制之至少一者。 21. 如申請專利範圍第20項所述之即時通訊互動方法,其 • · · · 中,該實體接觸係為輕拍、敲打、重按以及連續按擊 之至少一者.。 22. 如申請專利範圍第19項所述之即時通訊互動方法,其. 中,該修正值所對應的該感應結果係依據不同時段予 以特定程度的設定。' ^ ·
    26 111142
TW098107997A 2009-03-12 2009-03-12 Instant communication interacting system and method thereof TWI379205B (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098107997A TWI379205B (en) 2009-03-12 2009-03-12 Instant communication interacting system and method thereof
US12/504,983 US8122093B2 (en) 2009-03-12 2009-07-17 Instant messaging interaction system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098107997A TWI379205B (en) 2009-03-12 2009-03-12 Instant communication interacting system and method thereof

Publications (2)

Publication Number Publication Date
TW201033819A TW201033819A (en) 2010-09-16
TWI379205B true TWI379205B (en) 2012-12-11

Family

ID=42731559

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098107997A TWI379205B (en) 2009-03-12 2009-03-12 Instant communication interacting system and method thereof

Country Status (2)

Country Link
US (1) US8122093B2 (zh)
TW (1) TWI379205B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099237A1 (en) * 2009-10-23 2011-04-28 Kfir Luzzatto System for operating a social network and method therefor
US10543715B2 (en) * 2016-09-08 2020-01-28 Stempf Automotive Industries, Inc. Wheel centering sleeve
US9763617B2 (en) * 2011-08-02 2017-09-19 Massachusetts Institute Of Technology Phonologically-based biomarkers for major depressive disorder
US20140019878A1 (en) * 2012-07-12 2014-01-16 KamaGames Ltd. System and method for reflecting player emotional state in an in-game character
US10650408B1 (en) 2013-03-15 2020-05-12 Twitter, Inc. Budget smoothing in a messaging platform
US10769661B1 (en) 2013-03-15 2020-09-08 Twitter, Inc. Real time messaging platform
CN104780093B (zh) * 2014-01-15 2018-05-01 阿里巴巴集团控股有限公司 即时通讯过程中的表情信息处理方法及装置
US10198696B2 (en) * 2014-02-04 2019-02-05 GM Global Technology Operations LLC Apparatus and methods for converting user input accurately to a particular system function
US9576175B2 (en) * 2014-05-16 2017-02-21 Verizon Patent And Licensing Inc. Generating emoticons based on an image of a face
CN104063427A (zh) 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
JP6717297B2 (ja) * 2015-05-01 2020-07-01 ソニー株式会社 情報処理システム、通信デバイス、制御方法、およびプログラム
EP3185523B1 (en) 2015-12-21 2018-10-10 Wipro Limited System and method for providing interaction between a user and an embodied conversational agent
CN107135136B (zh) * 2016-02-26 2020-10-30 原相科技股份有限公司 交互式服务平台及其运作方法
WO2017179101A1 (ja) 2016-04-11 2017-10-19 三菱電機株式会社 応答生成装置、対話制御システムおよび応答生成方法
TWI631471B (zh) 2016-11-24 2018-08-01 正文科技股份有限公司 具備智慧型代理器的通訊系統
CN108733666B (zh) * 2017-04-13 2022-03-08 腾讯科技(深圳)有限公司 服务器信息推送方法、终端信息发送方法及装置、系统
KR102499379B1 (ko) 2017-09-18 2023-02-13 삼성전자주식회사 전자 장치 및 이의 피드백 정보 획득 방법
CN110325982B (zh) * 2017-11-24 2023-03-28 微软技术许可有限责任公司 在会话中提供多媒体文档的摘要
US12327562B1 (en) * 2018-03-23 2025-06-10 Amazon Technologies, Inc. Speech processing using user satisfaction data
US10529116B2 (en) * 2018-05-22 2020-01-07 International Business Machines Corporation Dynamically transforming a typing indicator to reflect a user's tone
CN113779238B (zh) * 2020-06-17 2025-03-18 北京沃东天骏信息技术有限公司 数据处理方法、装置、设备及计算机可读存储介质
US11922328B1 (en) * 2023-04-10 2024-03-05 Snowflake Inc. Generating machine-learning model for document extraction

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907571B2 (en) * 2000-03-01 2005-06-14 Benjamin Slotznick Adjunct use of instant messenger software to enable communications to or between chatterbots or other software agents
JP2005531072A (ja) * 2002-06-25 2005-10-13 エイビーエス ソフトウェア パートナーズ エルエルシー チャット及びインスタントメッセージの参加者を監視し、参加者と相互作用するためのシステム及び方法
US7720784B1 (en) * 2005-08-30 2010-05-18 Walt Froloff Emotive intelligence applied in electronic devices and internet using emotion displacement quantification in pain and pleasure space
US20070299919A1 (en) * 2006-06-27 2007-12-27 International Business Machines Corporation Method of initiating automatic actions by an instant messenger service in response to identified incoming messages
US20090048840A1 (en) * 2007-08-13 2009-02-19 Teng-Feng Lin Device for converting instant message into audio or visual response

Also Published As

Publication number Publication date
TW201033819A (en) 2010-09-16
US8122093B2 (en) 2012-02-21
US20100235451A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
TWI379205B (en) Instant communication interacting system and method thereof
JP6992870B2 (ja) 情報処理システム、制御方法、およびプログラム
CN110609620B (zh) 基于虚拟形象的人机交互方法、装置及电子设备
US11455151B2 (en) Computer system and method for facilitating an interactive conversational session with a digital conversational character
US11367435B2 (en) Electronic personal interactive device
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
US11398218B1 (en) Dynamic speech output configuration
JP2019133693A (ja) 可変触覚出力のための意味論的フレームワーク
US12282741B2 (en) Information processing system and information processing method to control behavior of an agent
CN112749956B (zh) 信息处理方法、装置及设备
CN110152314B (zh) 会话输出系统、会话输出服务器、会话输出方法以及存储介质
CN113678133A (zh) 用于对话中断检测的具有全局和局部编码的上下文丰富的注意记忆网络的系统和方法
Miksik et al. Building proactive voice assistants: When and how (not) to interact
Rasmussen et al. I'll knock you when I'm ready... reflecting on media richness beyond bandwidth and imitation
KR20190115517A (ko) 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법
JP7331349B2 (ja) 会話出力システム、サーバ、会話出力方法及びプログラム
JP7123028B2 (ja) 情報処理システム、情報処理方法、及びプログラム
KR102637704B1 (ko) 아동에게 칭찬 메시지를 제공하는 방법 및 그것을 수행하는 서버
JP7550335B1 (ja) システム
CN111844055A (zh) 具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人
CN110807408B (zh) 人物属性识别方法及装置
JP2024148945A (ja) 対話システム、対話方法、および対話プログラム
CN117561709A (zh) 在两者之间的沟通中用于改善向各个人的联系方式的计算机系统、方法及程序
JP2026017353A (ja) システム
JP2025171939A (ja) チャットルームを通じ変換コンテンツを提供する方法、サーバー及び端末

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees