HU226537B1

HU226537B1 - Apparatus and method for detecting emotions

Info

Publication number: HU226537B1
Application number: HU0101836A
Authority: HU
Inventors: Amir Liberman
Original assignee: Amir Liberman
Priority date: 1997-12-16
Filing date: 1998-12-16
Publication date: 2009-03-30
Also published as: HUP0101836A3; EP1038291A1; BR9814288A; CA2313526C; DE69837107T2; PT1038291E; PL341296A1; WO1999031653A1; ATE354159T1; AU770410B2; HUP0101836A1; CA2313526A1; HK1034796A1; US6638217B1; JP4309053B2; DE69837107D1; ES2283082T3; CN1282445A; RU2294023C2; IL122632A0

Description

A leírás terjedelme 26 oldal (ezen belül 12 lap ábra)

HU 226 537 Β1

A találmány tárgya érzelmiállapot-detektáló berendezés, és eljárás érzelmi állapot detektálására.

A WO97/01984 (PCT/IL96/00027) közzétételi iratban legalább egy, személy érzelmi állapotát befolyásoló pszichológiai változó bio-visszacsatolásos szabályozására vonatkozó eljárás van ismertetve. Az eljárásban figyelik a személy beszédének legalább egy érzelmi állapottal összefüggő jellemzőjét, és az ennek során képezett indikátor jelet - összefüggésben az érzelmi állapottal - a személlyel ismertetik. Az eljárás önállóan és telefonos kapcsolatban is alkalmazható, ez utóbbi esetben az indikátor jel a személytől távol keletkezik, és annak érzelmi állapotra vonatkozó megállapításait (vagy paraméter értékeket) beszédben ismertetik a vizsgált személlyel, vagy más úton, pl. Internet útján juttatják el hozzá.

Az európai 94850185 bejelentés 306 664 537 A2 közzétételi iratában beszédből stressz felismerésére alkalmas eljárás és berendezés van ismertetve. A beszédhang egy szekvenciájából beszédmodellt készítenek, amelyet összehasonlítanak a vizsgált beszéddel, és a különbségekből vonnak le következtetést.

Az US 1,384,721 szabadalmi leírásban pszichológiai válasz-elemzésre vonatkozó eljárás és berendezés van ismertetve.

Az US 3,855,416 szabadalmi leírásban bővebb ismertetés található egy fonetikus beszédelemző módszerről és berendezésről, amelyek lényege, hogy igaz/hazug döntést hoznak a vibráló beszéd-energia komponenseinek súlyozásával.

Az US 3,855,417 szabadalmi leírásban bővebb ismertetés található egy fonetikus beszédelemző módszerről és berendezésről, amelyek lényege, hogy igaz/hazug döntést hoznak a vibráló beszéd-energia spektrális energiái tartományainak összehasonlításával.

Az US 3,855,418 szabadalmi leírásban bővebb ismertetés található egy fonetikus beszédelemző módszerről és berendezésről, amelyek lényege, hogy igaz/hazug döntést hoznak a vibráló beszéd-energia vibráló komponenseinek becslésével.

A célunk a találmánnyal a fenti, ismert megoldásoknál sokoldalúbb eljárás és berendezés kialakítása.

A feladat találmány szerinti megoldása érzelmiállapot-detektáló berendezés, amelynek egy személy beszédmintájának hangszegmenseiből intonáció-információt közvetlenül kifejtő hangelemzője van, amely intonáció-információ a beszédmintában található tüskéket és/vagy platókat és/vagy platóhosszakat tartalmaz, továbbá az intonáció-információ alapján érzelmi állapot jellemzőjét képező jelentőegysége van. A találmány szerinti berendezés a beszédmintában tüskeként definiálja azt a mintázatot, amelyben a beszédminta három szomszédos hangszegmensében egy első és egy harmadik hangszegmens nagyobb vagy kisebb értéket mutat, mint a közbenső, második hangszegmens, platóként definiálja azt a lapos szakaszt, amelynek hossza nagyobb, mint egy meghatározott minimumküszöb, és kisebb, mint egy meghatározott maximumküszöb, ahol a lapos szegmensen belül az amplitúdókülönbség két szomszédos szakasz között kisebb, mint egy meghatározott amplitúdóküszöb.

Előnyösen a berendezésnek beszédmintát telefon útján vevő hangelemzője van.

Célszerűen a berendezésnek az intonáció-információ alapján hazugság jellemzőjét képező jelentőegysége van.

Előnyösen a berendezésnek beszédmintából multidimenziós intonáció-információt kifejtő hangelemzője van.

Célszerűen a berendezésnek beszédmintából legalább háromdimenziós intonáció-információt kifejtő hangelemzője van.

Előnyösen a berendezésnek beszédmintából legalább négydimenziós intonáció-információt kifejtő hangelemzője van.

Célszerűen az intonáció-információ tartalmazza a hangszegmens tüskéinek számát, ami egy detektálható érzelmi állapotra, izgalmi állapotra jellemző.

Előnyösen az intonáció-információ tartalmazza a szegmensben talált tüskék számát, és a tüskékre vonatkozó intonáció-információ tartalmazza a tüskék időbeli eloszlását.

Célszerűen az intonáció-információ tartalmazza a hangszegmensben előforduló platók számát, a detektálható érzelmi állapot pszichológiai disszonancia.

Előnyösen az intonáció-információ tartalmazza a hangszegmensben előforduló platók hosszát és egy adott időtartamban mért átlagos hosszát.

Célszerűen egy detektálható érzelmi állapot jellemzője a beszélt szavak és mondatok megformálására fordított gondolatmennyiség.

Előnyösen a beszédminta platóinak hosszára vonatkozó intonáció-információ tartalmaz egy időtartammal összerendelt platóhossz-hibahatárt.

Célszerűen egy detektálható érzelmi állapot a belső feszültség szintje.

Előnyösen egy detektálható érzelmi állapot az őszinteség.

Célszerűen a berendezésnek beszédmintából multidimenziós intonáció-információt mennyiségileg kifejtő hangelemzője, és a multidimenziós, mennyiségi, tüskékkel és/vagy platókkal jellemzett intonáció-információ alapján a beszédmintát szolgáltató személy megbízhatóságára/hazugságára vonatkozó jellemzőjét képező jelentőegysége van.

Előnyösen a berendezésnek periódusos alaphullámmal bíró beszédminta platóinak előfordulási gyakoriságát vizsgáló, és ennek alapján fő beszédhullámra ültetett, helyi alacsonyfrekvenciás alaphullámot kimutató hangelemzője van, továbbá a beszédminta platóinak előfordulási gyakorisága alapján értékelő jellemzőt képző jelentőegysége van.

A találmány szerinti megoldás másrészt eljárás érzelmi állapot detektálására, amelynek során egy személy által generált beszédmintát veszünk, és ebből intonáció-információt bontunk ki, amely intonáció-információ az alábbi információk legalább egyikét tartalmazza: hangszegmensben előforduló tüskék száma, a hangszegmensben előforduló platók száma, a hangszegmensben előforduló platók hossza, majd az into2

HU 226 537 Β1 náció-információ alapján a beszélő személy érzelmi állapotára vonatkozó kijelzést generálunk, a beszédmintában tüskeként definiáljuk azt a mintázatot, amelyben a beszédminta három szomszédos hangszegmensében egy első és egy harmadik hangszegmens nagyobb vagy kisebb értéket mutat, mint a közbenső, második hangszegmens, platóként definiáljuk azt a lapos szakaszt, amelynek hossza nagyobb, mint egy meghatározott minimumküszöb, és kisebb, mint egy meghatározott maximumküszöb, ahol a lapos szegmensen belül az amplitúdókülönbség két szomszédos szakasz között kisebb, mint egy meghatározott amplitúdóküszöb.

Előnyösen beszédmintát telefonbeszélgetésből veszünk.

Célszerűen az intonáció-információ megállapítása során mennyiségileg elemezzük a beszédminta jellemzőit, és a mennyiségi elemzéssel nyert adatok alapján megbízhatóságra, hazugságra vonatkozó állapot jellemzőt képezünk.

Előnyösen az intonáció-információ hangszegmensben található tüskék számára vonatkozó információt tartalmaz, az intonáció-információ kibontása során multidimenziós intonáció-információt képezünk.

Célszerűen az intonáció-információ hangszegmensben található tüskék számára vonatkozó információt tartalmaz, az intonáció-információ megállapítása során mennyiségileg elemezzük a beszédminta tüskéinek számát egy adott, a hangszegmensen belüli időtartamban.

Előnyösen vizsgáljuk az érzelmi állapot izgatottság szintjét.

Célszerűen az intonáció-információ hangszegmensben található tüskék számára vonatkozó információt tartalmaz, az intonáció-információ megállapítását követően a hangszegmensben, adott időtartamban kimutatott tüskék számával jellemzett intonáció-információ alapján képezünk érzelmi állapot jellemzőt.

Előnyösen az intonáció-információ hangszegmensben található platók számára vonatkozó információt tartalmaz, és a hangszegmensen belül, adott időtartamban kimutatott platók számával jellemzett intonáció-információ alapján képezünk érzelmi állapot jellemzőt.

Célszerűen vizsgáljuk a pszichológiai disszonancia érzést.

Előnyösen az intonáció-információ hangszegmensben található platók hosszára vonatkozó információt tartalmaz, az intonáció-információ megállapítása során egy adott időtartamban kimutatott platók átlagos hosszát kiszámítjuk.

Célszerűen a beszélt szavak és mondatok megformálására fordított gondolatmennyiséget vizsgáljuk.

Előnyösen adott időtartamban kimutatott platók hosszához egy időtartammal összerendelt platóhosszhibahatárt rendelünk hozzá.

Célszerűen a belső feszültségszintet vizsgáljuk. Előnyösen a szavahihetőséget vizsgáljuk.

Célszerűen előbb a vizsgált személy érzelmi állapotait nyugalomban jellemző, tüskékkel és/vagy platókkal jellemzett multidimenziós jellemzőt állapítunk meg oly módon, hogy egy első periódusban a vizsgált személy érzelmileg semleges állapotában veszünk fel róla érzelmi állapotfüggő paraméter értékeket, ezek alapján meghatározzuk a személyre semleges állapotban jellemző értéktartományokat, majd egy második, állapotmeghatározó periódusban a személynek ugyanezen érzelmi állapot paramétereit vizsgáljuk, és az így nyert paraméter értékeket a nyugalmi értéktartományokhoz viszonyítva értékeljük.

Az alábbiakban, kiviteli példákra vonatkozó rajz alapján, részletesen ismertetjük a találmány lényegét. A rajzon az

IA. ábra a berendezés alkalmazását szemléltető rajz, az

IB. ábra beszélő érzelmi állapotának on-line megállapítása, egyszerűsített folyamatábra, a

2. ábra hangszegmens bejelölt tüskékkel, a

3. ábra hangszegmens bejelölt platókkal, a

4. ábra Az 1B. ábra szerinti 40 lépés folyamatábrája, az

5. ábra az 1B. ábra szerinti folyamatban igaz/semleges állapotprofilt képező lépés részletesebb folyamatábrája, a

6. ábra az 1B. ábra szerinti 90 lépés részletesebb folyamatábrája, a

7. ábra Az 1B. ábra szerinti 100 lépés részletesebb folyamatábrája, a

8. ábra az 1B. ábra szerinti 105 lépés részletesebb folyamatábrája, a

9. ábra kijelző képernyő vázlatos képe az A függelék szerinti alkalmazás indítása előtt, a

10. ábra kijelző képernyő vázlatos képe az A függelék szerinti alkalmazás kalibrálólépése közben, a

11. ábra kijelző képernyő vázlatos képe az A függelék szerinti alkalmazás egyént tesztelő folyamata közben, a

12. ábra az 1B. ábra szerinti folyamatra alkalmas rendszer vázlatos tömbvázlata.

A jelen leírásnak vannak részletei, amelyek szerzői jogvédelem alatt állnak. A jogtulajdonosnak nincs kifogása az ellen, hogy a szabadalmi bejelentés mellékleteit közzétegyék, a közzétett leírásról vagy kinyomtatott szabadalomról faximile másolatot készítsenek, de a szerzői jogvédelem kiterjed a mellékletek hasznosításának minden más formájára.

Az 1A. ábrán az érzelmiállapot-detektáló berendezés alkalmazása, egy lehetséges alkalmazási szituáció van rajzosán szemléltetve. A telefonvonallal összekapcsolt berendezés előtt ülő személy azt az üzenetet hallja, hogy tíz nap múlva megkapja a kért szállítmányt, ugyanakkor a berendezés a szállító beszéde intonációjának elemzésével kimutatja, hogy a szállító zavarban van, és bizonytalan az ígérete teljesítését illetően.

Az 1B. ábrán egy példaként!, a beszélő érzelmi állapotának on-line megállapítása alkalmas berendezés és eljárás egyszerűsített folyamatábrája van feltüntetve. A folyamat első 10 lépésében definiáljuk a konstansokat, paramétereket, mint a küszöbértékek, határértékek, érzelmi állapotokra jellemző tartományok. A második 20 lépésben beszédmintákat rögzítünk 0,5 mp

HU 226 537 Β1 hosszú hangszegmensekben. A hangszegmensek lehetnek más időtartamúak is, és át is lapolhatják egymást. Az egymással szomszédos hangszegmensek néhány kivételtől eltekintve - csaknem teljesen átlapolhatják egymást. A hangrögzítés lehet digitális vagy analóg, amely utóbbi esetben mintavételezéssel digitalizáljuk a beszédhangmintákat.

Az 1B. ábra következő 30 lépésében elemezzük a hangszegmenseket, és behatárolunk rajtuk olyan jellemző információt tartalmazó helyeket, amelyekben a beszédjellegét nem torzította el háttérzaj. Az egyik leginkább vizsgált paraméter az amplitúdó, kizárjuk a vizsgálatból az egy adott zajküszöb értéket meg nem haladó amplitúdótartományt. Egy hanghullámnak tehát csak a zajküszöb fölé kiemelkedő tartományát vizsgáljuk a továbbiakban.

Előnyösen a hanghullámot a továbbiakban vizsgált tartományban normalizáljuk, azaz egy úgy erősítjük, hogy amplitúdóértékei egy adott szintlépcsőkből álló, pl. ±127 tartományba essenek (8 bites memóriában történő feldolgozáshoz).

A következő 40 lépésben letapogatással meghatározzuk a hanghullámon található, kiértékelésre alkalmas mintázatokat, majd a jel mintázatban található tüskéket és a platókat. Megállapítjuk többek között a meghatározott hibahatárok közötti hosszú platók hosszát.

A „tüske” egy csúcs a jelalakban, amely lehet

a) olyan hangszegmens, amellyel szomszédos két hangszegmens nála kisebb amplitúdójú, vagy

b) olyan hangszegmens, amellyel szomszédos két hangszegmens nála nagyobb amplitúdójú. Előnyösen tüskének tekintjük a jelcsúcsot akkor is, ha a középső hangszegmens eltérése a szomszédos hangszegmens képest csak minimális, a különbségnek tehát nincs alsó küszöbértéke. (Nem vesszük viszont figyelembe a csúcsokat a jelhullám kis amplitúdójú szakaszán, mert ezek inkább zaj, mint beszéd eredetűek lehetnek).

A 2. ábrán egy 32 beszédminta van ábrázolva, ahol be vannak jelölve 34 tüskék.

A 3. ábrán egy 36 beszédminta van ábrázolva, amelyen be van jelölve két 38 plató. 38 platónak nevezzük a hanghullám lényegében állandó szintű szakaszát, amelynek hossza nagyobb, mint egy meghatározott minimum-küszöbérték, és amelynek hossza kisebb, mint egy meghatározott maximum-küszöbérték. A maximum-küszöbértékkel kiküszöbölhető, hogy a hallgatást is platóként értékeljük. Platónak (síknak) a hanghullám olyan szakaszát tekintjük, amelyen az egymást követő legfeljebb öt hangszegmens amplitúdójának különbsége egy küszöbértéken belül van, azaz az amplitúdók lényegében egyformák. A 38 platót a függelékben J (jump), a 34 tüskét T jelöli.

A találmány szerinti rendszer működése két üzemmódot foglal magában:

a) kalibráció - igaz/semleges állapotprofil képzése, a vizsgált személy semleges idegállapotában, amikor tehát például nem hazudik,

b) tesztelés - a vizsgált személy beszédének összehasonlítása az igaz/semleges állapotprofillal, és az eltérésekből következtetés levonása a személy pillanatnyi emocionális állapotára (pl. igazat mond-e vagy hazudik).

A két üzemmód között az 50 lépésben választunk. (1B. ábra) Ha a kalibrációs üzemmódot választjuk, a folyamat 60 lépésben folytatódik. Ha a tesztelés üzemmódot választjuk, a folyamat 90 lépésben folytatódik.

A kalibrációs üzemmód 60 lépésében a 40 lépésben megvizsgált 32, 36 beszédmintában (2., 3. ábrák) kimutatott tüskék és platók adatai kalibrációs táblába íródnak be. A 20-50 lépéseket magában foglaló folyamatot beszédbetápláló eljárásnak nevezhetjük. Ha egynél több rögzített beszédmintát használunk fel a kalibráláshoz, a 20-50 lépésekből álló beszédbetápláló eljárást ismételten lefuttatjuk. A 20 lépéshez történő visszatérés a 70 lépésben választható. Ha mindegyik beszédminta adatainak felvétele és kalibrációs táblába írása megtörtént, egy 80 lépésben a kalibrációs tábla alapján igaz/semleges állapotprofilt képezünk, amit annak a személynek vizsgálatánál alkalmazunk, akinek a beszéde alapján az igaz/semleges állapotprofilt felvettük.

Ez után a folyamat átvált a tesztelés üzemmódra, és a 90 lépésben folytatódik, ahol a beszédbetápláló eljárásban ez után feldolgozott beszédmintákat összehasonlítjuk az igaz/semleges állapotprofillal, és a megtalált különbségekből vonunk le hazugságra vagy izgalmi állapotra vonatkozó következtetést, meghatározott módon. Az állapotprofil jellemzői a tüskék és platók gyakorisága, helye, a platók hossza stb. Az igaz/semleges állapotprofil felvételekor a felvétel kezdetén a vizsgált személy természetes izgalmi állapotba kerülhet (lámpaláz), ezért a kalibrációs eljárás során a kirívó mintákat kizárjuk az értékelésből, és a középponti értékekre helyezünk súlyt.

A 90 lépésben tehát a tüske, plató Információkat hasonlítjuk össze a 80 lépésben felvett igaz/semleges állapotprofil és a frissen kiértékelt hangszegmens összehasonlítása során. Az összehasonlítás eredményének kiértékelése, következtetés levonása a 100 lépésben történik.

A 105 lépésben esetlegesen finomítjuk az eredményt a túlcsordulások lenyesésével, az alap izgalmi állapot kompenzálásával. Az alap izgalmi állapot a vizsgálat folyamán rendszerint csökken, tehát nem állandó. A 105 lépésre vonatkozó példa a 8. ábrán van feltüntetve.

Egy következő, 110 lépésben a 100 lépésben meghozott döntés eredményének (következtetésnek) a kijelzése történik meg.

120 lépésben további hangszegmensek elemzése céljából visszatérhetünk a 20 lépéshez, vagy befejezhetjük a folyamatot. A kalibrációhoz előnyösen öt hangszegmens adatait dolgozzuk fel.

A 4. ábrán az 1B. ábra szerinti 40 lépést kifejtő folyamatábra van feltüntetve. Amint azt említettük, a 40 lépésben meghatározzuk a hanghullámon található, kiértékelésre alkalmas jelalakokat (mintázatokat), igya mintázatokban található tüskéket és platókat, valamint az azokra jellemző információkat, így az alábbi adatokat:

HU 226 537 Β1 jj plató pillanatnyi hossza,

Jjmap(jj) jj hosszú platók száma

Piát platók száma hossztól függetlenül (össz-platószám)

Thorn tüskék száma n a vizsgált beszédmintából vett hangszegmensek száma.

A 150 lépésben a tüske- és platószámlálókat visszaállítjuk 0-ra. A következő 160 lépésben bekeretezzük a hangszegmensben található tüskéket és platókat. A bekeretezést az első mintázaton kezdjük, és az utolsó előtti második mintázatig folytatjuk.

A 164 lépésben feljegyezzük a bekeretezett mintázatok amplitúdóértékeit.

A 170 és 180 lépésben detektáljuk a tüskéket, a 190, 195, 200 és 210 lépésben detektáljuk a platókat.

A 200 lépésben számláljuk azokat a platókat, amelyek hossza az elfogadható tartományba esik, például a 3 és 20 mintavétel közötti hosszú platókat számláljuk, és a számukkal megnöveljük a megfelelő jj plató pillanatnyi hossza és Piát össz-platószám összeszámlált értékét. Ha a plató rövidebb, mint 3 vagy hosszabb, mint 20 mintavétel-távolság, akkor nem tekintjük értékelhető platónak.

A 210 lépésben a jj plató pillanatnyi hossza értéket visszaállítjuk nullára, mindegyik platóra vonatkozóan, akár értékelhető, akár nem értékelhető platóról van szó. A 220 lépés a hangszegmens információit kinyerő folyamat vége, amely a hangszegmens mintavételezéséből származó összes minta kiértékelését követi.

Egy 230 lépésben a platók jjmap platóhossz-változójának AVJ átlagos hosszát és JQ standard hibáját számítjuk ki.

Egy 240 lépésben SPT hangszegmensenkénti átlagos tüskeszám és SPJ hangszegmensenkénti átlagos platószámváltozók értékét számítjuk ki, amely számok előnyösen normalizáltak.

A fenti példa szerinti rendszerben multidimenziós állapotdetektálás történik, azaz a beszédmintából több változó értékét meghatározzuk, kiértékeljük, és ezek alapján vonunk le következtetést. A változók előnyösen egymástól függetlenek, és közbenső számítási termékek.

Az 5. ábrán az 1B. ábra szerinti 80 lépés, igaz/semleges állapotprofil képzésének a kalibrációs tábla alapján végrehajtható folyamatát fejtjük ki 300, 310 és 320 lépésekben. Az 5. ábra szerinti folyamatban SPT(i) i-ik hangszegmens SPT hangszegmensenkénti átlagos tüskeszám (a továbbiakban csak SPT) értéke minSPT m hangszegmensen mért legkisebb SPT hangszegmensenkénti átlagos tüskeszámérték maxSPT m hangszegmensen mért legnagyobb SPT hangszegmensenkénti átlagos tüskeszámérték minSPJ m hangszegmensen mért legkisebb SPJ hangszegmensenkénti átlagos platószám(a továbbiakban csak SPJ) érték maxSPJ m hangszegmensen mért legnagyobb SPJ hangszegmensenkénti átlagos platószámérték minJQ m hangszegmensen mért legkisebb JQ standard hibaérték maxJQ m hangszegmensen mért legnagyobb JQ standard hibaérték.

ResSPT a kalibráció során mért SPT hangszegmensenkénti átlagos tüskeszámértékek, tartalmaz minden értékelhető tüskét, amit a vizsgált személy igaz/semleges nyugalmi állapotában mértünk. Következésképpen, ha a hangszegmensben a tüskék száma eltér a ResSPT-ben foglalt normatívtól, az azt jelenti, hogy az egyén izgalmi, esetleg felizgatott állapotban van. A ResSPT tehát különösen alkalmas bemenőadatként, ismeretlen körülmények között felvett SPT hangszegmensenkénti átlagos tüskeszámadatok kiértékelésére.

ResSPJ a kalibráció során mért SPJ hangszegmensenkénti átlagos platószámértékek, tartalmaz minden értékelhető platót, amit a vizsgált személy igaz/semleges nyugalmi állapotában mértünk. Következésképpen, ha a hangszegmensben a platók száma eltér a ResSPT-ben foglalt normatívtól, az azt jelenti, hogy az egyén nem semleges emocionális állapotban van, hanem belső feszültség, felismerésbeli disszonancia állapotában van. A ResSPJ tehát különösen alkalmas bemenőadatként, ismeretlen körülmények között felvett SPJ adatok kiértékelésére.

ResJQ a kalibráció során nyert JQ standard hibaérték, amely alapvonalértékként szolgál ismeretlen emocionális állapotban kinyert JQ standard hibaértékek értékelésénél. Az alapvonalnak nem szükséges az 5. ábra 300 lépése szerinti négydimenziós alapvonalnak lennie, lehet akár egydimenziós is, vagy lehet sokkal több, mint négydimenziós.

A 300 lépésben az alapvonalat, SPT-t, SPJ-t, JQ-t,

AVJ-t számítjuk ki, a 310 lépésben a minSPT-t, maxSPT-t, minSPJ-t, maxSPJ-t, minJQ-t, maxJQ-t számítjuk ki, a 320 lépésben a ResSPT-t, ResSPJ-t és ResJQ-t határozzuk meg.

A 6. ábrán az 1B. ábra szerinti 90 lépés kifejtése van ábrázolva - egy adott hangszegmensre vonatkozóan. Amint már említettük, a 90 lépésben a tüske-, platóinformációkat hasonlítjuk össze a 80 lépésben felvett igaz/semleges állapotprofil és a frissen kiértékelt hangszegmens összehasonlítása során.

A 6. ábra szerinti első 400 lépésben visszaállítjuk 0-ra a crLIE (hazugság), crSTRESS (feszült állapot), crEXCITE (izgatottság), crTHINK (gondolkodás)=crMSG változók értékét 0-ra. Egy 410 lépésben hasonlítjuk össze a pillanatnyilag vizsgált beszédmintát az igaz/semleges állapotprofillal, és munkáljuk ki az értékek közötti, alábbi különbségeket:

HU 226 537 Β1 zzSPT=(((calSPT/SPT) - BreakpointT)/ResSPT) zzSPJ=(((calSPJ/SPJ) - BreakpointJ)/ResSPJ) zzJQ=(((calJQ/JQ) - BreakpointQ)/ResJQ) zzAVJ=((calAVJ/AVJ) - BreakpointA)

A példában a zz eltérés négydimenziós, amely egyik dimenzió a tüskék száma, másik dimenzió a platók száma, harmadik dimenzió a platóhosszak standard hibája, és a negyedik dimenzió a platók átlagos hossza. A különböző változók (dimenziók) különböző megállaprtások megtételére alkalmasak, így például a tüskék időbeli eloszlása (egyforma, véletlenszerű stb.) is alkalmas a személy emocionális állapotáról következtetés levonására.

BreakpointT egy tartomány-küszöbérték, amely a tüskék számaránya elfogadható tartományát határozza meg (a pillanatnyilag vizsgált és az igaz/semleges állapotprofil között).

BreakpointJ egy tartomány-küszöbérték, amely a platók számaránya elfogadható tartományát határozza meg (a pillanatnyilag vizsgált és az igaz/semleges állapotprofil között).

BreakpointQ egy tartomány-küszöbérték, amely a platók száma standard hibájának elfogadható tartományát határozza meg (a pillanatnyilag vizsgált és az igaz/semleges állapotprofil között).

BreakpointA egy tartomány-küszöbérték, amely a platók átlaghosszának számaránya elfogadható tartományát határozza meg (a pillanatnyilag vizsgált és az igaz/semleges állapotprofil között).

A 420-470 lépésekben a vizsgált személy profiljának új meghatározása történik, a személy pillanatnyilag vizsgált hangszegmensei alapján. A példában csak a ResSPT és ResSPJ változó értékeinek frissítése történik, és az is csak akkor, ha a jelenleg vizsgált hangszegmens megfelelő mintái túlzottan, vagy csak nagyon minimálisan (alsó vagy felső küszöböt átlépve) térnek el az igaz/semleges állapotprofilban rögzített, megfelelő értékektől.

A 460 és 470 lépésben, ha zzSPT és zzSPJ eltérések az igaz/semleges állapotprofiltól csaknem nulla szintűek, akkor a rendszer érzékenységét növeljük ResSPT és ResSPJ értékének lefelé léptetésével. A 480 lépésben a 410 lépésben generált eltérés-összetevők alkalmazásspecifikus kombinációját hozzuk létre. Ezek, például a 7. ábra szerinti kombinációk, érzelmi osztályozáskritériumok alapjául szolgálnak. Az érzelmi osztályozáskritériumok lehetnek: túlzó, őszintéden, köntörfalazó, zavart, bizonytalan, izgatott, szarkasztikus stb. Különböző szituációkban különböző tulajdonságokat (kritériumokat) célszerű figyelni.

Az SPT (tüskék) információ leginkább az izgatottság szintjének meghatározására alkalmas. AzzSPT-t crEXCITE (izgatottság) értékének meghatározására alkalmazzuk, amely függhet egy additív paramétertől, a crSTRESS-től (stressz) is. Ha például a crEXCITE értéke 70 és 120 között van, azt normálisnak tekintjük, ha 120 és 160 között van, azt közepesen izgatott állapotnak tekintjük, és ha 160 felett van, azt nagyfokú izgatottságként értékeljük.

Az ismertetett kialakításban az SPJ (platók) információ leginkább a pszichológiai disszonancia érzésének kimutatására alkalmas. Ha például a zzSPJ értéke 0,6 és 1,2 közötti, azt normálisnak tekintjük, ha a zzSPJ értéke 1,2 és 1,7 közötti, azt zavartságként, bizonytalanságként értékeljük, ha a zzSPJ értéke 1,7 fölötti, azt úgy tekintjük, hogy a beszélő személy figyeli a saját hangját, és megpróbálja azt kontrollálni.

A zzJQ és crSTRESS értékek a stressz szintjének megítélésére alkalmasak. Ha például a crSTRESS értéke 70 és 120 között van, azt normálisnak tekintjük, ha 120 felett van, azt nagyfokú feszültség jeleként értékeljük.

Az AVJ információt annak meghatározására használjuk, hogy mennyi gondolkodás eredménye a minta szerinti beszéd. Ha például a crTHINK (gondolkodás) értéke 100 fölötti, az azt jelenti, hogy az épp vizsgált mondat megalkotása során a személy többet gondolkodott azon, hogy mit mondjon, mint a kalibrálás során, nyugalmi időszakban felvett mondatának kialakításánál.

A crLIE (hazugság) 50 értéke például őszintétlenséget, az 50 és 60 közötti érték szarkazmust vagy humort, a 60 és 130 közötti érték őszinteséget, a 130 és 170 közötti érték felindultság miatti pontatlanságot, a 170 fölötti érték ismét őszintétlenséget jelent.

A 6. ábra szerinti folyamatábrában az alábbi paraméterértékek vannak megemlítve (az A függelék szerinti programnyelv angol, ami nem fordítható magyar nyelvre, de itt, és a függelékben is megadjuk a megértéshez szükséges magyarázatot magyarul):

BreakpointT=BreakpointJ=BreakpointQ=BreakpointA=1,1 (tartomány-küszöbértékek:) T=J=Q=A= 1,1)

CeilingT=Cei ling J=1,1 (felsőhatárT=felsőhatár J=1,1)

FloorJ=FloorT=-0,6 (alsóhatárJ=alsóhatárT—0,6) lncrementT=lncrementJ=DecrementT=DecrementJ=0,1 (növekményT=növekményj=csökkenésT=csökkenésJ=0,1)

MinimalT=MinimalJ=0,1 (minimálisT=minimálisJ=0,1)

Megjegyezzük, hogy mindegyik fenti, számszerű érték csak példa, a tényleges értékek jellemzően alkalmazásfüggőek.

A 7. ábrán a különböző paraméterek megállapításokká, üzenetekké alakításának példaként! folyamatábrája van feltüntetve.

A 8. ábrán az igaz/semleges állapotprofil finomhangolásának folyamata van szemléltetve.

Az A függelék egy számítógépes programtábla, amelynek lefolyása kissé különbözik a fenti példában leírtaktól.

Egy alkalmazásszoftver készítésének használható módszere az alábbi:

a) új tervezet készítésére olyan PC-t alkalmazunk, amely rendelkezik mikrofonnal, hangkártyával, Vi6

HU 226 537 Β1

a) új tervezet készítésére olyan PC-t alkalmazunk, amely rendelkezik mikrofonnal, hangkártyával, Visual Basic™ Version 5 szoftverrel. A beszédminták felvételére a hangkártyán 11 kHz, 8 bit, mono, PCM beállításokat teszünk.

b) Timer’ időzítőt állítunk be a formátumba, szokott módon úgy, hogy az megjelenjen a programban.

c) mmcontroll MCI multimédia kontrollt állítunk be a formátumba.

d) öt megnevezés helyet állítunk be a formátumba. Ezek nevei: label 1, label 2, label 3, label 4, label 5.

e) Négy megnevezés készletet állítunk be a formátumba. Ezek nevei: SPT(0...4), SPJ(0...4), JQ(0...4), AVJ(0...4).

f) Utasítás gombot (command 1 ”) állítunk be a formátumba, és a gomb tulajdonságát „Vége” funkcióra állítjuk.

g) form 1” fejlécű formátum számára az A függelék megfelelő oldalszámára mutató kódot építünk be a programba.

h) Feeling_detector” fejlécű modul számára az A függelék megfelelő oldalszámára mutató kódot építünk be a programba.

i) Mikrofont kapcsolunk a PC számítógéphez.

j) F5 megnyomásával, vagy ”run utasítással elindítjuk az alkalmazást.

A 9. ábrán a fenti, alkalmazásszoftver készítés során látható képernyő vázlatos rajza van feltüntetve, közvetlenül az alkalmazás elindítása előtti fázisban. Az ábra jelöléseinek tartalmát (label 1-5, SPT stb.) fentebb ismertettük.

A 10. ábrán a fenti, alkalmazásszoftver futtatása során látható képernyő vázlatos rajza van feltüntetve, a rendszer egy vizsgálandó személyre történő kalibrálásának fázisában.

A 11. ábrán a fenti, alkalmazásszoftver futtatása során látható képernyő vázlatos rajza van feltüntetve, a vizsgálandó személy tesztelése fázisában.

Az A függelékben CoR_msgX változó értékei az alábbiak:

1=igaz, 2=szarkazmus, 3=izgatottság, 4=zavartság/bizonytalanság, 5=nagyfokú izgalom, 6=hang manipulálása, 7=hazugság/hamis állítás, 8=felindultság/pontatlanság.

Az adathordozó változók ebben a szakaszban cor_kezdetűek, cal_kezdetűek az alapvonal-tényezők, bp_kezdetűek a törésponttényezők nevei. ResSPT és ResSPJ nevei: ResT és ResJ.

A 12. ábrán az érzelmi állapot detektáló rendszer egyszerűsített tömbvázlata van feltüntetve. A rendszer az 1B. ábra szerinti folyamat lefuttatására alkalmas. A rendszer számítógépes 735 munkaállomásának hangbemenetére 700 magnetofon, 710 mikrofon vagy 720 telefon, esetleg 730 más forrás van csatlakoztatva, amelyek alkalmasak beszédminta 735 munkaállomás 740 A/D konverterére juttatására. Egy 750 hangablakfelvevőegység a beszédmintából hangszegmenseket képez, amely hangszegmenseket egy 760 hangablakelemző dolgoz fel. A vizsgálandó személy kalibrációs adatai (igaz/semleges profilja) egy 770 kalibrációs adattárolóban vannak tárolva, ezekkel hasonlítja össze a 760 hangablakelemző a 750 hangablakfelvevőtől vett, elemzendő hangszegmenseket. A 760 hangablakelemző kimenetére 780 kijelző/nyomtató van csatlakoztatva, amelyen a használó által olvasható formában megjelennek az érzelmi állapotra vonatkozó megállapítások.

Az 1B. ábra szerinti folyamatot megvalósító eszközök lehetnek szoftver és hardver elemek. A szoftver előnyösen egy ROM memóriában tárolható.

Megjegyezzük, hogy az A függelékben közölt számítógépes program csak példaként!, kiegészítő információ, amely a találmány rendkívül részletes bemutatására szolgál, a találmány nem korlátozódik erre, és a rendszer ennek ismerete nélkül, a leírás alapján megvalósítható. A találmány szerinti rendszer egységeit az érthetőség szempontjai szerint csoportosítottuk, de a rendszer más egységekkel, az egységek más csoportosításában, tetszés szerinti, a célra alkalmas kombinációban megvalósítható.

A függelék

Véleményező programkód:

Forrni (1. formula)

Priváté Sub Commandl_Click()

End

End Sub

Priváté Sub Form_Load() (formula betöltése) ’Set properties needed by MCI to open.

(vizsgálandó tulajdonságok megnyitása) a=mciSendString(setaudio waveaudio algorithm pcm bitspersample to 8 bytespersec to 11025 input volume to 100 source to average”, 0,0,0) MMControll.Notify=False (téves)

MMControll.Wait=True (igaz)

MMControll.Shareable=False (téves)

MMControll.DeviceType=”WaveAudio (hanghullámok) MMControll.filename=”C:\buf.WAV” ’Open the MCI WaveAudio device. (beszédminta megnyitása)

MMControll.Command=”Open” 'Oefine constants (állandók definiálása)

CR BGIevel=15’ Background level barrier (szintkorlát) CR BGfilter=3’ Vocal wave smoother (beszéd hullámszűrő) CR DATAstr=”” ’Reset Data String (visszaállítás) CR mode=1

CONS SARK=50

CONS LIE 11 =130:CONS LIE 12=175

CONS LowzzT=-0.4:CONS HighzzT=0.3 CONS LowzzJ=0.2:CONS HighzzT=0.7 CONS RÉS SPT=2:CONS RÉS SPJ=2 CONSBGfiler=3 ’Set timer object to work every 0.5 s (időzítő 0,5 mp-re beállítása)

Timeri .lnterval=500

Timeri .Enabled=T rue

HU 226 537 Β1

'set display Labell.Caption=System decision	(rendszer döntés)		been=been+1
Label2.Caption=”Global stress:	(feszült állapot)		Select Case CoR msgX
Label3.Caption=’’Excitement:”	(izgatottság)		Case 0
Label4.Caption=”Lie stress:”	(hazugság)	5	ans=”background nőise”	(zajos háttér)
MMControl 1. Visible=False	(tévedés)		Case 1
End Sub			ans=TRUE Case 2	(igaz)
Priváté Sub Timer1_Timers()			ans=Outsmart	(furfang)
Static been		10	Case 3
On Error Resume Next			ans=”Excitement	(izgalom)
MMControll.Command=”stop			Case 4
MMControll.Command=”save”			ans=”Uncertainty	(bizonytalanság)
MMControll.Command=”close”		15	Case 5 ans=”High excitement	(fokozott izgalom)
’read data from fiié (adatkiolvasás fájlból)		Case 6
ff=MMControll.filename			ans=”Voice manipulation/Avoidance/Emphasizing
Dim kk As String*6500			(hangelváltoztatás/kikerülés/hangsúlyozás)
kk=Space(6500)			Case 7
Open ff Fór Binary Access Read As #1	20	ans=”LIE”	(hazugság)
Get#1,50,kk			Case 8
Close#1			ans=”lnaccuracy”	(pontatlanság)
Killff			End Select Labell.Caption=ans
MMControll.Command=”open” a=MMControll ErrorMessage		25	End Sub
MMControll.Command=”record”	(rögzítés)		Sub Calibrate()
CR_DATAstr=kk
If OPstat=0 Then		30	Call CUT_sec
OP_stat=1 ’first round or after recalibration demand		If CR noSMP<800 Then
(újrakalibrálás kérése utáni első forduló)		'no samples	(nincs beszédminta)
			CoR msgX=-1
been=0 End If			Exit Sub
If been < 5 Then		35	End If
Labell.Caption=”Calibrating..”	(kalibrálás)		'Scan thoms	(T tüskék számlálása)
Call Calibrate ’Perform calibration			CONS RES_SPT=2
get calibration status by CR msgX			CONS RES_SPJ=2

If CoR msgX > -1 Then ’ good sample	40	Call scanTJ
(jó beszédminta)	If lnt(CoR spT)=0 Or lnt(CoR AVjump)=
been=been+1		0 Or lnt(CoR QJUMP)=0 Or
End If Exit Sub		lnt(CoR SPJ)=0
Else		Then
OP_stat=2’Checking status	45	CoR msgX=-1
Call CHECK		Exit Sub
’get segment status by CR msgX		End If
End If		tot_T=0:tot_J=0:tot_JQ=0:tot_avj=0
If CoR msgX < 0 Then Exit Sub ’		minspT = 1000:minspJ=1000:min JQ=1000
nőt enough good samples	50
(nincs elég jó beszédminta)		Fór a=0 to 4
		If SPT(a).Caption=0 And SPJ(a).Caption=0 Then
Label4.Caption=”Lie stress.:”+Format(lnt(CR LIE))	SPT(a).Caption=lnt(CoR spT)
	(hazugság)	SPJ(a).Caption=lnt(CoR SPJ) JQ(a).Caption=
Labei2.Caption-'Global stress:	55	lnt(CoR QJLJMP) (J platók felismerése)
+Format(lnt(CR STRESS))	(feszültség)
Label3.Caption=Excite Rate: ”		AVJ(a).Caption=lnt(CoR AVjump)
+Format(lnt(CR EXCITE))	(izgalom)	Exit Fór
Label6.Caption=”Thinking Rate:”		End If
+Format(lnt(CR THINK)) (gondolkodás) 60	tot_T=tot_T+SPT (a)

HU 226 537 Β1 tot_J=tot_J+SPJ(a) tot_JQ=tot JQ+JQ(a) tot_avj=tot_avj+AVJ(a)

Új modul programkód:

Feelings detector ’Declaration section (deklaráló szekció)

If Val(SPT(a).Caption) < minspT Then minspT=Val(SPT(a).Caption)

If Val(SPT(a).Caption) > maxspT Then maxspT=Val(SPT (a).Caption)

If Val(SPJ(a).Caption) < minspJ Then minspJ=Val(SPJ(a).Caption)

If Val(SPJ(a).Caption) > maxspJ Then maxspJ=Val(SPJ(a).Caption)

If Val(JQ(a),Caption) < minJQ Then minJQ=Val(JQ(a).Caption)

If Val(JQ(a).Caption) > maxJQ Then maxJQ=Val(JQ(a).Caption)

Next a ’calc current CAL factors (kalibrációs tényezők számítása)

CAL_spT=(tot_T+lnt(CoR_spT))/(a+1)

CAL_spJ=(tot_J+lnt(CoR_SPJ))/(a+1)

CAL_JQ=(tot_JQ+lnt(CoR_QJUMP))/(a+1)

CAL_AVJ=(tot_avj+lnt(CoR_AVjump))/(a+1) ’calc resolution per factor (eredmény kalibrálása)

On Error Resume Next

If a> 1 Then res_T=maxspT/minspT res_J=maxspJ/minspJ

End If

CoR_msgX=0

End Sub

Sub CHECK0 (ellenőrzés)

Call CUT_sec

If CRnoSMP < 800 Then 'no samples

CoR msgX=-1

Exit Sub

End If

CONS_RES SPT=2

CONS_RES SPJ=2

Call scan_TJ

If lnt(CoR spT)=0 Or lnt(CoR AVjump)=

Or lnt(CoR QJLTMP)=0 Or lnt(CoR SPJ)=0 Then

CoR msgX=-1

Exit Sub

End If

Call analyze Call decision (hívás elemzése) (hívásról döntés) ’Fine tune cal factors (finom kalibrálás)

CAL_spT=((CAL_spT*6)+CoR_spT)\7

CAL_spJ=((CAL,_spJ*6)+CoR_SPJ)\7

CAL_JQ=((CAL_JQ*9)+CoR_QJUMP)\10

CAL_AVJ=((CAL_AVJ*9)+CoR_AVjump)/10

End Sub

Global Fname fiié name

Global CR_BGfilter’ - BackGround Filter (háttér-szűrő) Global CR_BGIevel ’- BackGround level (háttér-szint) Global CR_DATAstr

Global CR_noSMP nomber of samples (beszédminták száma)

Global res_J, rés T

Global CoR_spT, CoR_SPJ, CoR_AVjump, CoR_QJIJMP

Global CoR_msgX, CR_retDATAstr

Global SMP(10000) As Integer

Global OP_stat ’ Calibration factors (kalibrációs tényezők)

Global CAL._spJ, CAL,_spT

Global CAL_JQ, CAL_AVJ

Global BP_J, BP_T’- CALIBRATION break points (töréspontok)

Global WI_J, WI_T, WI_JQ’Wigth of factors in calc. (súlyozás)

Global CR_zzT, CR_zz1

Global CR_STRESS, CR_LIE, CR_EXCITE,

CR_THINK

Global CR_RESfilter’ - resolution filter (eredmény-szűrő) ’Constants fór decision (döntés-állandók)

Global CONS_SARK Global CONS_LIE11, CONSJJE12 Global CONSJ-owzzT, CONS_HighzzT

Global CONSJ-Owzzj, CONS_HighzzT Global CONS_RES_SPT, CONS_RES_SPJ

Declare Function mciSendString Lib „winmm.dll” Alias „mciSendStringA” (ByVal IpstrCommand As String,

ByVal IpstrRetumString As String, ByVal uReturnLength As Long, ByVal hwndCallback As Long) As Long

Sub analyze() (részleges elemzés)

On Error Resume Next CR LIE=0 CR STRESS=0 CR EXCITE=O

If (CoR_spT=0 And CoR_SPJ=0) Or CR_noSMP=

Then

CR_msg=”ERROR”

Exit Sub End If

If CoR_SPJ=0 Then CoR_SPJ=1

If CoR_spT=0 Then CoR_spT=1 On Error Resume Next rrJ=res_J: rrT=res_T

BP_J=1.1:BP_T=1.1

HU 226 537 Β1

zz spj=(((CAL_spJ/lnttCoR_SPJ)) - BP_J)/rrJ)		CoR volume=3 ’ default (alapérték)
If zz_spj > -0.05 and zz spj < 0.05 Then rés J=res J -		CR minSMP=800 'default (alapérték)
0.1		free=FreeFile
If res_J < 1.3 Then res_J=1.3		’Break CR_DATAstr to bytes (adatok bájtokba
	5	rendezése)
If zz_spj < -0.6 Then		LocA=1:LocB=1
zz_spj=-0.6		BGAmin=0
res_J=res J+O.l End If		BGAmax=0
If zz_spj> 1.2 Then		MAXvolume=0
zz_spj=1.2	10	TestP=0
res_J=res_J+0.1 End If		BR_LOW=-128
If res_J > 3.3 Then res_J=3.3 CR_zzl=zz_spj		BRJ_high=-128 ddd=-128
zz_spT=(((CAI,_spT/CoR_spT)-BP_T)/rrT)	15	ddd=lnt(ddd*(CoR_volume/3))
CR_zzT=zz_spT		ddd=(ddd\CR_BGfilter)*CR_BGfilter
If zz_spT > -0.05 And zz_spT < 0.05 Then		If CR_AUTOvol=1 Then
res_T=res_T - 0.1		’apply autó volume detect
If res_JT <1.3 Then res_JT=1.3	20	aut. szabályozás alkalmazása
If zz_spT<-0.6 Then		MAXvolume=0
zz_spT—0.6		Fór a=1 To Len(CR_DATAstr)
res_T+0.1 End If	25	ccc=Asc(Mid$(CR_DATAstr, a, 1))
If zz_spT> 1.2 Then		ccc=ccc-128
zz_spT=1.2 rés T=res T+0.1		ccc=(ccc\CR_BGfilter)*CR_BGfilter
End If		If (ccc > CR_BGIevel Or ccc < 0-CR_BGIevel) And ccc
If res_T > 3.3 Then res_T=3.3	30	> ddd Then
WI_J=6:WI_T=4		If Abs(ccc) > MAXvolume Then MAXvolume=
CR_STRESS=lnt((CoR_QJUMP/CAL_JQ)*100)		Abs(ccc)
ggwi=WI_J*WI_T		If StartPos=0 Then StartPos=a
CR_LIE=((zz_spT+1)WI_T)((zz_spJ+1)*WI_J)		OKsmp=OKsmp+1
CR_LIE=((CR_LIE/ggwi))*100	35	End If
CR_LIE=CR_LIE+lnt((CoR_QJUMP -		If MAXvolume > 110 Then Exit Fór
CAL_JQ)*1.5)		Next a
CR_THINK=lnt((CoR_AVjump/CAL_AVJ)100) CR_EXCITE=((((((CR_zzT)/2)+1 )100)*9)+		If OKsmp<10 Then
CR_STRESS)/10	40	CR_msg=Not enough samples!” (nincs elegendő minta)
2. fázis vége		CR_noSMP=0
If CRLIE > 210 Then CR_LIE=210		Exit Sub
If CR_EXCITE > 250 Then CR_EXCITE=250		End If
If CR_STRESS > 300 Then CR_STRESS=300	45	CoR_volume=lnt(360/MAXvolume)
If CR_LIE < 30 Then CR_LIE=30		If CoR_volume >16 Then CoR volume=3
If CR_EXCITE < 30 Then CR_EXCITE=30		End If
If CR_STRESS < 30 Then CR_STRESS=30		On Error Resume Next
End Sub		direct=””: DR flag=0 MAXvolume=0
	50	LocA=0
Sub CU’T_sec()		Done=0
CR_noSMP=0		89 Fór a=StartPos To Len(CR_DATAstr) -1 ccc=Asc(Mid$(CR_DATAstr, a, 1)):ccd=
If CR_DATAstr=”” Then	55	Asc(Mid$(CR_DATAstr, a+ 1, 1))
CR msg-'ERROR! - No data provided”		ccc=ccc -128:ccd=ccd -128
Exit Sub		ccc=lnt(ccc*(CoR_volume/3))
End If		ccd=lnt(ccd*(CoR_volume/3))
CR_AUTOvol=1 ’ Autó amplifier (automatikus		ccc=(ccc\CR_BGfilter)*CR_BGfilter ccd=
erősítésszabályozás)	60	(ccd\CR_BGfilter)*CR_BGfilter

HU 226 537 Β1

If (ccc > CR_BGIevel Or ccc < 0-CR BGlevel) And ccc > ddd Then

If Abs(ccc) > MAXvolume Then MAXvolume=Abs(ccc) fl=fl+1 End If lffl>5Then SMP(LocA)=ccc

If BR_high < ccc Then BRJ_high=ccc If BR_LOW > ccc Or BR_LOW=-128 Then

BR_LOW=ccc

If (SMP(LocA) > 0 - CR_BGIevel And SMP(LocA) < CR BGlevel) Or SMP(LocA)=ddd Then blnk=blnk+1 Else blnk=0 End If

If blnk>1000 Then LocA=LocA - 700 Done=1

If LocA > CR_minSMP Then Exit Fór

Done=0

LocA=0 fl=2:blnk=0

BR_LOW=-128:BR_high=-128 End If

LocA=LocA+1 End If Next a Err=O

CR_noSMP=LocA

If CR_noSMP < CR_minSMP Then

CR_msg=”Not enough samples!”

Exit Sub

End If

CR_msg-'Completed O.K.

End Sub

Sub decision()

If CR_zzT=0 And CR_zzJ=0 And (CL_spJ <> lnt(CoR_SPJ)) Then

CR_msg=”ERROR! - Required parameters missing!” (paraméterek hiányoznak)

Exit Sub End If

If CR_STRESS=0 Or CR_LIE=0 Or CR_EXCITE=

Then

CR_msg=”ERROR! - Required calculations missing!” (hiba)

Exit Sub End If

CR msgCode=0

CoR_msgX=0

Sark=0 lfCR_LIE<60 Then CoR msgX=2

Exit Sub End If

5555 If ((CR_zzJ+1)*100) < 65 Then

If ((CR_zzJ+1)*100) < 50 Then sark=1

CR_zzl=0.1

End If

If ((CR_zzT+1)*100) < 65 Then

If ((CR_zzT+1)*100) < CONS_SARK Then sack=sark+1

CR_zzT=0.1

End If

LIE_BORD1=CONS_LIE11: LIE_BORD2= CONS_LIE12

If CR_LIE < LIE_BORD1 And CR_STRESS < LIEBORD1 Then

CR_msgCode=CR_msgCode+1

End If

If CR_LIE > LIE_BORD1 And CR_LIE <

LIE_BORD2 Then CoR_msgX=8 Exit Sub

End If

If CR_LIE > LIE BORD2 Then

If CR_msgCode < 128 Then CR_msgCode=CR msgCode+128

End If

If CR_zzJ > CONS_Lowzzl Then

If CR_zzl > CONS_HighzzT Then

CR_msgCode=CR_msgCode+64

Else

CR_msgCode=CR_msgCode+8

End If

If CR_EXCITE > LIE_BORD 1 Then

If CR_EXCITE > LIE_BORD2 Then

If (CR_msgCode And 32)=False Then CR_msgCode CR msgCode+32

Else

If (CR_msgCode And 4)=False Then CR_msgCode= CR msgCode+4

End If

If CR_msgCode < 3 Then

If sack=2 Then

CR_msgCode=-2

CoR_msgX=2

Exit Sub

End If

If sark=1 Then

If (CR_zzT > CONS_LowzzT And CR_zzT < CONS_HighzzT) Then

CR_msgCode=-1

CoR msgX=2

Else

HU 226 537 Β1

If CR_zzT > CONS_HighzzT Then CoR_msgX=7 jump=0

End If

thorns=0

If (CR_zzl > CONS_LowzzT And CR_zzJ <

BIGthorns=0

CONS_HighzzT) Then

Fór a=1 To CR_noSMP

CR_msgCode=-1

CoR_msgX=2 jjt 1=SMP(a): jjt2=SMP(a+1): jjt3=SMP(a+2) 'scan thorns (tüskék számlálása)

Else

If (jjt1 < jjt2 And jjt2 > jjt3) Then

If CR_zzJ > CONS_HighzzT Then CoR_msgX=7

If jjt 1 > 15 And jjt2 > 15 And jjt3 > 15 Then

End If thorns=thorns+1

End If

Exit Sub End If

If (jjt 1 > jjt2 And jjt2 < jjt3) Then

CR_msgCode=1 CoR_msgX=1

If jjt 1 < -15 And jjt2 < -15 And jjt3 < -15 Then

Exit Sub

thoms=thorns+1

End If

If CR_msgCode > 127 Then

If (jjt1 > jjt2—5) And (jjt1 < jjt2+5) And (jjt3 >jjt2—5) And

CoR_msgX=7

(jjt3 < jjt2+5)

Exit Sub

Then sss=sss+1 Else

End If

If sss >=CR_minJL7MP And sss <=CR_maxJLTMP Then

If CR_msgCode > 67 Then

jump=jump+1

CoR_msgX=8

jjump(sss)=jjump(sss)+1

Exit Sub

End If

If CR_msgCode > 63 Then sss=0

End If

CoR_msgX=6

Next a

Exit Sub

AVjump=0

End If

If CR_msgCode > 31 Then

JLJMPtot=0

CR_QJUMP=0

CoR_msgX=5

Fora=1 To 100

Exit Sub

JUMPtot=JCJMPtot+jjump(a)

AVjump=AVjump+(jjump(a)*a)

End If

Next a

If CR_msgCode > 7 Then

If JUMPtot > 0 Then cr_AVjump=AVjump/JLTMPtot

CoR_msgX=4

Fór a=1 To 100

Exit Sub

If jjump(a) > 1 Then QJLTMP=QJLJMP+

End If ((jjump(a)*Abs(cr_AVjump-a)))’jjump(a))

If CR_msgCode > 3 Then

Next a

CoR_msgX=3

CoR_spT=(lnt(((thorns)/CR_noSMP)*1000)/CONS_

Exit Sub

RES_SPT)

End If

CoR_SPJ=(lnt(((jump)/CR_noSMP)*1000)/CONS_

CoR_msgX=1

RÉS SPJ)

End Sub

CoR_QJUMP=Sqr(QJUMI’)

CoR_AVjump=cr_AVjump

Sub scan TJQ (résszámftás)

CR_msg=Thorns & Jumps scan

ReDim jjump(IOO) completed O.K” (tüskék és ugrások

CR_msg=”

feldolgozása kész)

TestP=CR_noSMP

CR_spT=0 CR_SPJ=0

If TestP<=0 Then

End Sub

CR_msg=No. of samples nőt transmitted!

(át nem vitt minták száma)

Exit Sub

Claims

SZABADALMI IGÉNYPONTOK

Endlf

1. Érzelmiállapot-detektáló berendezés, amelynek

CR_minJtlMP=3 ’ default

egy személy beszédmintájának (32) hangszegmenseiCR_maxJLTMP=20 ’ default ből intonáció-információt közvetlenül kifejtő hangelem12

HU 226 537 Β1 zője van, amely intonáció-információ a beszédmintában található tüskéket és/vagy platókat és/vagy platóhosszakat tartalmaz, továbbá az intonáció-információ alapján érzelmi állapot jellemzőjét képező jelentőegysége van, azzal jellemezve, hogy a berendezés a beszédmintában tüskeként definiálja azt a mintázatot, amelyben a beszédminta három szomszédos hangszegmensében egy első és egy harmadik hangszegmens nagyobb vagy kisebb értéket mutat, mint a közbenső, második hangszegmens, platóként definiálja azt a lapos szakaszt, amelynek hossza nagyobb, mint egy meghatározott minimumküszöb, és kisebb, mint egy meghatározott maxlmumküszöb, ahol a lapos szegmensen belül az amplitúdókülönbség két szomszédos szakasz között kisebb, mint egy meghatározott amplitúdóküszöb.
2. Az 1. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy beszédmintát (32) telefon (720) útján vevő hangelemzője van.
3. Az 1. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy az intonáció-információ alapján hazugság jellemzőjét képező jelentőegysége van.
4. Az 1-3 igénypontok bármelyike szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy beszédmintából multidimenziós intonáció-információt kifejtő hangelemzője van.
5. A 4. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy beszédmintából legalább háromdimenziós intonáció-információt kifejtő hangelemzője van.
6. A 4. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy beszédmintából legalább négydimenziós intonáció-információt kifejtő hangelemzője van.
7. Az 1. Igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy az intonáció-információ tartalmazza a hangszegmens tüskéinek számát, ami egy detektálható érzelmi állapotra, izgalmi állapotra jellemző.
8. Az 1. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy az intonáció-információ tartalmazza a szegmensben talált tüskék számát, és a tüskékre vonatkozó intonáció-információ tartalmazza a tüskék időbeli eloszlását.
9. Az 1. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy az intonáció-információ tartalmazza a hangszegmensben előforduló platók számát, a detektálható érzelmi állapot pszichológiai disszonancia.
10. Az 1. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy az intonáció-információ tartalmazza a hangszegmensben előforduló platók hosszát és egy adott időtartamban mért átlagos hosszát.
11. A 10. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy egy detektálható érzelmi állapot jellemzője a beszélt szavak és mondatok megformálására fordított gondolatmennyiség.
12. A 10. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy beszédminta platóinak hosszára vonatkozó intonáció-információ tartalmaz egy időtartammal összerendelt platóhossz-hibahatárt.
13. A 12. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy egy detektálható érzelmi állapot a belső feszültség szintje.
14. A 7. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy egy detektálható érzelmi állapot az őszinteség.
15. Az 1. igénypont szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy beszédmintából (32) multidimenziós intonáció-információt mennyiségileg kifejtő hangelemzője, és a multidimenziós, mennyiségi, tüskékkel és/vagy platókkal jellemzett intonációinformáció alapján a beszédmintát szolgáltató személy megbízhatóságára/hazugságára vonatkozó jellemzőjét képező jelentőegysége van.
16. Az 1-6., 9-13. igénypontok bármelyike szerinti érzelmiállapot-detektáló berendezés, azzal jellemezve, hogy periódusos alaphullámmal bíró beszédminta (32) platóinak (38) előfordulási gyakoriságát vizsgáló, és ennek alapján fő beszédhullámra ültetett, helyi alacsonyfrekvenciás alaphullámot kimutató hangelemzője van, továbbá a beszédminta (32) platóinak (38) előfordulási gyakorisága alapján értékelő jellemzőt képző jelentő egysége van.
17. Eljárás érzelmi állapot detektálására, amelynek során egy személy által generált beszédmintát (32) veszünk, és ebből intonáció-információt bontunk ki, amely intonáció-információ az alábbi információk legalább egyikét tartalmazza: hangszegmensben előforduló tüskék száma, a hangszegmensben előforduló platók száma, a hangszegmensben előforduló platók hossza, majd az intonáció-információ alapján a beszélő személy érzelmi állapotára vonatkozó kijelzést generálunk, azzal jellemezve, hogy a beszédmintában tüskeként definiáljuk azt a mintázatot, amelyben a beszédminta három szomszédos hangszegmensében egy első és egy harmadik hangszegmens nagyobb vagy kisebb értéket mutat, mint a közbenső, második hangszegmens, platóként definiáljuk azt a lapos szakaszt, amelynek hossza nagyobb, mint egy meghatározott minimumküszöb, és kisebb, mint egy meghatározott maximumküszöb, ahol a lapos szegmensen belül az amplitúdókülönbség két szomszédos szakasz között kisebb, mint egy meghatározott amplitúdóküszöb.
18. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy beszédmintát telefonbeszélgetésből veszünk.
19. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy az intonáció-információ megállapítása során mennyiségileg elemezzük a beszédminta (32) jellemzőit, és a mennyiségi elemzéssel nyert adatok alapján megbízhatóságra, hazugságra vonatkozó állapotjellemzőt képezünk.
20. A 17-19. igénypontok bármelyike szerinti eljárás, azzal jellemezve, hogy az intonáció-információ hangszegmensben található tüskék számára vonatkozó információt tartalmaz, az intonáció-információ kibontása során multidimenziós intonáció-információt képezünk.

HU 226 537 Β1
21. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy az intonáció-információ hangszegmensben található tüskék számára vonatkozó információt tartalmaz, az intonáció-információ megállapítása során mennyiségileg elemezzük a beszédminta tüskéinek számát egy adott, a hangszegmensen belüli időtartamban.
22. A 21. igénypont szerinti eljárás, azzal jellemezve, hogy vizsgáljuk az érzelmi állapot izgatottságszintjét.
23. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy az intonáció-információ hangszegmensben található tüskék számára vonatkozó információt tartalmaz, az intonáció-információ megállapítását követően a hangszegmensben, adott időtartamban kimutatott tüskék számával jellemzett intonáció-információ alapján képezünk érzelmi állapot jellemzőt.
24. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy az intonáció-információ hangszegmensben található platók számára vonatkozó információt tartalmaz, és a hangszegmensen belül, adott időtartamban kimutatott platók számával jellemzett intonáció-információ alapján képezünk érzelmi állapot jellemzőt.
25. A 24. igénypont szerinti eljárás, azzal jellemezve, hogy vizsgáljuk a pszichológiai disszonancia érzést.
26. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy az intonáció-információ hangszegmensben található platók hosszára vonatkozó információt tartalmaz, az intonáció-információ megállapítása során egy adott időtartamban kimutatott platók átlagos hosszát kiszámítjuk.
27. A 24. igénypont szerinti eljárás, azzal jellemezve, hogy a beszélt szavak és mondatok megformálására fordított gondolatmennyiséget vizsgáljuk.
28. A 26. igénypont szerinti eljárás, azzal jellemezve, hogy adott időtartamban kimutatott platók hosszához egy időtartammal összerendelt platóhossz-hibahatárt rendelünk hozzá.
29. A 28. igénypont szerinti eljárás, azzal jellemezve, hogy a belső feszültségszintet vizsgáljuk.
30. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy a szavahihetőséget vizsgáljuk.
31. A 17. igénypont szerinti eljárás, azzal jellemezve, hogy előbb a vizsgált személy érzelmi állapotait nyugalomban jellemző, tüskékkel és/vagy platókkal jellemzett multidimenziós jellemzőt állapítunk meg oly módon, hogy egy első periódusban a vizsgált személy érzelmileg semleges állapotában veszünk fel róla érzelmi állapotfüggő paraméterértékeket, ezek alapján meghatározzuk a személyre semleges állapotban jellemző értéktartományokat, majd egy második, állapotmeghatározó periódusban a személynek ugyanezen érzelmi állapot paramétereit vizsgáljuk, és az így nyert paraméter értékeket a nyugalmi értéktartományokhoz viszonyítva értékeljük.

HU 226 537 Β1

Int. Cl.: G10L 17/00

HU 226 537 Β1

Int. Cl.: G10L 17/00

1B. ábra konstansok megállapítása (INIT.CONSTS)

0,5 mp. hosszú beszédminták _rögzítése_

I beszédminták szintszabályozása adott tartományba illesztése (CUT.SEC) mintavételezés, tesztparaméterek kiszámítása (Scan TJ) - 4, ábra igaz/semleges állapotprofiltól eltérés számítása eredmények elemzése, kimenő jelzés választás 7. ábra igaz/semleges állapotprofil finomhangolása¹' (8. ábra) eredményt kalibrációs táblába ír^ igaz/semleges állapotprofil képzése

HU 226 537 Β1

Int. Cl.: G10L 17/00

2. ábra

3. ábra

HU 226 537 Β1

Int. Cl.: G10L 17/00

HU 226 537 Β1

Int. Cl.: G10L 17/00

5. ábra

START négydimenziós alapvonal számítás:

CalSPT=m beszédszegmens m SPT-jének átlaga Λ CalSPJ= m beszédszegmens m SPT-jének átlaga ³⁰⁰CalJQ = m beszédszegmens m JQ-jának átlaga CalAVJ = m beszédszegmens m AVJ-jének átlaga minSPT, maxSPT keresése m beszédszegmensben (min, max értékek) minSPJ, maxSPJ keresése m beszédszegmensben (min, max értékek) minJQ, maxJQ keresése 310 m beszédszegmensben (min, max értékek) számítások:

ResSPT~(maxSPT/minSPT) _ ResSPJ-(TnaxSPJ/mmSPJ) 32O ResJQ-(maxJQ/minJQ) vége

HU 226 537 Β1

Int. Cl.: G10L 17/00 vége

6. ábra

HU 226 537 Β1

Int. Cl.: G10L 17/00

7. ábra

START

HU 226 537 Β1

Int. Cl.: G10L 17/00

8. ábra

START

HU 226 537 Β1

Int. Cl.: G10L 17/00

9. ábra

IX

LLi

NJ

CO

Q

LLI

ÍX

Ό

UJ

O

CL ·<

UJ

Ö •UJ □

<l

O

V

HU 226 537 Β1

Int. Cl.: G10L 17/00

MM _o <S co

Ό σ'

M

CO

w co o

© a

σ “5 o

oo

CM o

©

ΪΖ

ÍZJ co

Xt o

© σ

h—* ŰU <S>

oo

CT)

CM

GO o

©

-ff &

>=3

N s

-ra

S

E o

co σι

IM

O)

-Φ «3 (M (A

-ff

V)

ΟΪ σ

Φ

-ff

Φ

-Q

CO a:

UJ

NI

CD o

z

UJ a:

-o _j £

UJ t—

UJ o

δ

Q_ s

UJ ö

-UJ □

10. ábra <11 o

□

Δ

V

Δ

ZS

HU 226 537 Β1

Int. Cl.: G10L 17/00

X □

T ós tábla I

I

m

to l·IO

o ”5 oo

co

CN | 39 I

OS ‘S ja

TB .xz

un r* o

v—

£

CM co

CM

σ

h-* <ö

to

CM o

CTJ '«t a:

UJ

NI

CO

Q z

UJ cr

LU h—

UJ

O

H— o

Q.

UJ

S •UJ □

«I o

□

Δ

V

I

Δ

S

11. ábra

HU 226 537 Β1

Int. Cl.: G10L 17/00

12. ábra

Kiadja a Magyar Szabadalmi Hivatal, Budapest Felelős vezető: Törőcsik Zsuzsanna Windor Bt., Budapest