Detecting - PowerPoint PPT Presentation

������������ ���������������� Detecting Cognitive Load during Simultaneous Interpretation using EEG Phase Synchronization ������������� ������� �� �� �� �� �� �� �� �� �� ��� �� �� �� � 2019/12/14 ����� 2019/12/14 ����� 2019@Haruko Yagura AHC-Lab, IS, NAIST 0

������ ���� ���� Ø ������������ Ø 話者と通訳者が交互に話す Ø ������������ Ø 工場視察や表敬訪問など Ø 2-3 �� 15 ������ Ø ��������� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 1

������������� �������������+ [Daniel+, 2011] y��a� �����������], Ø Extreme multitasking; speaking, listening, memory, translation �������������� [ ������������� �����������d� ��������������2� Cognitive load �������,����������1�+�� m�0������ a����m����� simultaneous interpreter �����������C��m� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 2

���� Ø ������������� Ø ��������������� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 3

���������������� �� ����� ��� �� ����� ��� �� ���� ���� �� �� �� �� ��� A: ������� B: ������� A +B↑ �������� Ø ������ [Cowan, 2005] [Mizuno, 2015] 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 4

��������������������� � ����������]h�koblV��� � ������V��fK�oc��HemK�oc�V������ � ��]����� ��������������� ����� �v����4� V������ ����������������� ����VinKa����������� 6�����������76-89���������(7 ���6�����������)7 658B�� ���+7 s����z������������ ������h�koblM����� 61���B�� ���,7 ������6����8�E������7 ��������R�P������� ���������H��I�������� ���61�E����B�� ���+7 ���]�������P�H������ ��240����r��������PH�� ���[�P �������RP 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 5

������������� [Koshkin+, 2018] Ø ��� 0���������4� A: load-low P1(40-60ms) N1(120-160ms) Ø ����� 1) �]���2��� - ����� 2) ����0 L1 0���] L2 0�] B: load-medium Ø ����� a�S��P� 40 �2�]���� • ]� C: load-high Ø EEG ����� • �P�� onset ������ 4ms ��P ������� EEG �� (ERPs) ���� P1 N1 B: Grand average ERPs for L1(Russian) and L2(English) �� ERP ����i • ���������������2� ����� P ) ���� filter-out ���r����� ������ �P�����l [ ������ ������ ���0 ���1 ����� �t���� ����,+� ����� ERP ��� ��l ERP �� Ø �� �� →N1/P1 ��� 1) N1 � P1 ������b�� ��l ��l 2) ��������b�� 2019/12/14 ��[�S 2019 @Haruko Yagura AHC-Lab, IS, NAIST 6

��������������� Ø �������� → �� Ø �������� �������� ����� ������� �������������������������������������������� Ø ��������������������������� Ø ������� ������� ���� ������� ����� ��� ���� ���� ��� ������ ����� ������� ��� ���� ���� ���� ���� ���� ���� ���� ���� ���� Ø �������������� 50ms � �������� Ø ������������ EEG �� (ERP:N1- ����� 100ms ��� , P1 ������ 50ms ��� ) ������ ��� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 7

������� ASSR) n ����� Auditory Steady-State Response Ø ������������������� ������ _ ������������ Ø ������������������� ������������������� ������ ( ��� _ �� Ø ������������������� ���� Ø ������������������� ������������������� ��� Ø 40Hz � ASSR �������������� ASSR ������������������������ [ �� , 2006] ����� [Tiitinen+1993 ][Griskova+2011] A:CF-1000Hz, MF-40Hz SAM � B:CF-1000Hz, MF-80Hz SAM � C:1000Hz, tone-pip (CF: ����� -carrier frequency, MF: �:��� -modulation frequency) [Roth+,2013] 2019/12/14 ���� [] � 2019 @Haruko Yagura AHC-Lab, IS, NAIST 8

ASSR ��������� ITC ����������� ���������������� [Yokota+,2017] n 40Hz-ASSR ���������� �������������� (ITC � Inter-trial coherence) ��� ������������� Ø ITC ������ - � - �� 1 ���� - � - ��� Ø �� ����� n-back ����� N-back Ø ���� � n-back �� (n=1 ��� , n =2 ��� ) ���� 40Hz ASSR �������� Ø �� � 40HzASSR ������������� ����� ITC ���� Ø �� ���������������� ITC � ������� ITC � : n = 2 ��� < n =1 �� � , p<0.05 � Ø �������������������� [Yokota+, 2015, 2017] ������������� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 9

ITC ��������������� The value of ITC ���� ���� ���� ���� The value of value � � 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 10

���� Ø ������� ASSR �������� Ø ���� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 11

������������� 40Hz-ASSR � ITC ���������� ���������� � 40Hz ��������������������� ����� � ������������ ASSR ��������� ASSR ��� ������������� � ��������������� ����������� ����� � ������� � ���������������������� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 12

���� �� • ��������������������� ������ ���� • 40Hz-ASSR ������� ITC ���� • �� ITC ����� < ��� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 13

�� Ø ����� Ø ASSR ��� Ø �� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 14

��� n 10 ������������ � range; 46-71 �� mean= 55.1 �� SD = 2.54 � C ������������������ � S ������������� 15 ������� ���������������������� ����������������������� Ø ��������������������� ��������������������� 2019/12/14 ����� 2019 @Haruko Yagura AHC-Lab, IS, NAIST 15