腦電可視化

——大腦對情緒與表情的可控性

項目負責人：李宏偉

項目成員：魯素苗 陳珍 郭熠

指導老師：黃敬華

摘要：腦科學一直以來都很神秘，卻無不引起人們的強烈興趣。本項目主要開發了一個控制情緒的小游戲，讓觀眾在互動過程中更好地了解腦科學的相關知識，認識到大腦對于情緒與表情的控制作用，并通過游戲中的角色，將從大腦皮層提取的相關數據變化進行可視化。這一游戲也可以幫助人們認識情緒、學習如何控制情緒，并且是一種更具有趣味性和直觀性的腦電可視化手段。

一 項目概述

（一）研究緣起

隨著生活水平的提高，生命科學逐漸被人們所關注，其中又以腦科學最為重要和神秘，自然博得了更多關注。另外，人工智能漸漸成為整個社會熱議的話題，而人工智能的終極目標不外乎創造出模擬人腦的機器，從這方面來說，腦科學不僅是生命科學的研究對象，更是整個科技領域、經濟領域的重點關注對象。同時，社交網絡興起帶來信息傳播網絡復雜化，每個人都可以成為信息的源頭，隨之而來的是信息爆炸和后真相時代。如何讓人們更加理性地看待這一領域的研究現狀和研究成果，是一個重要的科普命題。

我們希望通過這個項目幫助人們更好地了解腦科學中的一個細小的領域，提高人們對于腦電波的興趣與認識。腦電波并不像科幻電影中所描述的無所不能。科幻電影中常常出現的通過腦電波進行記憶讀取仍然是很遙遠的想象。但是我們確實可以通過腦電波來做一些事情。一方面，腦電的采集方式很多情況下并非通過手術，絕大多數研究者使用的還是非侵入式的腦電采集設備，我們希望通過讓人們親自接觸腦電采集設備了解腦科學研究的現狀。另一方面，腦電分析領域的一個重要應用是腦機接口，但是腦機接口對于測試環境要求較高，因而我們在項目中采用對環境要求較低的情緒分類，以提高項目可行性和環境適應性。通過一個腦電游戲，我們向觀眾呈現從情緒到腦電到可視化的過程，以期提高人們對于情緒控制的興趣。另外，我們在設計游戲的過程中忽略了很多專業名詞，希望除了讓觀眾了解到特定知識以外，更重要的是通過輕松的體驗激發其科學興趣。

（二）研究過程

前期項目組本來希望通過一個實體的模型向公眾展示腦電波形，但是隨著工作開展，我們意識到這樣和多數展品存在同質化，同時將大腦展示出來會造成部分人群的不適。所以我們最終決定制作一個游戲來進行腦電知識的展示，并將相關元素卡通化。

5月和6月，主要通過文獻研究確定實現的主要方向，通過研究設備的使用明確可行性。7月和8月，原計劃通過實物模型的制作展示腦科學的相關內容，但經過嘗試發現效果并不理想。后期我們希望通過重點關注游戲和界面交互而不是實物的交互來提高互動性及對于腦電波采集的干擾。9月到11月，進行游戲的開發與調試，主要是進行有關SDK的調整使功能實現。11月中旬，完成了游戲的編譯和總結文檔的撰寫。

（三）主要內容

主要內容包括相關的背景知識研究、相關設備的使用方案，以及一個情緒游戲的開發與使用流程介紹。其中背景知識包括情緒本身、腦電的采集方案介紹，以及利用腦電分類情緒的相關研究成果。而設備的使用方案包括通過與官方API通信、獲取設備的相關數據以及設備的狀態信息，尤其是表情的變化以及設備采集到的各個頻段的值。游戲的開發包括游戲的基本結構以及相關的使用流程。

二 研究成果

（一）背景知識

1.情緒

情緒作為腦科學研究領域的一個重要部分，一直是熱門領域。但是，非專業人士很少會接觸相關的研究。隨著社交網絡的流行，網上充斥著各種關于心理學、成功學、情緒管理的內容，魚龍混雜，人們很難確定這些說法的準確性與有效性。

我國自古就有“喜怒哀樂悲恐驚”七情的說法，但是這種分類過于主觀，不便于研究的規范化。情緒在心理學中有個普遍認可的模型——效價/覺醒度模型，[1]通過兩個維度將所有情緒固定在二維坐標軸上。效價指的是情緒的正面和負面，而覺醒度是另一個維度，表示情緒的強烈程度。比如憤怒是覺醒度很高的情緒，而放松是覺醒度很低的一種情緒。

通過這兩個維度可以將情緒的分析變成規范化的值分析，也便于情緒之間的比較以及研究者之間的比較。

2.腦電

腦電，具體地說是腦部采集到的電信號。一般的研究使用非侵入式的腦電采集設備，非侵入式是隨著電信號放大技術的進步發展出來的。主要是因為腦電十分微弱，而且這一部分腦電被稱作自發腦電，有10～150微伏。另外，與特定認知相關的腦電更為微弱，例如常被用作認知研究的事件——相關電位（Event-Related Potential）只有自發腦電1/3的。所以腦電的采集往往受到周圍電子器械的影響，通常需要經過信號放大、濾波、去偽跡、特征提取等步驟之后才能進入正式的腦電分析。我們這次是通過設備采集自發腦電，進而分析腦電的整體趨勢。

自發腦電通常可分為五個節律，雖然不同文獻中的具體數值存在差異，但是大致可以分為：δ節律（0.5～4Hz）、θ節律（4～8Hz）、α節律（8～12Hz）、β節律（12～30Hz）和λ節律（大于30Hz）。[2]這些節律與相關活動的關系是很多認知科學的研究重點。

3.腦電與情緒分類

情緒與腦電關系的研究由來已久，一般的研究是通過圖片誘發相應的情緒進而激發特定腦電特征，得出情緒與腦電的關系。這一工作中有著名的國際情緒圖片系統（International Affective Picture System，IAPS）。研究者通過使用同一套公認的情緒圖片規范各自的研究。大量的研究得出了腦電與相應情緒的關系，通過分析得出的腦電特征，這些特征包括時域特征、頻域特征、時頻特征、對稱性特征以及高階交叉特征等。因為本研究需要實時分析和處理，對于一些高階的核模型分析的研究結果并不適用（計算機的運算能力有限），主要使用頻域分析的相關研究成果。

Schmidt 等以音樂作為刺激材料分別誘發被試的開心、愉悅、悲傷和害怕等4種情緒。通過研究發現，聽積極情緒的樂曲時，左前腦會產生較強的腦電活動，而當聽消極情緒的樂曲時，右前腦則會產生較強的腦電活動，由此可見前腦與情緒有著很大的關聯。具體來說，alpha頻段與情緒有重要的關系，并且當消極情緒被誘發時，右后腦區會產生強烈的腦電活動。同時，積極情緒被發現與左前腦的腦部活動相關。[3]Li 等以圖片為刺激材料并通過共同空間模式找出了每個被試的情緒的最佳頻段，他們的分析結果顯示，大多數被試的最佳頻段都分布在gamma頻段上，這反映了gamma 頻段在情緒識別中的重要作用。[4]D.Nie等人以視頻為刺激材料分別誘發被試的積極情緒和消極情緒，并提取了50 個不依賴被試的共同特征，通過將這些特征映射到腦區和頻段上，發現這些共性特征主要分布在alpha 頻段的右枕葉和頂葉部位、beta頻段的中間區域、gamma頻段的左額葉和右顳葉。[5]

（二）設備與腦電采集

1.設備介紹

本項目采集腦電使用EMOTIV Inc.開發的Emoitv Epoc+ 頭戴式腦電設備。該設備有可以采集14個電位的腦電信號（AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8、AF4），通過藍牙無線連接，支持Windows、OSX、Linux、Android、iOS等多種設備。可以用作認知相關研究以及BCI（腦機接口）相關的應用開發。采樣頻率最高可以達到256采樣點每秒，因為使用電池供電，所以受到交流電信號的干擾比較小，采樣濾波為0.2Hz～43Hz，采樣分辨率達到了14 bits 1 LSB = 0.51 uV完全滿足本項目的要求。并且使用藍牙連接，一次充電使用時間在6小時左右，能夠作為一個普通的展品使用。

2.設備API

API（Application Programming Interface）即應用程序接口，通過封裝一定的程序保證安全性的同時，開放部分功能，使開發者可以增加自己的功能和應用。

圖1 Emotiv API具體的運行工作流程

Emotiv API提供了多種功能的入口，包括表情、頻譜能量、精神指令（Mental Commands）等。通過與自有指令相結合獲取相應腦電信號并處理。本項目使用Emotiv社區版SDK開發包v3.5.1進行開發，運行環境為Windows，連接方式為藍牙。

（三）游戲開發與流程

1.游戲的開發

游戲使用Unity 引擎2017.2.0f3版本開發。Unity引擎是業界知名的游戲引擎，能夠很好地幫助游戲開發者實現底層代碼的隱藏，許多著名的游戲都是采用Unity引擎開發的。游戲資源中添加了DotNetEmotivSDK.dll，這個是作為Emotiv SDK C#版的編譯文件添加的，用來實現相關的API功能接口。因為開發經驗不足，游戲運行在不同分辨率的屏幕上效果可能會有出入，推薦的分辨率是1920×1080。游戲分為三個場景，分別是開始界面、游戲界面和結束界面，通過結束界面可以回到開始界面重新開始游戲，開始界面可以退出游戲。

2.游戲的流程

第一步，使用者首先佩戴腦電波采集設備，打開游戲會自動連接。游戲開始界面點擊開始按鈕進入游戲，退出按鈕退出游戲。點擊開始按鈕之后會顯示姓名對話框，輸入姓名進入游戲。

第二步，游戲界面如上文所述，包含三個部分——時間軸（劇本）、表情、情緒顯示。其中時間軸通過電影膠片的形式顯示時間，進度條對應的文字表示該時間段的情緒狀態（或稱作劇本），玩家必須在特定的時間保持特定的表情和情緒狀態才能得分。同時，人臉表情區域顯示人的表情，大腦區域通過色條顯示不同的情緒的值。圖2為編輯界面，正式游戲時不會出現四種情緒都為正的情況。不同的色條顯示不同的情緒能讓信息更加明顯和易懂。

圖2 游戲主界面示意（圖示為開心階段）

現在的版本并沒有把表情和情緒分開，例如開心是同時開心的情緒和開心的表情。將來的版本其實可以通過讓使用者情緒和表情截然不同來使人們明白腦電波與情緒的關系，如保持開心表情的同時內心很憤怒。當觀眾改變自己表情的同時，游戲界面的人臉也會改變表情模擬人的表情，這種即時反饋對于游戲玩家十分重要。但是情緒的變化并不會那么快，通過一段時間的累積，采集到相關的腦電波分析不同頻帶的關系可以初步判定一個用戶的情緒坐標。這個坐標基于著名的效價/覺醒度模型，通過坐標可以判定用戶的情緒。相關論文（如前文所述）已經證明alpha、gamma波段以及腦電波的對稱性等因素與情緒的正負向、強弱有很明顯的相關關系，通過相關的算法可以較為準確地區分情緒的坐標進而確定情緒。游戲中，通過確定情緒、表情與“劇本”的對應關系，我們可以判定一個玩家或者使用者在這一小段時間的得分。

另外有一個值得說明的問題是左方的人臉表情。人臉表情的變化是根據頭前部采集到的腦電波形判斷生成，只不過和情緒分類使用的相關數據和計算方式不同。但是由于讓使用者僅僅通過自己的想象保持某種情緒狀態的難度比較大，如果通過自己做出相應表情再看著這一表情幫助自己找到某種情緒狀態。我們認為這種方式比僅僅顯示情緒狀態在交互上更加友好。

游戲結束的時候，通過累計玩家總得分確定玩家的分數區段，進而確定玩家的稱號（見表1）。我們采用稱號機制是因為稱號機制更為直觀，也比分數更有激勵機制，因為分數是抽象的，分數的上限并不明確，而稱號可以很容易形成比較，同時更加符合當今青少年的習慣。

表1 頭銜機制

三 創新點

本項目主題選取十分科學，一方面，演員演技是當今社會的熱點話題；另一方面，情緒控制在心理學和管理學上也有很多的研究。不僅是孩子，成年人也能通過這個游戲意識到情緒的可控制性。此外，本項目設計的表演小游戲，讓玩家通過控制自己的表情和情緒來進行操作，交互過程較為新穎，能夠提升人們的興趣。游戲的交互方式采用了腦電信息的獲取，這種生活中少見的交互方式能夠幫助人們了解現有的技術條件，摒棄那些科幻電影或小說所反映的與現實相去甚遠的腦電波認知，從而更理性地對待科技的發展。

四 應用價值

一方面，對于觀眾來說，通過大腦想象來進行交互的設備在日常生活中很少見到，通過體驗腦機接口的方式體會最新的研究成果可以提升觀眾對于腦科學甚至生命科學的興趣。另一方面，生命科學領域的眾多科學研究成果也可以通過類似的游戲方式展示出來，并不一定是確定的結論，也可以是讓使用者自己探索的游戲。另外，本項目的情緒控制游戲對于情緒管理這個熱門話題來說可能是一次很有意思的嘗試，正處于悲傷情緒的使用者也許很難從悲傷中走出，但是當玩這個游戲的時候，也許可以幫助使用者練習如何走出悲傷，嘗試控制自己的不同情緒。

另一方面，對于科普場館來說，關于情緒控制等話題的展品展項似乎較少，但此類主題實際上和科學在生活中的應用息息相關，具有良好的應用前景。

---

[1] Kensinger，E.A.，Corkin，S.，“Two Routes to Emotional Memory：Distinct Neural Processes for Valence and Arousal，”Proceedings of the National Academy of Sciences of the United States of America，2004，101（9）：3310-3315.

[2] Olejniczak，P.，“Neurophysiologic Basis of EEG，”Journal of Clinical Neurophysiology，Official Publication of the American Electroencephalographic Society，2006，23（3）：186-189.

[3] Sarlo，M，.Buodo，G.，Poli，S.，et al.，“Changes in EEG Alpha Power to Different Disgust Elicitors：the Specificity of Mutilations，”Neuroscience Letters，2005，382（3）：291-296.

[4] M.Li，B.L.Lu，Emotion Alassification Based on Gamma-band EEG，Engineering in Medicine and Biology Society，2009.EMBC 2009.Annual International Conference of the IEEE.IEEE，2009：1223-1226.

[5]D.Nie，X.W.Wang，L.C.Shi，et al.，EEG-based Emotion Recognition During Watching Movies，Neural Engineering（NER），2011 5th International IEEE/EMBS Conference on.IEEE，2011：667-670.