一種基于FPGA的空間自動化顯微成像系統(tǒng)

董棟 張濤 鄭偉波

摘? 要：開展空間生命科學包括細胞培養(yǎng)等相關試驗，進而從細胞水平乃至于分子水平研究空間特殊環(huán)境給人體和各種動植物生物組織帶來的復雜影響，已經(jīng)成為空間生命科學研究的重要目的之一。為滿足對細胞生長狀態(tài)以及運動情況等的全過程實時動態(tài)監(jiān)測的要求，具備空間搭載條件的可見光顯微成像系統(tǒng)也是開展空間生命科學試驗活動的必備工具。針對上述問題，文章敘述一種基于FPGA的可應用于空間站使用的自動化顯微成像裝置，具備自動觀察、自動對焦、傳輸圖像與視頻數(shù)據(jù)功能，可完成原位生物細胞樣品的生長、發(fā)育、演化等觀察任務并進行數(shù)據(jù)記錄與分析，承擔了空間站上細胞、蛋白質(zhì)等樣品顯微觀察的任務，并已成功應用于空間站核心艙中。

關鍵詞：空間站；FPGA；自動化顯微成像；生命科學

中圖分類號：TP391.4；R318.6 文獻標識碼：A 文章編號：2096-4706（2023）24-0162-04

A Space Automatic Microimaging System Based on FPGA

DONG Dong， ZHANG Tao， ZHENG Weibo

（Shanghai Institute of Technical Physics Chinese Academy of Sciences， Shanghai? 200083， China）

Abstract： Conducting related experiments in space life sciences， including cell culture， and studying the complex effects of special space environments on human bodies and various animal and plant biological tissues at both the cellular and molecular levels has become one of the important objectives of space life sciences research. To meet the requirements of real-time dynamic monitoring of the entire process of cell growth status and movement throughout， a visible light microimaging system with space carrying conditions is also an essential tool for conducting space life sciences experiments. In view of above problems， this paper describes an automatic microimaging device based on FPGA which can be used in space station. It has the functions of automatic observation， automatic focus， image and video data transmission. It can complete the observation task of growth， development， evolution of situ biological cell samples， and conduct data recording and analysis. It has undertaken the task of microscopic observation of cells， proteins and other samples on the space station， and has been successfully applied in the core module of the space station.

Keywords： space station; FPGA; automatic microimaging; life sciences

0? 引? 言

空間生命科學實驗中對于實驗數(shù)據(jù)的獲取，樣品的實時分析主要依靠空間生命科學儀器完成，而空間生命實驗用顯微成像系統(tǒng)作為實驗結(jié)果記錄和分析的主要可視化工具，是空間生命科學儀器的主要組成部分[1，2]。隨著中國空間站的發(fā)射成功，可以開展新的更加復雜的空間生命科學實驗項目。同時對于空間顯微成像系統(tǒng)也有了新的發(fā)展要求。

對于在空間站中開展的生物學實驗，由于其特殊的場所限制，對于顯微觀察設備的要求與地面實驗室有著很大區(qū)別[3]。顯微成像目標特性主要可以概括為以下幾個方面：

1）目標為活體目標，不能使用地面顯微成像使用的切片、固定等方案。目標需要有適宜的活體組織生活的環(huán)境要求，為此要求考慮合適的培養(yǎng)方法和觀察窗口。

2）目標呈空間三維分布，并且在不斷生長、變化，即無法設定一個固定的觀察點進行觀察，必須根據(jù)實驗進程來實時判斷、調(diào)整物像關系，從而獲得目標的清晰圖像。

3）目標尺度較?。◤奈⒚琢考壍胶撩琢考墸?，需要有較大的放大倍率和較高的分辨率。

4）培養(yǎng)單元具有一定的容器壁厚和深度，為了確保在一定范圍內(nèi)觀察到目標，要求顯微成像系統(tǒng)有合適的工作距。

5）目標處于無人操作的環(huán)境中，目標捕獲、成像和傳輸?shù)炔僮饕笕詣油瓿伞?/p>

空間顯微成像系統(tǒng)對功能要求包括以下幾個方面：

1）照明光源應波長在可見光范圍內(nèi)。

2）系統(tǒng)能夠進行自動對焦并自動捕獲清晰目標圖像。

3）系統(tǒng)要有一定的分辨率、放大倍率和足夠的工作距離。

4）系統(tǒng)能夠進行多個工位的成像觀察。

5）系統(tǒng)可以完全自主工作并可按照指令進行人為干預[4]。

基于以上要求本文提出了一種使用FPGA芯片為主控制器的空間顯微觀察裝置。具備在近地軌道空間條件下使用的能力，具備自動對待觀察樣本對焦、拍照、視頻上傳等功能；并可接收航天員控制進行特定條件的科學實驗觀察。

1? 設計原理

1.1? 總體方案

使用FPGA作為主芯片，執(zhí)行指令接收、實驗流程控制、圖像探測器驅(qū)動、電機控制、實驗數(shù)據(jù)傳輸?shù)裙δ?。整個顯微觀察系統(tǒng)框圖如圖1所示。

顯微成像系統(tǒng)結(jié)構包括相機主結(jié)構、光學鏡頭、細胞培養(yǎng)單元、掃描電機和工位電機等部分。

相機主結(jié)構內(nèi)承載顯微成像系統(tǒng)主要電子學部分，包括圖像探測器、FPGA主控單元、數(shù)據(jù)傳輸單元和電源部分等。

光學鏡頭承擔了光學放大功能，可依據(jù)任務要求更換為10倍、20倍、40倍光學放大倍數(shù)。

細胞培養(yǎng)單元負責被觀察細胞樣本的培養(yǎng)和固定功能。

掃描電機承擔了顯微成像系統(tǒng)掃描對焦移動功能，工位電機承擔了顯微成像裝置在不同觀察工位移動觀察功能。

圖2為顯微成像系統(tǒng)設計圖。在細胞培養(yǎng)裝置上層結(jié)構中安裝了兩部顯微成像裝置，可同時觀察兩個細胞培養(yǎng)單元中的細胞樣本。顯微成像裝置在細胞培養(yǎng)裝置中的位置如圖3所示。

整個顯微成像系統(tǒng)的工作流程為：

1）接收到實驗指令后，主芯片按照實驗流程要求對探測器進行配置，使光學探測器工作于輸出圖像模式或視頻模式。

2）首先控制工位電機，將培養(yǎng)單元引導至待觀察位置，并打開照明裝置。

3）控制掃描電機到達指定位置。如有自動掃描流程，則在掃描電機的引導下，從后至前掃描600步，每次掃描都對得到的圖像數(shù)據(jù)進行特征值解算，最后在最大特征值位置停止，認為這是最優(yōu)工位，并開啟圖像探測器開始拍攝圖像或視頻；如沒油自動掃描流程，則在指定工位停止，并開啟圖像探測器，開始進行圖像或視頻數(shù)據(jù)采集。

4）將圖像探測器傳輸?shù)娘@微圖像數(shù)據(jù)通過數(shù)據(jù)傳輸通道傳輸出去。

顯微成像系統(tǒng)電子學硬件系統(tǒng)架構框圖如圖4所示。

主控制芯片需要負責完成指令通道的指令收發(fā)與解析、探測器的配置與數(shù)據(jù)驅(qū)動、掃描電機與工位電機的驅(qū)動、數(shù)據(jù)傳輸通道的驅(qū)動。其中，指令通道使用485串口通信方案，使用19 200波特率傳輸通信數(shù)據(jù)；光學探測器使用MT9P031型號的CMOS光學探測器，具有2 592×1 944分辨率，可以進行圖像和視頻傳輸；掃描和工位電機使用單相步進電機，采用半拍步進方案是可以達到2.5 μm步進精度；數(shù)據(jù)傳輸通道，視頻數(shù)據(jù)使用camera-link數(shù)據(jù)傳輸方案，圖像數(shù)據(jù)使用LVDS數(shù)據(jù)傳輸方案。

由于整個顯微成像裝置對體積和重量的嚴格要求，不能使用單獨的芯片驅(qū)動探測器和電機，所有的驅(qū)動和數(shù)據(jù)流控制都必須由控制芯片單獨完成，所以主控制器芯片選擇FPGA方案，所選型號為ACTEL公司的APA600。這款芯片已經(jīng)用于多次航天飛行并成功完成相關任務，具有抗輻照性能，片內(nèi)FLASH程序存儲器，可在-55°～125°條件下正常工作，是當前任務的較好選擇。

顯微成像系統(tǒng)的軟件結(jié)構框圖如圖5所示。主流程模塊負責調(diào)配各個模塊工作狀態(tài)和參數(shù)，并執(zhí)行自動觀察工作。子模塊包括指令接收與解析模塊、探測器寄存器配置模塊、探測器數(shù)據(jù)接收模塊、自動對焦模塊、電機驅(qū)動模塊（包括掃描和工位電機的驅(qū)動）、圖像數(shù)據(jù)發(fā)送模塊等。

1.2? 子模塊方案

1.2.1? 指令接收與解析模塊

顯微成像系統(tǒng)與外部的指令通信采用485串口通信模式，通信速率為19 200波特率，信道模式為1位起始位，8位數(shù)據(jù)位，1位奇校驗，1位停止位。串口通信數(shù)據(jù)格式如表1所示。

ID號指當前設備分配ID號，由于在總線中可以有多臺套不同設備，ID號是確認當前指令是否為主機發(fā)送至目標機的指令，如否則丟棄。

曝光時間為寫入光學探測器寄存器中的參數(shù)，規(guī)定探測器像元光學積分時間。這個參數(shù)決定了圖像或視頻明暗程度。

參數(shù)1～3決定了顯微成像系統(tǒng)工作模式和成像工位。

參數(shù)1～3都不為0：系統(tǒng)工作于手動視頻模式。此時參數(shù)1為水平工位，參數(shù)2與參數(shù)3組合為掃描工位。開始工作后，系統(tǒng)走到指定水平和掃描工位后開始傳輸視頻。

參數(shù)1不為0，參數(shù)2～3為0：系統(tǒng)工作于視頻和圖像混合模式。參數(shù)1為視頻傳輸時間。在開始工作后，系統(tǒng)按照固有參數(shù)進行自動掃描對焦，掃描對焦完成后傳出一副圖像，圖像傳輸完成后開始傳輸視頻，視頻傳輸時間結(jié)束后轉(zhuǎn)移至下一個工位。

參數(shù)1～3都為0：系統(tǒng)工作于自動圖像模式。在開始工作后，系統(tǒng)按照固有參數(shù)進行自動掃描對焦，掃描對焦完成后傳出一副圖像，圖像傳輸完成后轉(zhuǎn)移至下一個工位。

校驗和為前5個字節(jié)相加低八位。用于校驗指令是否正確，若校驗和錯誤則丟棄指令。

顯微成像系統(tǒng)在495通道中為從機應答式通信。當接收到指令并確認為正確指令后，將從總線上發(fā)送應答指令給主機以便主機確認已收到。

1.2.2? 探測器配置模塊

光學探測器使用CMOS探測器MT9P031。探測器的寄存器配置總線使用I2C協(xié)議，工作于1 Kbps通信速率。根據(jù)接收到的指令確定系統(tǒng)的工作模式后，配置模塊在I2C總線上寫入探測器工作模式、曝光時間等參數(shù)，并開啟探測器。I2C總線協(xié)議如圖6所示。

圖6中，I2C數(shù)據(jù)線首先輸入0xBA作為寫地址起始字節(jié)，然后寫入寄存器尋址字節(jié)（圖6中為0x09），最后是兩個字節(jié)參數(shù)（圖6中為0x02，0x84）。一個寄存器寫入完成后進行下一個寄存器寫入，所有寄存器參數(shù)配置完成后探測器配置模塊通知主流程模塊工作已完成。主流程模塊得到通知后關閉配置模塊并開始下一步流程。

1.2.3? 探測器數(shù)據(jù)接收模塊

探測器像元采樣深度為12位采樣率，輸出數(shù)據(jù)總線寬度為12位并行數(shù)據(jù)，1位時鐘，2位同步信號。數(shù)據(jù)接收的時序如圖7所示。探測器時鐘信號工作于25 MHz。同步信號為幀同步信號和行同步信號，都為高有效信號。幀同步信號為高電平時開始啟動當前幀圖像傳輸；行同步信號為高電平時開始當前行數(shù)據(jù)傳輸。所有信號在時鐘上升沿翻轉(zhuǎn)。

數(shù)據(jù)接收模塊使用探測器時鐘對圖像數(shù)據(jù)進行讀取并存儲至內(nèi)部存儲器中，圖像數(shù)據(jù)讀取完畢一幀后向數(shù)據(jù)發(fā)送模塊發(fā)送信號，通知數(shù)據(jù)發(fā)送模塊向外發(fā)送圖像數(shù)據(jù)；視頻數(shù)據(jù)則直接轉(zhuǎn)發(fā)給數(shù)據(jù)發(fā)送模塊。

1.2.4? 自動對焦模塊

自動對焦模塊執(zhí)行顯微成像系統(tǒng)自動掃描對焦功能，執(zhí)行流程圖如圖8所示。

自動對焦模塊從前至后對待掃描圖像掃描600步，每一步都進行拍照并計算圖像特征值，得到600個特征值后，運行至特征值最大位置拍照并傳輸圖像。特征值計算使用灰度差分法進行?；叶炔罘址ㄊ且环N形式簡單但是十分有效的圖像清晰度評價函數(shù)，本系統(tǒng)使用灰度差分法可以實現(xiàn)快速、實時和有效計算特征值[5]。具體計算方式為：

f （x， y）為圖像矩陣中坐標（x，y）的像素點灰度值大小。F（i）為掃描至第i步的圖像特征值大小。取F（i）為最大值時的i值，作為最優(yōu)對焦位置。

1.2.5? 數(shù)據(jù)發(fā)送模塊

數(shù)據(jù)發(fā)送模塊在發(fā)送視頻數(shù)據(jù)時，使用cameralink總線通信模式，視頻傳輸速率為25幀/秒；在發(fā)送圖像數(shù)據(jù)時，使用串口通信協(xié)議，圖像傳輸速率為921 600波特率。

2? 在軌飛行任務驗證分析

系統(tǒng)實驗中，我們采用多種細胞進行了成像實驗，成像細胞尺寸在80 μm左右，培養(yǎng)模式采用貼壁培養(yǎng)。在系統(tǒng)實驗中，我們更換了10倍、20倍、40倍成像鏡頭，在自動和手動模式中都得到了較為清晰的細胞圖像。

顯微成像裝置已成功伴隨細胞培養(yǎng)裝置安裝在了中國空間站天和核心艙中并在接近一年的在軌飛行實驗過程中取得了大量細胞實驗圖像，完滿完成了空間站任務要求。

細胞培養(yǎng)裝置裝載于空間站天和核心艙空間生命科學任務載荷段，航天員已使用細胞培養(yǎng)裝置完成了大量細胞培養(yǎng)和分化實驗，包括間充質(zhì)干細胞、心肌細胞和皮膚細胞等生長、發(fā)育的培養(yǎng)，并得到了大量細胞觀察圖像，獲得了重要的科學實驗數(shù)據(jù)。在軌飛行期間細胞樣本圖像如圖9所示。

3? 結(jié)? 論

完成了一種自動化顯微成像裝置，可以應用于空間細胞顯微成像項目，成功于地面系統(tǒng)實驗中得到清晰細胞圖片，系統(tǒng)已成功應用于中國空間站核心艙生物學實驗中。

參考文獻：

[1] 戚發(fā)軔.載人航天技術及其發(fā)展 [J].中國工程科學，2000，2（1）：1-6.

[2] 商澎，呼延霆，楊周岐，等.中國空間生命科學的關鍵科學問題和發(fā)展方向 [J].中國科學：技術科學，2015，45（8）：796-808.

[3] 鄭偉波，張濤，盧晉人，等.空間高等植物培養(yǎng)觀察裝置及其空間飛行實驗 [J].科學技術與工程，2007（17）：4403-4407+4414.

[4] 鄭行龍.空間生命科學實驗原位顯微成像技術研究 [D].上海：中國科學院研究生院（上海技術物理研究所），2016.

[5] 鄭行龍，趙青青，鄭偉波，等.空間科學實驗中三維立體目標顯微信息獲取技術 [J].半導體光電，2016，37（2）：270-274.

作者簡介：董棟（1982—），男，漢族，湖北十堰人，工程師，碩士研究生，主要研究方向：空間生命科學儀器。