為(wèi)什麽需要時(shí)間(jiān)同步？

在自動駕駛中，需要用到很(hěn)多(duō)傳感器(qì)的數(shù)據（Lidar，Camera，GPS/IMU)，如果計(jì)算(suàn)單元接收到的各傳感器(qì)的消息時(shí)間(jiān)不統一，則會(huì)造成例如障礙物識别不準等問題。

時(shí)間(jiān)同步包含哪些(xiē)內(nèi)容？

自動駕駛中，時(shí)間(jiān)同步可(kě)以分為(wèi)幾部分的內(nèi)容：統一時(shí)鍾源，硬件同步，軟件同步。其中硬件時(shí)間(jiān)同步主要針對相機 。

1.統一時(shí)鍾源

假設各傳感器(qì)都有(yǒu)自己的內(nèi)部時(shí)鍾，但(dàn)由于每個(gè)時(shí)鍾的鍾漂不一樣，導緻各時(shí)鍾之間(jiān)存在時(shí)間(jiān)差，所以需要統一各傳感器(qì)的時(shí)間(jiān)源。

一般采用GPS時(shí)間(jiān)作(zuò)為(wèi)統一時(shí)間(jiān)源，通(tōng)過GPS給各個(gè)傳感器(qì)提供基準時(shí)間(jiān)，各傳感器(qì)根據提供的基準時(shí)間(jiān)校(xiào)準各自的時(shí)鍾時(shí)間(jiān)。

各傳感器(qì)根據已經校(xiào)準後的各自時(shí)間(jiān)為(wèi)各自獨立采集的數(shù)據加上(shàng)時(shí)間(jiān)戳信息，來(lái)做(zuò)到所有(yǒu)傳感器(qì)時(shí)間(jiān)戳同步。

統一時(shí)鍾源的常見方式有(yǒu)兩種，一種是基于GPS的“PPS+NMEA”，另一種是基于以太網的IEEE 1588（或IEEE 802.1AS）時(shí)鍾同步協議。

a.PPS+NMEA

GPS能夠從衛星獲得(de)高(gāo)精度的時(shí)鍾信号，因此通(tōng)常作(zuò)為(wèi)整個(gè)系統的時(shí)鍾源。常規的GPS單元都支持輸出精确到毫秒(miǎo)的秒(miǎo)脈沖信号PPS和(hé)包含年月日時(shí)分秒(miǎo)信息的NMEA指令，通(tōng)過PPS和(hé)NMEA的組合就能夠實現對激光雷達或主機的毫秒(miǎo)級時(shí)鍾同步。

PPS+NMEA的優點是協議簡單，容易實現；缺點是必須基于RS232。多(duō)個(gè)設備之間(jiān)實現同步比較困難。

b.PTP（IEEE 1588或IEEE 802.1AS）

PTP(Precision Time Protocol，1588 V2)是基于以太網的高(gāo)精度時(shí)鍾同步協議，能夠實現以太網中多(duō)個(gè)從節點（各種傳感器(qì)）與主節點（主機）之間(jiān)的亞微秒(miǎo)級時(shí)鍾同步，前提是所有(yǒu)節點之間(jiān)都通(tōng)過以太網互聯，交換機支持PTP協議，并且每個(gè)節點都支持PTP協議。

與PTP同時(shí)出現的還(hái)有(yǒu)一種NTP，即網絡時(shí)間(jiān)協議，不同的是PTP是在硬件級實現的，NTP是在應用層級别實現的 。

2.硬件同步

由于每種傳感器(qì)的采樣頻率不一緻，如lidar通(tōng)常為(wèi)10Hz，camera通(tōng)常為(wèi)25/30Hz，不同傳感器(qì)之間(jiān)的數(shù)據傳輸還(hái)存在一定的延遲，那(nà)麽可(kě)以通(tōng)過尋找相鄰時(shí)間(jiān)戳的方法找到最近鄰幀，但(dàn)如果兩個(gè)時(shí)間(jiān)戳相差較大(dà)，且傳感器(qì)或障礙物又在運動，那(nà)麽最終會(huì)得(de)到較大(dà)的同步誤差。這個(gè)情況可(kě)以采用硬件同步觸發的方法來(lái)緩解查找時(shí)間(jiān)戳造成的誤差現象。

那(nà)如何實現硬件同步呢？也就是在激光雷達和(hé)相機的時(shí)間(jiān)源都統一到GPS時(shí)間(jiān)後，如何保證他們同步觸發采集呢？方式是以PPS信号為(wèi)觸發信号，實現激光雷達和(hé)相機均在PPS信号上(shàng)升沿的時(shí)候采集數(shù)據，且打上(shàng)各自時(shí)鍾的時(shí)間(jiān)戳。由于PPS的頻率隻有(yǒu)1Hz，所以通(tōng)常需要一個(gè)設備把PPS信号轉發為(wèi)任意頻率、但(dàn)是跟PPS信号同相位的方波，這樣就可(kě)以控制(zhì)相機的采集頻率了。

用外部信号觸發相機比較好理(lǐ)解，那(nà)如何保證激光雷達在PPS信号上(shàng)升沿的時(shí)候采集數(shù)據呢？激光雷達制(zhì)造商想出了一個(gè)相位鎖定功能，也就是輸入PPS，但(dàn)PPS上(shàng)升沿到來(lái)時(shí)，激光雷達的激光束恰好旋轉到一定的角度。

于是乎，我們設置激光雷達的相位鎖定角度為(wèi)相機視(shì)野中央，如果相機視(shì)野朝着車(chē)輛(liàng)正前方，激光雷達的坐(zuò)标系也是朝着車(chē)輛(liàng)正前方的話(huà)，相位鎖定角度應該是0度。那(nà)麽問題就這樣解決了，每當激光雷達的激光束旋轉到0度位置，也就是相機視(shì)野正中央，PPS上(shàng)升沿剛好到來(lái)，相機也因此觸發，就這樣就實現了激光雷達和(hé)相機的同步采集。但(dàn)是，由于激光雷達和(hé)相機采集數(shù)據的方式不同，我們隻能近似地保證激光雷達和(hé)相機的同步采集。如下圖所示，激光雷達的激光束不斷地360度旋轉，假設幀率為(wèi)10Hz的話(huà)，那(nà)麽一幀點雲中采集時(shí)刻最早的一個(gè)點和(hé)采集時(shí)刻最晚的一個(gè)點時(shí)間(jiān)相差100ms。而相機就不同了，相機是瞬間(jiān)曝光的，因此圖像裏面所有(yǒu)像素點的采集時(shí)刻都是一樣的。這就導緻了我們隻能近似地保證激光雷達和(hé)相機的同步采集。具體(tǐ)方法就是當激光束旋轉到相機視(shì)野中央的時(shí)候，觸發相機，這樣就保證了相機視(shì)野內(nèi)的點雲采集時(shí)間(jiān)是跟圖像采集時(shí)間(jiān)是近似的。為(wèi)什麽說是近似的呢？對于相機視(shì)野中央的那(nà)些(xiē)點雲，它們的采集時(shí)間(jiān)是跟圖像采集時(shí)間(jiān)一緻的，但(dàn)是對于相機視(shì)野邊緣的那(nà)些(xiē)點雲，它們的采集時(shí)間(jiān)就跟圖像采集時(shí)間(jiān)要有(yǒu)一定的時(shí)間(jiān)偏差了，根據相機視(shì)野的大(dà)小(xiǎo)和(hé)點雲采集幀率的不同，時(shí)間(jiān)偏差可(kě)能會(huì)有(yǒu)5ms~20ms左右。

3.軟件同步

當兩傳感器(qì)的采集時(shí)刻不一緻，但(dàn)又想得(de)到同一時(shí)刻下兩傳感器(qì)的結果，就可(kě)以使用軟件同步的方式。目前常采用的軟件同步方式為(wèi)內(nèi)插外推法，此方法适用于傳感器(qì)間(jiān)幀率不存在倍數(shù)關系的情況，或者傳感器(qì)有(yǒu)幀率不穩定的情況。主要利用兩個(gè)傳感器(qì)幀上(shàng)的時(shí)間(jiān)标簽，計(jì)算(suàn)出時(shí)間(jiān)差，然後通(tōng)過包含有(yǒu)運動信息的目标幀與時(shí)間(jiān)差結合，對幀中每一個(gè)目标的位置進行(xíng)推算(suàn)，推算(suàn)出新的幀時(shí)各個(gè)目标的位置，并于原有(yǒu)的兩幀之間(jiān)建立新的幀。