自動駕駛軟件驅動程序能感知、檢測和預測在車輛周圍彈出的物體嗎?它能像人類駕駛員那樣，掌控自發事件的重要性，設計出安全、果斷的反應嗎?

這是一個價值640億美元的問題，但我們至今還沒有找到答案。

大多數自動駕駛公司和科技公司，包括Waymo、Cruise、Nvidia、Mobileye和一大批初創公司，都試圖通過發布自動駕駛汽車在城市行駛的視頻片段，來展示其自動駕駛軟件的成熟度。但問題在于，通常有些場景要么被明顯地剪輯掉，要么被巧妙地加速。影片中提到了用于拍攝地點的城市，但通常沒有提到拍攝時間。

在開發自動駕駛汽車的科技公司中，英特爾/Mobileye是最具代表性的。Mobileye公開了兩段未經編輯的視頻片段——一段是在1月份的消費電子展期間，另一段是在5月份。

視頻都是在耶路撒冷繁忙的街道上拍攝的。每個Mobileye視頻顯示器屏幕上相同的三個獨立的視頻元素: 一架Mobileye自動駕駛在耶路撒冷駕駛的無人機鏡頭，一名安全司機的視圖(顯示他正在做什么)，以及可視化軟件，將機器的視圖呈現為周圍的自動駕駛工具。

這段視頻可以讓我們了解到，在耶路撒冷，自動駕駛正在 (無人機鏡頭)看些什么，它的傳感器(12個攝像頭)正在捕捉什么，Mobileye的自動駕駛軟件是如何解讀世界的，以及機器是如何理解可視化軟件呈現的視圖的，可視化軟件指導著自動駕駛的行動。我們還密切關注安全駕駛員，了解他看到了什么，以及與可視化軟件的外觀相比是否出現了人為差異。

這個練習非常耗時。但當Mobileye宣布，中國吉利汽車集團將從明年開始將Mobileye的自動駕駛“全堆棧”、360度攝像頭ADAS解決方案用于動力級別L2+的電動汽車時，這意味著到這個實驗將具有重大意義。

Mobileye與吉利的協議表明，Mobileye正在將最初為L4測試自動駕駛開發的軟件在耶路撒冷“經過試驗和驗證”——進口給中國的L2/L2+消費者汽車。這是自動駕駛汽車的自動駕駛軟件和硬件第一次直接針對消費者的ADAS汽車，實現“hands-free ADAS”的案例。Mobileye承諾在不到一年的時間內實現這一里程碑。

這是否代表了Mobileye的自動駕駛軟件驅動的成熟。在開始耶路撒冷測試之前，該公司已經為嚴格的設計和工程制定了預先的細節，這在自動駕駛開發中是非常必要的。

英特爾高級首席工程師和Mobileye自動駕駛汽車標準副總裁Jack Weast最近強調:“你不能把一堆東西編碼出來扔在路上，然后看看會發生什么”——許多自動駕駛初創公司都遵循這樣的做法，希望能吸引風投資金。在Mobileye的情況下，“你要深入思考系統的設計。你要試著理解紙上的設計是什么樣，并對設計進行正式驗證。”

英特爾一位發言人表示，Mobileye從2013年開始開發和測試高速公路試點，并一直在增加不同的功能，包括高清地圖，責任敏感安全和真實冗余。 “2018年初開始了對現有配置的廣泛道路測試。”

我們在標記什么

在一幀一幀地反復觀看Mobileye的視頻剪輯后，我們注意到一些東西所引發的一些問題:

可視化軟件是否正確地評估了某一對象(卡車和公共汽車的混淆)?

軟件是否在跟蹤目標?一些汽車或人突然消失了，軟件似乎完全遺漏了他們，但是，幾秒鐘后，他們又重新出現。為什么?

我們應該擔心這些閃爍的物體嗎?

為什么視覺傳感器沒有檢測到特定的物體，比如1月份發布的Mobileye視頻中的摩托車或嬰兒車?在感知這些物體之前，傳感器似乎遲疑了幾秒鐘。

難道自動駕駛沒有撞到嬰兒車只是運氣嗎?

Mobileye的自動駕駛軟件，一些駕駛動作，比如沒有保護的左轉，讓我們覺得有點過于激進。

需要澄清的是，與我們交談過的自動駕駛專家中沒有人對我們所說的“潛在問題”發出警告。“我們把它們視為危險信號，但專家們并認為。

一位匿名的自動駕駛專家表示:“計算機視覺是一個困難的問題。”從傳感器的觀點來看，“可能有什么東西擋住了視線。“傳感器實際能看到的東西和我們從其他角度能看到的東西之間有很大的區別。”

VSI實驗室的創始人和負責人Phil Magney告訴我們，“關于visualizer的評論，確實有些物體消失了又出現了。這并不罕見。根據Magney的說法，“當對物體的信任度瞬間下降時，你會從視覺工具中失去目標。”當存在部分遮擋或當物體的方向改變時，就會發生這種情況。在一些物體上，它們會消失，只有當物體靠近時才會顯現。在這種情況下，當目標進入對車輛至關重要的感興趣區域(ROI)時，這些條件下的置信度才會增加。”

當被問及最初沒有在可視化軟件屏幕上檢測到的嬰兒車時，Magney表示，“這可能是分類的問題。它是基于神經網絡和它被訓練的好壞。”

那么，問題會是自動駕駛軟件驅動程序從未見過嬰兒車嗎?但是Magney注意到軟件驅動程序并沒有完全忽略bug。“實驗對象暫時有足夠的置信度進行分類，但幾幀之后，由于物體的方向改變，它消失了，但當你走近時置信度又增強了，實驗對象又重新出現了。”

軟件并非完美無缺

Mobileye的首席技術官、英特爾公司的高級研究員Shai Shalev-Shwartz承認:“我們的視頻顯示了最近的進展，但并不是完美的。”

他強調，“我們的立場是，透明度是構建自動駕駛系統過程中的一個關鍵因素。”

在深入研究提到的具體場景之前，Shalev-Shwartz給出了一些一般性的評論:

可視化只顯示“事實”——目前被攝像機穩定探測到的事件。駕駛政策有一個“常識”層，包括“事情不會憑空消失”這樣的邏輯。“這些非視覺指南是汽車決策過程的一部分。

一些物體在二維圖像中被檢測到，但是在三維世界中理解它們的位置和運動狀態會帶來很大的不確定性。這些2D圖像沒有顯示在可視化中，而是在RSS(責任敏感安全)上下文中使用。

RSS的一個重要組成部分是“知道你不知道的東西”。這意味著在任何時候，對于三維空間中的每個區域，我們知道以下情況之一:

(1)已知它被某個道路使用者占用

(2)已知它未被占用

(3)未知。RSS邏輯在每種情況下都能正常運行。我們對2D中檢測到的物體也使用“未知”機制，但是在3D世界中定位它們有很多不確定性。

Mobileye回應物體消失之謎

視頻的第一部分我們要檢查的是嬰兒車。13:48到15:05。

嬰兒推車失蹤了?

14點52分，有個人推著嬰兒車。上面的圖片是視頻中嬰兒車出現時的一個畫面。計算機似乎直到很久以后才意識到這一點。這是AI沒有訓練過的對象的情況嗎?

Shai Shalev-Shwartz:行人和嬰兒車一直都在被檢測。然而，可視化只顯示“事實”。

下一個視頻片段是從16:40到17:20。事件發生在16:47左右。這個可視化軟件似乎搞不清楚從左邊過來的是一輛公共汽車還是一輛卡車。然后它瞬間消失了。

Shai Shalev-Shwartz:區分卡車和公共汽車對自動駕駛的決策不是必須的，特別是當它離你有三輛車遠的時候。

在17:17左右，你突然看到一個紅色的盒子，這種物體之前沒出現過。什么造成了這樣的幽靈?

Shai Shalev-Shwartz:我們的感知神經網絡被調到安全的一邊(falsie vs. missy)，因為目標丟失是一個安全問題，而錯誤檢測這個問題比較comfort(緩和)。盡管如此，駕駛的舒適性并沒有受到影響(決策時要考慮到目標是“活躍”的車架數量，并相應地調整制動配置以減少顛簸)。

在21:50左右。一輛摩托車明顯地朝那輛汽車駛來。這是安全駕駛員的觀點。計算機似乎直到很久以后才意識到這一點。為什么?

Shai Shalev-Shwartz:做決策時要考慮到不確定性(在顯示器上看不到)。

我們要強調的第一部分是在3分鐘之后。為什么車子在3:05左右幾乎停了下來，而左邊的車道明顯是空的，它可以很容易地繞過卡車?

Shai Shalev-Shwartz:我們使用不同的上下文線索來確定一個物體是否是需要超車的障礙物/靜止物體(例如，等待在交通堵塞中的車輛vs.雙停車輛)。這一機制正在迅速完善。然而，這不是一個與安全相關的問題。

一群汽車停在街道的右邊。他們中的任何一個都可以退出。然而，可視化軟件只能看到一個。是什么引發了這種閃爍現象?在整個過程中，對象都是在“低級”位置被檢測到的。這只是一個形象化的問題。

接下來我們要提醒大家注意的是左轉向。視頻在10:45左右開始。Mobileye測試車緩緩駛進道路，因此它基本上阻斷了交叉交通，為自己創造了一個開口。還有一些時候讓我覺得是攻擊性駕駛。這被認為是“文化差異”的行為嗎?

Shai Shalev-Shwartz:這在以色列和大多數西方國家都很正常。無所事事地等待完美的情況是沒有用的。請記住，我們基于RSS的駕駛政策可以很容易地調整以適應不同的駕駛風格。

下一部分我們要問的是14時33分到14時48分。在拍攝過程中，Mobileye車隊正等待轉彎。為什么方向盤會動得這么厲害?看起來計算機正在進行自己的路徑規劃。但是什么導致了方向盤的瘋狂移動呢?

Shai Shalev-Shwartz:這是黑客攻擊工具的副作用之一。當使用帶有專用控制棧的av就緒平臺時，就不會發生這種情況。

我們所涉及的下一個問題是當Mobileye車輛停下來換電池后會發生什么。順序大約從14:45開始。在無人機拍攝的視頻中，我們看到右側停著幾輛車。但在可視化軟件上，停車數量一直在變化。導致這個的原因是什么?

Shai Shalev-Shwartz: 這就是之前提到的(1)已知它被某個道路使用者占用(2)已知它未被占用。

情況在“不斷改善”

根據Shalev-Shwartz的說法，一言以蔽之，Mobileye的自動駕駛軟件在不斷改進。

大多數自動駕駛專家和Mobileye一致認為，自動駕駛軟件在公交和卡車上的混淆并不重要。一位行業觀察人士表示:“(一輛車的)尺寸可能頗具挑戰性。但當我們談到探測和反應時，我們真正關心的是知道你前面有一輛車。”

Mobileye的CTO解釋:“這只是一個顯示問題(不影響駕駛安全性)。從計算機視覺的角度來看，這是一個相當簡單的任務。由于它不是安全關鍵因素，因此沒有得到優先考慮。盡管如此，他補充說，“最近的傳感版本在這方面表現出更好的性能。”

盡管如此，我們還是注意到可視化軟件在確定對象大小時似乎存在問題。這是否由2D成像的限制造成的？

Shalev-Shwartz:“這在不斷改進，并且已經達到了相當大的準確性水平。Mobileye使用基于RSS的駕駛策略，為有限的可見性增加了安全保障。

為什么計算機有時在跟蹤一個對象時似乎有問題。在一個場景中，它看到了一輛汽車或一個人，但在另一個場景中，幾秒鐘后，計算機似乎完全忘記了它看到的東西。對象就消失了。這很令人擔憂。

Shalev-Shwartz表示：“我們肯定會追蹤物體。我們有時會因為遮擋或圖像的局部可見性而無法跟蹤，所以我們不能‘指望’它，也不能通過深度神經網絡來確定它的存在(故障通常是由于遮擋或分類錯誤造成的)。”

 “此外，我們基于RSS駕駛政策使用新穎的方法和技術來處理遮擋和能見度有限區域。這就是為什么這些“錯誤”不會影響駕駛體驗和駕駛安全的部分原因。”

雖然我們所有的操作都是手工完成的，但我們相信Mobileye有工具可以自動發現電腦在每個硬盤上可能犯下的錯誤。這個過程是怎樣的。

 “我們有一個非常結構化的程序。每次試駕都有一名安全駕駛員和一名負責實時標記事件的副駕駛。然后，我們通過一個專門的團隊執行的離線分析來運行日志。在大規模的驗證中，我們使用了新奇的方法，比如與L/R系統進行比較，使用參考傳感器離線地真相等。”

總結

Mobileye的此次測試給予了自動駕駛相當的大的貢獻，當越來越多的設備被認為比人類更聰明時，我們就會越來越迫切地想知道這是怎么回事？