| 下一頁 | 章節選單 | 主選單 | 上一頁 | 我的 Tesla 正在開車 完全沒問題—直到它撞毀 幾乎完美的科技的危險 作者：Raffi Krikorian 這篇文章曾刊登在 One Story to Read Today 電子報中。請點這裡訂閱。
氣味很奇怪。刺鼻的。化學的。不對勁的。水泥牆太近了。我的眼鏡也不見了。我的孩子之一站在我們車旁的人行道上—沒有哭，只是很困惑。
安全帶有發揮作用。吸震區有吸收衝擊。安全氣囊也有彈出。所有保護身體的設計都完成了它們的工作。但這輛車，一輛 Tesla Model X，已經報廢。
去年秋天的一個星期天，我和我的孩子們正在開車，這趟路我們已經開過好幾百次了，繞過灣區的住宅街道，送我兒子去童軍會議。Tesla 啟用了 Full Self-Driving 模式，開車狀況良好—直到它不再良好。
接下來發生的事，我不得不一點一點拼湊起來。我的記憶有點模糊，而且其中一部分來自我的一個兒子，他從後座目睹了整個過程。車正在轉彎。感覺有些不對勁—方向盤突然向一邊轉，再向另一邊轉，車也以我意想不到的方式減速。我轉動方向盤接手。我不知道系統當時在做什麼，也不知道為什麼。我只知道在那些秒鐘裡，我們撞上了牆。
你可能會覺得我應該知道在這種情況下該怎麼做。我過去曾在 Uber 負責自動駕駛汽車部門，試圖建立一個未來。
科技保護我們免於意外。我曾經思考過邊緣案例、失效模式，以及隱藏在流暢效能背後的脆弱性。我的團隊訓練人類駕駛員，在自駕車犯錯時何時以及如何介入。在過去兩年我負責該部門期間，我們的早期試點計畫沒有發生任何人員受傷。
以我自己的 Tesla，我一開始只在高速公路使用「完全自動駕駛」（Full Self-Driving）作為預設設定。那裡才適合：擁有清晰的車道標線和可預測的交通模式。然後有一天，我嘗試在當地道路上使用它，效果足夠好，讓我養成習慣。
儘管發生了這起事故，我們還算幸運。我只是頸部僵硬、腦震盪，加上幾天的頭痛，以及一些揮之不去的回憶。孩子們安然無恙地爬了出來。但你也可以說我被困在研究人員 Madeleine Clare Elish 稱之為「道德崩壞區」（moral crumple zone）中。汽車的某些部分是專門設計來吸收碰撞中的損壞，以保護車內人員。但 Elish 認為，當複雜的自動化系統失敗時，是人類使用者要為此承擔責任。我的車輛的「完全自動駕駛」模式在三年內記錄了無數的完美里程，但當事故發生時，保險報告上的名字是我的。
而且車輛有證據。當你在駕駛時，它會記錄你的手的位置、你的反應時間、你是否將視線放在道路上——數千個數據點，由車輛處理。在發生碰撞後，Tesla 曾利用這些數據將責任轉嫁給駕駛員。在 2018 年加州 Mountain View 發生一起致命碰撞後，該公司發布聲明，指出「車輛記錄顯示沒有採取任何行動」。(Tesla 並未回應評論請求。)
雖然 Tesla 可以存取這些記錄，但駕駛員就沒有那麼容易了。他們可以要求他們的數據，但有些人說他們只收到了一些片段——並且不得不去法院才能獲得更多。當佛羅里達州過失致死案件的原告尋求有關 Tesla 的其中一套駕駛輔助系統失敗的關鍵證據時，該公司表示它沒有這些數據。原告不得不聘請一位駭客，從撞毀車輛的電腦晶片中恢復這些數據。稍後，Tesla 表示這些數據已經存在於其自己的伺服器上多年，並且是因錯誤而未能找到它們。(法官
沒有找到「足夠的證據」來得出特斯拉試圖隱藏 資料的結論。） 就目前而言，法律原則很簡單：你負責。雖然特斯拉最初將其技術稱為「Full Self-Driving Capability」，但該系統目前被正式歸類為「Level 2」部分的駕駛輔助系統，這意味著人類必須始終保持控制。去年，加州的一位法官裁定特斯拉的原始名稱對消費者而言是「毫無歧義地虛假」且具有誤導性；特斯拉現在使用「Full Self-Driving (Supervised)」。當 2019 年在加州使用該技術版本的特斯拉造成兩名死傷者時，汽車本身的記錄被用於起訴駕駛人未避免 事故—而不是設計該系統的公司。該公司直到去年才首次因重大判決而受到牽連，當時陪審團在佛羅里達州死亡訴訟案件中裁定特斯拉部分責任，並向原告判給 243 萬美元。
在演算法被要求與人類一起工作的地方，類似的模式正在無處不在：在我們的收件匣、搜尋結果、醫療記錄中。這些系統正在朝著完全自動化發展，但尚未達到那一步。電腦仍然定期犯錯，需要人類監督來避免或修正。
Full Self-Driving 在大多數時候都能正常運作—根據特斯拉的統計，搭載該技術的車隊已行駛數百萬英里，之間沒有發生嚴重事故。而這正是有問題的地方：我們要求人類監督那些被設計成讓監督顯得毫無意義的系統。經常失敗的機器能讓你保持警覺。完美運作的機器不需要監督。但幾乎完美運作的機器？危險就在其中。研究顯示，經過幾個小時的無暇運行後，駕駛人容易開始過度信任自動駕駛系統。根據保險車輛安全協會的一項研究，使用自適應巡航控制系統一個月後，駕駛人查看手機的機率高出六倍以上。
特斯拉在其網站上對 Full Self-Driving 的描述中警告說：「不要掉以輕心」，而我也不認為我這麼做了。在發生事故之前，我的手在方向盤上。但我正以系統訓練我的方式駕駛：監控而不是轉向，信任軟體來…
做出正確的判斷。熟悉度曲線會趨向於自滿，而那些開發這些系統的公司似乎都知道這一點。我當然也知道。但我還是被哄睡了。
心理學家稱之為「警戒力遞減」。監控一個近乎完美的系統是無聊的事。無聊會導致思緒漫遊。研究結果毫不留情：駕駛員在自動駕駛系統交還控制權後，需要五到八秒的時間來重新集中精神。但緊急情況可能以比這更快的速度發生。駕駛員的身體反應可能是瞬間的——緊握方向盤、踩剎車。但精神上的部分呢？重構情境、辨識問題、決定該怎麼做？這需要大腦沒有的時間。
2018 年在 Mountain View 事故中，駕駛員在車輛自行駛入混凝土路中央前，只有六秒鐘的時間。他從未觸碰方向盤。同年在亞利桑那州 Tempe，Uber 測試車輛的感測器在 5.6 秒前偵測到附近有人行道行人。安全駕駛員抬頭並在不到一秒的時間內接管方向盤。到那時，一切都只是物理現象。
在我的情況下，我在發生事故前確實採取了行動。但被要求在零點幾秒內從乘客轉變為飛行員——在眨眼的時間內覆蓋數月的訓練。記錄會顯示我轉動了方向盤。但不會顯示那不可能的數學。
我對我事故發生時的實際情況了解不夠，無法說 Tesla 的技術導致了車輛失控。但問題比一個公司的自動駕駛系統更大。它關乎我們如何建立每一個 AI 系統、每一個演算法、每一個要求我們信任並訓練我們付出的工具。這個模式無處不在：讓人們習慣依賴系統。侵蝕他們的警戒心。然後，當某樣東西出錯時，指責他們沒有注意，並引用服務條款。
我的車在感到困惑時沒有發出警告。聊天機器人也沒有；它們以同樣自信的語氣傳遞結果，無論它們是正確的還是產生幻覺。它們展現出專業知識，即使它們引用的來源是可疑或捏造的。它們使用專業術語，以權威的語氣。而我們相信它們，因為為什麼不呢？它們之前是正確的這麼多次。
汽車一英里一英里地教導我們；AI 一週一週地教導我們。第一週，你仔細閱讀聊天機器人的輸出結果。到第三週，你開始複製貼上，不再閱讀。錯誤並沒有消失，但你的警覺性卻消失了。你的判斷力也跟著消失，直到有一天你發現，你已經記不起來一份備忘錄中哪些想法是你的，哪些是由 AI 產生的。我們如此樂意將思考外包給 AI，這反映出我們對自己是什麼樣的態度？ 閱讀：將思考外包給 AI 的人們
當我的汽車發生故障時，那是一種直接且明顯的感受。對於聊天機器人來說，失敗是無聲無息的。你可能在之後才發現，如果有的話——在電子郵件發送、決定做出、程式碼發送之後。當你發現錯誤時，它已經出現在那裡，而且帶著你的名字。當系統運作時，你顯得效率很高；當它失敗時，你的判斷力會受到質疑，有時會造成災難性的後果。2023 年，一位紐約律師因引用六個不存在的案例而被處以罰款。ChatGPT 捏造了這些案例，但他信任了它，法院將責任歸咎於他，而不是工具。因為聊天機器人從來不會被解雇。
我們正經歷一種詭異谷的自主性。電腦系統不僅僅是近乎人類，它們也幾乎能夠自行運作。當它們失敗時，有人必須承擔成本。目前，這個人就是我們。但當我們為自動駕駛汽車或 AI 工具付費時，我們以為我們買的是成品，而不是簽署一份正在測試的產品的協議。
這個「幾乎」階段並不是一個簡短的過渡期。它是產品本身——一個將與我們同在多年的產品，甚至幾十年。因此，注意模式很重要。當一個 AI 系統從未承認不確定性，或者當汽車的行銷宣傳是「自動駕駛」，但細節說明中寫著「駕駛員負責」時，這是一個警告信號。當你意識到你過去 10 英里或過去 10 封自動撰寫的電子郵件中，你並未真正專注時，這就是陷阱。
事情本來可以不一樣，但除非消費者清楚地認識到這種情況並拒絕接受它，否則情況不會改變。我們應該拒絕我們所接受的協議——這是一個讓服務條款成為公司保護盾，對用戶來說卻是利劍的協議。我們應該要求公司分享他們引誘我們冒險所承擔的風險。如果他們設計的是讓人們鬆懈，那麼當他們的產品失敗時，他們應該承擔一部分責任。
這並不是一個烏托邦式的目標。2025 年 7 月，中國汽車製造商比亞迪 (BYD) 宣布將為其自動泊車功能導致的事故造成的損害負責，免除了駕駛員的保險和記錄。這只是一家公司，而且只是一個功能，但它證明了問責制是一種選擇。其他企業也可以被說服加入。
我孩子們當時坐在後座上，當我的汽車發生事故時。有一天，他們將擁有自己的汽車，並以我現在無法想像的方式使用 AI。他們繼承的系統將會是為了提升他們，還是為了讓他們鬆懈並在事情出錯時將責任歸咎於他們？我希望他們能注意到自己正在被訓練。我希望他們能問誰承擔了成本和損害。
這篇文章刊登於 2026 年 4 月的印刷版，標題為「我的自動駕駛汽車事故」。 這篇文章由 calibre 從 https://www.theatlantic.com/magazine/2026/04/self-driving-car-technology-teslacrash/686054/ 下載 | 菜單 | 主菜單 |