2024年1月，ISO與IEC聯(lián)合發(fā)布技術報告《AI功能安全與AI智能系統(tǒng)》（ISO/IEC TR 5469:2024）。

近年來，人工智能（AI）技術在工業(yè)中的應用大幅增加，而且人工智能在某些應用中已被證明能夠帶來益處。然而，關于功能安全的人工智能系統(tǒng)的規(guī)范、設計和驗證，或如何將人工智能技術應用于具有安全相關效應的功能方面的信息卻很有限。對于利用人工智能技術（如機器學習ML）實現(xiàn)的功能，很難解釋它們?yōu)槭裁磿蕴囟ǖ姆绞竭\行，也很難保證它們的性能。因此，在一般情況下使用人工智能技術時，尤其是在使用人工智能技術實現(xiàn)與安全相關的系統(tǒng)時，很可能會出現(xiàn)一些特殊的考慮因素。

強大的計算和數(shù)據(jù)存儲技術讓大規(guī)模部署人工智能成為可能。對于越來越多的應用來說，采用機器學習（作為一種人工智能技術）能夠快速、成功地開發(fā)出檢測數(shù)據(jù)趨勢和模式的功能。這使得通過觀察誘導函數(shù)行為并快速提取決定其行為的關鍵參數(shù)成為可能。機器學習還可用于識別異常行為或在特定環(huán)境中收斂到最佳解決方案。成功的ML應用領域包括金融數(shù)據(jù)分析、社交網(wǎng)絡應用和語言識別、圖像識別（尤其是人臉識別）、醫(yī)療保健管理和預后、數(shù)字助理、制造機器人、機器健康監(jiān)測和自動駕駛汽車。

除ML外，其他人工智能技術在工程應用中也越來越重要。例如，應用統(tǒng)計學、概率論和估算理論使機器人和感知領域取得了重大進展。因此，人工智能技術和人工智能系統(tǒng)開始實現(xiàn)影響安全的應用。

模型在人工智能技術的實施中發(fā)揮著核心作用。這些模型的屬性可用于證明人工智能技術和人工智能系統(tǒng)與功能安全要求的兼容性。例如，當決定功能行為的關鍵參數(shù)之間存在已知和可理解的科學關系時，觀察到的輸入數(shù)據(jù)和輸出數(shù)據(jù)之間就可能存在很強的相關性。這就產(chǎn)生了一個透明且足夠完整的模型，作為人工智能技術的基礎。在這種情況下，模型與功能安全要求的兼容性就得到了證明。然而，人工智能技術通常用于以下情況：物理現(xiàn)象非常復雜或規(guī)模非常小，或者在不影響實驗數(shù)據(jù)的情況下無法觀測，因此沒有基本行為的科學模型。在這種情況下，人工智能技術的模型可能既不透明也不完整，模型與功能安全要求的兼容性也難以證明。

機器學習用于創(chuàng)建模型，從而擴展對世界的理解。然而，機器學習模型的好壞取決于用于推導模型的信息。如果訓練數(shù)據(jù)沒有涵蓋重要的案例，那么得出的模型就是不正確的。隨著觀察到更多的已知實例，這些實例被用來強化模型，但這會使觀察結(jié)果的相對重要性產(chǎn)生偏差，從而使函數(shù)偏離頻率較低但仍真實存在的行為。持續(xù)觀察和強化會使模型趨于最佳狀態(tài)，否則就會過分強調(diào)普通數(shù)據(jù)，而忽略極端但關鍵的條件。

在通過使用人工智能技術不斷改進模型的情況下，由于功能行為逐漸偏離經(jīng)過嚴格測試的、理想的確定性和可重復性行為，為證明其安全完整性而進行的驗證和確認活動就會受到破壞。

本報告旨在幫助安全相關系統(tǒng)的開發(fā)人員了解人工智能技術的特性、功能安全風險因素、可用功能安全方法和潛在限制因素，從而將人工智能技術恰當?shù)貞玫桨踩δ苤?。本文件還提供了與人工智能系統(tǒng)功能安全相關的挑戰(zhàn)和解決概念的信息。

第5條概述功能安全及其與人工智能技術和人工智能系統(tǒng)的關系。

第6條描述了人工智能技術的不同類別，以表明當人工智能技術構(gòu)成安全功能的一部分時，可能符合現(xiàn)有的功能安全國際標準。第6條還根據(jù)人工智能技術對系統(tǒng)的最終影響，介紹了人工智能技術的不同使用級別。最后，第6條還對與人工智能技術等級和使用水平的不同組合相關的功能安全風險的相對水平進行了定性概述。

第7條基于ISO/IEC 22989，描述了在安全相關系統(tǒng)中使用人工智能技術的三階段實現(xiàn)原則，在這些系統(tǒng)中，無法直接顯示是否符合現(xiàn)有的功能安全國際標準。

第8條討論了人工智能系統(tǒng)的特性和相關功能安全風險因素，提出了這種使用所帶來的挑戰(zhàn)，以及在試圖處理或減輕這些挑戰(zhàn)時所考慮的特性。

第9、10和11條從驗證和確認、控制和緩解措施、流程和方法等方面介紹了應對這些挑戰(zhàn)的可能解決方案。

附件提供了應用實例和更多細節(jié)。附件A闡述了如何將IEC 61508-3應用于人工智能技術元素，附件B提供了如何應用三階段實現(xiàn)原則和定義各種屬性的示例。附件C介紹了與9.3相關的更多詳細流程。附件D顯示了IEC 61508-3中的安全生命周期與ISO/IEC 5338中的人工智能系統(tǒng)生命周期之間的映射。

關注“廣東技術性貿(mào)易措施”，獲取更多服務。