瞭解如何使用 TensorFlow 將“負責任的 AI”實踐整合到您的機器學習工作流程中

TensorFlow 致力於透過與機器學習社群分享一系列資源和工具,推動負責任的 AI 開發程序。

什麼是負責任的 AI?

AI 的發展正在創造新的機遇,以解決具有挑戰性的現實世界問題。同時,它也對如何構建惠及所有人的 AI 系統提出了新的問題。

設計 AI 系統時,應遵循軟體開發最佳實踐,並採取以人為本的
機器學習方法

公平性

隨著 AI 對各行各業和社會的影響日益擴大,致力於構建公平且包容所有人的系統至關重要。

可解釋性

理解並信任 AI 系統,對於確保它們按預期工作非常重要。

隱私

使用敏感資料訓練模型時,需要保護隱私的安全措施。

安全性

識別潛在威脅有助於保持 AI 系統的安全可靠。

機器學習工作流程中的負責任的 AI

“負責任的 AI”實踐可以融入到機器學習工作流程的每一個步驟中。以下是每個階段需要考慮的一些關鍵問題。

我的機器學習系統是為誰服務的?

真實使用者體驗您系統的方式,對於評估其預測、建議和決策的實際影響至關重要。請確保在開發過程的早期階段就徵求不同型別使用者的意見。

我使用的資料集具有代表性嗎?

您的資料取樣是否足以代表您的使用者(例如,產品面向全年齡段使用者,但您只有老年人的訓練資料)和現實場景(例如,全年使用,但您只有夏季的訓練資料)?

我的資料中是否存在現實世界/人類偏見?

資料中隱含的偏見可能會導致複雜的反饋迴圈,從而強化現有的刻板印象。

我應該使用什麼方法來訓練模型?

使用能將公平性、可解釋性、隱私和安全性融入模型本身的訓練方法。

我的模型表現如何?

在廣泛的使用者、用例和使用場景中,評估真實世界中的使用者體驗。首先透過內部測試(dogfooding)進行測試和迭代,並在釋出後持續跟進。

是否存在複雜的反饋迴圈?

即使整體系統設計經過深思熟慮,基於機器學習的模型在應用於真實、即時的動態資料時,也極少能達到 100% 的完美。當線上產品出現問題時,應考慮它是否與現有的社會不公現象有關,並評估短期和長期解決方案將如何對其產生影響。

TensorFlow 的負責任 AI 工具

TensorFlow 生態系統提供了一套工具和資源,旨在幫助解決上述問題。

第一步

定義問題

使用以下資源,在設計模型時充分考慮“負責任的 AI”。

People + AI Research (PAIR) 指南

瞭解更多關於 AI 開發過程和關鍵注意事項的資訊。

PAIR 視覺化探索工具 (Explorables)

透過互動式視覺化,探索“負責任的 AI”領域的關鍵問題和概念。

第二步

構建和準備資料

使用以下工具檢查資料是否存在潛在偏見。

Know Your Data (Beta)

以互動方式調查您的資料集,以提高資料質量並減輕公平性和偏見問題。

TF Data Validation

分析和轉換資料以檢測問題,並設計更有效的特徵集。

資料卡片 (Data Cards)

為您的資料集建立透明度報告。

Monk 膚色量表 (MST)

一種更具包容性的膚色量表,採用開放許可,旨在使您的資料收集和模型構建需求更具魯棒性和包容性。

第三步

構建和訓練模型

使用以下工具,利用隱私保護、可解釋技術等方式來訓練模型。

TF Model Remediation

訓練機器學習模型以促進更公平的結果。

TF Privacy

在保護隱私的前提下訓練機器學習模型。

TF Federated

使用聯邦學習技術訓練機器學習模型。

TF Constrained Optimization

最佳化具有不平等約束的問題。

TF Lattice

實現靈活、可控且可解釋的基於晶格(lattice-based)的模型。

第四步

評估模型

使用以下工具除錯、評估和視覺化模型效能。

公平性指標 (Fairness Indicators)

評估二分類和多分類模型中常用的公平性指標。

TF Model Analysis

以分散式方式評估模型,並針對不同的資料切片進行計算。

What-If Tool

檢查、評估和比較機器學習模型。

Language Interpretability Tool (LIT)

視覺化並理解 NLP 模型。

Explainable AI (可解釋 AI)

開發可解釋且具有包容性的機器學習模型。

TF Privacy Tests

評估分類模型的隱私屬性。

TensorBoard

衡量並可視化機器學習工作流程。

第五步

部署和監控

使用以下工具跟蹤和交流模型背景及細節。

模型卡片工具包 (Model Card Toolkit)

使用模型卡片 (Model Card) 工具包輕鬆生成模型卡片。

ML Metadata

記錄並檢索機器學習開發者和資料科學家工作流程中相關的元資料。

模型卡片 (Model Cards)

以結構化的方式整理機器學習的核心事實。

社群資源

瞭解社群正在做什麼,並探索參與其中的途徑。

Crowdsource by Google

幫助 Google 的產品變得更具包容性,更能代表您的語言、地區和文化。

負責任的 AI DevPost 挑戰賽

我們邀請參賽者使用 TensorFlow 2.2 構建模型或應用程式,並貫徹“負責任的 AI”原則。檢視畫廊以瞭解獲獎作品和其他令人驚歎的專案。

使用 TensorFlow 實現負責任的 AI (TF Dev Summit '20)

介紹一個關於思考機器學習、公平性和隱私問題的框架。