——亞馬遜云科技數據庫、數據分析和機器學習全球副總裁Swami Sivasubramanian

(資料圖)

采用機器學習的新范式賦能業務不斷探索已經播種了幾十年。但隨著足夠的可伸縮算力的就位、海量數據的爆炸，以及機器學習技術的快速進步，各行各業的客戶開始對業務進行重塑。最近，像ChatGPT這樣的生成式AI應用引起了廣泛的關注，引發了諸多想象。我們正處在一個令人激動的機器學習被大規模采用的轉折點上，我們也相信生成式AI將會重塑大量客戶體驗和應用程序。

20多年來，人工智能和機器學習一直是亞馬遜關注的焦點。亞馬遜提供給客戶的很多功能都是由機器學習驅動的，例如我們的電商推薦引擎、運營中心撿貨機器人的路徑選擇，以及我們的供應鏈、預測和產能規劃。Prime Air（亞馬遜無人機）和Amazon Go（亞馬遜線下無人零售實體店，消費者可以自選商品后直接離開，無需現場排隊付款結算）中的計算機視覺技術都使用了深度學習。Alexa每周回應客戶數十億次關于管理智能家居、購物、獲取信息和娛樂的請求，這也得益于來自?30?多種不同的機器學習系統的支持。亞馬遜有數千名工程師專注于機器學習研究，這既是我們的寶貴資產，也是我們現在最關注的理念，和面向未來的實力之所在。

在亞馬遜云科技，我們致力于不斷降低機器學習的使用門檻。我們已經幫助超過10萬家來自各行各業的不同規模的客戶使用機器學習進行創新。我們在人工智能和機器學習堆棧的三個層級都擁有至深至廣的產品組合。長期以來，我們不斷投入、持續創新，為機器學習提供高性能、可伸縮的基礎設施，和極具性價比的機器學習訓練和推理；我們研發了Amazon SageMaker，為所有開發人員構建、訓練和部署模型提供最大的便利；我們還推出了大量服務，使客戶通過簡單的API調用就可添加AI功能到應用程序中，如圖像識別、預測和智能搜索。得益于此，Intuit、湯森路透、阿斯利康、法拉利、德甲聯賽、3M和寶馬等客戶，以及全球數千家初創企業和政府機構正在通過機器學習進行數字化轉型，帶動產業升級，重新定義機器學習的使命。我們同樣致力于推動生成式AI技術的普惠化：我們將這些技術從研究和實驗領域釋放出來，不只是少數初創公司和資金雄厚的大型科技公司，而是讓更多公司都能從中受益。因此，我今天非常興奮宣布數項創新，幫助我們的客戶更簡單、更容易地在業務中使用生成式AI。

生成式AI和基礎模型

生成式AI是人工智能的一種，能夠創造新內容和想法，包括對話、故事、圖像、視頻和音樂。與所有人工智能技術一樣，生成式AI的能力由機器學習模型提供。這些模型是基于大量數據進行預先訓練的大模型，通常被稱為基礎模型（Foundation Models）。機器學習的最新進展（特別是基于transformer的神經網絡架構的發明）直接帶來這一類模型的爆發式增長，這類模型通常包含數十億個參數或變量。2019年最大的預訓練模型是3.3億個參數。現在，最大的模型包含的參數超過5千億個，相當于幾年間增加了1600倍。如今的基礎模型，例如大型語言模型GPT3.5或BLOOM，以及由Stability AI開發的文生圖模型Stable Diffusion，可以執行跨多個領域的多種任務，例如撰寫博客文章、生成圖像、解決算術問題、對話聊天，基于文檔回答問題等。基礎模型的規模和面向通用場景的性質使其不同于傳統的機器學習模型，后者通常僅執行特定的任務，例如分析文本觀點、分類圖像和預測趨勢等。

基礎模型包含大量參數，能夠學習復雜的概念，因此可以執行更多任務。通過基于互聯網規模的、各種形式和模態的海量數據進行預先訓練，基礎模型學會在各種語境中應用所習得的知識。盡管預訓練基礎模型所帶來的功能和可能性已足夠令人驚嘆，而真正讓客戶為此興奮不已的是，這些通用模型也可以被定制化加工，執行專屬于其業務領域的特定功能，幫助業務建立差異化競爭優勢，與從零開始訓練模型相比，僅需使用一小部分數據和計算資源。定制化的基礎模型可以帶來獨有的顧客體驗，體現公司的觀點、風格和服務，適用于眾多消費者行業，如金融銀行、旅行和醫療等。例如，一家金融公司如果需要使用所有相關交易自動生成活動日報以供內部流通，它可以使用包括既往報告在內的專有數據來定制模型，以便基礎模型了解如何閱讀報告和使用哪些數據來生成日報。

基礎模型擁有巨大的潛力，但我們仍處在初級階段。ChatGPT率先吸引了客戶對生成式AI的關注。對生成式AI展開研究的人很快意識到，多家公司已經在基礎模型上耕耘多年，可用的基礎模型也有很多，且各有各的優勢和特點。在過去的數年間，我們都親歷了技術的快速發展，機器學習的演進也是日新月異。我們期待未來會涌現全新的體系和架構，而基礎模型的多樣化會推動新一波的創新浪潮。此前聞所未聞的新應用體驗在今天已經成為現實。很多客戶都在詢問我們，如何快速利用當今以及未來可能出現的技術，如何快速使用基礎模型和生成式AI立刻為公司業務大幅提升生產效率和變革產品與服務。

推出Amazon Bedrock和Amazon Titan模型：借助基礎模型構建和擴展生成式AI應用程序的最簡單途徑

客戶向我們講述了他們現在的主要需求。首先，他們需要能直接找到并訪問高性能基礎模型，這些模型需要能夠給出最匹配業務場景的優秀反饋結果。其次，客戶希望無縫與應用程序集成，且無需管理大量基礎設施集群，也不會增加過高的成本。最后，客戶希望能夠輕松上手，基于基礎模型，利用自己的數據（可多可少）構建差異化的應用程序。由于客戶進行定制化的數據是非常有價值的?IP，因此需要在處理過程中確保數據安全和隱私保護。同時，客戶還希望能控制數據共享和使用。

聽取了客戶的所有反饋，今天我們很高興宣布推出Amazon Bedrock。這項新服務允許用戶通過API訪問來自AI21 Labs、Anthropic、Stability AI和亞馬遜的基礎模型。Bedrock是客戶使用基礎模型構建和擴展生成式AI應用程序的最簡單方法，為所有開發者降低使用門檻。在Bedrock上，用戶可以通過可擴展、可靠且安全的亞馬遜云科技托管服務，訪問從文本到圖像的一系列強大的基礎模型，以及我們今天發布的Amazon Titan基礎模型。Amazon Titan基礎模型目前包括了兩個全新的大語言模型。憑借Bedrock所帶來的無服務器體驗，客戶可以輕松找到適合自身業務的模型，快速上手，在確保數據安全和隱私保護的前提下，使用自有數據基于基礎模型進行定制，并使用他們已經熟悉的亞馬遜云科技工具和能力，將定制化模型集成并部署到他們的應用程序中，同時無需管理任何基礎設施。比如，客戶可以將基礎模型與Amazon SageMaker機器學習功能集成，使用Experiments測試不同模型和使用Pipelines大規模管理基礎模型等。

客戶也可使用Bedrock訪問一些當前最領先的可用基礎模型。這將包括AI21 Labs開發的Jurassic-2多語種大語言模型系列，能夠根據自然語言指令生成文本內容，目前支持西班牙語、法語、德語、葡萄牙語、意大利語和荷蘭語。還有Anthropic開發的大語言模型Claude，它是基于Anthropic對于訓練誠實和負責任的AI（responsible AI）系統的大量研究，能夠執行多種對話和文本處理任務。客戶還可以通過Bedrock輕松訪問Stability AI開發的文生圖基礎模型Stable Diffusion，這是文生圖領域目前最流行的模型，能夠生成獨特、寫實、高清的圖像、藝術作品、商標和其它設計圖。

Bedrock最重要的能力之一是極其容易定制模型。客戶只需向Bedrock展示Amazon S3中的幾個標注好的數據示例，Bedrock就可以針對特定任務微調模型，最少僅需20個示例即可，而無需標注大量數據。假設一位時裝零售行業的內容營銷經理，想為即將推出的手提包新品系列開發新的、針對目標用戶的廣告創意。他向Bedrock提供了一些標注過的表現最佳的既往營銷廣告示例，以及新品的相關描述，Bedrock將能自動為這些新品生成有效的社交媒體推文內容、展示廣告和產品網頁。沒有任何客戶數據被用于訓練底層模型。所有數據都進行了加密，且不會離開客戶的虛擬私有網絡（VPC），因此客戶完全可以確信獲得數據安全和隱私保護。

Bedrock目前提供有限預覽，Coda等客戶的開發團隊對使用Bedrock充滿期待。Coda的聯合創始人兼CEO?Shishir Mehrotra表示：“作為亞馬遜云科技的長期客戶，我們對Amazon Bedrock帶來的高品質、可擴展性和性能充滿期待。我們所有的據已經存儲在亞馬遜云科技上，我們能夠利用Bedrock快速采用生成式AI，并能充分保證我們數據的安全和隱私。目前，包括Uber、紐約時報、Square在內的成千上萬個團隊都在采用Coda，因此，可靠性與可擴展性十分重要。”

一些客戶已經預覽了亞馬遜全新的Titan基礎模型，在未來幾個月內，我們會進一步擴展其可用范圍。我們將首先發布兩個Titan模型。第一個是針對總結、文本生成（如原創博客）、分類、開放式問答和信息提取等任務的生成式大語言模型。第二個是文本嵌入（embeddings）大語言模型，能夠將文本輸入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數字表達（即embeddings?嵌入編碼）。雖然這種大語言模型不生成文本，但對個性化推薦和搜索等應用程序卻大有裨益，因為相對于匹配文字，對比編碼可以幫助模型反饋更相關、更符合情境的結果。實際上，Amazon.com的產品搜索能力就是采用了類似的文本嵌入模型，能夠幫助客戶更好地查找所需的商品。為了持續推動使用負責任AI的最佳實踐，Titan基礎模型可以識別和刪除客戶提交給定制模型的數據中的有害內容，拒絕用戶輸入不當內容，過濾模型中包含不當內容的輸出結果，如仇恨言論、臟話和語言暴力。

任何規模的企業都可以通過Bedrock訪問基礎模型，加速機器學習在組織內部的應用，并憑借其輕松上手的特性，構建自己的生成式AI應用程序。我們相信，Bedrock將是基礎模型普惠化進程中的一大步。埃森哲、德勤、Infosys和Slalom等合作伙伴都在構建最佳實踐，幫助企業借助生成式AI實現快速發展。C3AI和Pega等獨立軟件開發商（ISV）對于利用Bedrock輕松訪問大量基礎模型，兼具安全性、隱私性和可靠性充滿期待。

宣布Amazon EC2?Trn1n和Amazon EC2?Inf2實例正式可用：最具成本效益的生成式AI云基礎設施

無論運行、構建還是定制基礎模型，客戶都需要高性能、低成本且為機器學習專門構建的基礎設施。過去五年，亞馬遜云科技持續加大在自研芯片方面的投入，不斷突破性能和價格的極限，以支持對此有極高要求的機器學習訓練與推理等工作負載。亞馬遜云科技Trainium和Inferentia芯片可以提供在云上訓練模型和運行推理的最低成本。正是因為我們在成本和性能方面的優勢，像?AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI?等領先的AI初創公司都選擇運行在亞馬遜云科技上。

由Trainium支持的Trn1計算實例與其他任何EC2實例相比，都可以節省高達50%的訓練成本，并經過優化，可以在與高達800Gbps的第二代EFA（彈性結構適配器）網絡相連的多個服務器上分發訓練任務。客戶可以在超大規模集群（UltraClusters）中部署Trn1實例，數量可以擴展到在同一可用區中3萬個Trainium芯片，相當于超過6 exaflops的計算能力，并具有PB級網絡。許多亞馬遜云科技客戶，包括Helixon、Money Forward和亞馬遜的搜索團隊，都使用Trn1實例將訓練最大規模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，并且降低了成本。800 Gbps的帶寬已經很大，但我們仍不斷創新、拓展帶寬。今天我們宣布全新的、網絡優化型Trn1n實例正式可用，它可以提供1600 Gbps的網絡帶寬，專為大型網絡密集型模型設計，其性能比Trn1高出20%。

今天，基礎模型花費的時間和金錢主要用于訓練，這是因為許多客戶才剛剛開始將基礎模型部署到生產中。但是，未來，當基礎模型進入大規模部署時，大部分成本將用于運行模型和進行推理。客戶通常會定期訓練模型，于是生產應用程序會不斷生成預測（稱為推理）——每小時可能生成數百萬預測。而且這些預測需要實時發生，這就需要極低延遲和高吞吐量的網絡。Alexa就是一個典型的例子，它每分鐘都會接受數百萬次請求，處理這些請求占所有計算成本的40%。

我們相信，未來大部分機器學習成本將來自運行推理。因而，幾年之前，當我們開始研發新型芯片時，就已經將推理優化型芯片置于首位。2018年，我們發布了首款推理專用芯片Inferentia。每年，亞馬遜都運用Inferentia運行數萬億次推理，并節省數億美元成本。這是十分顯著的成果，繼續創新的空間依然巨大，因為隨著越來越多的客戶將生成式AI集成到他們的應用程序中，工作負載的規模和復雜性只會越來越大。

因此，我們今天宣布由Amazon Inferentia2提供支持的Inf2實例正式可用，這些實例專門針對運行數千億個參數模型的大規模生成式AI應用程序進行了優化。與上一代相比，Inf2實例不僅吞吐量提高了4倍，延遲降低了10倍，還可實現加速器之間的超高速連接以支持大規模分布式推理。與同類Amazon EC2實例相比，這些能力將推理性價比提高了40%，并把云中的推理成本降到最低。與同類Amazon EC2實例相比，Runway等客戶有望利用Inf2將部分模型的吞吐量提升至原來的兩倍。受益于高性能和低成本的推理，Runway能夠引入更多功能，部署更復雜的模型，并最終為自己的數百萬用戶交付更優質的體驗。

宣布Amazon CodeWhisperer正式可用，并面向個人開發者免費開放

我們深知，對客戶而言，利用正確的基礎模型進行構建，并在最優性能的云基礎設施上大規模運行生成式AI應用程序將帶來顛覆性變革。同時，這也將帶來革命性的全新用戶體驗。當應用程序或系統具備內置的生成式AI能力時，用戶可以獲得更自然、更流暢的交互體驗。這就如同今天手機的人臉識別解鎖功能，我們無需了解這一功能背后強大的機器學習模型，卻可以做到看一眼手機就解鎖了。

我們預見到，編程將是生成式AI技術得到快速應用的領域之一。今天，軟件開發者需要花費大量時間編寫相當淺顯和無差別的代碼。他們還需要花費不少時間學習復雜的新工具和技術，而這些工具和技術總在不斷演進。因此，開發者真正用于開發創新的功能與服務的時間少之又少。為應對這一難題，開發者會嘗試從網上復制代碼片段再進行修改，但可能無意中就復制了無效代碼，有安全隱患的代碼，或對開源代碼的使用沒有進行有效的追溯。而且這種搜索和復制的方式也浪費了開發者用于業務構建的時間。

生成式?AI?可以通過“編寫”大部分無差別的代碼來大大減少這種繁重的工作，讓開發人員能夠更快地編寫代碼，同時讓他們有時間專注在更具創造性的編程工作上。?因此，我們去年宣布推出了?Amazon CodeWhisperer?預覽版，這是一款?AI?編程助手，通過內嵌的基礎模型，可以根據開發者用自然語言描述的注釋和集成開發環境（IDE）中的既有代碼實時生成代碼建議，從而提升開發者的生產效率。開發人員只需要向?CodeWhisperer?提出任務命令，例如“解析一個含有歌曲信息的?CSV?字符串”，并要求它返回一個基于藝術家、標題和排行榜最高排名等數據的結構化列表，CodeWhisperer?就可以解析字符串并返回指定的列表，從而極大提升工作效率。CodeWhisperer?預覽版發布后得到了開發者們的熱烈響應。我們始終相信，幫助開發人員編寫代碼可能成為未來幾年生成式?AI?可以發揮巨大效力的應用場景之一。?在預覽期間，我們還進行了一項生產力測試，與未使用?CodeWhisperer?的參與者相比，使用?CodeWhisperer?的參與者完成任務的速度平均快57%，成功率高?27%。這是開發人員生產力的巨大飛躍，而我們相信這才僅僅是個開始。

今天，我們很高興宣布?Amazon CodeWhisperer正式可用，在適用?Python、Java、JavaScript、TypeScript?和?C#之外，新增支持Go、Kotlin、Rust、PHP?和?SQL等10?種開發語言。開發者可以通過在VS Code、IntelliJ IDEA、Amazon Cloud9等集成開發環境中的Amazon Toolkit?插件訪問?CodeWhisperer。CodeWhisperer?也可在Amazon Lambda控制臺中使用。除了從數十億行公開代碼中學習之外，CodeWhisperer?也基于亞馬遜的代碼進行了訓練。?我們相信?CodeWhisperer?是目前為亞馬遜云服務（包括?Amazon EC2、Amazon Lambda和Amazon S3）生成代碼的最準確、最快和最安全的方式。

如果生成式?AI?工具建議的代碼包含隱藏的安全漏洞或未能負責任地處理開源代碼，開發人員則無法真正提高工作效率。CodeWhisperer是唯一具有內置安全掃描功能（通過自動推理實現）的?AI?編程助手，用于查找難以檢測的漏洞并提出補救建議，例如十大開放式Web應用程序安全項目(OWASP)中的漏洞以及不符合加密庫最佳實踐的漏洞等。為了幫助開發人員以負責任的方式開發代碼，CodeWhisperer會過濾掉可能被認為有偏見或不公平的代碼建議，同時，由于客戶可能需要對開源代碼源進行參考或獲得其使用許可，CodeWhisperer?還是唯一可以對疑似開源代碼建議進行過濾和標記的編程助手。

我們相信生成式AI將改變開發者的游戲規則，因此希望它能為盡可能多的人所用。?所以，CodeWhisperer對所有個人用戶免費，并不設任何資質或使用時長的限制！任何人都可以通過郵箱賬戶在幾分鐘內注冊?CodeWhisperer進行使用，而無需亞馬遜云服務賬號。對于企業客戶，我們則提供了CodeWhisperer?專業版，其中包括更多高級管理功能，如集成了身份與訪問管理服務(IAM)的單點登錄?(SSO)，以及使用更高限額的安全掃描。

構建像?CodeWhisperer?這樣強大的應用程序對開發人員和我們所有的客戶來說都是變革性的。我們還有更多創新性的產品在規劃中，也期待更多的客戶和開發者在亞馬遜云服務上構建更加創新和顛覆性的生成式AI應用。我們的使命是，讓各種技能水平的開發人員和各種規模的組織都有機會使用生成式AI進行創新。我們相信，新一波機器學習技術創新才剛剛開始、方興未艾，未來還有無限可能。

關鍵詞：