亞馬遜云服務(wù)(AWS)宣布為其S3云對(duì)象存儲(chǔ)推出矢量存儲(chǔ)功能——S3 Vectors，該公司聲稱此舉可將AI存儲(chǔ)中矢量化數(shù)據(jù)的上傳、存儲(chǔ)和查詢成本降低多達(dá)90%。
該功能旨在讓客戶能夠經(jīng)濟(jì)高效地在AWS云中存儲(chǔ)大量矢量數(shù)據(jù)，并通過(guò)此類索引進(jìn)行搜索以查找特定內(nèi)容類型，有望成為更昂貴的矢量數(shù)據(jù)庫(kù)的替代方案。
矢量數(shù)據(jù)支持所謂的語(yǔ)義搜索，搜索功能利用元數(shù)據(jù)中的矢量信息，讓用戶能夠找到相似類型的信息。例如在視頻文件中查找相似場(chǎng)景、在醫(yī)學(xué)影像中記錄的模式，或具有相關(guān)主題的文檔集合。
S3 Vectors為其S3對(duì)象存儲(chǔ)引入了專門構(gòu)建的AWS存儲(chǔ)桶類型，并將提供應(yīng)用程序編程接口(API)以允許應(yīng)用程序連接到此類數(shù)據(jù)存儲(chǔ)。
每個(gè)Amazon S3 Vectors存儲(chǔ)桶最多可支持10,000個(gè)矢量索引，每個(gè)索引能夠存儲(chǔ)數(shù)千萬(wàn)個(gè)矢量。
創(chuàng)建矢量索引后，客戶還可以將元數(shù)據(jù)作為鍵值對(duì)附加到矢量上，以便根據(jù)一組條件過(guò)濾未來(lái)的查詢。AWS表示，S3 Vectors將隨時(shí)間自動(dòng)優(yōu)化矢量數(shù)據(jù)，以實(shí)現(xiàn)最佳的性價(jià)比。
S3 Vectors與Amazon Bedrock知識(shí)庫(kù)集成，并可與Amazon OpenSearch一起使用。
Bedrock是AWS的托管服務(wù)，允許客戶構(gòu)建生成式AI應(yīng)用程序，而OpenSearch是大量數(shù)據(jù)的存儲(chǔ)庫(kù)和可視化工具，有助于創(chuàng)建檢索增強(qiáng)生成(RAG)應(yīng)用程序。
據(jù)AWS稱，S3 Vectors可以消除為矢量數(shù)據(jù)庫(kù)配置基礎(chǔ)設(shè)施的需要。這可能是因?yàn)镾3和基于云的對(duì)象存儲(chǔ)比矢量數(shù)據(jù)庫(kù)更便宜構(gòu)建和運(yùn)行。
對(duì)象存儲(chǔ)旨在使用扁平結(jié)構(gòu)和最小開銷處理大量非結(jié)構(gòu)化數(shù)據(jù)，并允許高效檢索單個(gè)文件。而矢量數(shù)據(jù)庫(kù)則專為跨復(fù)雜高維數(shù)據(jù)的高性能相似性搜索而設(shè)計(jì)。它們通常依賴于專門的索引方法和硬件加速，這可能推高硬件和運(yùn)行成本。
矢量數(shù)據(jù)是一種高維數(shù)據(jù)類型，之所以這樣稱呼是因?yàn)閿?shù)據(jù)點(diǎn)中的特征或值數(shù)量遠(yuǎn)超過(guò)收集的樣本或數(shù)據(jù)點(diǎn)數(shù)量。
在AI中，矢量用于存儲(chǔ)數(shù)據(jù)并對(duì)其執(zhí)行計(jì)算。
例如，自然語(yǔ)言中的生成式AI請(qǐng)求會(huì)被處理以獲得詞義、上下文等信息，然后以多維矢量格式表示，可以對(duì)其進(jìn)行數(shù)學(xué)運(yùn)算。這被稱為矢量嵌入。
為了獲得查詢答案，解析和處理的數(shù)值結(jié)果可以與已經(jīng)矢量嵌入的數(shù)據(jù)進(jìn)行比較并提供答案。
這意味著數(shù)據(jù)可以表示可能在所謂非結(jié)構(gòu)化數(shù)據(jù)中找到的特征——例如形狀、顏色，以及當(dāng)它們作為整體被解釋時(shí)可能代表的含義。
到目前為止，AWS似乎是第一家為其基礎(chǔ)對(duì)象存儲(chǔ)產(chǎn)品引入矢量功能的超大規(guī)模云提供商。
微軟Azure通過(guò)Azure Cosmos DB(一個(gè)矢量數(shù)據(jù)庫(kù))提供矢量存儲(chǔ)和搜索。在Azure中可以使用Azure AI搜索進(jìn)行矢量搜索。
與此同時(shí)，谷歌云平臺(tái)通過(guò)Vertex AI為存儲(chǔ)在GCP的BigQuery、Cloud SQL或AlloyDB數(shù)據(jù)庫(kù)中的矢量數(shù)據(jù)提供矢量搜索。