第281章 到底咋寫
是Pinecone提供了直觀的API和友好的用戶界面，如圖4.2與圖4.3所示，使得開發者可以輕鬆
地創建索引、存儲向量數據以及執行查詢操作。
Weaviate是一個向量搜索引擎資料庫，它專註於連接和管理分散的數據，並通過語義鏈接來
解析和查詢這些數據。它的主要功能包括語義搜索、數據鏈接和知識圖譜構建。Weaviate的關鍵在於什麼呢？
我也不太知道。
為什麼又開了一個講座。
居然還留了作業。
以快速地查詢和計算相似度，支持高效的數據查詢。這種表示方式使得向量知識庫能夠有效支持近
似搜索，即在巨大的數據集中快速找到與查詢最為接近的項。同時，向量知識庫不受傳統關係型數
據庫模式的限制，提供了更大的靈活性。它們能夠處理多種類型的數據，包括文本、圖像、音頻和電影等。
那作業怎麼寫？
我怎麼知道啊，下周還要打分！
紙巾，濕紙巾，消毒濕巾，乾巴的沾水洗臉巾，牙膏牙刷，一小瓶漱口水，洗髮水小樣，沐浴露一小瓶，洗面奶一小個，面霜，仨面膜，防晒霜。
拖鞋，一次性紙杯幾個，洗完澡的毛巾。
自我評價
-學習能力：對於新的領域保持好奇心，具有較強的學習能力，能夠快速掌握新的知識。
-溝通能力：溝通能力強，能夠掌握溝通技巧，善於維護各方關係並進行跨部門協作。
基於大語言模型（LLM）的英文文獻解析
-選取大量專業領域的英文文獻數據進行處理，使用Python對數據進行分模塊讀取。
-特徵提取，將所有元素轉換為向量，構建專業領域的向量知識庫。
-通過chatbot模式，進行模型優化，檢驗模型是否能調用專業領域向量資料庫回答專
業性問題和時效性問題的有效性。
總之，我們的貢獻如下：我們將多模態的檢索增強生成技術確立為隨著近來詞法管理領域的進步而出現的一組重要方法。對於常見的模式，我們對研究論文進行了深入評述，分析了它們之間的內在聯繫和共同面臨的挑戰。我們對未來的發展方向進行了翔實的分析，其中可能包含應對當前許多挑戰的有前途的解決方案。2定義和背景為了更好地了解激發多模態檢索增強的現狀和進展，我們首先定義並討論了兩個關鍵概念的背景：多模態學習和檢索增強生成（RAG）。2.1多模態學習多模態學習是指學習不同模態數據的統一表徵。它的目的是提取互補信息，以促進合成任務的完成（Baltrusaitisetal.Baltrusaitisetal.,2018;Gaoetal.,2020).在這項調查中，我們包括了所有格式不同於自然語言的模式，其中包括圖像、代碼、結構化知識（如......例如表、知識圖譜）、音頻和視頻。
3多模態檢索-增強生成每種模式都有不同的檢索和合成程序、目標任務和挑戰。因此，我們按圖像、代碼、結構化知識、音頻和視頻等模式對相關方法進行分組討論。3.1圖像預訓練模型的最新進展為一般圖像-文本多模態模型提供了啟示。
然而，這些模型需要大量的計算資源進行預訓練，並需要大量的模型參數--因為它們需要記憶大量的世界知識。更關鍵的是，它們無法有效處理新知識或領域外知識。為此，人們提出了多種檢索增強方法，以更好地整合圖像和文本文檔中的外部知識。在一般的文本生成任務中，圖像檢索也可以通過擴展文本生成語境來提高生成質量，從而增加"想象力"。視覺問題解答（VQA）為了解決開放域的VQA問題，RA-VQA(Lin和Byrne,2022b)通過對檢索到的文檔進行近似邊際化預測，聯合訓練文檔檢索器和答案生成模塊。它首先利用現有的對象檢測、圖像標題和光學字元識別（OCR）工具將目標圖像轉換為文本數據。然後，它執行密集段落檢索（DPR）。
也將LLM視為隱式知識庫，並從GPT-3中提取相關隱式信息。即插即用利用根據初始問題定位相關部分。然後，它對檢索到的圖像補丁執行圖像標題處理，以獲取增強上下文。除了純文本增強上同時檢索文本和圖像數據，並將圖像作為視覺標記。RAMM(Yuanetal.,2023)檢索類似的生物醫學圖像和標題，並通過不同的網路對其進行編碼。圖像標題生成多種風格的標題、周和龍(2023)在生成標題前使用了一種風格感知視覺編碼器來檢索圖像內容。除了對視覺信息進行簡單的編碼外，Cho等人還使用了視覺編碼器、Choetal.(2022)進一步使用圖像-文本對之間的多模態相似性作為獎勵函數來訓練更精細的字幕模型。除了檢索圖像元素外、
過檢索新聞文章中的視覺基礎實體來處理新聞圖片標題。視覺基礎對話Leeetal.,2021b)要求檢索視覺信息以生成相關的對話回復。Fanetal.(2021)用基於KNN的信息獲取（KIF）模塊增強了生成模型，該模塊可檢索圖像和維基知識。梁等人(2021)從圖像索引中檢索與對話框相關的圖像，作為響應生成器的基礎。Shen等人(2021)訓練了一個單詞-圖像映射模型來檢索反應的視覺印象，然後使用文本和視覺信息生成反應。文本生成對於一般的文本生成任務，圖像檢索也可以幫助擴展上下文。楊等人(2022a）通過檢索現有圖像和合成新生成的圖像來增強文本模型的"想象力"。因此，為語言模型注入想象力可以提高許多下游自然語言任務的性能。類似的例子還有Zhu等人(2023)將"想象力"。
增強與合成圖像和檢索圖像進行了比較，認為機器生成的圖像由於更好地考慮了上下文，可以提供更好的指導。此外，Fang和Feng等人的研究也證明了這一點、Fang和Feng(2022)表明，通過檢索短語級別的視覺信息，機器翻譯可以得到顯著改善，尤其是在文本上下文有限的情況下。圖像RAG還能幫助醫療報告生成等低資源任務。
可以生成圖像和文本的混合物。它表明，在知識密集型生成任務中，檢索增強圖像生成的效果要好得多，並開闢了多模態上下文學習等新功能。3.2代碼軟體開發人員試圖從大量可用資源中搜索相關信息，以提高工作效率。未知術語的解釋、可重複使用的代碼補丁以及常見程序錯誤的解決方案等。Xiaetal.,2017).在NLP深度學習進展的啟發下，通用檢索-增強生成範式已使包括代碼補全在內的各種代碼智能任務受益匪
同時考慮了未完成代碼片段的辭彙和語義
信息，利用混合技術將基於辭彙的稀疏檢索器和基於語義的密集檢索器結合起來。首先，混合檢索
器根據給定的未完成代碼從代碼庫中搜索相關代碼。然後，將未完成代碼與檢索結果連接起來，並
由自動回歸代碼完成生成器根據它們生成完成代碼。為了處理項目關係，