向量緩存

隨著AI應用程序的吸引力，使用大語言模型（LLM）的成本和延遲可能會升級。VectorCache通過基於語義相似性緩存LLM響應來解決這些問題，從而減少了成本和響應時間。