向量缓存

随着AI应用程序的吸引力，使用大语言模型（LLM）的成本和延迟可能会升级。VectorCache通过基于语义相似性缓存LLM响应来解决这些问题，从而减少了成本和响应时间。