本公開涉及人工智能和云計(jì)算,尤其涉及云服務(wù)。
背景技術(shù):
1、隨著llm(large?language?model,大語言模型)的普及,mcp(model?contextprotocol,模型上下文協(xié)議)因其標(biāo)準(zhǔn)化ai(artificial?intelligence,人工智能)應(yīng)用上下文交互的能力,已經(jīng)成為連接llm與業(yè)務(wù)系統(tǒng)的核心開放標(biāo)準(zhǔn)。
2、mcp定義了應(yīng)用程序和ai模型之間交換上下文信息的方式,使得開發(fā)者能夠以一致的方式將各種數(shù)據(jù)源、工具和功能連接到ai模型,就像usb-c讓不同設(shè)備能夠通過相同的接口連接一樣。mcp的目標(biāo)是創(chuàng)建一個通用標(biāo)準(zhǔn),使ai應(yīng)用程序的開發(fā)和集成變得更加簡單和統(tǒng)一。隨著mcp的推廣,如何方便、快捷的托管mcp服務(wù)器已經(jīng)成為各大云廠商的重點(diǎn)研究方向。
技術(shù)實(shí)現(xiàn)思路
1、本公開實(shí)施例提出了一種請求調(diào)度方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品。
2、第一方面,本公開實(shí)施例提出了一種請求調(diào)度方法,包括:響應(yīng)于接收到服務(wù)器發(fā)送事件sse請求,創(chuàng)建sse長連接;生成會話標(biāo)識,并通過sse長連接返回會話標(biāo)識;響應(yīng)于接收到攜帶會話標(biāo)識的消息請求,將消息請求發(fā)送至?xí)挊?biāo)識對應(yīng)的服務(wù)器進(jìn)行處理,得到響應(yīng)數(shù)據(jù);通過sse長連接返回響應(yīng)數(shù)據(jù)。
3、第二方面,本公開實(shí)施例提出了一種請求調(diào)度裝置,包括:創(chuàng)建模塊,被配置成響應(yīng)于接收到服務(wù)器發(fā)送事件sse請求,創(chuàng)建sse長連接;生成模塊,被配置成生成會話標(biāo)識,并通過sse長連接返回會話標(biāo)識;處理模塊,被配置成響應(yīng)于接收到攜帶會話標(biāo)識的消息請求,將消息請求發(fā)送至?xí)挊?biāo)識對應(yīng)的服務(wù)器進(jìn)行處理,得到響應(yīng)數(shù)據(jù);返回模塊,被配置成通過sse長連接返回響應(yīng)數(shù)據(jù)。
4、第三方面,本公開實(shí)施例提出了一種電子設(shè)備,包括:至少一個處理器;以及與至少一個處理器通信連接的存儲器;其中,存儲器存儲有可被至少一個處理器執(zhí)行的指令,指令被至少一個處理器執(zhí)行,以使至少一個處理器能夠執(zhí)行如第一方面描述的方法。
5、第四方面,本公開實(shí)施例提出了一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì),計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行如第一方面描述的方法。
6、第五方面,本公開實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面描述的方法。
7、本公開的實(shí)施例的關(guān)鍵或重要特征,也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。
1.一種請求調(diào)度方法,包括:
2.根據(jù)權(quán)利要求1所述的方法,其中,所述方法還包括:
3.根據(jù)權(quán)利要求2所述的方法,其中,所述響應(yīng)于接收到服務(wù)器發(fā)送事件sse請求,創(chuàng)建sse長連接,包括:
4.根據(jù)權(quán)利要求3所述的方法,其中,所述分配容器組,包括:
5.根據(jù)權(quán)利要求4所述的方法,其中,所述通過所述池管理器分配所述容器組,包括:
6.根據(jù)權(quán)利要求5所述的方法,其中,所述基于所述容器組,建立所述sse長連接,包括:
7.根據(jù)權(quán)利要求6所述的方法,其中,所述將所述消息請求發(fā)送至所述會話標(biāo)識對應(yīng)的服務(wù)器進(jìn)行處理,得到響應(yīng)數(shù)據(jù),包括:
8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法,其中,所述方法還包括:
9.根據(jù)權(quán)利要求8所述的方法,其中,所述將所述消息請求發(fā)送至所述會話標(biāo)識對應(yīng)的服務(wù)器進(jìn)行處理,包括:
10.根據(jù)權(quán)利要求8所述的方法,其中,所述將所述消息請求發(fā)送至所述會話標(biāo)識對應(yīng)的服務(wù)器進(jìn)行處理,包括:
11.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法,其中,所述將所述消息請求發(fā)送至所述會話標(biāo)識對應(yīng)的服務(wù)器進(jìn)行處理,得到響應(yīng)數(shù)據(jù),包括:
12.一種請求調(diào)度裝置,包括:
13.一種電子設(shè)備,包括:
14.一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì),所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-11中任一項(xiàng)所述的方法。
15.一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-11中任一項(xiàng)所述的方法。