我们正在使用标准层的 Azure OpenAI gpt-3.5-turbo 模型对聊天机器人应用程序进行原型设计。
我们面临着随机的延迟突发,有时会持续 3 到 20 分钟。下面是门户网站提供的指标的屏幕截图。正如您所看到的,使用/速率限制并不表示高负载。
事实上,该应用程序尚未部署到生产环境中,它仅被我们的开发团队用于测试目的。了解这些延迟峰值将帮助我们证明我们的 PoC 并在生产中使用 Azure OpenAI 服务。
关于如何解决这个问题有什么想法吗?
模型属性 模型名称:gpt-35-turbo 模型版本:0301 部署类型:标准 内容过滤器:每分钟默认令牌数 速率限制(千):120 速率限制(每分钟令牌数):120000 速率限制(每分钟请求数):720
图表
我们在我们的构建服务器中面临一个有趣的问题,它阻止我们的应用程序安装 npm 依赖项,这导致我们的大部分构建失败。
我们正在使用运行 Windows的构建服务器Visual Studio Team Services。当我们尝试安装 npm 依赖项时,我们收到以下错误:
2016-04-13T12:44:25.0931743Z npm ERR! Windows_NT 6.3.9600
2016-04-13T12:44:25.0931743Z npm ERR! argv "C:\\Program Files\\nodejs\\\\node.exe" "C:\\Program Files\\nodejs\\node_modules\\npm\\bin\\npm-cli.js" "install" "--production"
2016-04-13T12:44:25.0941742Z npm ERR! node v0.12.7
2016-04-13T12:44:25.0941742Z npm ERR! npm v2.11.3
2016-04-13T12:44:25.0951737Z npm ERR! path C:\NPM\Cache\repeating\1.1.3\package\package.json
2016-04-13T12:44:25.0951737Z npm ERR! code EPERM
2016-04-13T12:44:25.0951737Z npm ERR! errno -4048
2016-04-13T12:44:25.0981746Z npm ERR! Error: EPERM, rename 'C:\NPM\Cache\repeating\1.1.3\package\package.json'
2016-04-13T12:44:25.0991748Z npm ERR! at Error (native)
2016-04-13T12:44:25.0991748Z npm ERR! { [Error: EPERM, rename 'C:\NPM\Cache\repeating\1.1.3\package\package.json']
2016-04-13T12:44:25.1001741Z npm ERR! errno: -4048,
2016-04-13T12:44:25.1001741Z npm …Run Code Online (Sandbox Code Playgroud)