Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

功能:需要支持内容审计,将外发及AI响应的内容记录下来 #1440

Open
5 tasks
dashi6174 opened this issue May 18, 2024 · 13 comments
Open
5 tasks
Labels
enhancement New feature or request

Comments

@dashi6174
Copy link

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述

应用场景

@dashi6174 dashi6174 added the enhancement New feature or request label May 18, 2024
@MustAPI
Copy link

MustAPI commented May 18, 2024

你是想偷数据的吧

@lomohuang
Copy link

你是想偷数据的吧

真实生产场景确实是有这样的需求。无论是对内还是对外服务,有时候合规方面需要有这样的需求。

至于「偷数据」的假定我倒也有思考过,确实是个矛盾点,很难完美平衡。

@mxdlzg
Copy link
Contributor

mxdlzg commented May 19, 2024

debug模式有日志,可以发es分析。不过debug会影响性能

@aYYbsYYa
Copy link

自写渠道,加上百度文本审核

@proxyxai
Copy link

AI 响应的内容, 没必要审计吧

@aYYbsYYa
Copy link

我可能是需要的,我自己写了渠道,支持了语音生成,bert-vits2等,或者其他get post都可以兼容,但是这语音生成有好有坏,怕被拿去干坏事,了解一下5s的音频gpt-sovits就可以克隆音色了

@QAbot-zh
Copy link

我感觉内容审计放在应用端做比较好,让one-api更加纯粹一点

@songquanpeng
Copy link
Owner

这个有隐私问题,建议放到网关层

@JinCheng666
Copy link

debug模式有日志,可以发es分析。不过debug会影响性能

@mxdlzg 请问如何启用debug模式?我看了文档和现有issuses,都没有找到该如何开启debug模式。

我用xinference部署了qwen1.5:72b、llama3:70b,使用oneapi接入了fastgpt,聊天和补全都是没问题的,但工具调用一直失败,所以想看下oneapi接收和发送的请求是什么(fastgpt无法打印请求的具体信息)
相同的本地大模型,接入到dify中,是可以正常使用工具调用的能力。

这个问题卡我很久了,麻烦您有空帮我解答一下,非常感谢。

@aYYbsYYa
Copy link

我测试的时候,是用php写的中转达到接入我自己需要的

主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等

至于构造的里面具体值什么,测试过程中没影响,主要就是返回text
image

这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据
image

php接收是

image

希望这些可以帮到你!

@JinCheng666
Copy link

我测试的时候,是用php写的中转达到接入我自己需要的

主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等

至于构造的里面具体值什么,测试过程中没影响,主要就是返回text image

这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据 image

php接收是

image

希望这些可以帮到你!

@mxdlzg 感谢大佬解答。不知道我这样理解是否正确?
oneapi没有debug模式,如果想获取请求详细信息,需要在应用到oneapi,或者oneapi和大模型的中间,加一层自己的应用,才能截获当前请求的具体信息。

@aYYbsYYa
Copy link

我测试的时候,是用php写的中转达到接入我自己需要的
主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等
至于构造的里面具体值什么,测试过程中没影响,主要就是返回text image
这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据 image
php接收是
image
希望这些可以帮到你!

@mxdlzg 感谢大佬解答。不知道我这样理解是否正确? oneapi没有debug模式,如果想获取请求详细信息,需要在应用到oneapi,或者oneapi和大模型的中间,加一层自己的应用,才能截获当前请求的具体信息。

我是这样的,因为我要接入自己的tts api(vits-simple-api),然后看了one api的项目代码,发现有基本的支持,我寻思着得知道发过来的请求是啥,才能针对的截取要的进行返回
然后写了个基本的音频返回,遇到问题不会token计数了,key分发这些正常
然后我就再写个原样返回的语言接口,专门用来计费(这个理论也可以用于其他你任何想要计费的地方)
就是我通过oneapi的tts调用路径,调用到我的渠道,然后那个渠道再调用一次token计费渠道,再返回音频,上面的截图是token计费渠道的代码

因为翻了好几遍文档,gpt也问了(还想着它应该懂得自己的调用方式以及回调,结果不行)都没有,所以我就是采用中间截取数据的方式,再返回
image

@JinCheng666
Copy link

@mxdlzg 明白了,再次感谢大佬。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

9 participants