本心、輸入輸出、結(jié)果

文心一言 4.0 ERNIE-Bot 4.0 ：ERNIE-Bot 4.0 大模型深度測(cè)試體驗(yàn)報(bào)告

編輯：簡(jiǎn)簡(jiǎn)單單 Online zuozuo
地址：https://blog.csdn.net/qq_15071263

前言

百度文心一言 4.0 ：如何申請(qǐng)百度文心一言 4.0

昨天申請(qǐng)的 文心一言 4.0 ERNIE-Bot 4.0 測(cè)試資格，目前已經(jīng)拿到，我們將開始對(duì) 文心一言 4.0 ERNIE-Bot 4.0 進(jìn)行一些體驗(yàn)測(cè)試

相關(guān)跳轉(zhuǎn)

文心一言 4.0 ERNIE-Bot 4.0 ，目前對(duì)于申請(qǐng)的人員，只提供了 API 測(cè)試通道，所以我們需要 API 文檔

文心一言 4.0 ERNIE-Bot 4.0 API 對(duì)接文檔

文心一言 4.0 ERNIE-Bot 4.0 接口簡(jiǎn)介

該接口調(diào)用 = 發(fā)起一次對(duì)話請(qǐng)求

本接口返回不支持圖片內(nèi)容

接口地址為：POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro

接口文檔 如何獲取 Access_Token

Bash 請(qǐng)求示例代碼

# 步驟一，獲取access_token，替換下列示例中的API Key與Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'

# 步驟二，調(diào)用本文API，使用步驟一獲取的access_token，替換下列示例中的”調(diào)用接口獲取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=[步驟一調(diào)用接口獲取的access_token]' -d '{
   "messages": [
    {"role":"user","content":"介紹一下你自己"}
   ]
}' | iconv -f utf-8 -t utf-8

這是最簡(jiǎn)單的調(diào)用 API 的方式

Windows 模式

日常我們使用 Windows 進(jìn)行工作的時(shí)候，一般使用 PowerShell，那么 Bash 腳本就不適合我們，所以我寫了一個(gè) PowerShell 腳本給大家使用

Invoke-WebRequest -Uri 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[這里填寫你的 API KEY]&client_secret=[這里填寫你的 API Secret]'   | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

如圖，我們就拿到了我們需要的內(nèi)容

發(fā)起溝通請(qǐng)求的 Windows PowerShell 腳本

Invoke-WebRequest -Uri 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=【你的 TOKEN】' -Body '{"messages":[{"role":"user","content":"你好"}]}' -Method Post -ContentType 'application/json;charset=utf-8'  | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

以下為正常測(cè)試返回結(jié)果

使用 Python 請(qǐng)求

這里我再貼一下 Python 版本的代碼，官方提供的 Python 代碼參數(shù)上有點(diǎn)問題，我已經(jīng)修復(fù)了

import requests
import json

API_KEY = "你的AK"
SECRET_KEY = "你的SK"


def main():
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()

    payload = json.dumps({
        "messages": [
            {
                "role": "user",
                "content": "你好"
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json'
    }
    response = requests.request("POST", url, headers=headers, data=payload)
    print(json.dumps(json.loads(response.text), indent=4, ensure_ascii=False))


def get_access_token():
    """
    使用 AK，SK 生成鑒權(quán)簽名（Access Token）
    :return: access_token，或是None(如果錯(cuò)誤)
    """
    url = "https://aip.baidubce.com/oauth/2.0/token"
    params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}
    return str(requests.post(url, params=params).json().get("access_token"))


if __name__ == '__main__':
    main()

測(cè)試結(jié)果是正確的

如果直接使用官方提供的代碼

如果直接使用官方提供的代碼會(huì)報(bào)錯(cuò)，包括官方的調(diào)試口子也是會(huì)報(bào)錯(cuò)的

報(bào)錯(cuò)返回的 336006 the length of messages must be an odd number ，文檔中也沒有說明

代碼調(diào)試結(jié)果

技術(shù)文檔中，也沒有對(duì) 336006 的解釋

報(bào)錯(cuò)的主要原因是：這里的 message 只能攜帶奇數(shù)個(gè)參數(shù)

參考這個(gè)說明

文心一言 4.0 ERNIE-Bot 4.0 API 在線調(diào)試平臺(tái)

雖然只提供了 API 模式，但是我們依然可以利用提供的 API 調(diào)試平臺(tái)直接可視化的使用 文心一言 4.0 ERNIE-Bot 4.0

文心一言 4.0 ERNIE-Bot 4.0 API 在線調(diào)試平臺(tái)

頁面如下，我們可以直接進(jìn)行對(duì)話

前提條件：創(chuàng)建一個(gè)應(yīng)用

我們需要在控制臺(tái)先新建一個(gè)應(yīng)用

在線測(cè)試

計(jì)費(fèi)管理中，文心一言 4.0 ERNIE-Bot 4.0 已經(jīng)免費(fèi)了，但是實(shí)際上，官方并沒有完善好在線測(cè)試的通道

我們?nèi)ピ诰€調(diào)試?yán)锩?，是找不?文心一言 4.0 ERNIE-Bot 4.0 的資源的，其它的都需要付費(fèi)

進(jìn)行問題測(cè)試

測(cè)試思路

• 反應(yīng)速度
• 常識(shí)推理
• 中文理解
• 生蠔問題
• 數(shù)學(xué)計(jì)算
• 代碼

反應(yīng)速度

實(shí)測(cè)反應(yīng)速度還是比較慢的，平均需要 3-5 秒

常識(shí)推理

中國：三個(gè)字命名的城市

理解正確，沒有把上海市之類的理解為三個(gè)字的

GPT-4

國內(nèi)代理 GPT-4 的（高級(jí)賬戶）

中文理解

理解：上海自來水來自海上

結(jié)果并不理想

生蠔問題

生蠔煮熟了叫什么

他也覺得可以叫熟蠔，但是他知道還是生蠔

GPT-4 會(huì)直接認(rèn)為煮熟了，就不叫生蠔了

數(shù)學(xué)計(jì)算

兩個(gè)完全一樣的梯形拼成一個(gè)平行四邊形，這個(gè)平行四邊形的面積是280cm，高是35cm，每個(gè)梯形的上底、下底之和是多少cm

代碼

使用Python代碼生成一個(gè)長度為10的隨機(jī)字符串。

我們直接復(fù)制并運(yùn)行一下這段代碼，是可以直接運(yùn)行的

ERNIE-Bot 4.0 大模型深度測(cè)試體驗(yàn)報(bào)告：總結(jié)

真的已經(jīng)很驚艷了，比預(yù)期值是要高出很多的，唯一不足的地方就是目前響應(yīng)速度實(shí)在是有點(diǎn)慢，不知道是不是測(cè)試階段部署的算力資源不足的問題

其它內(nèi)容

測(cè)試版本的內(nèi)容里面，還沒有提供圖片、插件等能力，不知道到時(shí)候的結(jié)果如何

目前圖片生成能力，還沒有接入 文心一言 4.0 ERNIE-Bot 4.0

我們看看 文心一言 3.5 的表現(xiàn)

弘揚(yáng)愛國精神

文章來源地址http://www.zghlxwxcb.cn/news/detail-713470.html

到了這里，關(guān)于文心一言 4.0 ERNIE-Bot 4.0 ：ERNIE-Bot 4.0 大模型深度測(cè)試體驗(yàn)報(bào)告的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！