国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu)

這篇具有很好參考價值的文章主要介紹了Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

了解如何設(shè)置Azure Machine Learning JSONL 文件格式,以便在訓(xùn)練和推理期間在計(jì)算機(jī)視覺任務(wù)的自動化 ML 實(shí)驗(yàn)中使用數(shù)據(jù)。

關(guān)注TechLead,分享AI全維度知識。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗(yàn)、團(tuán)隊(duì)管理經(jīng)驗(yàn),同濟(jì)本復(fù)旦碩,復(fù)旦機(jī)器人智能實(shí)驗(yàn)室成員,阿里云認(rèn)證的資深架構(gòu)師,項(xiàng)目管理專業(yè)人士,上億營收AI產(chǎn)品研發(fā)負(fù)責(zé)人。文章來源地址http://www.zghlxwxcb.cn/news/detail-753827.html

Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu),azure,機(jī)器學(xué)習(xí),microsoft,人工智能

一、用于訓(xùn)練的數(shù)據(jù)架構(gòu)

Azure 機(jī)器學(xué)習(xí)的圖像 AutoML 要求以 JSONL(JSON 行)格式準(zhǔn)備輸入圖像數(shù)據(jù)。 本部分介紹多類圖像分類、多標(biāo)簽圖像分類、對象檢測和實(shí)例分段的輸入數(shù)據(jù)格式或架構(gòu)。 我們還將提供最終訓(xùn)練或驗(yàn)證 JSON 行文件的示例。

圖像分類(二進(jìn)制/多類)

每個 JSON 行中的輸入數(shù)據(jù)格式/架構(gòu):

{
   "image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
   "image_details":{
      "format":"image_format",
      "width":"image_width",
      "height":"image_height"
   },
   "label":"class_name",
}
密鑰 說明 示例
image_url Azure 機(jī)器學(xué)習(xí)數(shù)據(jù)存儲中的圖像位置。
my-subscription-id 需要替換為圖像所在的 Azure 訂閱。 若要詳細(xì)了解 Azure 訂閱,請單擊此處。 類似地,my-resource-group、my-workspace、my-datastore 應(yīng)分別替換為資源組名稱、工作區(qū)名稱和數(shù)據(jù)存儲名稱。
path_to_image 應(yīng)該是圖像在數(shù)據(jù)存儲上的完整路徑。
Required, String "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg"
image_details 圖像詳細(xì)信息
Optional, Dictionary "image_details":{"format": "jpg", "width": "400px", "height": "258px"}
format 圖像類型(支持 Pillow 庫中所有可用的圖像格式)
Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif","bmp", "tif", "tiff"} "jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff"
width 圖像的寬度
Optional, String or Positive Integer "400px" or 400
height 圖像的高度
Optional, String or Positive Integer "200px" or 200
label 圖像的類/標(biāo)簽
Required, String "cat"

多類圖像分類的 JSONL 文件示例:

{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details":{"format": "jpg", "width": "400px", "height": "258px"}, "label": "can"}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "397px", "height": "296px"}, "label": "milk_bottle"}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "1024px", "height": "768px"}, "label": "water_bottle"}

Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu),azure,機(jī)器學(xué)習(xí),microsoft,人工智能

多標(biāo)簽圖像分類

下面是每個 JSON 行中用于圖像分類的輸入數(shù)據(jù)格式/架構(gòu)示例。

{
   "image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
   "image_details":{
      "format":"image_format",
      "width":"image_width",
      "height":"image_height"
   },
   "label":[
      "class_name_1",
      "class_name_2",
      "class_name_3",
      "...",
      "class_name_n"
        
   ]
}
密鑰 說明 示例
image_url Azure 機(jī)器學(xué)習(xí)數(shù)據(jù)存儲中的圖像位置。
my-subscription-id 需要替換為圖像所在的 Azure 訂閱。 若要詳細(xì)了解 Azure 訂閱,請單擊此處。 類似地,my-resource-group、my-workspacemy-datastore 應(yīng)分別替換為資源組名稱、工作區(qū)名稱和數(shù)據(jù)存儲名稱。
path_to_image 應(yīng)該是圖像在數(shù)據(jù)存儲上的完整路徑。
Required, String "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg"
image_details 圖像詳細(xì)信息
Optional, Dictionary "image_details":{"format": "jpg", "width": "400px", "height": "258px"}
format 圖像類型(支持 Pillow 庫中所有可用的圖像格式)
Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif", "bmp", "tif", "tiff"} "jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff"
width 圖像的寬度
Optional, String or Positive Integer "400px" or 400
height 圖像的高度
Optional, String or Positive Integer "200px" or 200
label 圖像中的類/標(biāo)簽列表
Required, List of Strings ["cat","dog"]

多標(biāo)簽圖像分類的 JSONL 文件示例:

{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details":{"format": "jpg", "width": "400px", "height": "258px"}, "label": ["can"]}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "397px", "height": "296px"}, "label": ["can","milk_bottle"]}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "1024px", "height": "768px"}, "label": ["carton","milk_bottle","water_bottle"]}

Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu),azure,機(jī)器學(xué)習(xí),microsoft,人工智能

對象檢測

下面是用于對象檢測的示例 JSONL 文件。

{
   "image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
   "image_details":{
      "format":"image_format",
      "width":"image_width",
      "height":"image_height"
   },
   "label":[
      {
         "label":"class_name_1",
         "topX":"xmin/width",
         "topY":"ymin/height",
         "bottomX":"xmax/width",
         "bottomY":"ymax/height",
         "isCrowd":"isCrowd"
      },
      {
         "label":"class_name_2",
         "topX":"xmin/width",
         "topY":"ymin/height",
         "bottomX":"xmax/width",
         "bottomY":"ymax/height",
         "isCrowd":"isCrowd"
      },
      "..."
   ]
}

其中:

  • xmin = 邊界框左上角的 x 坐標(biāo)
  • ymin = 邊界框左上角的 y 坐標(biāo)
  • xmax = 邊界框右下角的 x 坐標(biāo)
  • ymax = 邊界框右下角的 y 坐標(biāo)
密鑰 說明 示例
image_url Azure 機(jī)器學(xué)習(xí)數(shù)據(jù)存儲中的圖像位置。
my-subscription-id 需要替換為圖像所在的 Azure 訂閱。 若要詳細(xì)了解 Azure 訂閱,請單擊此處。 類似地,my-resource-group、my-workspace、my-datastore 應(yīng)分別替換為資源組名稱、工作區(qū)名稱和數(shù)據(jù)存儲名稱。
path_to_image 應(yīng)該是圖像在數(shù)據(jù)存儲上的完整路徑。
Required, String "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg"
image_details 圖像詳細(xì)信息
Optional, Dictionary "image_details":{"format": "jpg", "width": "400px", "height": "258px"}
format 圖像類型(支持 Pillow 庫中提供的所有圖像格式。但對于 YOLO,僅支持 opencv 允許的圖像格式)
Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif", "bmp", "tif", "tiff"} "jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff"
width 圖像的寬度
Optional, String or Positive Integer "499px" or 499
height 圖像的高度
Optional, String or Positive Integer "665px" or 665
label(外部鍵) 邊界框列表,其中每個框都是其左上方和右下方坐標(biāo)的 label, topX, topY, bottomX, bottomY, isCrowd 字典
Required, List of dictionaries [{"label": "cat", "topX": 0.260, "topY": 0.406, "bottomX": 0.735, "bottomY": 0.701, "isCrowd": 0}]
label(內(nèi)部鍵) 邊界框中對象的類/標(biāo)簽
Required, String "cat"
topX 邊界框左上角的 x 坐標(biāo)與圖像寬度的比率
Required, Float in the range [0,1] 0.260
topY 邊界框左上角的 y 坐標(biāo)與圖像高度的比率
Required, Float in the range [0,1] 0.406
bottomX 邊界框右下角的 x 坐標(biāo)與圖像寬度的比率
Required, Float in the range [0,1] 0.735
bottomY 邊界框右下角的 y 坐標(biāo)與圖像高度的比率
Required, Float in the range [0,1] 0.701
isCrowd 指示邊界框是否圍繞對象群。 如果設(shè)置了此特殊標(biāo)志,我們在計(jì)算指標(biāo)時將跳過此特定邊界框。
Optional, Bool 0

用于對象檢測的 JSONL 文件示例:

{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "can", "topX": 0.260, "topY": 0.406, "bottomX": 0.735, "bottomY": 0.701, "isCrowd": 0}]}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "carton", "topX": 0.172, "topY": 0.153, "bottomX": 0.432, "bottomY": 0.659, "isCrowd": 0}, {"label": "milk_bottle", "topX": 0.300, "topY": 0.566, "bottomX": 0.891, "bottomY": 0.735, "isCrowd": 0}]}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "carton", "topX": 0.0180, "topY": 0.297, "bottomX": 0.380, "bottomY": 0.836, "isCrowd": 0}, {"label": "milk_bottle", "topX": 0.454, "topY": 0.348, "bottomX": 0.613, "bottomY": 0.683, "isCrowd": 0}, {"label": "water_bottle", "topX": 0.667, "topY": 0.279, "bottomX": 0.841, "bottomY": 0.615, "isCrowd": 0}]}

Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu),azure,機(jī)器學(xué)習(xí),microsoft,人工智能

實(shí)例分段

對于實(shí)例分段,自動化 ML 僅支持多邊形作為輸入和輸出,不支持掩碼。

下面是實(shí)例分段的示例 JSONL 文件。

{
   "image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
   "image_details":{
      "format":"image_format",
      "width":"image_width",
      "height":"image_height"
   },
   "label":[
      {
         "label":"class_name",
         "isCrowd":"isCrowd",
         "polygon":[["x1", "y1", "x2", "y2", "x3", "y3", "...", "xn", "yn"]]
      }
   ]
}
密鑰 說明 示例
image_url Azure 機(jī)器學(xué)習(xí)數(shù)據(jù)存儲中的圖像位置。
my-subscription-id 需要替換為圖像所在的 Azure 訂閱。 若要詳細(xì)了解 Azure 訂閱,請單擊此處。 類似地,my-resource-groupmy-workspace、my-datastore 應(yīng)分別替換為資源組名稱、工作區(qū)名稱和數(shù)據(jù)存儲名稱。
path_to_image 應(yīng)該是圖像在數(shù)據(jù)存儲上的完整路徑。
Required, String "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg"
image_details 圖像詳細(xì)信息
Optional, Dictionary "image_details":{"format": "jpg", "width": "400px", "height": "258px"}
format 映像類型
Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif", "bmp", "tif", "tiff" } "jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff"
width 圖像的寬度
Optional, String or Positive Integer "499px" or 499
height 圖像的高度
Optional, String or Positive Integer "665px" or 665
label(外部鍵) 掩碼列表,其中每個掩碼都是 label, isCrowd, polygon coordinates 的字典
Required, List of dictionaries [{"label": "can", "isCrowd": 0, "polygon": [[0.577, 0.689,
0.562, 0.681,
0.559, 0.686]]}]
label(內(nèi)部鍵) 掩碼中對象的類/標(biāo)簽
Required, String "cat"
isCrowd 指示掩碼是否圍繞對象群
Optional, Bool 0
polygon 對象的多邊形坐標(biāo)
Required, List of list for multiple segments of the same instance. Float values in the range [0,1] [[0.577, 0.689, 0.567, 0.689, 0.559, 0.686]]

實(shí)例分段的 JSONL 文件示例:

{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "can", "isCrowd": 0, "polygon": [[0.577, 0.689, 0.567, 0.689, 0.559, 0.686, 0.380, 0.593, 0.304, 0.555, 0.294, 0.545, 0.290, 0.534, 0.274, 0.512, 0.2705, 0.496, 0.270, 0.478, 0.284, 0.453, 0.308, 0.432, 0.326, 0.423, 0.356, 0.415, 0.418, 0.417, 0.635, 0.493, 0.683, 0.507, 0.701, 0.518, 0.709, 0.528, 0.713, 0.545, 0.719, 0.554, 0.719, 0.579, 0.713, 0.597, 0.697, 0.621, 0.695, 0.629, 0.631, 0.678, 0.619, 0.683, 0.595, 0.683, 0.577, 0.689]]}]}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "carton", "isCrowd": 0, "polygon": [[0.240, 0.65, 0.234, 0.654, 0.230, 0.647, 0.210, 0.512, 0.202, 0.403, 0.182, 0.267, 0.184, 0.243, 0.180, 0.166, 0.186, 0.159, 0.198, 0.156, 0.396, 0.162, 0.408, 0.169, 0.406, 0.217, 0.414, 0.249, 0.422, 0.262, 0.422, 0.569, 0.342, 0.569, 0.334, 0.572, 0.320, 0.585, 0.308, 0.624, 0.306, 0.648, 0.240, 0.657]]}, {"label": "milk_bottle",  "isCrowd": 0, "polygon": [[0.675, 0.732, 0.635, 0.731, 0.621, 0.725, 0.573, 0.717, 0.516, 0.717, 0.505, 0.720, 0.462, 0.722, 0.438, 0.719, 0.396, 0.719, 0.358, 0.714, 0.334, 0.714, 0.322, 0.711, 0.312, 0.701, 0.306, 0.687, 0.304, 0.663, 0.308, 0.630, 0.320, 0.596, 0.32, 0.588, 0.326, 0.579]]}]}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "water_bottle", "isCrowd": 0, "polygon": [[0.334, 0.626, 0.304, 0.621, 0.254, 0.603, 0.164, 0.605, 0.158, 0.602, 0.146, 0.602, 0.142, 0.608, 0.094, 0.612, 0.084, 0.599, 0.080, 0.585, 0.080, 0.539, 0.082, 0.536, 0.092, 0.533, 0.126, 0.530, 0.132, 0.533, 0.144, 0.533, 0.162, 0.525, 0.172, 0.525, 0.186, 0.521, 0.196, 0.521 ]]}, {"label": "milk_bottle", "isCrowd": 0, "polygon": [[0.392, 0.773, 0.380, 0.732, 0.379, 0.767, 0.367, 0.755, 0.362, 0.735, 0.362, 0.714, 0.352, 0.644, 0.352, 0.611, 0.362, 0.597, 0.40, 0.593, 0.444,  0.494, 0.588, 0.515, 0.585, 0.621, 0.588, 0.671, 0.582, 0.713, 0.572, 0.753 ]]}]}

Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu),azure,機(jī)器學(xué)習(xí),microsoft,人工智能

二、用于聯(lián)機(jī)評分的數(shù)據(jù)架構(gòu)

在本部分中,我們將記錄在使用部署的模型時進(jìn)行預(yù)測所需的輸入數(shù)據(jù)格式。

輸入格式

以下 JSON 是使用特定于任務(wù)的模型終結(jié)點(diǎn)對任何任務(wù)生成預(yù)測所需的輸入格式。

{
   "input_data": {
      "columns": [
         "image"
      ],
      "data": [
         "image_in_base64_string_format"
      ]
   }
}

此 json 為具有外部鍵 input_data 和內(nèi)部鍵 columns、data 的字典,如下表所述。 終結(jié)點(diǎn)接受采用上述格式的 json 字符串,并將其轉(zhuǎn)換為評分腳本所需的示例的數(shù)據(jù)幀。 Json 的 request_json["input_data"]["data"] 部分中的每個輸入圖像都是 base64 編碼字符串。

密鑰 說明
input_data
(外部鍵) 它是 json 請求中的外部鍵。 input_data 是接受輸入圖像示例的字典
Required, Dictionary
columns
(內(nèi)部鍵) 用于創(chuàng)建數(shù)據(jù)幀的列名。 它僅接受一個列名為 image 的列。
Required, List
data
(內(nèi)部鍵) Base64 編碼圖像列表
Required, List

部署 mlflow 模型后,我們可以使用以下代碼段來獲取所有任務(wù)的預(yù)測。

# Create request json
import base64

sample_image = os.path.join(dataset_dir, "images", "1.jpg")


def read_image(image_path):
    with open(image_path, "rb") as f:
        return f.read()


request_json = {
    "input_data": {
        "columns": ["image"],
        "data": [base64.encodebytes(read_image(sample_image)).decode("utf-8")],
    }
}
import json

request_file_name = "sample_request_data.json"

with open(request_file_name, "w") as request_file:
    json.dump(request_json, request_file)
resp = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name=deployment.name,
    request_file=request_file_name,
)

輸出格式

根據(jù)任務(wù)類型,對模型終結(jié)點(diǎn)進(jìn)行的預(yù)測遵循不同的結(jié)構(gòu)。 本部分將探討多類、多標(biāo)簽圖像分類、對象檢測和實(shí)例分段任務(wù)的輸出數(shù)據(jù)格式。

當(dāng)輸入請求包含一個圖像時,以下架構(gòu)適用。

圖像分類(二進(jìn)制/多類)

圖像分類的終結(jié)點(diǎn)返回?cái)?shù)據(jù)集中的所有標(biāo)簽及其在輸入圖像中的概率分?jǐn)?shù),格式如下: visualizationsattributions 與可解釋性相關(guān),并且當(dāng)請求僅用于評分時,輸出中將不會包括這些鍵。 有關(guān)圖像分類的可解釋性輸入和輸出架構(gòu)的詳細(xì)信息,請參閱[圖像分類的可解釋性部分]。

[
   {
      "probs": [
         2.098e-06,
         4.783e-08,
         0.999,
         8.637e-06
      ],
      "labels": [
         "can",
         "carton",
         "milk_bottle",
         "water_bottle"
      ]
   }
]
多標(biāo)簽圖像分類

對于多標(biāo)簽圖像分類,模型終結(jié)點(diǎn)返回標(biāo)簽及其概率。 visualizationsattributions 與可解釋性相關(guān),并且當(dāng)請求僅用于評分時,輸出中將不會包括這些鍵。 有關(guān)多標(biāo)簽分類的可解釋性輸入和輸出架構(gòu)的詳細(xì)信息,請參閱[圖像分類多標(biāo)簽的可解釋性部分]。

[
   {
      "probs": [
         0.997,
         0.960,
         0.982,
         0.025
      ],
      "labels": [
         "can",
         "carton",
         "milk_bottle",
         "water_bottle"
      ]
   }
]
對象檢測

對象檢測模型返回多個框,其中包含縮放后的左上角和右下角坐標(biāo),以及框標(biāo)簽和置信度分?jǐn)?shù)。

[
   {
      "boxes": [
         {
            "box": {
               "topX": 0.224,
               "topY": 0.285,
               "bottomX": 0.399,
               "bottomY": 0.620
            },
            "label": "milk_bottle",
            "score": 0.937
         },
         {
            "box": {
               "topX": 0.664,
               "topY": 0.484,
               "bottomX": 0.959,
               "bottomY": 0.812
            },
            "label": "can",
            "score": 0.891
         },
         {
            "box": {
               "topX": 0.423,
               "topY": 0.253,
               "bottomX": 0.632,
               "bottomY": 0.725
            },
            "label": "water_bottle",
            "score": 0.876
         }
      ]
   }
]
實(shí)例分段

在實(shí)例分段中,輸出包含多個框,其中包含縮放后的左上角和右下角坐標(biāo)、標(biāo)簽、置信度和多邊形(非掩碼)。 此處,多邊形值與我們在[架構(gòu)部分]中討論的格式相同。

[
    {
       "boxes": [
          {
             "box": {
                "topX": 0.679,
                "topY": 0.491,
                "bottomX": 0.926,
                "bottomY": 0.810
             },
             "label": "can",
             "score": 0.992,
             "polygon": [
                [
                   0.82, 0.811, 0.771, 0.810, 0.758, 0.805, 0.741, 0.797, 0.735, 0.791, 0.718, 0.785, 0.715, 0.778, 0.706, 0.775, 0.696, 0.758, 0.695, 0.717, 0.698, 0.567, 0.705, 0.552, 0.706, 0.540, 0.725, 0.520, 0.735, 0.505, 0.745, 0.502, 0.755, 0.493
                ]
             ]
          },
          {
             "box": {
                "topX": 0.220,
                "topY": 0.298,
                "bottomX": 0.397,
                "bottomY": 0.601
             },
             "label": "milk_bottle",
             "score": 0.989,
             "polygon": [
                [
                   0.365, 0.602, 0.273, 0.602, 0.26, 0.595, 0.263, 0.588, 0.251, 0.546, 0.248, 0.501, 0.25, 0.485, 0.246, 0.478, 0.245, 0.463, 0.233, 0.442, 0.231, 0.43, 0.226, 0.423, 0.226, 0.408, 0.234, 0.385, 0.241, 0.371, 0.238, 0.345, 0.234, 0.335, 0.233, 0.325, 0.24, 0.305, 0.586, 0.38, 0.592, 0.375, 0.598, 0.365
                ]
             ]
          },
          {
             "box": {
                "topX": 0.433,
                "topY": 0.280,
                "bottomX": 0.621,
                "bottomY": 0.679
             },
             "label": "water_bottle",
             "score": 0.988,
             "polygon": [
                [
                   0.576, 0.680, 0.501, 0.680, 0.475, 0.675, 0.460, 0.625, 0.445, 0.630, 0.443, 0.572, 0.440, 0.560, 0.435, 0.515, 0.431, 0.501, 0.431, 0.433, 0.433, 0.426, 0.445, 0.417, 0.456, 0.407, 0.465, 0.381, 0.468, 0.327, 0.471, 0.318
                ]
             ]
          }
       ]
    }
]

在線評分和可解釋性 (XAI) 的數(shù)據(jù)格式

本部分闡述了在使用部署的模型時進(jìn)行預(yù)測并為預(yù)測的類生成解釋所需的輸入數(shù)據(jù)格式。 無需單獨(dú)部署即可生成解釋。 在線評分的相同終結(jié)點(diǎn)可用于生成解釋。 我們只需要在輸入架構(gòu)中傳遞一些額外的可解釋性相關(guān)參數(shù)即可獲得解釋和/或?qū)傩苑謹(jǐn)?shù)矩陣(像素級解釋)的可視化效果。

支持的可解釋性方法:

  • XRAI (xrai)
  • 集成漸變 (integrated_gradients)
  • 引導(dǎo)式 GradCAM (guided_gradcam)
  • 引導(dǎo)式反向傳播 (guided_backprop)

輸入格式 (XAI)

支持以下輸入格式,以使用特定于任務(wù)的模型終結(jié)點(diǎn)生成對任何分類任務(wù)的預(yù)測和解釋。 部署模型后,我們可以使用以下架構(gòu)來獲取預(yù)測和解釋。

{
   "input_data": {
      "columns": ["image"],
      "data": [json.dumps({"image_base64": "image_in_base64_string_format", 
                           "model_explainability": True,
                           "xai_parameters": {}
                         })
      ]
   }
}

除了圖像,輸入架構(gòu)中還需要兩個額外的參數(shù)(model_explainabilityxai_parameters)才能生成解釋。

密鑰 說明 默認(rèn)值
image_base64 base64 格式的輸入圖像
Required, String -
model_explainability 是生成解釋還是僅生成評分
Optional, Bool False
xai_parameters 如果 model_explainability 為 True,則 xai_parameters 是一個字典,其中包含可解釋性算法相關(guān)參數(shù),并以 xai_algorithm、visualizations、attributions 為鍵。
Optional, Dictionary
如果未傳遞 xai_parameters,則使用 xrai 可解釋性算法及其默認(rèn)值 {"xai_algorithm": "xrai", "visualizations": True, "attributions": False}
xai_algorithm 要使用的可解釋性算法的名稱。 支持的 XAI 算法為 {xrai, integrated_gradients, guided_gradcam, guided_backprop}
Optional, String xrai
visualizations 是否返回解釋的可視化效果。
Optional, Bool True
attributions 是否返回特征屬性。
Optional, Bool False
confidence_score_threshold_multilabel 置信度分?jǐn)?shù)閾值,用于選擇頂級類以生成多標(biāo)簽分類中的解釋。
Optional, Float 0.5

下表描述了可解釋性支持的架構(gòu)。

類型 架構(gòu)
對 base64 格式的單個圖像進(jìn)行推理 image_base64 為鍵和值的字典是 base64 編碼的圖像,
model_explainability 鍵具有 True 或 False,xai_parameters 字典具有 XAI 算法特定參數(shù)
Required, Json String
Works for one or more images

request_json 中的每個輸入圖像(在以下代碼中定義)都是附加到列表 request_json["input_data"]["data"] 的 base64 編碼字符串:

import base64
import json
# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

sample_image = "./test_image.jpg"

# Define explainability (XAI) parameters
model_explainability = True
xai_parameters = {"xai_algorithm": "xrai",
                  "visualizations": True,
                  "attributions": False}

def read_image(image_path):
    with open(image_path, "rb") as f:
        return f.read()

# Create request json
request_json = {

    "input_data": {
        "columns": ["image"],
        "data": [json.dumps({"image_base64": base64.encodebytes(read_image(sample_image)).decode("utf-8"),
                             "model_explainability": model_explainability,
                             "xai_parameters": xai_parameters})],
    }
}

request_file_name = "sample_request_data.json"

with open(request_file_name, "w") as request_file:
    json.dump(request_json, request_file)

resp = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name=deployment.name,
    request_file=request_file_name,
)
predictions = json.loads(resp)

輸出格式 (XAI)

根據(jù)任務(wù)類型,對模型終結(jié)點(diǎn)進(jìn)行的預(yù)測遵循不同的架構(gòu)。 本部分介紹多類、多標(biāo)簽圖像分類任務(wù)的輸出數(shù)據(jù)格式。

以下架構(gòu)是針對兩個輸入圖像的情況定義的。

圖像分類(二進(jìn)制/多類)

除包含 visualizationsattributions 鍵值(如果這些鍵在請求中設(shè)為 True)以外,輸出架構(gòu)[與上述架構(gòu)相同]。

如果在輸入請求中將 model_explainability、visualizationsattributions 設(shè)置為 True,則輸出將具有 visualizationsattributions。 下表解釋了有關(guān)這些參數(shù)的更多詳細(xì)信息。 將針對概率分?jǐn)?shù)最高的類生成可視化效果和屬性。

輸出鍵 說明
visualizations base64 字符串格式的單個圖像,類型為
Optional, String
attributions 具有形狀 [3, valid_crop_size, valid_crop_size] 像素級屬性分?jǐn)?shù)的多維數(shù)組
Optional, List
[
    {
       "probs": [
          0.006,
          9.345e-05,
          0.992,
          0.003
       ],
       "labels": [
          "can",
          "carton",
          "milk_bottle",
          "water_bottle"
       ],
       "visualizations": "iVBORw0KGgoAAAAN.....",
       "attributions": [[[-4.2969e-04, -1.3090e-03,  7.7791e-04,  ...,  2.6677e-04,
                          -5.5195e-03,  1.7989e-03],
                          .
                          .
                          .
                         [-5.8236e-03, -7.9108e-04, -2.6963e-03,  ...,  2.6517e-03,
                           1.2546e-03,  6.6507e-04]]]
    }
]
多標(biāo)簽圖像分類

與多類分類相比,多標(biāo)簽分類的輸出架構(gòu)的唯一區(qū)別是,每個圖像中可以有多個類,可以為每個類生成解釋。 因此,visualizations 是 base64 圖像字符串的列表,attributions 是基于 confidence_score_threshold_multilabel(默認(rèn)值為 0.5)的每個選定類的屬性分?jǐn)?shù)列表。

如果在輸入請求中將 model_explainability、visualizationsattributions 設(shè)置為 True,則輸出將具有 visualizationsattributions。 下表解釋了有關(guān)這些參數(shù)的更多詳細(xì)信息。 針對概率分?jǐn)?shù)大于或等于 confidence_score_threshold_multilabel 的所有類生成可視化和屬性。

輸出鍵 說明
visualizations base64 字符串格式的圖像列表,類型為
Optional, String
attributions 多維數(shù)組列表,其中包含每個類的像素級屬性分?jǐn)?shù),每個多維數(shù)組的形狀為 [3, valid_crop_size, valid_crop_size]
Optional, List

警告

在聯(lián)機(jī)終終結(jié)點(diǎn)上生成解釋時,請確保僅根據(jù)置信度分?jǐn)?shù)選擇幾個類,以避免終結(jié)點(diǎn)上出現(xiàn)超時問題,或者將終結(jié)點(diǎn)與 GPU 實(shí)例類型一起使用。 要生成多標(biāo)簽分類中大量類的說明,請參閱批量評分筆記本 (SDK v1)。

[
    {
       "probs": [
          0.994,
          0.994,
          0.843,
          0.166
       ],
       "labels": [
          "can",
          "carton",
          "milk_bottle",
          "water_bottle"
       ],
       "visualizations": ["iVBORw0KGgoAAAAN.....", "iVBORw0KGgoAAAAN......", .....],
       "attributions": [
                        [[[-4.2969e-04, -1.3090e-03,  7.7791e-04,  ...,  2.6677e-04,
                           -5.5195e-03,  1.7989e-03],
                           .
                           .
                           .
                          [-5.8236e-03, -7.9108e-04, -2.6963e-03,  ...,  2.6517e-03,
                            1.2546e-03,  6.6507e-04]]],
                        .
                        .
                        .
                       ]
    }
]
對象檢測

警告

XAI 不受支持。 因此只返回分?jǐn)?shù)。 有關(guān)評分示例,請參閱[在線評分部分]。

實(shí)例分段

警告

XAI 不受支持。 因此只返回分?jǐn)?shù)。 有關(guān)評分示例,請參閱[在線評分部分]。

關(guān)注TechLead,分享AI全維度知識。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗(yàn)、團(tuán)隊(duì)管理經(jīng)驗(yàn),同濟(jì)本復(fù)旦碩,復(fù)旦機(jī)器人智能實(shí)驗(yàn)室成員,阿里云認(rèn)證的資深架構(gòu)師,項(xiàng)目管理專業(yè)人士,上億營收AI產(chǎn)品研發(fā)負(fù)責(zé)人。

到了這里,關(guān)于Azure 機(jī)器學(xué)習(xí) - 使用自動化機(jī)器學(xué)習(xí)訓(xùn)練計(jì)算機(jī)視覺模型的數(shù)據(jù)架構(gòu)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • PyCaret:低代碼自動化的機(jī)器學(xué)習(xí)工具

    PyCaret:低代碼自動化的機(jī)器學(xué)習(xí)工具

    隨著ChatGPT和AI畫圖的大火,機(jī)器學(xué)習(xí)作為實(shí)現(xiàn)人工智能的底層技術(shù)被大眾越來越多的認(rèn)知,基于機(jī)器學(xué)習(xí)的產(chǎn)品也越來越多。傳統(tǒng)的機(jī)器學(xué)習(xí)實(shí)現(xiàn)方法需要較強(qiáng)的編程能力和數(shù)據(jù)科學(xué)基礎(chǔ),這使得想零基礎(chǔ)嘗試機(jī)器學(xué)習(xí)變得非常困難。 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能(AI)的

    2024年02月04日
    瀏覽(31)
  • 實(shí)現(xiàn)自動化測試中的AI與機(jī)器學(xué)習(xí)支持

    自動化測試是軟件開發(fā)過程中不可或缺的一部分,它可以有效地提高軟件質(zhì)量,降低開發(fā)成本。然而,隨著軟件系統(tǒng)的復(fù)雜性不斷增加,傳統(tǒng)的自動化測試方法已經(jīng)無法滿足需求。因此,研究人員和企業(yè)開始關(guān)注AI和機(jī)器學(xué)習(xí)技術(shù),以提高自動化測試的效率和準(zhǔn)確性。 在本文

    2024年02月20日
    瀏覽(28)
  • Azure 機(jī)器學(xué)習(xí) - 使用 Visual Studio Code訓(xùn)練圖像分類 TensorFlow 模型

    Azure 機(jī)器學(xué)習(xí) - 使用 Visual Studio Code訓(xùn)練圖像分類 TensorFlow 模型

    了解如何使用 TensorFlow 和 Azure 機(jī)器學(xué)習(xí) Visual Studio Code 擴(kuò)展訓(xùn)練圖像分類模型來識別手寫數(shù)字。 關(guān)注TechLead,分享AI全維度知識。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗(yàn)、團(tuán)隊(duì)管理經(jīng)驗(yàn),同濟(jì)本復(fù)旦碩,復(fù)旦機(jī)器人智能實(shí)驗(yàn)室成員,阿里云認(rèn)證的資深架構(gòu)師,項(xiàng)目管理

    2024年02月06日
    瀏覽(18)
  • 人工智能未來:如何應(yīng)對自動化和機(jī)器學(xué)習(xí)的沖擊

    人工智能(Artificial Intelligence, AI)是一種計(jì)算機(jī)科學(xué)的分支,旨在模仿人類智能的思維和行為。AI的目標(biāo)是創(chuàng)建智能機(jī)器,使它們能夠執(zhí)行人類智能的任務(wù),包括學(xué)習(xí)、理解自然語言、識別圖像、解決問題、自主決策等。隨著數(shù)據(jù)量的增加、計(jì)算能力的提升和算法的創(chuàng)新,人工智

    2024年02月19日
    瀏覽(32)
  • Azure 機(jī)器學(xué)習(xí) - 使用 ONNX 對來自 AutoML 的計(jì)算機(jī)視覺模型進(jìn)行預(yù)測

    Azure 機(jī)器學(xué)習(xí) - 使用 ONNX 對來自 AutoML 的計(jì)算機(jī)視覺模型進(jìn)行預(yù)測

    本文介紹如何使用 Open Neural Network Exchange (ONNX) 對從 Azure 機(jī)器學(xué)習(xí)中的自動機(jī)器學(xué)習(xí) (AutoML) 生成的計(jì)算機(jī)視覺模型進(jìn)行預(yù)測。 關(guān)注TechLead,分享AI全維度知識。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗(yàn)、團(tuán)隊(duì)管理經(jīng)驗(yàn),同濟(jì)本復(fù)旦碩,復(fù)旦機(jī)器人智能實(shí)驗(yàn)室成員,阿里云

    2024年02月05日
    瀏覽(15)
  • Azure通過自動化賬戶實(shí)現(xiàn)對資源變更

    Azure通過自動化賬戶實(shí)現(xiàn)對資源變更

    參考文檔:https://docs.azure.cn/zh-cn/automation/quickstarts/create-azure-automation-account-portal 保存,并在測試窗格里面進(jìn)行測試 若沒有問題,點(diǎn)擊發(fā)布。 添加runbook S1為定價層 官方文檔: https://docs.azure.cn/zh-cn/automation/troubleshoot/runbooks

    2024年02月14日
    瀏覽(44)
  • 自動化機(jī)器學(xué)習(xí)流水線:基于Spring Boot與AI機(jī)器學(xué)習(xí)技術(shù)的融合探索

    自動化機(jī)器學(xué)習(xí)流水線:基于Spring Boot與AI機(jī)器學(xué)習(xí)技術(shù)的融合探索

    ?? 作者簡介:阿里巴巴嵌入式技術(shù)專家,深耕嵌入式+人工智能領(lǐng)域,具備多年的嵌入式硬件產(chǎn)品研發(fā)管理經(jīng)驗(yàn)。 ?? 博客介紹:分享嵌入式開發(fā)領(lǐng)域的相關(guān)知識、經(jīng)驗(yàn)、思考和感悟,歡迎關(guān)注。提供嵌入式方向的學(xué)習(xí)指導(dǎo)、簡歷面試輔導(dǎo)、技術(shù)架構(gòu)設(shè)計(jì)優(yōu)化、開發(fā)外包等服

    2024年04月27日
    瀏覽(23)
  • AutoKeras(Python自動化機(jī)器學(xué)習(xí))多模態(tài)數(shù)據(jù)和多任務(wù)

    AutoKeras(Python自動化機(jī)器學(xué)習(xí))多模態(tài)數(shù)據(jù)和多任務(wù)

    AutoKeras 拓?fù)?常規(guī)機(jī)器學(xué)習(xí):scikit-learn示例探索性數(shù)據(jù)分析和數(shù)據(jù)預(yù)處理,線性回歸,決策樹 圖像分類ResNet模型示例,合成數(shù)據(jù)集DenseNet模型示例 繪圖線性回歸和決策樹模型 使用Python工具seaborn、matplotlib、pandas、scikit-learn進(jìn)行特征分析,數(shù)據(jù)處理 Tensorflow和Keras實(shí)現(xiàn)多測感知器

    2024年02月21日
    瀏覽(24)
  • optuna,一個好用的Python機(jī)器學(xué)習(xí)自動化超參數(shù)優(yōu)化庫

    optuna,一個好用的Python機(jī)器學(xué)習(xí)自動化超參數(shù)優(yōu)化庫

    ??? 個人主頁 :鼠鼠我捏,要死了捏的主頁? ??? 付費(fèi)專欄 :Python專欄 ??? 個人學(xué)習(xí)筆記,若有缺誤,歡迎評論區(qū)指正 ? 超參數(shù)優(yōu)化是機(jī)器學(xué)習(xí)中的重要問題,它涉及在訓(xùn)練模型時選擇最優(yōu)的超參數(shù)組合,以提高模型的性能和泛化能力。Optuna是一個用于自動化超參數(shù)優(yōu)

    2024年02月20日
    瀏覽(26)
  • Azure DevOps(三)Azure Pipeline 自動化將程序包上傳到 Azure Blob Storage

    Azure DevOps(三)Azure Pipeline 自動化將程序包上傳到 Azure Blob Storage

    結(jié)合前幾篇文章,我們了解到 Azure Pipeline 完美的解決了持續(xù)集成,自動編譯。同時也兼顧了 Sonarqube 作為代碼掃描工具。接下來另外一個問題出現(xiàn)了,Azure DevOps 由于有人員限制,項(xiàng)目上不能給非開發(fā)人員或者外包成員開權(quán)限,這個時候就需要將編譯好的程序包上傳到公共網(wǎng)盤

    2024年02月02日
    瀏覽(32)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包