Azure ML の Web Services で Excel が表示されない場合の対処法

 

Azure Machine LearningでExperimentをWeb Service向けにデプロイすると、Web Servicesに対応したExcelワークブックを取得することができます。

ところがExperimentでのモデルの作り方によってはWeb Serviceに対応したExcelが表示されない場合があります。今回は表示されない場合でもExcelワークブックを使うための対処法を紹介します。

 

1. Web Service Parametersを確認する

　1つ目の対処法は、Web Service Parameterを削除する方法です。Training ExperimentでReaderやWriterを使っていた場合、自動的にWeb Service Parametersが設定される場合があります。この状態でWebデプロイ向けのPredictive Experimentを作成すると、Web Service Parametersの設定が残ってしまい、Web Service Parametersが設定されているため、Web Service画面でExcelが表示されません。

　Predictive ExperimentでWriterなどでWeb Service Parametersを使用していない場合は、Web InputのWeb Service Parametersを削除した後に、Deploy Web Serviceすることで、Excelが表示されるようになります。

 

2. ExcelのVBAを編集する

　2つ目の対処法はExcelのVBAを編集する方法です。Web Service Parametersが設定されてたWeb Serviceでは、表示されているExceワークブックを使うことができません。Excel内のWeb Service URLやAccess Key、Schemaを変更すれば動きそうな気がしますが、Excel内のVBA（2015/8/24時点）ではWeb Service Parametersに関するデータを送らないため、無効な引数としてエラーが返ってきます。

 

Web Service Parametersの入力を含めるためにはExcelのVBAを、API version 2に適したデータに修正する必要があります。例として下記のように変更します。Web Service Parametersのパラメータや、入力名は適した名前に変更してください。

	Private Function getRequestBody() As String
	On Error GoTo ErrorsHandler
	Dim BodyTemplate As String
	Dim Params As String
	Dim Values As String
	Dim Body As String
	Dim MyBody As String
	Dim ParamName As String
	Dim ParamValue As String
	Dim CurrentJsonParam As String
	Dim CurrentJsonValue As String
	BodyTemplate = "{""Inputs"":{""input1"":{""ColumnNames"":[ParamsGoHere],""Values"":[[ValuesGoHere]]}},""GlobalParameters"":{""Path to container, directory or blob"":""test""}}"
	If activeCellRow = 7 Then
	Exit Function
	End If
	For Counter = 0 To inputParamsNumber - 1
	ParamName = Range("B7").Offset(0, Counter).Value
	ParamValue = Range("B1").Offset(activeCellRow - 1, Counter).Value
	If Counter <> inputParamsNumber And Counter <> 0 Then
	Params = Params & ","
	Values = Values & ","
	End If
	CurrentJsonParam = Chr(34) + ParamName + Chr(34)
	CurrentJsonValue = Chr(34) + ParamValue + Chr(34)
	Params = Params & CurrentJsonParam
	Values = Values & CurrentJsonValue
	Next Counter
	Body = Replace(Replace(BodyTemplate, "ParamsGoHere", Params), "ValuesGoHere", Values)
	getRequestBody = Body
	ErrorsHandler:
	If Err.Number <> 0 Then
	MsgBox "getRequestBody: " & Err.Description
	End If
	End Function

view raw azureml-excel-getRequestBody.vba hosted with ❤ by GitHub

 

	Private Sub ExtractResponseBody(Response As String)
	'This procedure parses the response and writes down the result
	On Error GoTo ErrorsHandler
	Dim Results As Variant
	Dim InnerResults As Variant
	Response = Replace(Response, "[[", Chr(9))
	Response = Replace(Response, Chr(34), "")
	Response = Replace(Response, "{", "")
	Response = Replace(Response, "}", "")
	Response = Replace(Response, "[", "")
	Response = Replace(Response, "]", "")
	Results = Split(Response, Chr(9))
	If UBound(Results) = 1 Then
	InnerResults = Split(Results(1), ",")
	For Counter = 0 To UBound(InnerResults)
	Range("A1").Offset(activeCellRow - 1, inputParamsNumber + Counter + 1).Value = InnerResults(Counter)
	Range("A1").Offset(activeCellRow - 1, inputParamsNumber + Counter + 1).Interior.ColorIndex = 15
	Range("A1").Offset(activeCellRow - 1, inputParamsNumber + Counter + 1).Font.Name = "Segoe UI"
	Next Counter
	End If
	ErrorsHandler:
	If Err.Number <> 0 Then
	MsgBox "ExtractResponseBody: " & Err.Description
	End If
	End Sub

view raw azureml-excel-ExtractResponseBody.vba hosted with ❤ by GitHub

きれいなコードではありませんが、ご参考に。

VBAでJsonを使えないのかな。。。

Azure MLのテキストアナリティクスを使って日本の会社を分類してみる

 

Azure MLのティストアナリティクスを使って、日本の会社を分類してみます。と言っても、日本語の業務内容から分類するには、日本語文章を形態素解析が必要なため少し面倒なので、もっと簡単な方法で簡易的に試してみます。

 

日本語会社名から分類

日本の会社名は漢字で構成されている場合が多いため、使われている漢字から業種を推測することができます。日本人の大人でも、業務内容の知らない会社の業種を完璧に当てることは難しいのですが、漢字の意味を知っていればそれなりに判断することができます。

今回は漢字の意味を知らないAzure MLに、会社名をもとに業種を分類させてみようと思います。Azure MLには、教師あり学習として日経225の会社名と業種を渡して学習させました。

 

日経225の会社一覧からデータの作成

会社一覧のデータは、業種がわかるものが必要です。今回は日経225インデックスの銘柄一覧サイトの情報をもとに、手作業で会社の一覧情報を作りました。

https://indexes.nikkei.co.jp/nkave/index/component?idx=nk225

Excelで入力した後、CSV形式で出力します。

出力されたCSVデータの文字コードはShift-JISなので、メモ帳を使ってUTF-8に変更します。（「名前を付けて保存」で文字コードを指定します。）これでAzure MLで読み込む準備が整いました。

 

Azure Machine Learningでデータセットを作成

UTF-8にしたCSVを、Azure MLにインポートします。データのインポートは、Dataset追加から行います。

 

Azure Machine Learningで日本の会社名から業種を分類するExperimentを作成

今回は、Azure ML が持つテキストアナリティクスのFeature Hashingを使います。通常は単語がスペース区切りになっている英文に利用しますが、日本語の社名は漢字の組み合わせで何となく業種がわかるので、一文字単位でスペース区切りにしてFeature Hashingを行います。下図のようなExperimentを作成します。

Project Columnsでは、会社名であるName1カラムとどのような業種を表すsectorカラムを取り出しています。取り出した会社名を今回の用途のために Feature Hashing しやすいように、Execute Python Scriptを使って、文字をスペース区切りにします。作成した文字列はURLエンコード化されてname_txカラムとして追加します。なぜURLエンコードしたのかは、以前の記事をご参照ください。

Pythonだとこんな感じの文字処理になるのでしょうか、、。C#を使いたいです。

 

	# The script MUST contain a function named azureml_main
	# which is the entry point for this module.
	#
	# The entry point function can contain up to two input arguments:
	# Param<dataframe1>: a pandas.DataFrame
	# Param<dataframe2>: a pandas.DataFrame
	# coding: UTF-8
	def azureml_main(dataframe1 = None, dataframe2 = None):
	import numpy as np
	from pandas import Series, DataFrame
	import pandas as pd
	from sklearn.feature_extraction.text import CountVectorizer
	dy, dx = dataframe1.shape
	data = [0] * dy
	namedata = dataframe1["name1"]
	for y in range(0,dy):
	line = namedata[y]
	output_line = '';
	x = 0
	xe = len(line);
	while x < xe:
	if ord(line[x]) >= 128:
	output_line = output_line + hex(ord(line[x])) + hex(ord(line[x+1])) + hex(ord(line[x+2])) + ' '
	x = x + 2
	else:
	output_line = output_line + hex(ord(line[x])) + ' '
	x = x + 1
	data[y] = output_line
	dataframe1["name_tx"] = Series(data)
	# Return value must be of a sequence of pandas.DataFrame
	return dataframe1,

view raw azureml_divideletters.py hosted with ❤ by GitHub

 

Feature Hashingでは、name_txを選択して、Hashing bitsizeを16ぐらいに、N-gramsを3ぐらいにして、文字のつながりを指定します。xx機械、xx製薬など2文字以上のつながりが多いですよね。

Feature Hashingされたデータは、16ビット分のカラムが作成されており、学習をする際に負荷をかけるため、Filter Based Feature Selectionで特徴のあるデータだけ残します。Feature Scoring MethodはChi Squared（カイ二乗）で、target columnはsectorを選択します。Number of desired featureは1000ぐらいにして、1000個の特徴のあるカラムにします。

あとは、Classification系の教師あり学習を選びます。今回はメモリ使用を抑えた簡易的なMulticlass Desision Jungleを使いました。

最後に、Feature Hashingされた大量のカラムがあると結果が見にくいので、結果を抽出するためにScored Labelsとsectorとname1のみ出力するようにのProject Columnsで調整しています。

結果は

日経225の80％を学習に使い、20%を試した結果は下図の通りです。業種によっては少ない学習数ですが、思っていたより良い感じに分類してくれています。マツダが機械になったのは不思議です。

 

最後に

Feature Hashing本来の使い方とは少し異なりますが、考え方は同じなので試してみましたが、思ったより良い結果が出ました。そもそも、会社のことを知らない日本人が見ても分類することは難しいので、完全な結果は出ないことはわかると思いますが、人間が一つ一つ分類するのが難しい大量の単語を一気に分類するときには使えそうですね。