Blogger Syntax Highliter

Tuesday, December 18, 2018

Azure Cognitive Services Bing Image Search でデータセットを作成する

この記事は Microsoft Azure Advent Calendar 2018 の 11 日目の記事です。 https://qiita.com/advent-calendar/2018/azure

はじめに

こんにちは。みなさん Azure Cognitive Service を使ってますか? Cognitive Service は簡単にAIを自分のアプリケーションに組み込むことができて便利ですよね。ちなみに、僕が好きな Cognitive Service は、Custom Vision (preview) です。少ないデータセットで学習済みモデルを作れるだけでなく、簡単にTensorFlow や ONNX、Docker向けに学習済みモデルをエクスポートできるところが素敵です。

ところで、2017年末から2018年にかけて ImageNet を使った ResNet-50 の学習時間を競うニュースが発表されてましたね。

ディープラーニングの分散学習で世界最高速を達成(2018/11) https://www.sony.co.jp/SonyInfo/News/Press/201811/18-092/

Preferred Networks、深層学習の学習速度において世界最速を実現(2017/11) https://www.preferred-networks.jp/ja/news/pr20171110

こういうのを見ると自分でもImageNetの学習をしてみたくなりますね。ためしにImageNetのデータセットをダウンロードしてみましたが、20%ぐらいのURLがリンク切れになっていました。残念なことに、これからDeep Learningを試したい人は、当時よりも少ないデータセットで学習することになってしまいます。7年ぐらい経つと状況も変わりますよね…。

今回はImageNetのURLだけではなく、同じSynsetsを Azure Cognitive Services Bing Image Search を使って取得してみようと思います。Azure Cognitive ServicesをAIとして使うのではなく、学習のためのデータセットを作るために使います。

Azure Cognitive Services Bing Image Searchの作成

まずは、Microsoft Azureのポータルから、Azure Cognitive Services Bing Image Searchのサービスを作成します。「リソースの作成」から「AI + Machine Learning」の「Bing Search v7」を選択します。

次に、Bing Search v7のリソース設定を行います。「価格レベル」によって使用可能なリクエスト数が決まっているので注意してください。設定が終わったら「作成」を押します。

作成されたサービスを利用するために、APIアクセスに使用するKeyを取得します。「KEY 1」と「KEY 2」の2つのKeyがありますが、どちらのKeyを使っても構いません。2つのKeyを交互に使うことによりアプリで使用している鍵を新しい物に入れ替えることができます。

プログラムの作成

データセットを作成するプログラムを書いていきます。プログラム内で使用しているImageNetのSynsetsリストは以下のURLにあります。

https://gist.github.com/KentaroAOKI/5712515f66d1ec6a92acb3bf0b215a5b

import json
import os
import pandas as pd
import requests
 
def get_bing_images(search_word, offset = 0, count = 50):
    # ここのsubscription_keyにAzure Portalに書かれていたKeyを設定する
    subscription_key = "put here your azure bing search api key"
    search_url = "https://api.cognitive.microsoft.com/bing/v7.0/images/search"
    headers = {"Ocp-Apim-Subscription-Key" : subscription_key}
    params  = {"q": search_word, "mkt": "en-US", "safeSearch": "Moderate", "offset": str(offset), "count": str(count)}
    response = requests.get(search_url, headers=headers, params=params)
    response.raise_for_status()
    search_results = response.json()
    return search_results
 
def main():
    image_search_list = 'ILSVRC2012.csv'
    download_dir = 'download_images'
    number_of_image = 1500
    # Synsetsのリストを読み込む
    search_words = pd.read_csv(image_search_list, header=None, delimiter=',')
    search_words.columns = ['id', 'name']
 
    for index, row in search_words.iterrows():
        print(query)
        query = row['name']
        dir_name = os.path.join(download_dir, str(row['id']).zfill(5))
        if (os.path.exists(dir_name) == False):
            os.makedirs(dir_name)
        # Bingで検索してサムネイル画像のURLを取得
        thumbnail_urls = []
        next_offset = 0
        while(next_offset < number_of_image):
            searched_images_json = get_bing_images(query, offset=next_offset, count=50)
            print('{}/{}'.format(searched_images_json['nextOffset'], searched_images_json['totalEstimatedMatches']))
            next_offset = searched_images_json['nextOffset']
            thumbnail_urls.extend([img["thumbnailUrl"] for img in searched_images_json["value"][:]])
            if (next_offset > searched_images_json['totalEstimatedMatches']):
                break
        # 検索結果で得られたBingのサムネイル画像をダウンロード
        image_no = 0
        for url in thumbnail_urls:
            response = requests.get(url)
            content_type = response.headers['Content-Type']
            save_file = os.path.join(dir_name, str(image_no).zfill(5))
            save_file = save_file + '.' + content_type.split('/')[1]
            with open(save_file, 'wb') as saveFile:
                saveFile.write(response.content)
            image_no = image_no + 1
 
if __name__ == '__main__':
    main()

実行してみる

Pythonの環境を設定した後にプログラムを実行します。 Anacondaの環境を作って必要なパッケージをインストール。

conda create -n py36 python=3.6
activate py36
conda install pandas requests

プログラムを実行する。

python download_synsets_from_azure.py

ダウンロードに時間がかかりますが、それぞれの種類に分けてフォルダが作成され、フォルダの中には、同じ種類の画像が多数格納されます。

さいごに

Azure Cognitive Services Bing Image Search APIに渡す検索クエリは日本語も使用することができますが、英語でクエリを実行したほうが多くの検索結果を得られることができます。日本語圏で使われている文字でも検索結果が少ない場合は英語で検索してみてください。今回はImageNetを例にしましたが、Azure Cognitive Services Bing Image Searchを使えば、独自のデータセットを作成することができます。是非みなさんも使ってみてください。ではー。

Tuesday, December 11, 2018

Windows 10にNVIDIA GPUを使用したDeep Learning環境をインストール。(CUDA10、VS2017、Chainerのインストール)

こんにちは。2017年2月に Windows 10 の Deep Learning モデル開発環境を紹介しましたが、約2年経過し色々環境が変ってますね。RTX 20-も出ましたし。ですので、今回は最新(2018年11月時点)の環境構築方法を紹介します。NVIDIA GPU が搭載された Windows 10 に Chainer をインストールしていきます。

Deep Learning 環境としては Linuxを使用した記事が多く紹介されていますが、Windows 10 は使いやすいディスクトップ環境と NVIDIA GPUを使うことができるので、モデル開発作業環境としては最適だと思います。

Visual Studio 2017 のインストール

まずは、Visual Studio 2017 のビルド環境を整えます。CUDAのコード(特にChainerが使うcupy)をビルドするときに必要になります。今回紹介するDeep Learning環境で GPU を使わない場合は必要ありません。(たまにビルドが必要なPythonパッケージがありますので、インストールしておいたほうがいいと思います)

注意点としては、インストール時に、「C++ ワークロードを使用したデスクトップ開発」を選択することです。以下のページを参考にしてください。

Visual Studio 2017 を使わず、Pythonでビルドだけできればいい人は、以下の Tools for Visual Studio 2017(上と同じサイト)だけでも大丈夫です。インストーラーを立ち上げたら、ワークロードの「Visual C++ Build Tools」を選択します。

  • Tools for Visual Studio 2017

NVIDIA CUDA と cuDNN のインストール

CUDAをインストールする前に最新のNVIDIAドライバをインストールしてください。リリースノートによると CUDA 10.0.130 は、411.31以上のドライバが必要です。

Visual Studio 2017をインストールした後に、CUDA のインストールを行います。CUDAのインストーラーはインストールされている Visual Studio を探して最適な追加パッケージをインストールします。GPUを利用しない場合はCUDAと下記のcuDNNは必要ありません。

次にcuDNNをインストールします。Downloadページから、「Download cuDNN v7.4.1 (Nov 8, 2018), for CUDA 10.0」を選択、次に「cuDNN Library for Windows 10」を選択してダウンロードを行います。ダウンロードしたzipを展開して、CUDAのインストールフォルダ(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 )にコピーします。CUDAのフォルダ名称に合わせてcuDNNのファイルをコピーしてください。なお、cuDNNのダウンロードには、ユーザの登録が必要になりますので、先に登録しておいてください。

Pythonのインストール

Chainerを動かすためのプログラミング環境を整えていきます。機械学習をはじめとしたプログラミング言語としてはPythonが人気です。Python環境としてはAnacondaが有名で分析や機械学習を行うためのライブラリも問題なく利用できます。Azure Machine LearningでもAnacondaが使われているようです。

Anacondaは下記のサイトよりダウンロードします。利用しているOSに合わせて適切なパッケージをインストールしてください。ボタンをそのままクリックし続ける(標準の設定)だけで大丈夫です。

python の 環境の作成(Visual Studio 2017対応)

スタートメニューからAnaconda Promptを実行して、環境を作成していきます。環境を作ることで作業環境を分けることができます。

conda create -n py36 python=3.6

環境を作成したら、Anaconda環境で、Visual Studio 2017 を使えるように設定します。 先ほど作成した環境に変えて

activate py36

Visual Studio 2017 を使えるようにパッケージをインストール

conda install -c anaconda vs2017_win-64

これをインストールしておかないと、「 error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools 」のようなエラーメッセージが出てcupyをインストールできません。リンクも違っているし、VS2015も簡単にはダウンロードできないし。

Chainerのインストール

Chainerをインストールします。Chainerは容易に複雑なネットワークを作ることができるDeep Learningのフレームワークです。データによりノードを変えることができる Define by Run が特徴です。あと、質の良いサンプルコードも多く公開されているイメージです。

スタートメニューからAnaconda Promptを実行しますが、Chainerをインストールする前にcupyをインストールします。

インストールする前に環境を先ほど作成した環境に変えておきます。

activate py36

そして、インストール。インストール時に、Visual Studio 2017でビルドされます。

pip install cupy --no-cache-dir

次に、下記のコマンドでChainerをインストールします。

pip install chainer --no-cache-dir

ChainerやCuPyが正しくインストールされたことを確認します。

python -c "import chainer; chainer.print_runtime_info()"

以下のように Runtime Virsion などが取得できれば大丈夫です。

Platform: Windows-10-10.0.17134-SP0
Chainer: 5.0.0
NumPy: 1.15.4
CuPy:
  CuPy Version          : 5.0.0
  CUDA Root             : C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0
  CUDA Build Version    : 10000
  CUDA Driver Version   : 10000
  CUDA Runtime Version  : 10000
  cuDNN Build Version   : 7401
  cuDNN Version         : 7401
  NCCL Build Version    : None
iDeep: Not Available

NVIDIA GPUの状態を知る

実際にDeep Learningの学習を始めるとGPUが熱くなりますが、下記のコマンドを使うことによりGPUの状態を知ることができます。

cd C:\Program Files\NVIDIA Corporation\NVSMI
nvidia-smi.exe

実行すると下記のようにGPUの状態を知ることができます。寒い時期は安心してガンガンぶん回すことができますね。

(py36) C:\Program Files\NVIDIA Corporation\NVSMI>nvidia-smi.exe
Sun Nov 11 09:23:39 2018
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 416.81       Driver Version: 416.81       CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 1070   WDDM  | 00000000:01:00.0  On |                  N/A |
| 27%   24C    P8     7W / 151W |    243MiB /  8192MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

さいごに

最近は、Windows 10 ディスクトップ環境で動くことを確認してから、多くのGPUが使えるAzure DSVMなどのクラウド環境で学習させてます。(2日ぐらいの学習であればディスクトップ環境でもいですが、他のことができなくなるので)LinuxでもWindowsでも動くPythonコードを書くように心がけるのが大事です。

あと、画像を使う場合はOpenCVなどを使いますが、下記のコマンドでインストールすることができます。

conda install opencv

CUDA 10になったし、GeForce RTX 20- も使えるようになったし、TensorCore も使える環境になりましたね!あとは、GPUを買うだけですね!d(´∀`*) ではー。

Saturday, October 20, 2018

Microsoft COCOデータセットを使うためのCOCO APIをWindows 10にインストールするメモ

はじめに

COCO APIは、Microsoft COCOデータセットを容易に扱うためのAPIです。COCOは、オブジェクトの検出、セグメンテーション、人のキーポイントの検出、物のセグメンテーション、およびキャプションの生成用に設計された大規模な画像データセットです。

環境構築

COCO APIのパッケージをインストールする際、C/C++コードのビルドが発生します。ここでは Visual Studio 2017 のインストールとPythonのインストールを行います。

Visual Studio 2017 のインストール

まずは、Visual Studio 2017のビルド環境を整えます。cythonなどを利用するPythonパッケージのインストールで使用するため、Windows環境でPyhtonを使う場合は整えておいたほうが良いでしょう。

Visual Studio 2017のどのエディションでも大丈夫だとおもいますが、注意点としては、インストール時に、「C++ ワークロードを使用したデスクトップ開発」を選択することです。以下のページを参考にしてください。

Pythonのインストール

Python環境はAnacondaを使用します。Anacondaは分析や機械学習を行うためのライブラリも問題なく利用できます。また、パッケージのインストールや環境作成が非常に簡単に実行できるのが特徴です。Anacondaは下記のサイトよりダウンロードします。利用しているOSに合わせて適切なパッケージをインストールしてください。次をクリックしていくような感じで、標準の設定で大丈夫です。あと、PATHもそのまま登録するようにしてください。

COCO API利用環境の作成

スタートメニューからAnaconda Promptを実行して、Python 3.6の環境を作成します。condaコマンドで環境を作成してからactivateコマンドで作成した環境を使用しています。

conda create -n py36 python=3.6
activate py36
conda install setuptools
conda install cython
conda install matplotlib

次にCOCO APIをGithubから取得します。

git clone https://github.com/cocodataset/cocoapi.git

コンパイラのオプションを変更します。cocoapi/PythonAPI/setup.py の extra_compile_args を以下に変更します。引っかかるのはワーニングのオプションなので

ext_modules = [ 
    Extension(
        'pycocotools._mask',
        sources=['../common/maskApi.c', 'pycocotools/_mask.pyx'],
        include_dirs = [np.get_include(), '../common'],
        extra_compile_args=[],
    )
]

COCO APIのインストールを実行します。

python setup.py build_ext install

COCO APIのモジュール読み込み確認

以下のようにパッケージをインポートしてエラーが出ないことを確認します。

from pycocotools.coco import COCO

以上です。

Tuesday, August 28, 2018

Microsoft Azure DSVMでUnity ML-Agentsを使用した強化学習を行う

Microsoft Azure DSVMでUnity ML-Agentsを使用した強化学習

Unity ML-Agentsでは、PCで開発したUnityアプリのゲームオブジェクトに脳(学習済みモデル)を持たせて動かすことができますが、頭の良い脳を育てるには多くの時間がかかります。育て方には様々な方法がありますが、複数の異なる脳を育てることもできますし、同じ脳を複数のオブジェクト同士を競い合わせて育てることもできます。  今回は時間のかかる強化学習の学習をUnityでアプリ開発しているPCではなく、コンピュートリソース豊富なAzureのDSVMを使用して実施する方法を紹介します。

Microsoft Azure DSVMとは

Data Science Virtual Machine(DSVM)は、機械学習の各種ツールがプレインストールされている便利な仮想マシンです。  今回使うLinuxのDSVMは、UbuntuとAnacondaをベースに、The Microsoft Cognitive Toolkit, TensorFlow, MXNet, Caffe, Caffe2, Chainer, NVIDIA DIGITS, Deep Water, Keras, Theano, Torch, PyTorch などのDeep Learningツールが初めからインストールされています。また、NシリーズのようなNVIDIA GPUが搭載された仮想マシンを素早く利用するために、NVIDIAドライバ、CUDA、cuDNNも初めからインストールされています。 https://azure.microsoft.com/ja-jp/services/virtual-machines/data-science-virtual-machines/

Unity ML-Agentsとは

Unity Machine Learning Agents Toolkit(ML-Agents)は、ゲームオブジェクトに強化学習を適用できるオープンソースのUnityプラグインです。外部のTensorflow環境を使用して学習を行うことが可能であり、生成された学習モデルをゲームオブジェクトを使って推論動作させることもできます。 https://github.com/Unity-Technologies/ml-agents

ML-Agentsを動かすDSVMの準備

Microsoft AzureのポータルでDSVMの仮想マシンを作成した後、DSVMでML-Agentsの動作環境を構築します。Microsoft Azureのポータルは以下よりアクセスします。 https://portal.azure.com

DSVM仮想マシンの作成

Microsoft Azureのポータルの「リソースの作成」より、"Data Science Virtual Machine"で検索して出てくる「Data Science Virtual Machine for Linux(Ubuntu)」を選択します。  仮想マシン作成時の注意点としては次の通りです。ステップ2のサイズ選択では、強化学習を行うため、NC, NVなどのようなNシリーズようなGPUを使っても強化学習内容によっては思っていたほどの効果が出ないかもしれません。ステップ3の設定では、sshのポートだけ使用します。sshを経由してシェルとTensorBoardを利用します。

ML-Agentsのインストール

githubのML-AgentsのリポジトリをDSVMの仮想マシンにクローンします。また、ML-Agentsで利用するPythonのパッケージをインストールします。(以下はDSVMにログインして実行)
$ cd ~
$ git clone https://github.com/Unity-Technologies/ml-agents.git
$ cd ml-agents/python
$ conda create -n ml-agents python=3.6
$ source activate ml-agents
$ pip install .

UnityアプリのビルドとDSVMへのコピー

今回はUnityアプリにML-Agentsのサンプルを例として使用します。このサンプルをPCでLinux向けアプリとしてビルドした後、前章で作成したDSVMの仮想マシンにコピーします。

プロジェクトの作成とTensorFlowSharpの設定

Unityのプロジェクトを作成してください。次にEdit > Project Settings > Playerから、PlayerSettingsのInspectorの、Display Resolution DialogをDisableに、Script Runtime Versionを.NET 4.xに、Script Define SymbolsをENABLE_TENSORFLOWとして設定します。

プロジェクトでは強化学習にTensorflowを使用するため、C#からTensorFlowを使うためのTensorFlowSharpプラグインをインポートします。以下のURLにリンクされている「TensorFlowSharp plugin」をクリックしてプラグインをダウンロードします。
https://github.com/Unity-Technologies/ml-agents/blob/master/docs/Basic-Guide.md
 次に、ダウンロードしたファイルを、Assets > Import Package よりインポートします。

サンプルアプリのビルド

サンプルアプリはML-Agentsのリポジトリに含まれていますのでML-Agentsをクローンします。(gitがインストールされていない場合は、https://github.com/Unity-Technologies/ml-agents よりZipファイルをダウンロードしてください。)(以下はPCで実行)
> git clone https://github.com/Unity-Technologies/ml-agents.git
ml-agents\unity-environment\Assets\ML-Agents フォルダ配下にサンプルのシーンがありますので、このML-AgentsフォルダをUnityのアセットに追加します。追加したアセット内の「3D Ball」シーンを開きます。Hierarchyより、Ball3DAcademy(Academy)のBall3DBrain(Brain)を選択し、InspectorのBrain TypeをExternalに設定します。これによりTensorflowを利用して学習を行うことが可能になります。

次に、ビルドです。AzureのDSVMはLinuxで動作するため、Linux向けのビルド設定をします。File > Build Settingsより、Target PlatformをLinuxにして、Headless Modeにチェックを入れます。Headless Modeのチェックは、DSVMにSSHを使用したターミナルだけで接続するためです。

ビルドにより作成された実行ファイルは以下のような構成です。(以下はPCで実行)
> dir linux-build
2018/08/25  10:57    <DIR>          .
2018/08/25  10:57    <DIR>          ..
2018/08/19  17:00        25,630,440 3DBall.x86_64
2018/08/25  10:57    <DIR>          3DBall_Data
これをSCPでDSVMにコピーします。(以下はPCで実行)
> scp -r linux-build <ユーザ>@<DSVMのアドレス>:./

DSVMで学習を行う

DSVMにコピーしたUnityアプリをchmodコマンドで実行できるように変更します。(以下はDSVMで実行)
$ cd ~
$ chmod +x linux-build/3DBall.x86_64
学習にはlearn.pyを使用します。オプションとしてコピーしたUnityアプリと学習モードを指定します。(以下はDSVMで実行)
$ cd ~
$ source activate ml-agents
$ python ml-agents/python/learn.py linux-build/3DBall.x86_64 --train
学習には時間がかかりますが、学習中の状況はTensorbordで表示することが可能です。(以下はDSVMの別ターミナルなどで実行)
$ cd ~
$ source activate ml-agents
$ tensorboard --logdir=summaries --host 127.0.0.1
Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
TensorBoard 1.7.0 at http://127.0.0.1:6006 (Press CTRL+C to quit)
PCからTensorBoardへのアクセスには、SSHのポートフォワード機能を使用します。SSHのポートフォワード接続が確立された後に、PCのブラウザよりTensorBoardに接続して学習状況を確認します。(以下はPCで実行)
> ssh -L 6006:localhost:6006 <ユーザ>@<DSVMのアドレス>
PCのブラウザでローカルの6006にアクセスすることにより学習状況を確認することができます。 http://localhost:6006/

学習済みモデルの取得と動作確認

DSVMで学習された学習済みモデルは、Unityアプリで使うことができます。まず、学習済みモデルをPCにコピーします。(以下はPCで実行)
> scp <ユーザ>@<DSVMのアドレス>:./models/<run-identifier>/3DBall*.bytes <アセットのディレクトリ>
Hierarchyより、Ball3DAcademy(Academy)のBall3DBrain(Brain)を選択し、InspectorのBrain TypeをInternalに設定し、Graph ModelにDSVMよりコピーした学習済みモデルを設定します。アプリケーションを実行することにより学習済みモデルを反映したゲームオブジェクトの動きを見ることができます。

さいごに

強化学習を動かしていると、ナルトが多重影分身して修行するシーンを思い出します。Unity ML-Agentsは触ったばかりなので、Azureをもっと活用しながら、もっと面白いことを試してみたいと思います。

Monday, April 30, 2018

Visual Studio Code の Python 開発環境を整える。pylint(構文チェック)、pytest(単体テスト)、docstring まわり

開発ツールのインストール

Visual Studio Code

Visual Studio Code をインストールしていない場合は、以下のサイトからダウンロードしてインストールする。 https://code.visualstudio.com/

Anaconda

Pythonをインストールしていない場合は、以下のサイトから Anaconda もしくは Miniconda をダウンロードしてインストールする。(本記事の中では Python 3.6 の Anaconda をインストール) https://www.anaconda.com/download/ https://conda.io/miniconda.html

Visual Studio Code の環境設定

Visual Studio Codeを実行

以下のコマンドでフォルダを作成した後にVisual Studio Codeを起動する。

mkdir hello
cd hello
code .

python 拡張機能のインストール

Control + Shift + x もしくは、左の「拡張機能」のアイコンをクリックして、python の拡張機能をインストールする。python の拡張機能は、pythonで検索すると出てくるので、以下の Microsoft が管理するものを使用する。

python 環境の選択

Control + Shift + p でコマンドパレットに "python select interpreter"を入力して、python の環境を選択する。

Pythonの環境は Visual Studio 2017Azure Machine Learning Workbench などのアプリケーションによりインストールされる環境も表示される。アプリ開発で使用する Python 環境を選択する。

Anacondaをインストールした後、"conda create" で作成した環境 "py35" を選択する。

conda create -n py35 python=3.5

なお、Anaconda Promptでにより以下のコマンドを使用すると作成されたPython環境を一覧表示することができる。

conda info -e

Anaconda PromptでPython環境を選択する場合は、activateを使う。

activate py35

構文チェックのために pylint をインストール

Visual Studio Code の python 拡張機能では、標準で pylint を使用しているため、"py35"環境で pylint をインストールする。

activate py35
conda install pylint

念のため、Visual Studio Code の Reload Window(Control + Shift + p で Reload Window)を実行して、動作を確認してみる。プログラムを書いてセーブしたときにチェックされる。

単体テストのために pytest をインストール

Visual Studio Code の python 拡張機能では、unittest と pytest と Nose を使うことができる。既定の設定では全て無効になっているため、既定の設定をワークスペースの設定で書き換える。ユーザ設定(Control + Shift + p で Open User Settings)を開いてワークスペースの設定タブを選択後、"python.unitTest.pyTestEnabled"をtrueににした設定を追加する。(既にほかの設定が入っている場合、上の行の","を忘れないように)

{
    "python.pythonPath": "C:\\Users\\kenta\\AppData\\Local\\conda\\conda\\envs\\py35\\python.exe",
    "python.unitTest.pyTestEnabled": true
}

https://docs.pytest.org/en/latest/

"py35"環境にpytestをインストールする。

activate py35
conda install pytest

pytest.iniを作成する

pytestの設定を行うため、helloフォルダにpytest.iniを作成する。test_から始まるファイルや、クラス名がTestから始まるもの、関数がtest_で始まるものをpytestで実行する。

[pytest]
testpaths = .
python_files = test_*.py
python_classes = Test
python_functions = test_

単体テスト実行

テストコードを書いたら、Control + Shift + p でRun All Unit Testsを実行して単体テストコードを実行することができる。なお、テストコードを自動で見つけるため、エディタ内のRun Testをクリックすることにより、テストを行うことができるようになる。

def repeat(count = 2, word = 'hello'):
    """repeat the word specified times.
 
    Keyword Arguments:
        count {int} -- specified times (default: {2})
        word {str} -- repeat word (default: {'hello'})
 
    Returns:
        str -- repeated words
    """
    words = []
    for i in range(count):
        words.append(word + '!')
    return ' '.join(words)
 
def main():
    hello = repeat(3, 'hello')
    print(hello)
 
if __name__ == '__main__':
    main()
import pytest
 
import word
 
def test_repeat_01():
    assert word.repeat(2, 'test') == 'test! test!'
 
def test_repeat_02():
    assert word.repeat(0, 'test') == ''
 
def test_repeat_03():
    assert word.repeat(-10, 'test') == ''

docstringの拡張機能をインストール

Control + Shift + x もしくは、左の「拡張機能」のアイコンをクリックして、autoDocstring の拡張機能をインストールする。関数定義の下段で"""を記入後にエンターを押すと、引数と戻り値から自動的に docstring を書いてくれる。

さいごに

まだ色々できるので、時間があるときにメモを増やしていきたいですー。

Monday, April 23, 2018

コマンドオプション対応のsshdでDocker環境にsshで直接接続

はじめに

みなさん。Linuxにログインする際に使用するShellは何を使っていますか?

ログイン時の Shell は "/etc/passwd" で設定しますが、"man 5 passwd" には「shell」や「コマンドインタプリタ」と説明されてます。ここの設定は実行可能なコマンドを書くことができるのですが、コマンドオプションを設定することができません。

例えば以下のような事がしたいのですが、実際に設定するとログインに失敗します。

cat /etc/passwd
user02:x:1001:1001:user02,,,:/home/user02:/usr/bin/docker run --rm {docker_tty} ubuntu bash

最近は Deep Learning 環境での Docker の利用も増えていますが、セキュアでユーザ管理しやすい構成でDockerを使ったコンテナ環境を構築したかったので、"/etc/passwd" の Shell に複数のコマンドオプション設定が可能な OpenSSH を作ってみました。(OpenSSHのフォークになります)

https://github.com/KentaroAOKI/openssh-portable

コマンドオプション対応のsshdのインストール

Ubuntu にインストールしてみます。ビルドやインストール方法は OpenSSH と全く変わりません。

準備

一般的な機能でのOpenSSHビルドには、libz、libsslのライブラリが必要になりますので、ビルドのためのツールと合わせて以下のようなパッケージをインストールします。

sudo apt-get install gcc autoconf automake libz-dev libssl-dev

ビルドとインストール

昔はmakeと言っていましたが、今はビルドという機会が多くなりましたね。インストール環境を変えたい場合は、configure --helpしてください。

git clone https://github.com/KentaroAOKI/openssh-portable.git
cd ./openssh-portable
autoconf
autoheader
./configure
make
sudo make install

設定

まずは、sshd_configの設定です。上のインストール方法だと、sshd の設定ファイルは /usr/local/etc にあります。ssh接続するPort番号などを設定してください。

sshdのコンフィグ

今回は既にインストールされているsshdを残したいので、Port番号は標準の22ではなく8022に設定します。

cat /usr/local/etc/sshd_config
 
#       $OpenBSD: sshd_config,v 1.102 2018/02/16 02:32:40 djm Exp $
 
# This is the sshd server system-wide configuration file.  See
# sshd_config(5) for more information.
 
# This sshd was compiled with PATH=/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin
 
# The strategy used for options in the default sshd_config shipped with
# OpenSSH is to specify options with their default value where
# possible, but leave them commented.  Uncommented options override the
# default value.
 
Port 8022

/etc/passwdの設定

そして、ログイン時に使用するShellの設定です。今回は、Docker上のUbuntuのBashを使ってみます。user01 は dockerホストにログイン(通常のログインと同じ)。user02はログイン時にdockerのUbuntuコンテナが作成されて接続します。また、user03は既に動いているmyubuntuコンテナ名にbashで接続します。

なお、dockerは、ターミナル(-it)とコマンド実行(-i)でコマンドオプションを変えないといけないため、runやexecの後にコマンドオプションを変えるための"{docker_tty}"を入れてください。

cat /etc/passwd
 
user01:x:1000:1000:user01,,,:/home/user01:/bin/bash
user02:x:1001:1001:user02,,,:/home/user02:/usr/bin/docker run --rm {docker_tty} ubuntu bash
user03:x:1002:1001:user03,,,:/home/user03:/usr/bin/docker exec {docker_tty} myubuntu bash

/etc/groupの設定

ログイン時にDockerコマンドを実行するので、user02とuser03がdockerを使えるようにdockerのグループに設定しておきます。

cat /etc/group
 
docker:x:999:user02,user03

試してみる

sshdを起動した後、設定したPort 8022にsshしてみます。

sshdを起動する

今回は簡単に起動してみますが、ちゃんとしたい場合は起動スクリプトを作ったほうがいいと思います。/etc/init.d/sshを参考に。

sudo /usr/local/sbin/sshd

別のPCからDockerコンテナに接続する

別のPCからsshで接続する例です。接続できない場合は、TCP Port 8022 の Linux のfirewall設定や、Azure とか AWS を使っていたらセキュリティグループの設定を確認しておいてください。

ssh -p 8022 user02@<docker host>
ssh -p 8022 user02@<docker host> hostname

別のPCからDockerコンテナにscpする

scpを使って、直接コンテナにファイルやディレクトリの送受信を行いたい場合は、scpを使うことができます。

scp -P 8022 testfile user02@<docker host>:./

scpは送信先にもscpが必要になりますので、コンテナ側にもscpのインストールが必要になります。dockerfileやssh接続してscpをインストールしておいてください。

apt-get install ssh-client

さいごに

今回紹介したコマンドオプション対応のsshdはDocker以外にも使えます。

ただ、Dockerのように、標準入力やターミナルのコマンドオプションを持つ場合は、sshの接続方法によって動きを変えないといけないため、"{docker_tty}"のようなコマンドオプションを変更するプログラムの追加が必要になってきます。

もし、一般的で多くの利用者がいそうなコマンドであれば追加したいと思いますので、ご要望があればご連絡ください。