麻生二郎 « shell-mag

連載シェルスクリプトを書いてみよう

投稿日：2019.04.2　｜　カテゴリー：　コード

　シェルスクリプトは、Linux/Unix系OSのコマンドのみで記述できるプログラムです。さまざまな処理を簡単に記述でき、LinuxやUnix系OSの環境があれば、すぐに実行して試せるのでとても便利です。本連載では、役立ちそうなシェルスクリプトを紹介しながら、シェルスクリプトの書き方を説明していきます（隔週更新予定）。
　なお、シェルスクリプトを開発・実行するには、Linux/Unix系OSがインストールされたパソコンが必要です。例えば、「連載　UbuntuではじめるLinuxサーバー」の第1回～第4回で紹介した方法でUbuntu Serverをインストールしたパソコンを用意できます。

記事中で紹介したシェルスクリプトのコードは、以下のページから入手できます（WordPressのバグなのか、何らかのパターンで「$」などの文字が消えてしまうことがありますのでシェルスクリプト自体はこちらから入手してください）。
https://github.com/shellscript-magazine/rensai_shellscript1

目次
第1回　Amazonの商品ページURLをきれいにする
 第2回　コメント行を削除する
 第3回　写真を整理する
 第4回　ファイルサーバーを構築する
 第5回　文書をPDFファイルに変換する
 第6回　DMを自動送信する（SMTPS編）
第7回　DMを自動送信する（STARTTLS編）
第8回　自動でアーカイビングする
 第9回　グローバルIPアドレスを通知する
 第10回　写真から場所を調べる
 第11回　大切なメールだけをチャットルームに送る
 第12回　コマンドを作る
 最終回　不正アクセスを通知する

シェルスクリプトマガジンvol.59 Web掲載記事まとめ

投稿日：2019.03.25　｜　カテゴリー：　コード

004 レポート　Homebrew 2.0.0リリース
005 レポート　runcの脆弱性問題
006 NEWS FLASH
008 特集1　Linuxパーフェクトカスタマイズ/麻生二郎　コード掲載
020 特集2　AWS Lambdaを好きな言語で使おう/岡本秀高　コード掲載
028 特別企画　リレー式コンピュータプログラミング/若菜魁、入口雄也、八木武尊
036 ラズパイセンサーボードで学ぶ電子回路の制御/米田聡
040 試み/桑原滝弥・イケヤシロウ
042 バーティカルバーの極意/飯尾淳
046 円滑コミュニケーションが世界を救う！/濱口誠一
048 中小企業手作りIT化奮戦記/菅雄一
056 法林浩之のFIGHTING TALKS/法林浩之
058 漢のUNIX/後藤大地
064 人間とコンピュータの可能性/大岩元
066 香川大学SLPからお届け！/竹原一駿　コード掲載
071 姐のNOGYO
072 UNIXの歴史を振り返る/古寺雅弘
078 Node.js/Expressで楽々Webアプリ開発/しょっさん　コード掲載
089 ユニケージ新コードレビュー/坂東勝也　コード掲載
096 Techパズル/gori.sh
098 コラム「ユニケージお作法のココロ」/シェル魔人

Vol.59

投稿日：2019.03.25　｜　カテゴリー：　バックナンバー

　オープンソースのソフトウエアを組み合わせて、好みのOSが作れるのが「Linux」です。特に、好みに近いLinuxディストリビューションがあれば、それをカスタマイズするだけで自分だけのLinuxが作れます。特集1では、軽量で高速なLinuxディストリビューション「Lubuntu」をインストールメディアからカスタマイズして自分好みに仕立てる方法を紹介しています。
　特集2では、AWSのサーバーレスサービス「AWS Lambda」に追加された新機能「AWS Lambda Custom Runtimes」を扱っています。AWS Lambda Custom Runtimesが登場する以前は、サービスとして実行される「Lambda」関数は、Node.jsのJavaScriptやPython、Rubyで記述する方法しかありませんでした。AWS Lambda Custom Runtimesの登場により、言語環境となるランタイムを用意すれば、その言語でLambda関数を記述できるようになりました。
　特別企画では、1960年代に制作された国産リレー式コンピュータである「FACOM138A」のプログラミングに挑戦した大学生の奮闘記を紹介しています。
　このほか、「センサーボードで学ぶ電子回路の制御」「姐のNOGYO」などの人気連載も掲載しています。

今回も読み応え十分のシェルスクリプトマガジン Vol.59。お見逃しなく!

※記事掲載のコードはこちら。記事の補足情報はこちら

※読者アンケートはこちら

ユニケージ新コードレビュー（Vol.59掲載）

投稿日：2019.03.25　｜　カテゴリー：　コード

著者：坂東勝也

ユニケージでは、小さな道具の「コマンド」をシェルスクリプトで組み合わせて、さまざまな業務システムを構築しています。本連載では、毎回あるテーマに従ってユニケージによるシェルスクリプトの記述例を分かりやすく紹介します。第6回は、仕入伝票処理システムを例に最新マスターを取得するコードをレビューします。

シェルスクリプトマガジン Vol.59は以下のリンク先でご購入できます。

図11　伝票番号で並べ替え

145 # L3取得
146 if [ -s $tmp-check_data.1 ] ; then
147 	cat $lv3d/SIRE_HEAD/SIRE_HEAD.$ymonth    |
148 	# 同じ伝票番号の情報を古い順にソート(最も新しいデータが一番下に来るように)
149 	msort key=1@NF@NF-1r                     > $tmp-sire_header_l3
150 	ERROR_CHECK
151 else
152 	:> $tmp-sire_header_l3
153 	ERROR_CHECK
154 fi

1

2

3

4

5

6

7

8

9

10

145 # L3取得

146 if [ -s $tmp-check_data.1 ] ; then

147 cat $lv3d/SIRE_HEAD/SIRE_HEAD.$ymonth |

148 # 同じ伝票番号の情報を古い順にソート(最も新しいデータが一番下に来るように)

149 msort key=1@NF@NF-1r > $tmp-sire_header_l3

150 ERROR_CHECK

151 else

152 :> $tmp-sire_header_l3

153 ERROR_CHECK

154 fi

図12　更新された仕入伝票を調べる

130 # 仕入伝票ヘッダーのLV1データの取得
131 # LV1データがあるかチェック
132 ls $lv1d/$today/SIRE_HEAD_* |
133 gyo                         > $tmp-check_data.lv1
134 ERROR_CHECK

1

2

3

4

5

130 # 仕入伝票ヘッダーのLV1データの取得

131 # LV1データがあるかチェック

132 ls $lv1d/$today/SIRE_HEAD_* |

133 gyo > $tmp-check_data.lv1

134 ERROR_CHECK

図13　指定月の仕入伝票の取得

156 # INPUT(L1)取得
157 if [ -s $tmp-check_data.2 ] ; then
158 	cat $lv1d/SIRE_HEAD_*                               |
159 	#dayslash --input yyyy/mm/dd --output yyyymmdd 2 -  |
160 	# 指定の日付の範囲内のデータを抽出
161 	uawk '$2>='$range_from' && $2<='$range_to''         |
162 	# 同じ伝票番号の情報を古い順にソート(最も新しいデータが一番下に来るように)
163 	msort key=1@NF@NF-1r                                > $tmp-sire_header_in
164 	ERROR_CHECK
165 else
166 	:> $tmp-sire-header_in
167 	ERROR_CHECK
168 fi

1

2

3

4

5

6

7

8

9

10

11

12

13

156 # INPUT(L1)取得

157 if [ -s $tmp-check_data.2 ] ; then

158 cat $lv1d/SIRE_HEAD_* |

159 #dayslash --input yyyy/mm/dd --output yyyymmdd 2 - |

160 # 指定の日付の範囲内のデータを抽出

161 uawk '$2>='$range_from' && $2<='$range_to'' |

162 # 同じ伝票番号の情報を古い順にソート(最も新しいデータが一番下に来るように)

163 msort key=1@NF@NF-1r > $tmp-sire_header_in

164 ERROR_CHECK

165 else

166 :> $tmp-sire-header_in

167 ERROR_CHECK

168 fi

図14　L1とL3のデータをマージ

170 # L1とL3をマージ
171 # 同じ伝票番号の中で最も新しいもののみを残す
172 upl key=1 $tmp-sire_header_l3 $tmp-sire_header_in  |
173 # 削除フラグの立っている伝票を削除
174 delr NF-1 1                                        |
（略）
186 ERROR_CHECK

1

2

3

4

5

6

7

170 # L1とL3をマージ

171 # 同じ伝票番号の中で最も新しいもののみを残す

172 upl key=1 $tmp-sire_header_l3 $tmp-sire_header_in |

173 # 削除フラグの立っている伝票を削除

174 delr NF-1 1 |

（略）

186 ERROR_CHECK

特集2　AWS Lambdaを好きな言語で使おう（Vol.59掲載）

投稿日：2019.03.25　｜　カテゴリー：　コード

著者：岡本秀高

カンファレンス「AWS re:invent 2018」にて発表された新サービス「AWS Lambda Custom Runtimes」。これまではサポートをアナウンスした言語でしか「Lambda関数」を作成できませんでした。このサービスの登場により好きな言語で作成可能となりました。本特集では、AWS Lambda Custom Runtimesの使い方から、ランタイム（実行環境）を実際に作って利用するところまでを分かりやすく紹介します。

シェルスクリプトマガジン Vol.59は以下のリンク先でご購入できます。

図3　bootstrapファイルの内容

#!/bin/sh

set -euo pipefail

# Initialization - load function handler
source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"

# Processing
while true
do
  HEADERS="$(mktemp)"
  # Get an event
  EVENT_DATA=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/next")
  REQUEST_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)

  # Execute the handler function from the script
  RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT_DATA")

  # Send the response
  curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQUEST_ID/response"  -d "$RESPONSE"
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

#!/bin/sh

set -euo pipefail

# Initialization - load function handler

source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"

# Processing

while true

do

HEADERS="$(mktemp)"

# Get an event

EVENT_DATA=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/next")

REQUEST_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)

# Execute the handler function from the script

RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT_DATA")

# Send the response

curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQUEST_ID/response" -d "$RESPONSE"

done

図5　function.shファイルの内容

#!/bin/sh
function handler () {
  EVENT_DATA=$1
  echo "$EVENT_DATA" 1>&2;
  RESPONSE="Request: '$EVENT_DATA'"

  echo $RESPONSE
}

1

2

3

4

5

6

7

8

#!/bin/sh

function handler () {

EVENT_DATA=$1

echo "$EVENT_DATA" 1>&2;

RESPONSE="Request: '$EVENT_DATA'"

echo $RESPONSE

}

図6　template.yamlファイルの内容

AWSTemplateFormatVersion: 2010-09-09
Description: My PHP Application
Transform: AWS::Serverless-2016-10-31
Resources:
  myRuntime:
    Type: AWS::Serverless::Function
    Properties:
      FunctionName: !Sub ${AWS::StackName}-myRuntime
      Description: My fisrt custom runtime
      Runtime: provided
      Handler: function.handler
      MemorySize: 3008
      Timeout: 30
      Layers:
        - !Sub 作成したランタイムのLayerVersionArn

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

AWSTemplateFormatVersion: 2010-09-09

Description: My PHP Application

Transform: AWS::Serverless-2016-10-31

Resources:

myRuntime:

Type: AWS::Serverless::Function

Properties:

FunctionName: !Sub ${AWS::StackName}-myRuntime

Description: My fisrt custom runtime

Runtime: provided

Handler: function.handler

MemorySize: 3008

Timeout: 30

Layers:

- !Sub 作成したランタイムのLayerVersionArn

Vol.59 補足情報

投稿日：2019.03.25　｜　カテゴリー：　コード

訂正・補足情報はありません。

情報は随時更新致します。

香川大学SLPからお届け！（Vol.59掲載）

投稿日：2019.03.25　｜　カテゴリー：　コード

著者：竹原一駿

USB接続のバーコードリーダーを用いてバーコード化されたデータを読み取り、その結果をサーバーに送って集計するデータ収集システムを開発しました。今回は、同システムについて紹介します。クライアントはGo、集計サーバーは主にPerlで記述しています。クライアントもサーバーもDocker環境で簡単に動かせますので、ぜひ試してみてください。

シェルスクリプトマガジン Vol.59は以下のリンク先でご購入できます。

図8　バーコードリーダーで読み取ったデータを取得する関数

func ScanStdin() string {
  stdin := bufio.NewScanner(os.Stdin)
  stdin.Scan()
  return stdin.Text()
}

1

2

3

4

5

func ScanStdin() string {

stdin := bufio.NewScanner(os.Stdin)

stdin.Scan()

return stdin.Text()

}

図9　意見を示す数値を文字列に変換するコード

const AGREE = "100" // 賛成
 const OPPOSITE = "200" // 反対
 const NEUTRAL = "300" // 中立

 if sData == AGREE {
   sData = "agree" // 意見の文字列を代入
 } else if sData == OPPOSITE {
   sData = "opposite"
 } else if sData == NEUTRAL {
   sData = "neutral"
 }

1

2

3

4

5

6

7

8

9

10

11

const AGREE = "100" // 賛成

const OPPOSITE = "200" // 反対

const NEUTRAL = "300" // 中立

if sData == AGREE {

sData = "agree" // 意見の文字列を代入

} else if sData == OPPOSITE {

sData = "opposite"

} else if sData == NEUTRAL {

sData = "neutral"

}

図10　データを集計サーバーに送るためのコード

resp, err := http.Get(baseurl)
if err != nil {
  fmt.Println(err)
  return err
}
defer resp.Body.Close()

1

2

3

4

5

6

resp, err := http.Get(baseurl)

if err != nil {

fmt.Println(err)

return err

}

defer resp.Body.Close()

図11　HTTPサーバー機能を提供するMyWebServerパッケージの記述

#!/usr/bin/perl
{
  package MyWebServer;
  use HTTP::Server::Simple::CGI;
  use base qw(HTTP::Server::Simple::CGI); #継承
  use strict;
  use warnings;
  # 以降の処理はここに書く．
}
my $pid = MyWebServer->new(80)->run();

1

2

3

4

5

6

7

8

9

10

#!/usr/bin/perl

{

package MyWebServer;

use HTTP::Server::Simple::CGI;

use base qw(HTTP::Server::Simple::CGI); #継承

use strict;

use warnings;

# 以降の処理はここに書く．

}

my $pid = MyWebServer->new(80)->run();

図12　CGIで日本語を表示するための記述

print $cgi->header(-charset=>"utf-8"),
      $cgi->start_html(-lang => 'ja','Not found'),
      $cgi->h1('Not found'),
      $cgi->end_html;

1

2

3

4

print $cgi->header(-charset=>"utf-8"),

$cgi->start_html(-lang => 'ja','Not found'),

$cgi->h1('Not found'),

$cgi->end_html;

図13　ハッシュ変数にサブルーチンのリファレンスを保存

my %dispatch = (
  '/index' => \&resp_index, # index
  '/insert' => \&resp_insert, # データの挿入
  '/operate' => \&resp_operate, # 質問番号の調整
  '/analy' => \&resp_analy, # 解析
);

1

2

3

4

5

6

my %dispatch = (

'/index' => \&resp_index, # index

'/insert' => \&resp_insert, # データの挿入

'/operate' => \&resp_operate, # 質問番号の調整

'/analy' => \&resp_analy, # 解析

);

図14　insertページを表示するコード

sub resp_insert {
  my $cgi = shift;
  return if !ref $cgi;

  my $user = $cgi->param('user'); # ユーザーID
  my $opi = $cgi->param('opi'); # 意見
  my $dbh = DBI->connect(
            "dbi:mysql:database=opinidb;".
            "host=mysql;port=3306",
            'user','password'
            ); #データベースの接続
  my $sth = $dbh->prepare(
            "INSERT INTO
            opinidb.opinion(USER,NUM,OPI)".
            " VALUES (?,?,?);"
            );
  $sth->execute($user,$ques_num,$opi); # SQL生成，実行
  $sth->finish;
  $dbh->disconnect; #接続終了
  print $cgi->header(-charset=>"utf-8"),
        $cgi->start_html("insert"),
        $cgi->h1("Question number is $ques_num"),
        "ユーザ:$user, 意見$opi",
        $cgi->end_html;
  }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

sub resp_insert {

my $cgi = shift;

return if !ref $cgi;

my $user = $cgi->param('user'); # ユーザーID

my $opi = $cgi->param('opi'); # 意見

my $dbh = DBI->connect(

"dbi:mysql:database=opinidb;".

"host=mysql;port=3306",

'user','password'

); #データベースの接続

my $sth = $dbh->prepare(

"INSERT INTO

opinidb.opinion(USER,NUM,OPI)".

" VALUES (?,?,?);"

);

$sth->execute($user,$ques_num,$opi); # SQL生成，実行

$sth->finish;

$dbh->disconnect; #接続終了

print $cgi->header(-charset=>"utf-8"),

$cgi->start_html("insert"),

$cgi->h1("Question number is $ques_num"),

"ユーザ:$user, 意見$opi",

$cgi->end_html;

}

図15　analyページを表示するコード

my @opilist = ('agree','opposite','neutral');

print $cgi->header(-charset=>"utf-8");
print $cgi->start_html(-lang => 'ja',"analy");
foreach(@opilist){
  print $cgi->h2("count : ".$_);
  my $sth = $dbh->prepare(
              "SELECT NUM AS ques_num , ".
              "COUNT(*) AS countopi ".
              "FROM opinidb.opinion ".
              "WHERE OPI LIKE '\%".$_."\%' ".
              "GROUP BY ques_num"
            );
  $sth->execute(); # SQL生成，実行
  print '<table border=1>';
  print '<tr><th>質問番号</th><th>選んだ人数</th></tr>';
  while(my $datahash = $sth->fetchrow_hashref){
    print '<tr><td>'.
    $datahash->{'ques_num'}.'</td><td>'.
    $datahash->{'countopi'}.'</td></tr>';
  }
  print '</table>';
  $sth->finish;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

my @opilist = ('agree','opposite','neutral');

print $cgi->header(-charset=>"utf-8");

print $cgi->start_html(-lang => 'ja',"analy");

foreach(@opilist){

print $cgi->h2("count : ".$_);

my $sth = $dbh->prepare(

"SELECT NUM AS ques_num , ".

"COUNT(*) AS countopi ".

"FROM opinidb.opinion ".

"WHERE OPI LIKE '\%".$_."\%' ".

"GROUP BY ques_num"

);

$sth->execute(); # SQL生成，実行

print '<table border=1>';

print '<tr><th>質問番号</th><th>選んだ人数</th></tr>';

while(my $datahash = $sth->fetchrow_hashref){

print '<tr><td>'.

$datahash->{'ques_num'}.'</td><td>'.

$datahash->{'countopi'}.'</td></tr>';

}

print '</table>';

$sth->finish;

}

特集1　Linuxパーフェクトカスタマイズ（Vol.59掲載）

投稿日：2019.03.25　｜　カテゴリー：　コード

著者：麻生二郎

Linuxには、「ディストリビューション」と呼ばれるさまざまな種類があります。しかし、その中から自分の好みに合ったものを見つけるのは意外と困難です。そこで、軽量なLinuxディストリビューション「Lubuntu」のインストールメディアをカスタマイズして、自分好みのLinuxディストリビューションを手に入れましょう。

シェルスクリプトマガジン Vol.59は以下のリンク先でご購入できます。

図27　スライドショーの設定を書き換える箇所

    Slide {
        Image {
            anchors.centerIn: parent
            id: image1
            x:0
            y:0
            width: 810
            height: 485
            fillMode: Image.PreserveAspectFit
            smooth: true
            source: "shmag1.png"
        }
    }
    Slide {
        Image {
            anchors.centerIn: parent
            id: image2
            x: 0
            y: 0
            width: 810
            height: 485
            fillMode: Image.PreserveAspectFit
            smooth: true
            source: "shmag2.png"
        }
    }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

Slide {

Image {

anchors.centerIn: parent

id: image1

x:0

y:0

width: 810

height: 485

fillMode: Image.PreserveAspectFit

smooth: true

source: "shmag1.png"

}

Slide {

Image {

anchors.centerIn: parent

id: image2

x: 0

y: 0

width: 810

height: 485

fillMode: Image.PreserveAspectFit

smooth: true

source: "shmag2.png"

}

Node.js/Expressで楽々Webアプリ開発（Vol.59掲載）

投稿日：2019.03.25　｜　カテゴリー：　コード

著者：しょっさん

プログラミング言語「JavaScript」の実行環境「Node.js」と「Express」フレームワークを使って、基本となるWebアプリの開発手法を習得しましょう。最終回は、サンプルの「蔵書管理アプリケーション」の課題を解決し、「SPA」（Single Page Application）として実装します。

シェルスクリプトマガジン Vol.59は以下のリンク先でご購入できます。

図2　認証時にアクセストークンを発行する部分のプログラム

var express = require('express');
var router = express.Router();
const jwt = require('jsonwebtoken');
const models = require('../models'),
  User = models.user;

var app = express();

// パスワードハッシュ化
const hashPassword = (password, salt) => {
  if (password) {
    var bcrypt = require('bcrypt');
    return bcrypt.hashSync(password, salt);
  } else { return null; }
};

// ログイン処理
router.post('/', (req, res) => {
  const username = req.body.email;
  const password = req.body.password;
  User.findOne({ where: { email: username } })
    .then(user => {
      if (!user) {
        res
          .status(401)
          .json({ errors: { message: 'Incorrect email.' } });
      } else if (hashPassword(password, user.salt) !== user.password) {
        res
          .status(401)
          .json({ errors: { message: 'Incorrect password.' } });
      } else {
        const opts = {
          issuer: process.env.ISSUER,
          audience: process.env.AUDIENCE,
          expiresIn: process.env.EXPIRES,
        };
        const secret = process.env.SECRET;
        res
          .status(200)
          .json({ 'token': jwt.sign({ id: user.id }, secret, opts) });
      }
    });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

var express = require('express');

var router = express.Router();

const jwt = require('jsonwebtoken');

const models = require('../models'),

User = models.user;

var app = express();

// パスワードハッシュ化

const hashPassword = (password, salt) => {

if (password) {

var bcrypt = require('bcrypt');

return bcrypt.hashSync(password, salt);

} else { return null; }

};

// ログイン処理

router.post('/', (req, res) => {

const username = req.body.email;

const password = req.body.password;

User.findOne({ where: { email: username } })

.then(user => {

if (!user) {

res

.status(401)

.json({ errors: { message: 'Incorrect email.' } });

} else if (hashPassword(password, user.salt) !== user.password) {

res

.status(401)

.json({ errors: { message: 'Incorrect password.' } });

} else {

const opts = {

issuer: process.env.ISSUER,

audience: process.env.AUDIENCE,

expiresIn: process.env.EXPIRES,

};

const secret = process.env.SECRET;

res

.status(200)

.json({ 'token': jwt.sign({ id: user.id }, secret, opts) });

}

});

図3　URLへのアクセスしたときのアクセストークンの検査部分のプログラム

const passport = require('passport');
const passportJWT = require('passport-jwt');
const ExtractJWT = passportJWT.ExtractJwt;
const JWTStrategy = passportJWT.Strategy;

// using authentication strategy
passport.use(new JWTStrategy(
  {
    jwtFromRequest: ExtractJWT.fromAuthHeaderAsBearerToken(),
    issuer: process.env.ISSUER,
    audience: process.env.AUDIENCE,
    secretOrKey: process.env.SECRET
  }, (jwt_payload, done) => {
    User.findOne({ where: { id: jwt_payload.id } })
      .then(user => {
        if (user) {
          done(null, user);
        } else {
          done(null, false);
        }
      })
      .catch(err => {
        return done(err, false);
      });
  }
));

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

const passport = require('passport');

const passportJWT = require('passport-jwt');

const ExtractJWT = passportJWT.ExtractJwt;

const JWTStrategy = passportJWT.Strategy;

// using authentication strategy

passport.use(new JWTStrategy(

{

jwtFromRequest: ExtractJWT.fromAuthHeaderAsBearerToken(),

issuer: process.env.ISSUER,

audience: process.env.AUDIENCE,

secretOrKey: process.env.SECRET

}, (jwt_payload, done) => {

User.findOne({ where: { id: jwt_payload.id } })

.then(user => {

if (user) {

done(null, user);

} else {

done(null, false);

}

})

.catch(err => {

return done(err, false);

});

}

));

図4　カスタムコールバックを作成している部分のプログラム

// passport-jwt: custom callback
// Tokenを持っていなかったり、Invarid Tokenの場合、Json形式で返答しなかったりするので、カスタムコールバックで準備する必要がある
const jwt = (req, res, next) => {
  passport.authenticate('jwt', { session: false }, (err, user, info) => {
    if (err) { return next(err); }
    if (!user) {
      return res.status(401).json({ 'errors': { 'message': info || 'user unknown' } }).end();
    }
    req.user = user;
    next();
  })(req, res, next);
};

// ルーティング: 認証が必要なURIには、jwt関数コールを追記するだけでよい
app.use('/api/auth', auth);
app.use('/api/books', jwt, books);

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

// passport-jwt: custom callback

// Tokenを持っていなかったり、Invarid Tokenの場合、Json形式で返答しなかったりするので、カスタムコールバックで準備する必要がある

const jwt = (req, res, next) => {

passport.authenticate('jwt', { session: false }, (err, user, info) => {

if (err) { return next(err); }

if (!user) {

return res.status(401).json({ 'errors': { 'message': info || 'user unknown' } }).end();

}

req.user = user;

next();

})(req, res, next);

};

// ルーティング: 認証が必要なURIには、jwt関数コールを追記するだけでよい

app.use('/api/auth', auth);

app.use('/api/books', jwt, books);

図5　表現に合わせてJSON形式で返却する

  // 1冊の本の情報を取得する
  _get_book(book_id) {
    return libraries.findOne({
      where: {
        user_id: this._user_id,
        id: book_id
      },
      include: [{
        model: comments,
        required: false
      }]
    });
  }

  // 1冊の本の詳細を表示する
  find(req, res) {
    this._get_book(req.params.id)
      .then(result => {
        res
          .status(200)
          .json(result.get());
      }).catch(() => {
        res
          .status(200)
          .json({});
      });
  }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

// 1冊の本の情報を取得する

_get_book(book_id) {

return libraries.findOne({

where: {

user_id: this._user_id,

id: book_id

},

include: [{

model: comments,

required: false

}]

});

}

// 1冊の本の詳細を表示する

find(req, res) {

this._get_book(req.params.id)

.then(result => {

res

.status(200)

.json(result.get());

}).catch(() => {

res

.status(200)

.json({});

});

}

図6　エラー画面をJSON形式に変更する

// catch 404 and forward to error handler
app.use((req, res, next) => {
  var err = new Error('Not Found');
  err.status = 404;
  next(err);
});

// error handler
app.use((err, req, res, next) => {
  // set locals, only providing error in development
  res.locals.message = err.message;
  res.locals.error = req.app.get('env') === 'development' ? err : {};

  // render the error page
  res.status(err.status || 500);
  res.json({
    success: false,
    errors: {
      message: err.message
    }
  });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

// catch 404 and forward to error handler

app.use((req, res, next) => {

var err = new Error('Not Found');

err.status = 404;

next(err);

});

// error handler

app.use((err, req, res, next) => {

// set locals, only providing error in development

res.locals.message = err.message;

res.locals.error = req.app.get('env') === 'development' ? err : {};

// render the error page

res.status(err.status || 500);

res.json({

success: false,

errors: {

message: err.message

}

});

図7　テストコードを変更する

describe('with Login', () => {
  // store a jwt token
  let jwt_token;

  beforeAll((done) => {
    request(app)
      .post('/api/auth/')
      .send(userCredentials)
      .end((err, res) => {
        jwt_token = res.body.token;
        done();
      });
  });

  describe('GET /api/books/', () => {
    it('respond with REST', (done) => {
      request(app)
        .get('/api/books/')
        .set('Accept', 'application/json')
        .set('Authorization', `Bearer ${jwt_token}`)
        .expect('Content-Type', /json/)
        .expect(200, done);
    });
  });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

describe('with Login', () => {

// store a jwt token

let jwt_token;

beforeAll((done) => {

request(app)

.post('/api/auth/')

.send(userCredentials)

.end((err, res) => {

jwt_token = res.body.token;

done();

});

describe('GET /api/books/', () => {

it('respond with REST', (done) => {

request(app)

.get('/api/books/')

.set('Accept', 'application/json')

.set('Authorization', `Bearer ${jwt_token}`)

.expect('Content-Type', /json/)

.expect(200, done);

});

最終回　大切なデータを守る（ディレクトリーの暗号化）

投稿日：2019.02.5　｜　カテゴリー：　記事

　社内に設置したサーバーでは、ストレージやマシン自体の盗難に遭うこともあります。大切なデータを保存しているのなら、保存先のディレクトリーごと暗号化しておくのがお勧めです（図1）。

Vol.58

投稿日：2019.01.25　｜　カテゴリー：　バックナンバー

　インターネット上のサイトで欠かせないサーバーソフトウエアが、データを格納・管理する「データベース管理システム」です。特集1では、オープンソースのデータベース管理システムとして人気が高い「MySQL」を紹介します。入手方法、Linuxディストリビューション「CentOS」へのインストール方法だけでなく、データベースの核となる「ストレージエンジン」、運用管理やトラブルシューティングなどで重要な「ログ」、データベース処理で知っておきたい「トランザクション」や「ロック」に触れます。
　特集2では、小型コンピュータボード「Raspberry Pi」上で「IchigoJam BASIC RPi」による「BASIC」プログラミングを紹介します。BASICは、古くからある言語で、プログラミングの基本が学べます。子供から大人まで楽しめますので、親子で一緒にプログラミングを始めましょう。
　特別企画では、サイボウズの業務改善プラットフォーム「kintone」上で実用的な業務システムの「交通費申請システム」を作成します。入力フォームにテキストボックスやボタンなどの部品を配置し、簡単なワークフローを設定するだけなので、プログラムを一切書く必要はありません。無料のアカウントを登録すれば、すぐに試せます。
　このほか、「中小企業手作りIT化奮戦記」「センサーボードで学ぶ電子回路の制御」などの人気連載も掲載しています。
　今月も読み応え十分のシェルスクリプトマガジン Vol.58。お見逃しなく！

※記事掲載のコードはこちら。記事の補足情報はこちら

※読者アンケートはこちら

香川大学SLPからお届け！（Vol.58掲載）

投稿日：2019.01.25　｜　カテゴリー：　コード

著者：竹原一駿
2018年秋に広島と香川で「オープンソースカンファレンス」（OSC）が開催されました。SLPは、両OSCでブースを出展し、OSC香川では3人の学生がライトニングトーク（LT）を行いました。今回は、これらの活動の内容や、それによって得られた体験などについて報告します。OSCへの一般参加や出展などを考えている読者の方の参考になれば幸いです。

シェルスクリプトマガジン Vol.58は以下のリンク先でご購入できます。

図2　自作コンテナエンジンのソースコードの一部

unshareシステムコールによるLinux Namespaceの分離

unshare(
  CloneFlags::CLONE_NEWPID
    | CloneFlags::CLONE_NEWIPC
    | CloneFlags::CLONE_NEWUTS
    | CloneFlags::CLONE_NEWNS
    | CloneFlags::CLONE_NEWUSER,)

1

2

3

4

5

6

unshare(

CloneFlags::CLONE_NEWPID

| CloneFlags::CLONE_NEWIPC

| CloneFlags::CLONE_NEWUTS

| CloneFlags::CLONE_NEWNS

| CloneFlags::CLONE_NEWUSER,)

fork/execシステムコールによるコンテナ内子プロセス生成

match fork() {
  Ok(ForkResult::Parent { child, .. }) => {
    match waitpid(child, None).expect("waitpid faild") {
      WaitStatus::Exited(_, _) => {}
      WaitStatus::Signaled(_, _, _) => {}
      _ => eprintln!("Unexpected exit."),
    }
  }
  Ok(ForkResult::Child) => {
    sethostname(&self.name).expect("Could not set hostname");
    fs::create_dir_all("proc").unwrap_or_else(|why| {
      eprintln!("{:?}", why.kind());
    });
    println!("Mount procfs ... ");
    mounts::mount_proc().expect("mount procfs failed.");
    let cmd = CString::new(self.command.clone()).unwrap();
    let default_shell = CString::new("/bin/bash").unwrap();
    let shell_opt = CString::new("-c").unwrap();
    execv(&default_shell, &[default_shell.clone(), shell_opt, cmd]).expect("execution faild.");
  }
  Err(_) => eprintln!("Fork failed"),
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

match fork() {

Ok(ForkResult::Parent { child, .. }) => {

match waitpid(child, None).expect("waitpid faild") {

WaitStatus::Exited(_, _) => {}

WaitStatus::Signaled(_, _, _) => {}

_ => eprintln!("Unexpected exit."),

}

Ok(ForkResult::Child) => {

sethostname(&self.name).expect("Could not set hostname");

fs::create_dir_all("proc").unwrap_or_else(|why| {

eprintln!("{:?}", why.kind());

});

println!("Mount procfs ... ");

mounts::mount_proc().expect("mount procfs failed.");

let cmd = CString::new(self.command.clone()).unwrap();

let default_shell = CString::new("/bin/bash").unwrap();

let shell_opt = CString::new("-c").unwrap();

execv(&default_shell, &[default_shell.clone(), shell_opt, cmd]).expect("execution faild.");

}

Err(_) => eprintln!("Fork failed"),

}

図5　「数字に隠された真実」のソースコードの一部

数値を1桁ずつ分解して、すべての和を求める関数

function add_1(number, result_text, c) {
  var num = [];
  if (parseInt(number / 10) == 0 && (number != 6 || number != 9)) { return 0; } // 1桁になって悪魔の数字じゃなければ失敗
  num = num_split_onedigit(number); // 数値を1桁ずつ分解
  sum = num_add_onedigit(num); // すべて加算
  result_text[c] = array_value_text(num, sum, "+"); // 計算過程の文字列を作成
  var check = akumanumber_check(sum, result_text); // 悪魔の数字かどうかチェック
  if (check != 0) { return check; } // 悪魔の数字なら終了
  var result = add_1(sum, result_text, c + 1); // 処理1を実行(再帰)
  if (result != 0) { return result; } else { result_t  ext.splice(c, 1); }
  var result = mult_1(sum, result_text, c + 1); // 処理2を実行(相互再帰)
  if (result != 0) { return result; } else { result_text.splice(c, 1); }
  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

function add_1(number, result_text, c) {

var num = [];

if (parseInt(number / 10) == 0 && (number != 6 || number != 9)) { return 0; } // 1桁になって悪魔の数字じゃなければ失敗

num = num_split_onedigit(number); // 数値を1桁ずつ分解

sum = num_add_onedigit(num); // すべて加算

result_text[c] = array_value_text(num, sum, "+"); // 計算過程の文字列を作成

var check = akumanumber_check(sum, result_text); // 悪魔の数字かどうかチェック

if (check != 0) { return check; } // 悪魔の数字なら終了

var result = add_1(sum, result_text, c + 1); // 処理1を実行(再帰)

if (result != 0) { return result; } else { result_t ext.splice(c, 1); }

var result = mult_1(sum, result_text, c + 1); // 処理2を実行(相互再帰)

if (result != 0) { return result; } else { result_text.splice(c, 1); }

return 0;

}

数値を1桁ずつ分解して、すべての積を求める関数

function mult_1(number, result_text, c) {
  var num = [];
  if (parseInt(number / 10) == 0 && (number != 6 || number != 9)) { return 0; } // 1桁になって悪魔の数字じゃなければ失敗
  num = num_split_onedigit(number); // 数値を1桁ずつ分解
  sum = num_mult_onedigit(num); // すべて乗算
  result_text[c] = array_value_text(num, sum, "×"); // 計算過程の文字列を作成
  var check = akumanumber_check(sum, result_text); // 悪魔の数字かどうかチェック
  if (check != 0) { return check; } // 悪魔の数字なら終了
  var result = add_1(sum, result_text, c + 1); // 処理1を実行(相互再帰)
  if (result != 0) { return result; } else { result_text.splice(c, 1); }
  var result = mult_1(sum, result_text, c + 1); // 処理2を実行(再帰)
  if (result != 0) { return result; } else { result_text.splice(c, 1); }
  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

function mult_1(number, result_text, c) {

var num = [];

if (parseInt(number / 10) == 0 && (number != 6 || number != 9)) { return 0; } // 1桁になって悪魔の数字じゃなければ失敗

num = num_split_onedigit(number); // 数値を1桁ずつ分解

sum = num_mult_onedigit(num); // すべて乗算

result_text[c] = array_value_text(num, sum, "×"); // 計算過程の文字列を作成

var check = akumanumber_check(sum, result_text); // 悪魔の数字かどうかチェック

if (check != 0) { return check; } // 悪魔の数字なら終了

var result = add_1(sum, result_text, c + 1); // 処理1を実行(相互再帰)

if (result != 0) { return result; } else { result_text.splice(c, 1); }

var result = mult_1(sum, result_text, c + 1); // 処理2を実行(再帰)

if (result != 0) { return result; } else { result_text.splice(c, 1); }

return 0;

}

図9　サーバー監視システムのソースコードの一部

int SystemAnalyzer::GetPreTick_(void)
{
  // 演算に使用されたTick値を取得
  FILE *infile = fopen("/src/proc/stat", "r");
  if (NULL == infile) {
    cout << "[GetCPUUsage]<<Cannot open /src/proc/stat"
         << endl;
    return 0;
  }
  int usr, nice, sys;
  char buf[1024]; // 文字列"cpu"の部分の入力用
  int result = fscanf(infile, "%s %d %d %d",
                      buf, &usr, &nice, &sys);
  if (result == -1) {
    cout << "[GetCPUUsage]<<Cannot read fscanf"
         << endl;
    return 0;
  }
  fclose(infile);
  return usr + nice + sys;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

int SystemAnalyzer::GetPreTick_(void)

{

// 演算に使用されたTick値を取得

FILE *infile = fopen("/src/proc/stat", "r");

if (NULL == infile) {

cout << "[GetCPUUsage]<<Cannot open /src/proc/stat"

<< endl;

return 0;

}

int usr, nice, sys;

char buf[1024]; // 文字列"cpu"の部分の入力用

int result = fscanf(infile, "%s %d %d %d",

buf, &usr, &nice, &sys);

if (result == -1) {

cout << "[GetCPUUsage]<<Cannot read fscanf"

<< endl;

return 0;

}

fclose(infile);

return usr + nice + sys;

}

Vol.58 補足情報

投稿日：2019.01.25　｜　カテゴリー：　コード

Techパズル　第11回

「タテのカギ」の「18 現実」が抜けていました。お詫びして訂正いたします。

バーティカルバーの極意

p.73のタイトル部分の辰己先生の「己」が「巳」になっていました。お詫びして訂正いたします *。

*　2019年1月25日に掲載した訂正情報にも誤りがあり、当該の先生にもご迷惑をおかけしたことをお詫び申し上げます。

情報は随時更新致します。

Node.js/Expressで楽々Webアプリ開発（Vol.58掲載）

投稿日：2019.01.25　｜　カテゴリー：　コード

著者：しょっさん
プログラミング言語「JavaScript」の実行環境「Node.js」と「Express」フレームワークを使って、基本となるWebアプリの開発手法を習得しましょう。第4回は「蔵書管理アプリケーション」のサンプルプログラムで認証機能を実現す
る方法を解説します。

シェルスクリプトマガジン Vol.58は以下のリンク先でご購入できます。

図3　「models/user.js」ファイルにLibrariesテーブルとの関係性を追記

user.associate = function (models) {
  // associations can be defined here
  user.hasMany(models.Library, { foreignKey: 'user_id' });
};
return user;return user;

1

2

3

4

5

user.associate = function (models) {

// associations can be defined here

user.hasMany(models.Library, { foreignKey: 'user_id' });

};

return user;return user;

図4　モデルファイル「models/library.js」の修正

'use strict';
module.exports = (sequelize, DataTypes) => {
  var Library = sequelize.define('Library', {
    book_title: DataTypes.STRING,
　  author: DataTypes.STRING,
    publisher: DataTypes.STRING,
    image_url: DataTypes.STRING(2048),
    user_id: DataTypes.INTEGER
  },
    {
      underscored: true
    });
  Library.associate = function (models) {
    // associations can be defined here
    Library.hasMany(models.Comment, { foreignKey: 'book_id'});
  };
  return Library;
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

'use strict';

module.exports = (sequelize, DataTypes) => {

var Library = sequelize.define('Library', {

book_title: DataTypes.STRING,

　 author: DataTypes.STRING,

publisher: DataTypes.STRING,

image_url: DataTypes.STRING(2048),

user_id: DataTypes.INTEGER

},

{

underscored: true

});

Library.associate = function (models) {

// associations can be defined here

Library.hasMany(models.Comment, { foreignKey: 'book_id'});

};

return Library;

};

図5　マイグレーションファイルの追記内容

user_id: {
  type: Sequelize.INTEGER,
  allowNull: false,
  foreignKey: true,
  references: {
    model: 'users',
    key: 'id',
  },
  onUpdate: 'RESTRICT',
  onDelete: 'RESTRICT',
},

1

2

3

4

5

6

7

8

9

10

11

user_id: {

type: Sequelize.INTEGER,

allowNull: false,

foreignKey: true,

references: {

model: 'users',

key: 'id',

},

onUpdate: 'RESTRICT',

onDelete: 'RESTRICT',

},

図6　作成したseed（日付-demo-user.js）

'use strict';
module.exports = {
  up: (queryInterface, Sequelize) => {
    const models = require('../models');
    return models.user.bulkCreate([
      {
        id: 1,
        email: 'tak@oshiire.to',
        password: '$2b$10$t73WMpPlvyhkWuL.ALWe..OKbU1q1ssR4K5ezVTXLlvaDMtUuAqve',
        salt: '$2b$10$t73WMpPlvyhkWuL.ALWe..'
      },
      {
        id: 2,
        email: 'sho@oshiire.to',
        password: '$2b$10$t73WMpPlvyhkWuL.ALWe..OKbU1q1ssR4K5ezVTXLlvaDMtUuAqve',
        salt: '$2b$10$t73WMpPlvyhkWuL.ALWe..'
      },
      {
        id: 3,
        email: 'shosan@oshiire.to',
        password: '$2b$10$t73WMpPlvyhkWuL.ALWe..OKbU1q1ssR4K5ezVTXLlvaDMtUuAqve',
        salt: '$2b$10$t73WMpPlvyhkWuL.ALWe..'
      }
    ]);
  },
  down: (queryInterface, Sequelize) => {
    return queryInterface.bulkDelete('users', null, {});
  }
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

'use strict';

module.exports = {

up: (queryInterface, Sequelize) => {

const models = require('../models');

return models.user.bulkCreate([

{

id: 1,

email: 'tak@oshiire.to',

password: '$2b$10$t73WMpPlvyhkWuL.ALWe..OKbU1q1ssR4K5ezVTXLlvaDMtUuAqve',

salt: '$2b$10$t73WMpPlvyhkWuL.ALWe..'

},

{

id: 2,

email: 'sho@oshiire.to',

password: '$2b$10$t73WMpPlvyhkWuL.ALWe..OKbU1q1ssR4K5ezVTXLlvaDMtUuAqve',

salt: '$2b$10$t73WMpPlvyhkWuL.ALWe..'

},

{

id: 3,

email: 'shosan@oshiire.to',

password: '$2b$10$t73WMpPlvyhkWuL.ALWe..OKbU1q1ssR4K5ezVTXLlvaDMtUuAqve',

salt: '$2b$10$t73WMpPlvyhkWuL.ALWe..'

}

]);

},

down: (queryInterface, Sequelize) => {

return queryInterface.bulkDelete('users', null, {});

}

};

図8　passportストラテジの定義

var passport = require('passport');
var LocalStrategy = require('passport-local').Strategy;

const hashPassword = (password, salt) => {
  var bcrypt = require('bcrypt');
  var hashed = bcrypt.hashSync(password, salt);
  return hashed;
};

passport.use(new LocalStrategy(
  {
    usernameField: 'email',
    passwordField: 'password'
  },
  (username, password, done) => {
    models.user.findOne({ where: { email: username } }).then(user => {
      if (!user)
        return done(null, false, { message: 'Incorrect email.' });
      if (hashPassword(password, user.salt) !== user.password)
        return done(null, false, { message: 'Incorrect password.' });
      return done(null, user.get());
    });
  }
));

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

var passport = require('passport');

var LocalStrategy = require('passport-local').Strategy;

const hashPassword = (password, salt) => {

var bcrypt = require('bcrypt');

var hashed = bcrypt.hashSync(password, salt);

return hashed;

};

passport.use(new LocalStrategy(

{

usernameField: 'email',

passwordField: 'password'

},

(username, password, done) => {

models.user.findOne({ where: { email: username } }).then(user => {

if (!user)

return done(null, false, { message: 'Incorrect email.' });

if (hashPassword(password, user.salt) !== user.password)

return done(null, false, { message: 'Incorrect password.' });

return done(null, user.get());

});

}

));

図9　セッション連携の関数「serializeUser」と「deserializeUser」

var session = require('express-session');

passport.serializeUser((user, done) => {
  done(null, user.id);
});

passport.deserializeUser((id, done) => {
  models.user.findById(id).then(user => {
    if (user) {
      done(null, user.get());
    } else {
      done(user.errors, null);
    }
  });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

var session = require('express-session');

passport.serializeUser((user, done) => {

done(null, user.id);

});

passport.deserializeUser((id, done) => {

models.user.findById(id).then(user => {

if (user) {

done(null, user.get());

} else {

done(user.errors, null);

}

});

図10　ミドルウエアで認証済みか否かの判定

app.use((req, res, next) => {
  if (req.isAuthenticated())
    return next();
  if (req.url === '/' || req.url === '/login')
    return next();
  res.redirect('/');
});

app.use('/', index);
app.use('/books', books);

1

2

3

4

5

6

7

8

9

10

app.use((req, res, next) => {

if (req.isAuthenticated())

return next();

if (req.url === '/' || req.url === '/login')

return next();

res.redirect('/');

});

app.use('/', index);

app.use('/books', books);

図11　テストコード（supertest-spec.js）の主要部分

/* eslint-env jasmine */

// routing テスト
const request = require('supertest-session');
const app = require('../app');

//let's set up the data we need to pass to the login method
const userCredentials = {
  email: 'tak@oshiire.to',
  password: 'password'
};
const wrongEmailCredentials = {
  email: 'foo',
  password: 'password'
};
const wrongPasswordCredentials = {
  email: 'tak@oshiire.to',
  password: 'foo'
};

//now let's login the user before we run any tests
const authenticatedUser = request(app);

describe('POST /login', () => {
  it('should redirect to / with unloggined user', (done) => {
    request(app)
      .get('/books/')
      .expect(302)
      .expect('Location', '/', done);
  });
  it('should success login with correct user', (done) => {
    request(app)
      .post('/login')
      .send(userCredentials)
      .expect(302)
      .expect('Location', '/books/', done);
  });
  it('should deny login with wrong email', (done) => {
    request(app)
      .post('/login')
      .send(wrongEmailCredentials)
      .expect(302)
      .expect('Location', '/', done);
  });
  it('should deny login with wrong password', (done) => {
    request(app)
      .post('/login')
      .send(wrongPasswordCredentials)
      .expect(302)
      .expect('Location', '/', done);
  });
});

describe('with Login', () => {
  beforeAll((done) => {
    authenticatedUser
      .post('/login')
      .send(userCredentials)
      .expect(302, done);
  });

  describe('GET /', () => {
    it('respond with http', (done) => {
      authenticatedUser
        .get('/')
        .set('Accept', 'text/html')
        .expect(200, done);
    });
  });
 :
(中略)
 :
});

describe('GET /logout', () => {
  beforeAll((done) => {
    authenticatedUser
      .post('/login')
      .send(userCredentials)
      .expect(302, done);
  });

  it('should go back to login', (done) => {
    authenticatedUser
      .get('/logout')
      .set('Accept', 'text/html')
      .expect(302)
      .expect('Location', '/', done);
  });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

/* eslint-env jasmine */

// routing テスト

const request = require('supertest-session');

const app = require('../app');

//let's set up the data we need to pass to the login method

const userCredentials = {

email: 'tak@oshiire.to',

password: 'password'

};

const wrongEmailCredentials = {

email: 'foo',

password: 'password'

};

const wrongPasswordCredentials = {

email: 'tak@oshiire.to',

password: 'foo'

};

//now let's login the user before we run any tests

const authenticatedUser = request(app);

describe('POST /login', () => {

it('should redirect to / with unloggined user', (done) => {

request(app)

.get('/books/')

.expect(302)

.expect('Location', '/', done);

});

it('should success login with correct user', (done) => {

request(app)

.post('/login')

.send(userCredentials)

.expect(302)

.expect('Location', '/books/', done);

});

it('should deny login with wrong email', (done) => {

request(app)

.post('/login')

.send(wrongEmailCredentials)

.expect(302)

.expect('Location', '/', done);

});

it('should deny login with wrong password', (done) => {

request(app)

.post('/login')

.send(wrongPasswordCredentials)

.expect(302)

.expect('Location', '/', done);

});

describe('with Login', () => {

beforeAll((done) => {

authenticatedUser

.post('/login')

.send(userCredentials)

.expect(302, done);

});

describe('GET /', () => {

it('respond with http', (done) => {

authenticatedUser

.get('/')

.set('Accept', 'text/html')

.expect(200, done);

});

:

(中略)

:

});

describe('GET /logout', () => {

beforeAll((done) => {

authenticatedUser

.post('/login')

.send(userCredentials)

.expect(302, done);

});

it('should go back to login', (done) => {

authenticatedUser

.get('/logout')

.set('Accept', 'text/html')

.expect(302)

.expect('Location', '/', done);

});

シェルスクリプトマガジンvol.58 Web掲載記事まとめ

投稿日：2019.01.25　｜　カテゴリー：　コード

シェルスクリプトマガジン Vol.58で掲載しているコードをまとめています。

プレゼント＆アンケートページはこちら！

シェルスクリプトマガジン Vol.58は以下のリンク先でご購入できます。

004 レポート　Linuxカーネル5.0
005 レポート　Microsoft社のProject Mu
006 NEWS FLASH
008 特集1　オープンソースのデータベース管理システム MySQL入門/梶山隆輔
030 特集2　ラズパイでBASIC/土肥毅大、岡優樹、納富志津
040 特別企画　kintoneで作る交通費申請システム/佐山ウィリアム明裕、ぺそ、檀原由香子
050 ラズパイセンサーボードで学ぶ電子回路の制御/米田聡　コード掲載
055 姐のNOGYO
056 中小企業手作りIT化奮戦記/菅雄一
062 円滑コミュニケーションが世界を救う！/濱口誠一
064 「Visual Studio Code」を便利に使う/山本美穂
068 新年号/桑原滝弥・イケヤシロウ
070 バーティカルバーの極意/飯尾淳
076 法林浩之のFIGHTING TALKS/法林浩之
078 漢のUNIX/後藤大地
084 人間とコンピュータの可能性/大岩元
086 機械学習のココロ/石井一夫　コード掲載
092 Node.js/Expressで楽々Webアプリ開発/しょっさん　コード掲載
100 香川大学SLPからお届け！/竹原一駿　コード掲載
106 UNIXの歴史を振り返る/古寺雅弘
114 ユニケージ新コードレビュー/技術研究員
120 Techパズル/gori.sh
122 コラム「仕事座右の銘」/シェル魔人

機械学習のココロ（Vol.58掲載）

投稿日：2019.01.25　｜　カテゴリー：　コード

著者：石井一夫
今回は、機械学習による2値分類の方法を紹介します。映画評論のテキストを好評価な内容か悪い評価の内容かに分類するという例題のTensorFlowのチュートリアルマニュアルに沿って、2値分類のモデリングの定番である「ロジスティック回帰分析」について解説します。

シェルスクリプトマガジン Vol.58は以下のリンク先でご購入できます。

図4　ライブラリのインポートとIMDBデータセットの取り込み

import tensorflow as tf
from tensorflow import keras
import numpy as np
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

1

2

3

4

5

import tensorflow as tf

from tensorflow import keras

import numpy as np

imdb = keras.datasets.imdb

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

図5　IMDBデータセットの中身を表示するコード

print(train_labels[0])
print(train_data[0])

1 2	print(train_labels[0]) print(train_data[0])

図6　元の単語を表示する関数を定義するコード

# 整数の索引に単語を割り当てる辞書を検索する関数
word_index = imdb.get_word_index()
# 最初の索引で変換
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2 # 不明
word_index["<UNUSED>"] = 3
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])

1

2

3

4

5

6

7

8

9

10

11

# 整数の索引に単語を割り当てる辞書を検索する関数

word_index = imdb.get_word_index()

# 最初の索引で変換

word_index = {k:(v+3) for k,v in word_index.items()}

word_index["<PAD>"] = 0

word_index["<START>"] = 1

word_index["<UNK>"] = 2 # 不明

word_index["<UNUSED>"] = 3

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])

def decode_review(text):

return ' '.join([reverse_word_index.get(i, '?') for i in text])

図7　データをテンソル化するコード

train_data = keras.preprocessing.sequence.pad_sequences(
               train_data, value=word_index["<PAD>"],
　　　　　　    padding='post', maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(
               test_data, value=word_index["<PAD>"],
               padding='post', maxlen=256)

1

2

3

4

5

6

train_data = keras.preprocessing.sequence.pad_sequences(

train_data, value=word_index["<PAD>"],

　　　　　　 padding='post', maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(

test_data, value=word_index["<PAD>"],

padding='post', maxlen=256)

図8　学習モデルを構築するコード

# 入力データの指定形式は、映画評論に用いられた単語数(10,000 単語)をとる
vocab_size = 10000
model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16)) # 入力層
model.add(keras.layers.GlobalAveragePooling1D()) # 中間層I
model.add(keras.layers.Dense(16, activation=tf.nn.relu)) # 中間層II
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid)) # 出力層

1

2

3

4

5

6

7

# 入力データの指定形式は、映画評論に用いられた単語数(10,000 単語)をとる

vocab_size = 10000

model = keras.Sequential()

model.add(keras.layers.Embedding(vocab_size, 16)) # 入力層

model.add(keras.layers.GlobalAveragePooling1D()) # 中間層I

model.add(keras.layers.Dense(16, activation=tf.nn.relu)) # 中間層II

model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid)) # 出力層

図10　モデルをコンパイルするコード

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss='binary_crossentropy',
              metrics=['accuracy'])

1

2

3

model.compile(optimizer=tf.train.AdamOptimizer(),

loss='binary_crossentropy',

metrics=['accuracy'])

図11　訓練用データセットを分割するコード

x_val = train_data[:10000]
partial_x_train = train_data[10000:]
y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

1

2

3

4

x_val = train_data[:10000]

partial_x_train = train_data[10000:]

y_val = train_labels[:10000]

partial_y_train = train_labels[10000:]

図12　モデルの訓練用コード

history = model.fit(partial_x_train,
                     partial_y_train,
                     epochs=40,
                     batch_size=512,
                     validation_data=(x_val, y_val),
                     verbose=1)

1

2

3

4

5

6

history = model.fit(partial_x_train,

partial_y_train,

epochs=40,

batch_size=512,

validation_data=(x_val, y_val),

verbose=1)

図13　モデルの性能評価用コード

results = model.evaluate(test_data, test_labels)
print(results)

1 2	results = model.evaluate(test_data, test_labels) print(results)

図14　損失のグラフを表示するコード

%matplotlib inline
import matplotlib.pyplot as plt

acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)

# 青点グラフ
plt.plot(epochs, loss, 'bo', label='Training loss')
# 青線グラフ
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

%matplotlib inline

import matplotlib.pyplot as plt

acc = history.history['acc']

val_acc = history.history['val_acc']

loss = history.history['loss']

val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)

# 青点グラフ

plt.plot(epochs, loss, 'bo', label='Training loss')

# 青線グラフ

plt.plot(epochs, val_loss, 'b', label='Validation loss')

plt.title('Training and validation loss')

plt.xlabel('Epochs')

plt.ylabel('Loss')

plt.legend()

plt.show()

図16　精度のグラフを表示するコード

plt.clf() # 図を初期化
acc_values = history_dict['acc']
val_acc_values = history_dict['val_acc']

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()

1

2

3

4

5

6

7

8

9

10

11

12

plt.clf() # 図を初期化

acc_values = history_dict['acc']

val_acc_values = history_dict['val_acc']

plt.plot(epochs, acc, 'bo', label='Training acc')

plt.plot(epochs, val_acc, 'b', label='Validation acc')

plt.title('Training and validation accuracy')

plt.xlabel('Epochs')

plt.ylabel('Accuracy')

plt.legend()

plt.show()

ラズパイセンサーボードで学ぶ電子回路の制御（Vol.58掲載）

投稿日：2019.01.25　｜　カテゴリー：　コード

著者：米田聡
シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）向けのセンサー搭載拡張ボード「ラズパイセンサーボード」を制作しました。第5回では、このボードを使った電子回路制御を取り上げます。具体的には、明るさ・近隣センサーに近づく物体の検出です。

シェルスクリプトマガジン Vol.58は以下のリンク先でご購入できます。

図3　割り込みに対応したVCNL4020ライブラリ（VCNL4020.py）

import smbus
import time
import RPi.GPIO as GPIO
from threading import BoundedSemaphore

class VCNL4020():

  _ALS_OD       = 0b00010000  # オンデマンド明るさ計測スタート
  _PROX_OD      = 0b00001000  # オンデマンド近接計測スタート
  _ALS_EN       = 0b00000100  # 明るさ繰り返し計測有効
  _PROX_EN      = 0b00000010  # 近接繰り返し計測有効
  _SELFTIMED_EN = 0b00000001  # 内蔵タイマー有効
  
  _CONT_CONV    = 0b10000000  # Continue Conversion有効
  _AMBIENT_RATE = 0b00010000  # 明るさの計測レート（default:2sample/s）
  _AUTO_OFFSET  = 0b00001000  # 自動オフセットモード有効
  _AVERAGING    = 0b00000101  # 平均化（default:32conv）

  _COMMAND_REG       = 0x80  # コマンドレジスタ
  _PID_REG           = 0x81  # プロダクトIDレジスタ
  _PROX_RATE_REG     = 0x82  # 近接測定レートジスタ
  _IR_CURRENT_REG    = 0x83  # 近接測定用赤外線LED電流設定レジスタ（default=20mA）
  _AMBIENT_PARAM_REG = 0x84  # 明るさセンサーパラメータレジスタ

  _AMBIENT_MSB       = 0x85  # 明るさ上位バイト
  _AMBIENT_LSB       = 0x86  # 明るさ下位バイト

  _PROX_MSB          = 0x87  # 近接上位バイト
  _PROX_LSB          = 0x88  # 近接下位バイト

  _INT_CONTROL_REG   = 0x89  # 割り込み制御レジスタ

  _LOW_TH_MSB        = 0x8A  # Lowしきい値（MSB）
  _LOW_TH_LSB        = 0x8B  # Lowしきい値（LSB）
  _HIGH_TH_MSB       = 0x8C  # Highしきい値（MSB）
  _HIGH_TH_LSB       = 0x8D  # Highしきい値（LSB）

  _INT_STATUS_REG    = 0x8E  # 割り込みステータス

  _INT_NO            = 0x06  # int = GPIO6

  # コールバック
  __callbackfunc     = None

  def __init__(self, i2c_addr = 0x13, busno = 1):
    self.addr = i2c_addr
    self.i2c = smbus.SMBus(busno)
    
    self._write_reg(self._COMMAND_REG, self._ALS_OD  |\
                       self._PROX_OD |\
                       self._ALS_EN  |\
                       self._PROX_EN |\
                       self._SELFTIMED_EN )
                       
    self._write_reg(self._IR_CURRENT_REG, 2 )  # 20mA
                       
    self._write_reg(self._AMBIENT_PARAM_REG, self._CONT_CONV    |\
                        self._AMBIENT_RATE |\
                        self._AUTO_OFFSET  |\
                        self._AVERAGING )
    self.semaphore = BoundedSemaphore()

    # GPIO設定
    GPIO.setmode(GPIO.BCM)
    GPIO.setup(self._INT_NO, GPIO.IN, pull_up_down=GPIO.PUD_UP)
    GPIO.add_event_detect(self._INT_NO, GPIO.FALLING, callback=self.__interruptfunc)

    time.sleep(0.6)      # 初回測定まで待つ

  def _write_reg(self, reg, value):
    self.i2c.write_byte_data(self.addr, reg, value)

  def _read_reg(self, reg):
    return self.i2c.read_byte_data(self.addr, reg)

  # 高値用レジスタ設定
  def set_high_threshold(self, value):
    self.semaphore.acquire()
    h = (value & 0xFF00) >> 8
    l = value & 0x00FF
    self._write_reg(self._HIGH_TH_MSB, h)
    self._write_reg(self._HIGH_TH_LSB, l)
    self.semaphore.release()

  # 低値用レジスタ設定
  def set_low_threshold(self, value):
    self.semaphore.acquire()
    h = (value & 0xFF00) >> 8
    l = value & 0x00FF
    self._write_reg(self._LOW_TH_MSB, h)
    self._write_reg(self._LOW_TH_LSB, l)
    self.semaphore.release()

  # 割り込み有効化
  def enable_interrupt(self, callbackfunc=None, prox=True, samples=1):
    self.semaphore.acquire()

    self.__callbackfunc = callbackfunc
    value = self._read_reg(self._INT_CONTROL_REG)

    if callbackfunc is not None:
      if prox:
        value |= 0b00000010
      else:
        value |= 0b00000011
    else:
        value &= 0b11111100

    # samples
    samples &= 0b00000111
    samples = samples << 5
    value &= 0b00011111
    value |= samples

    self._write_reg( self._INT_CONTROL_REG, value)
    self.semaphore.release()

  # 割り込み関数
  def __interruptfunc(self, ch):
    if ch != self._INT_NO:
      return
    if self.__callbackfunc is not None:
      self.__callbackfunc(self.luminance, self.proximity)


  @property
  def luminance(self):
    self.semaphore.acquire()
    d = self.i2c.read_i2c_block_data(self.addr, self._AMBIENT_MSB, 2)
    self.semaphore.release()
    return (d[0] * 256 + d[1]) / 4
  
  @property
  def proximity(self):
    self.semaphore.acquire()
    d = self.i2c.read_i2c_block_data(self.addr, self._PROX_MSB, 2)
    self.semaphore.release()
    return (d[0] * 256 + d[1])

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

import smbus

import time

import RPi.GPIO as GPIO

from threading import BoundedSemaphore

class VCNL4020():

_ALS_OD = 0b00010000 # オンデマンド明るさ計測スタート

_PROX_OD = 0b00001000 # オンデマンド近接計測スタート

_ALS_EN = 0b00000100 # 明るさ繰り返し計測有効

_PROX_EN = 0b00000010 # 近接繰り返し計測有効

_SELFTIMED_EN = 0b00000001 # 内蔵タイマー有効

_CONT_CONV = 0b10000000 # Continue Conversion有効

_AMBIENT_RATE = 0b00010000 # 明るさの計測レート（default:2sample/s）

_AUTO_OFFSET = 0b00001000 # 自動オフセットモード有効

_AVERAGING = 0b00000101 # 平均化（default:32conv）

_COMMAND_REG = 0x80 # コマンドレジスタ

_PID_REG = 0x81 # プロダクトIDレジスタ

_PROX_RATE_REG = 0x82 # 近接測定レートジスタ

_IR_CURRENT_REG = 0x83 # 近接測定用赤外線LED電流設定レジスタ（default=20mA）

_AMBIENT_PARAM_REG = 0x84 # 明るさセンサーパラメータレジスタ

_AMBIENT_MSB = 0x85 # 明るさ上位バイト

_AMBIENT_LSB = 0x86 # 明るさ下位バイト

_PROX_MSB = 0x87 # 近接上位バイト

_PROX_LSB = 0x88 # 近接下位バイト

_INT_CONTROL_REG = 0x89 # 割り込み制御レジスタ

_LOW_TH_MSB = 0x8A # Lowしきい値（MSB）

_LOW_TH_LSB = 0x8B # Lowしきい値（LSB）

_HIGH_TH_MSB = 0x8C # Highしきい値（MSB）

_HIGH_TH_LSB = 0x8D # Highしきい値（LSB）

_INT_STATUS_REG = 0x8E # 割り込みステータス

_INT_NO = 0x06 # int = GPIO6

# コールバック

__callbackfunc = None

def __init__(self, i2c_addr = 0x13, busno = 1):

self.addr = i2c_addr

self.i2c = smbus.SMBus(busno)

self._write_reg(self._COMMAND_REG, self._ALS_OD |\

self._PROX_OD |\

self._ALS_EN |\

self._PROX_EN |\

self._SELFTIMED_EN )

self._write_reg(self._IR_CURRENT_REG, 2 ) # 20mA

self._write_reg(self._AMBIENT_PARAM_REG, self._CONT_CONV |\

self._AMBIENT_RATE |\

self._AUTO_OFFSET |\

self._AVERAGING )

self.semaphore = BoundedSemaphore()

# GPIO設定

GPIO.setmode(GPIO.BCM)

GPIO.setup(self._INT_NO, GPIO.IN, pull_up_down=GPIO.PUD_UP)

GPIO.add_event_detect(self._INT_NO, GPIO.FALLING, callback=self.__interruptfunc)

time.sleep(0.6) # 初回測定まで待つ

def _write_reg(self, reg, value):

self.i2c.write_byte_data(self.addr, reg, value)

def _read_reg(self, reg):

return self.i2c.read_byte_data(self.addr, reg)

# 高値用レジスタ設定

def set_high_threshold(self, value):

self.semaphore.acquire()

h = (value & 0xFF00) >> 8

l = value & 0x00FF

self._write_reg(self._HIGH_TH_MSB, h)

self._write_reg(self._HIGH_TH_LSB, l)

self.semaphore.release()

# 低値用レジスタ設定

def set_low_threshold(self, value):

self.semaphore.acquire()

h = (value & 0xFF00) >> 8

l = value & 0x00FF

self._write_reg(self._LOW_TH_MSB, h)

self._write_reg(self._LOW_TH_LSB, l)

self.semaphore.release()

# 割り込み有効化

def enable_interrupt(self, callbackfunc=None, prox=True, samples=1):

self.semaphore.acquire()

self.__callbackfunc = callbackfunc

value = self._read_reg(self._INT_CONTROL_REG)

if callbackfunc is not None:

if prox:

value |= 0b00000010

else:

value |= 0b00000011

else:

value &= 0b11111100

# samples

samples &= 0b00000111

samples = samples << 5

value &= 0b00011111

value |= samples

self._write_reg( self._INT_CONTROL_REG, value)

self.semaphore.release()

# 割り込み関数

def __interruptfunc(self, ch):

if ch != self._INT_NO:

return

if self.__callbackfunc is not None:

self.__callbackfunc(self.luminance, self.proximity)

@property

def luminance(self):

self.semaphore.acquire()

d = self.i2c.read_i2c_block_data(self.addr, self._AMBIENT_MSB, 2)

self.semaphore.release()

return (d[0] * 256 + d[1]) / 4

@property

def proximity(self):

self.semaphore.acquire()

d = self.i2c.read_i2c_block_data(self.addr, self._PROX_MSB, 2)

self.semaphore.release()

return (d[0] * 256 + d[1])

図4　物体が近づいたら割り込みを発生させるサンプルプログラム（simpletest.py）

#!/usr/bin/env python3
import time
from  VCNL4020 import  VCNL4020

sensor = VCNL4020()

# コールバック関数
def callback(lux, prox):
  print('センサーに何かが接近しています')
  print('現在の明るさ:'+str(lux) )
  print('近接センサー:'+str(prox) )
  # 割り込み再設定
  sensor.enable_interrupt(callback)

# しきい値高を設定
sensor.set_high_threshold(2500)
# しきい値低を設定
sensor.set_low_threshold(0)
# 割り込み有効化
sensor.enable_interrupt(callback)

try:
  while True:
    time.sleep(1)

except KeyboardInterrupt:
  term = True

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

#!/usr/bin/env python3

import time

from VCNL4020 import VCNL4020

sensor = VCNL4020()

# コールバック関数

def callback(lux, prox):

print('センサーに何かが接近しています')

print('現在の明るさ:'+str(lux) )

print('近接センサー:'+str(prox) )

# 割り込み再設定

sensor.enable_interrupt(callback)

# しきい値高を設定

sensor.set_high_threshold(2500)

# しきい値低を設定

sensor.set_low_threshold(0)

# 割り込み有効化

sensor.enable_interrupt(callback)

try:

while True:

time.sleep(1)

except KeyboardInterrupt:

term = True

第27回　電源障害からサーバーを守る（UPS）

投稿日：2018.12.14　｜　カテゴリー：　記事

社内サーバーなどの運用管理で見落としがちなのが「電源」に対する保護です。安定した電圧や電流を常に供給しなければ、サーバーが不安定になって停止や故障しかねません。
安定した電源を確保するための重要なハードウエアが「無停電電源装置」（UPS：Uninterruptible Power Supply）です。UPSを用いると、電圧値や電流値が低下したときに補えたり、電源断が発生したときに自動シャットダウンでサーバーを安全に停止させたり、雷などによる異常な高電圧を防いだりできます（図1）。

図1　電源を保護する無停電電源装置（UPS）

今回は、このUPSをサーバーにつないでサーバーの電源を制御する方法を紹介します。管理するサーバーには、Ubuntu Server 16.04 LTSがインストールされているものとします。

第26回　アクセスを制限する（AppArmor）

投稿日：2018.11.30　｜　カテゴリー：　記事

コンピュータを守るセキュリティの仕組みとして「強制アクセス制御」（Mandatory Access Control）があります。強制アクセス制御では、「パーミッション」などで定められているOSの標準的な制限ではなく、ユーザーや実行プログラムに対してより厳しい制限を設定できます。

例えば、あるプログラムに対して、参照しかしないファイルへの書き込み、利用するはずがないファイルへのアクセス、関係がない別のプログラムの呼び出しを禁止できます（図1）。

図1　強制アクセス制御による制限

このような強制アクセス制御をLinuxで実現できるソフトウエアには、いくつかあります。Ubuntu Serverでは「AppArmor」というソフトウエアが標準で導入されていて、有効になっています。このAppArmorは、Linux OSの核となる「カーネル」のセキュリティフレームワーク「Linux Security Modules」（LSM）を使って実装しています。

Python標準モジュール9選（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：降籏洋行、西川公一朗

Pythonには、豊富な機能を備える標準ライブラリが用意されています。しかし機能豊富すぎるが故に、初心者にとっては「この標準ライブラリモジュールは、実際の開発において、こういう時に役に立つ」という情報を探しにくかったり、リファレンスの説明だけだと使用方法をイメージしづらかったりします。本特集では、知っておくと役立つ便利な標準ライブラリモジュール9個を厳選して、その活用法を紹介します。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

from pathlib import Path
for p in Path('.').rglob('*.txt'):  # パターンマッチ
    print(f'ディレクトリ: {p.parent.resolve()}')  # ディレクトリの絶対パス
    print(f'ファイル: {p.name}')  # ファイル名
    print(p.read_text())  # ファイルの内容

1

2

3

4

5

from pathlib import Path

for p in Path('.').rglob('*.txt'): # パターンマッチ

print(f'ディレクトリ: {p.parent.resolve()}') # ディレクトリの絶対パス

print(f'ファイル: {p.name}') # ファイル名

print(p.read_text()) # ファイルの内容

def is_sushi(name):
    """お寿司かどうかチェックして真偽値を返す"""
    sushi = ['マグロ', 'イクラ', 'エビ']
    return name in sushi

1

2

3

4

def is_sushi(name):

"""お寿司かどうかチェックして真偽値を返す"""

sushi = ['マグロ', 'イクラ', 'エビ']

return name in sushi

def is_sushi(name):
    """お寿司かどうかチェックして真偽値を返す

    >>> is_sushi('マグロ')
    True
    >>> is_sushi('タマゴ')  # わざとdoctest実行が失敗するように記述
    True  # （1）
    """
    sushi = ['マグロ', 'イクラ', 'エビ']
    return name in sushi

if __name__ == "__main__":
    from doctest import testmod
    testmod()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

def is_sushi(name):

"""お寿司かどうかチェックして真偽値を返す

>>> is_sushi('マグロ')

True

>>> is_sushi('タマゴ') # わざとdoctest実行が失敗するように記述

True # （1）

"""

sushi = ['マグロ', 'イクラ', 'エビ']

return name in sushi

if __name__ == "__main__":

from doctest import testmod

testmod()

def is_sushi(name):
    """お寿司かどうかチェックして真偽値を返す

    >>> is_sushi(x)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    NameError: name 'x' is not defined
    """
    sushi = ['マグロ', 'イクラ', 'エビ']
    return name in sushi

1

2

3

4

5

6

7

8

9

10

def is_sushi(name):

"""お寿司かどうかチェックして真偽値を返す

>>> is_sushi(x)

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

NameError: name 'x' is not defined

"""

sushi = ['マグロ', 'イクラ', 'エビ']

return name in sushi

def is_sushi(name):
    """お寿司かどうかチェックして真偽値を返す

    >>> is_sushi(x)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    NameError: name 'x' is not defined
    """
    sushi = ['マグロ', 'イクラ', 'エビ']
    return name in sushi

1

2

3

4

5

6

7

8

9

10

def is_sushi(name):

"""お寿司かどうかチェックして真偽値を返す

>>> is_sushi(x)

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

NameError: name 'x' is not defined

"""

sushi = ['マグロ', 'イクラ', 'エビ']

return name in sushi

def is_sushi(name):
    """お寿司かどうかチェックして真偽値を返す

    >>> is_sushi(x)
    Traceback (most recent call last):
      ...
    NameError: name 'x' is not defined
    """
    sushi = ['マグロ', 'イクラ', 'エビ']
    return name in sushi

1

2

3

4

5

6

7

8

9

10

def is_sushi(name):

"""お寿司かどうかチェックして真偽値を返す

>>> is_sushi(x)

Traceback (most recent call last):

...

NameError: name 'x' is not defined

"""

sushi = ['マグロ', 'イクラ', 'エビ']

return name in sushi

import doctest
import unittest

import menu

suite = unittest.TestSuite()
# unittestのテストスイートに追加する
suite.addTest(doctest.DocTestSuite(menu))

runner = unittest.TextTestRunner(verbosity=2)
runner.run(suite)

1

2

3

4

5

6

7

8

9

10

11

import doctest

import unittest

import menu

suite = unittest.TestSuite()

# unittestのテストスイートに追加する

suite.addTest(doctest.DocTestSuite(menu))

runner = unittest.TextTestRunner(verbosity=2)

runner.run(suite)

# kaikei.py
import sys

# ネタと価格
menu = {
    'マグロ': 200,
    'はまち': 100,
    'サーモン': 150,
}

def get_amount(*orders):
    amount = 0  # 合計金額
    ordered = set()  # 注文済みのネタ
    for order in orders:
        if order in ordered:
            # 注文済みのネタは割引
            amount += menu[order] * 0.9
        else:
            amount += menu[order]
            # 注文済みにする
            ordered = {order}
    return int(amount)

if __name__ == '__main__':
    orders = sys.argv[1:]
    amount = get_amount(*orders)
    print(f'合計金額: {amount}円')

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

# kaikei.py

import sys

# ネタと価格

menu = {

'マグロ': 200,

'はまち': 100,

'サーモン': 150,

}

def get_amount(*orders):

amount = 0 # 合計金額

ordered = set() # 注文済みのネタ

for order in orders:

if order in ordered:

# 注文済みのネタは割引

amount += menu[order] * 0.9

else:

amount += menu[order]

# 注文済みにする

ordered = {order}

return int(amount)

if __name__ == '__main__':

orders = sys.argv[1:]

amount = get_amount(*orders)

print(f'合計金額: {amount}円')

ORDER_DICT = {
    "マグロの鉄火丼": 1300,
    "ウニとイクラのパスタ": 1500,
    "ﾄﾞﾘﾝｸ": 550,
}

if __name__ == "__main__":
    for name, price in ORDER_DICT.items():
        # f-stringを利用し、25文字幅で左揃えする
        print(f"{name:<25}:{price}")

1

2

3

4

5

6

7

8

9

10

ORDER_DICT = {

"マグロの鉄火丼": 1300,

"ウニとイクラのパスタ": 1500,

"ﾄﾞﾘﾝｸ": 550,

}

if __name__ == "__main__":

for name, price in ORDER_DICT.items():

# f-stringを利用し、25文字幅で左揃えする

print(f"{name:<25}:{price}")

from unicodedata import east_asian_width

ORDER_DICT = {
    "マグロの鉄火丼": 1300,
    "ウニとイクラのパスタ": 1500,
    "ﾄﾞﾘﾝｸ": 550,
}

def get_text(name, max_count):
    count = 0
    for char in name:
        if east_asian_width(char) in ['F', 'W', 'A']:
            count += 2
        else:
            count += 1
    # 文字最大幅から指定した文字列の幅を引いた分だけ半角スペースを付与
    text = f'{name + (" " * (max_count - count))}'
    return text

if __name__ == "__main__":
    for name, price in ORDER_DICT.items():
        text = get_text(name, 25)
        print(f"{text}:{price}")

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

from unicodedata import east_asian_width

ORDER_DICT = {

"マグロの鉄火丼": 1300,

"ウニとイクラのパスタ": 1500,

"ﾄﾞﾘﾝｸ": 550,

}

def get_text(name, max_count):

count = 0

for char in name:

if east_asian_width(char) in ['F', 'W', 'A']:

count += 2

else:

count += 1

# 文字最大幅から指定した文字列の幅を引いた分だけ半角スペースを付与

text = f'{name + (" " * (max_count - count))}'

return text

if __name__ == "__main__":

for name, price in ORDER_DICT.items():

text = get_text(name, 25)

print(f"{text}:{price}")

from http.server import HTTPServer, SimpleHTTPRequestHandler

httpd = HTTPServer(("localhost", 8888), SimpleHTTPRequestHandler)
httpd.serve_forever()

1

2

3

4

from http.server import HTTPServer, SimpleHTTPRequestHandler

httpd = HTTPServer(("localhost", 8888), SimpleHTTPRequestHandler)

httpd.serve_forever()

from http.server import HTTPServer, SimpleHTTPRequestHandler

def run():
    """ エントリポイントとして指定する関数 """
    httpd = HTTPServer(("localhost", 8888), SimpleHTTPRequestHandler)
    httpd.serve_forever()

1

2

3

4

5

6

from http.server import HTTPServer, SimpleHTTPRequestHandler

def run():

""" エントリポイントとして指定する関数 """

httpd = HTTPServer(("localhost", 8888), SimpleHTTPRequestHandler)

httpd.serve_forever()

特集1　ラズパイでセンサーを使う（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：米田聡、麻生二郎

シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」のオリジナル拡張ボード第2弾として「ラズパイセンサーボード」を製作しました。サンプルプログラムで、搭載されている湿温度・気圧センサー、
ガスセンサー、照度センサーの使い方を紹介します。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

1 #!/usr/bin/env python3
2 #
3 # apt install python3-pip
4 # sudo pip3 install RPi.BME280
5 #
6
7 import time
8 import smbus2
9 import bme280
10
11 from EbOled import EbOled
12
13 BME280_ADDR = 0x76
14 BUS_NO = 1
15
16 # BME280
17 i2c = smbus2.SMBus(BUS_NO)
18 bme280.load_calibration_params(i2c, BME280_ADDR)
19
20 # OLEDパネル
21 oled = EbOled()
22 oled.begin()
23 oled.clear()
24 oled.display()
25
26 try:
27   while True:
28     data = bme280.sample(i2c, BME280_ADDR)
29     oled.drawString('気温 :' + str(round(data.temperature,1)) + '℃', 0)
30     oled.drawString('湿度 :' + str(round(data.humidity,1)) + '％', 1)
31     oled.drawString('気圧 :' + str(round(data.pressure,1)) + 'hPa', 2)
32     oled.display()
33
34     time.sleep(1)
35 except KeyboardInterrupt:
36   pass

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

1 #!/usr/bin/env python3

2 #

3 # apt install python3-pip

4 # sudo pip3 install RPi.BME280

5 #

6

7 import time

8 import smbus2

9 import bme280

10

11 from EbOled import EbOled

12

13 BME280_ADDR = 0x76

14 BUS_NO = 1

15

16 # BME280

17 i2c = smbus2.SMBus(BUS_NO)

18 bme280.load_calibration_params(i2c, BME280_ADDR)

19

20 # OLEDパネル

21 oled = EbOled()

22 oled.begin()

23 oled.clear()

24 oled.display()

25

26 try:

27 while True:

28 data = bme280.sample(i2c, BME280_ADDR)

29 oled.drawString('気温 :' + str(round(data.temperature,1)) + '℃', 0)

30 oled.drawString('湿度 :' + str(round(data.humidity,1)) + '％', 1)

31 oled.drawString('気圧 :' + str(round(data.pressure,1)) + 'hPa', 2)

32 oled.display()

33

34 time.sleep(1)

35 except KeyboardInterrupt:

36 pass

1 import time
2 import Adafruit_GPIO.SPI as SPI
3 import Adafruit_SSD1306
4
5 from PIL import Image
6 from PIL import ImageDraw
7 from PIL import ImageFont
8
9
10 class EbOled(Adafruit_SSD1306.SSD1306_128_64):
11
12   WIDTH = 128
13   HEIGHT = 64
14
15   __RST = 24
16   __DC = 23
17   SPI_PORT = 0
18   SPI_DEVICE = 0
19
20   DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'
21   FONT_SIZE = 14
22   _LINE_HEIGHT = 16
23
24   def __init__(self):
25     self.__spi = SPI.SpiDev(self.SPI_PORT, self.SPI_DEVICE, max_speed_hz=8000000)
26     super().__init__(rst=self.__RST, dc=self.__DC, spi=self.__spi)
27     self._image = Image.new('1', (self.WIDTH, self.HEIGHT) ,0)
28     self._draw = ImageDraw.Draw(self._image)
29     self._font = ImageFont.truetype(self.DEFAULT_FONT, self.FONT_SIZE, encoding='unic')
30
31   def image(self, image):
32     self._image = image
33     super().image(self._image)
34
35   def drawString(self, str, line=0):
36     self._draw.rectangle((0, line*self._LINE_HEIGHT, self.WIDTH,line*self._LINE_HEIGHT+self._LINE_HEIGHT), fill=(0))
37     self._draw.text((0, line*self._LINE_HEIGHT), str, font=self._font, fill=1)
38     self.image(self._image)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

1 import time

2 import Adafruit_GPIO.SPI as SPI

3 import Adafruit_SSD1306

4

5 from PIL import Image

6 from PIL import ImageDraw

7 from PIL import ImageFont

8

9

10 class EbOled(Adafruit_SSD1306.SSD1306_128_64):

11

12 WIDTH = 128

13 HEIGHT = 64

14

15 __RST = 24

16 __DC = 23

17 SPI_PORT = 0

18 SPI_DEVICE = 0

19

20 DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'

21 FONT_SIZE = 14

22 _LINE_HEIGHT = 16

23

24 def __init__(self):

25 self.__spi = SPI.SpiDev(self.SPI_PORT, self.SPI_DEVICE, max_speed_hz=8000000)

26 super().__init__(rst=self.__RST, dc=self.__DC, spi=self.__spi)

27 self._image = Image.new('1', (self.WIDTH, self.HEIGHT) ,0)

28 self._draw = ImageDraw.Draw(self._image)

29 self._font = ImageFont.truetype(self.DEFAULT_FONT, self.FONT_SIZE, encoding='unic')

30

31 def image(self, image):

32 self._image = image

33 super().image(self._image)

34

35 def drawString(self, str, line=0):

36 self._draw.rectangle((0, line*self._LINE_HEIGHT, self.WIDTH,line*self._LINE_HEIGHT+self._LINE_HEIGHT), fill=(0))

37 self._draw.text((0, line*self._LINE_HEIGHT), str, font=self._font, fill=1)

38 self.image(self._image)

1 #!/usr/bin/env python3
2 import time
3 import RPi.GPIO as GPIO
4
5 from EbOled import EbOled
6 from TP401T import TP401T
7
8 BUZZER = 18
9
10 sensor = TP401T()
11 oled = EbOled()
12 oled.begin()
13 oled.clear()
14 oled.display()
15
16 # BUZZER
17 GPIO.setmode(GPIO.BCM)
18 GPIO.setup(BUZZER, GPIO.OUT)
19 bz = GPIO.PWM(BUZZER, 1000)
20 bz.stop()
21
22 try:
23   sensor.start()
24   oled.drawString('待機中です')
25   oled.display()
26   while sensor.state == TP401T.WAITING: # 測定開始待ち
27     time.sleep(3)
28
29   while True:
30     if sensor.state == TP401T.NORMAL:
31       oled.drawString('空気は正常です')
32     else:
33       oled.drawString('汚染されています!!')
34
35     if sensor.state == TP401T.ALERT:
36       bz.start(50)
37     else:
38       bz.stop()
39
40     oled.display()
41     time.sleep(3)
42
43 except KeyboardInterrupt:
44   sensor.stop() # センサー停止
45
46 GPIO.cleanup()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

1 #!/usr/bin/env python3

2 import time

3 import RPi.GPIO as GPIO

4

5 from EbOled import EbOled

6 from TP401T import TP401T

7

8 BUZZER = 18

9

10 sensor = TP401T()

11 oled = EbOled()

12 oled.begin()

13 oled.clear()

14 oled.display()

15

16 # BUZZER

17 GPIO.setmode(GPIO.BCM)

18 GPIO.setup(BUZZER, GPIO.OUT)

19 bz = GPIO.PWM(BUZZER, 1000)

20 bz.stop()

21

22 try:

23 sensor.start()

24 oled.drawString('待機中です')

25 oled.display()

26 while sensor.state == TP401T.WAITING: # 測定開始待ち

27 time.sleep(3)

28

29 while True:

30 if sensor.state == TP401T.NORMAL:

31 oled.drawString('空気は正常です')

32 else:

33 oled.drawString('汚染されています!!')

34

35 if sensor.state == TP401T.ALERT:

36 bz.start(50)

37 else:

38 bz.stop()

39

40 oled.display()

41 time.sleep(3)

42

43 except KeyboardInterrupt:

44 sensor.stop() # センサー停止

45

46 GPIO.cleanup()

 1 import threading
 2 import time
 3 from MCP3424 import MCP3424
 4
 5 class TP401T(MCP3424):
 6
 7   WAITING = -1 # 測定開始待ち
 8   NORMAL = 0 # 空気に問題はない
 9   ALERT = 1 # 汚染されている
10   WARNING = 2 # 汚染されているが減少中
11
12   term = False
13   __current_state = -1
14
15   def __init__(self, ch = 0):
16     super().__init__()
17     self.tp401_ch = ch
18     self.term = False
19     self.prev_value = self.getVoltage(self.tp401_ch)
20     self.normal_value = self.prev_value
21
22   def start(self):
23     self.worker = threading.Thread(target=self.__measure)
24     self.term = False
25     self.worker.start()
26
27   def stop(self):
28     self.term = True
29     self.worker.join()
30
31   def __sleep(self, sec):
32     for i in range(sec * 100):
33       if self.term == True:
34         return False
35       time.sleep(1/100)
36
37     return True
38     
39   def __measure(self):
40     self.__current_state = self.WAITING
41     
42     sum = 0.0
43     for i in range(10):
44       sum += self.getVoltage(self.tp401_ch)
45       if self.__sleep(3) == False:
46         return
47     # 30秒間の平均値を平時の値として採用する
48     self.normal_value = sum / 10
49     self.prev_value = self.normal_value
50     self.__current_state = self.NORMAL
51     
52     while self.__sleep(3):
53       value = self.getVoltage(self.tp401_ch)
54       if value < self.normal_value * 1.5:
55         self.__current_state = self.NORMAL
56       else:
57         if (self.prev_value - value) < 0:  # 汚染が増加中
58           self.__current_state = self.ALERT
59         else:
60           self.__current_state = self.WARNING
61       
62       self.prev_value = value
63   
64   @property
65   def state(self):
66     return self.__current_state
67   
68   def __del__(self):
69     self.term = True

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

1 import threading

2 import time

3 from MCP3424 import MCP3424

4

5 class TP401T(MCP3424):

6

7 WAITING = -1 # 測定開始待ち

8 NORMAL = 0 # 空気に問題はない

9 ALERT = 1 # 汚染されている

10 WARNING = 2 # 汚染されているが減少中

11

12 term = False

13 __current_state = -1

14

15 def __init__(self, ch = 0):

16 super().__init__()

17 self.tp401_ch = ch

18 self.term = False

19 self.prev_value = self.getVoltage(self.tp401_ch)

20 self.normal_value = self.prev_value

21

22 def start(self):

23 self.worker = threading.Thread(target=self.__measure)

24 self.term = False

25 self.worker.start()

26

27 def stop(self):

28 self.term = True

29 self.worker.join()

30

31 def __sleep(self, sec):

32 for i in range(sec * 100):

33 if self.term == True:

34 return False

35 time.sleep(1/100)

36

37 return True

38

39 def __measure(self):

40 self.__current_state = self.WAITING

41

42 sum = 0.0

43 for i in range(10):

44 sum += self.getVoltage(self.tp401_ch)

45 if self.__sleep(3) == False:

46 return

47 # 30秒間の平均値を平時の値として採用する

48 self.normal_value = sum / 10

49 self.prev_value = self.normal_value

50 self.__current_state = self.NORMAL

51

52 while self.__sleep(3):

53 value = self.getVoltage(self.tp401_ch)

54 if value < self.normal_value * 1.5:

55 self.__current_state = self.NORMAL

56 else:

57 if (self.prev_value - value) < 0: # 汚染が増加中

58 self.__current_state = self.ALERT

59 else:

60 self.__current_state = self.WARNING

61

62 self.prev_value = value

63

64 @property

65 def state(self):

66 return self.__current_state

67

68 def __del__(self):

69 self.term = True

 1 import os
 2 
 3 class MCP3424():
 4   
 5   SYSFS_PATH = '/sys/bus/i2c/devices/i2c-1/1-0068'
 6   SYSFS_IIO  = '/iio:device0/'
 7   __enable = False
 8   
 9   def __init__(self):
10     if not os.path.exists(self.SYSFS_PATH):
11       os.system('sudo /bin/bash -c "echo \'mcp3424 0x68\' > /sys/bus/i2c/devices/i2c-1/new_device"')
12     
13     if not os.path.exists(self.SYSFS_PATH):
14       raise Exception('sysfs error')
15     
16     self.__enable = True
17   
18   def getVoltage(self, ch):
19     if not self.__enable:
20       return 0
21     
22     raw = 0.0
23     scale = 0.0
24     
25     with open(self.SYSFS_PATH+self.SYSFS_IIO+'in_voltage{}_raw'.format(ch), "r") as f:
26       raw = float(f.read())
27     with open(self.SYSFS_PATH+self.SYSFS_IIO+'in_voltage{}_scale'.format(ch), "r") as f:
28       scale = float(f.read())
29     
30     return (raw * scale)
31   
32   @property
33   def ch0(self):
34     return self.getVoltage(0)
35   
36   @property
37   def ch1(self):
38     return self.getVoltage(1)
39   
40   @property
41   def ch2(self):
42     return self.getVoltage(2)
43 
44   @property
45   def ch3(self):
46     return self.getVoltage(3)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

1 import os

2

3 class MCP3424():

4

5 SYSFS_PATH = '/sys/bus/i2c/devices/i2c-1/1-0068'

6 SYSFS_IIO = '/iio:device0/'

7 __enable = False

8

9 def __init__(self):

10 if not os.path.exists(self.SYSFS_PATH):

11 os.system('sudo /bin/bash -c "echo \'mcp3424 0x68\' > /sys/bus/i2c/devices/i2c-1/new_device"')

12

13 if not os.path.exists(self.SYSFS_PATH):

14 raise Exception('sysfs error')

15

16 self.__enable = True

17

18 def getVoltage(self, ch):

19 if not self.__enable:

20 return 0

21

22 raw = 0.0

23 scale = 0.0

24

25 with open(self.SYSFS_PATH+self.SYSFS_IIO+'in_voltage{}_raw'.format(ch), "r") as f:

26 raw = float(f.read())

27 with open(self.SYSFS_PATH+self.SYSFS_IIO+'in_voltage{}_scale'.format(ch), "r") as f:

28 scale = float(f.read())

29

30 return (raw * scale)

31

32 @property

33 def ch0(self):

34 return self.getVoltage(0)

35

36 @property

37 def ch1(self):

38 return self.getVoltage(1)

39

40 @property

41 def ch2(self):

42 return self.getVoltage(2)

43

44 @property

45 def ch3(self):

46 return self.getVoltage(3)

 1 #!/usr/bin/env python3
 2 import time
 3 import RPi.GPIO as GPIO
 4 import threading
 5 
 6 from EbOled import EbOled
 7 from  VCNL4020 import  VCNL4020
 8 
 9 BUZZER = 18
10 
11 term = False
12 sensor = VCNL4020()
13 oled = EbOled()
14 oled.begin()
15 oled.clear()
16 oled.display()
17 
18 def prox():
19   global term
20   
21   GPIO.setmode(GPIO.BCM)
22   GPIO.setup(BUZZER, GPIO.OUT)
23   bz = GPIO.PWM(BUZZER, 1000)
24   
25   while term == False:
26     if sensor.proximity > 4000:
27       bz.start(50)
28     else:
29       bz.stop()
30     time.sleep(0.1)
31   
32   GPIO.cleanup(BUZZER)
33 
34 
35 t = threading.Thread(target=prox)
36 t.start()
37 
38 try:
39   while True:
40     oled.drawString('明るさ: ' + str(sensor.luminance) +' lux')
41     oled.display()
42     time.sleep(0.2)
43 except KeyboardInterrupt:
44   term = True

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

1 #!/usr/bin/env python3

2 import time

3 import RPi.GPIO as GPIO

4 import threading

5

6 from EbOled import EbOled

7 from VCNL4020 import VCNL4020

8

9 BUZZER = 18

10

11 term = False

12 sensor = VCNL4020()

13 oled = EbOled()

14 oled.begin()

15 oled.clear()

16 oled.display()

17

18 def prox():

19 global term

20

21 GPIO.setmode(GPIO.BCM)

22 GPIO.setup(BUZZER, GPIO.OUT)

23 bz = GPIO.PWM(BUZZER, 1000)

24

25 while term == False:

26 if sensor.proximity > 4000:

27 bz.start(50)

28 else:

29 bz.stop()

30 time.sleep(0.1)

31

32 GPIO.cleanup(BUZZER)

33

34

35 t = threading.Thread(target=prox)

36 t.start()

37

38 try:

39 while True:

40 oled.drawString('明るさ: ' + str(sensor.luminance) +' lux')

41 oled.display()

42 time.sleep(0.2)

43 except KeyboardInterrupt:

44 term = True

 1 # https://www.vishay.com/docs/83476/vcnl4020.pdf
 2 
 3 import smbus
 4 import time
 5 from threading import BoundedSemaphore
 6 
 7 class VCNL4020():
 8 
 9   _ALS_OD       = 0b00010000  # オンデマンド明るさ計測スタート
10   _PROX_OD      = 0b00001000  # オンデマンド近接計測スタート
11   _ALS_EN       = 0b00000100  # 明るさ繰り返し計測有効
12   _PROX_EN      = 0b00000010  # 近接繰り返し計測有効
13   _SELFTIMED_EN = 0b00000001  # 内蔵タイマー有効
14   
15   _CONT_CONV    = 0b10000000  # Continue Conversion有効
16   _AMBIENT_RATE = 0b00010000  # 明るさの計測レート（default:2sample/s）
17   _AUTO_OFFSET  = 0b00001000  # 自動オフセットモード有効
18   _AVERAGING    = 0b00000101  # 平均化（default:32conv）
19   
20   _COMMAND_REG       = 0x80  # コマンドレジスタ
21   _PID_REG           = 0x81  # プロダクトIDレジスタ
22   _PROX_RATE_REG     = 0x82  # 近接測定レートジスタ
23   _IR_CURRENT_REG    = 0x83  # 近接測定用赤外線LED電流設定レジスタ（default=20mA）
24   _AMBIENT_PARAM_REG = 0x84  # 明るさセンサーパラメータレジスタ
25   
26   _AMBIENT_MSB       = 0x85  # 明るさ上位バイト
27   _AMBIENT_LSB     = 0x86  # 明るさ下位バイト
28   
29   _PROX_MSB          = 0x87  # 近接上位バイト
30   _PROX_LSB          = 0x88  # 近接下位バイト
31   
32   def __init__(self, i2c_addr = 0x13, busno = 1):
33     self.addr = i2c_addr
34     self.i2c = smbus.SMBus(busno)
35     
36     self._write_reg(self._COMMAND_REG, self._ALS_OD  |\
37                        self._PROX_OD |\
38                        self._ALS_EN  |\
39                        self._PROX_EN |\
40                        self._SELFTIMED_EN )
41                        
42     self._write_reg(self._IR_CURRENT_REG, 2 )  # 20mA
43                        
44     self._write_reg(self._AMBIENT_PARAM_REG, self._CONT_CONV    |\
45                          self._AMBIENT_RATE |\
46                          self._AUTO_OFFSET  |\
47                          self._AVERAGING )
48     self.semaphore = BoundedSemaphore()
49     time.sleep(0.6)      # 初回測定まで待つ
50     
51   def _write_reg(self, reg, value):
52     self.i2c.write_byte_data(self.addr, reg, value)
53   
54   @property
55   def luminance(self):
56     self.semaphore.acquire()
57     d = self.i2c.read_i2c_block_data(self.addr, self._AMBIENT_MSB, 2)
58     self.semaphore.release()
59     return (d[0] * 256 + d[1])
60   
61   @property
62   def proximity(self):
63     self.semaphore.acquire()
64     d = self.i2c.read_i2c_block_data(self.addr, self._PROX_MSB, 2)
65     self.semaphore.release()
66     return (d[0] * 256 + d[1])

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

1 # https://www.vishay.com/docs/83476/vcnl4020.pdf

2

3 import smbus

4 import time

5 from threading import BoundedSemaphore

6

7 class VCNL4020():

8

9 _ALS_OD = 0b00010000 # オンデマンド明るさ計測スタート

10 _PROX_OD = 0b00001000 # オンデマンド近接計測スタート

11 _ALS_EN = 0b00000100 # 明るさ繰り返し計測有効

12 _PROX_EN = 0b00000010 # 近接繰り返し計測有効

13 _SELFTIMED_EN = 0b00000001 # 内蔵タイマー有効

14

15 _CONT_CONV = 0b10000000 # Continue Conversion有効

16 _AMBIENT_RATE = 0b00010000 # 明るさの計測レート（default:2sample/s）

17 _AUTO_OFFSET = 0b00001000 # 自動オフセットモード有効

18 _AVERAGING = 0b00000101 # 平均化（default:32conv）

19

20 _COMMAND_REG = 0x80 # コマンドレジスタ

21 _PID_REG = 0x81 # プロダクトIDレジスタ

22 _PROX_RATE_REG = 0x82 # 近接測定レートジスタ

23 _IR_CURRENT_REG = 0x83 # 近接測定用赤外線LED電流設定レジスタ（default=20mA）

24 _AMBIENT_PARAM_REG = 0x84 # 明るさセンサーパラメータレジスタ

25

26 _AMBIENT_MSB = 0x85 # 明るさ上位バイト

27 _AMBIENT_LSB = 0x86 # 明るさ下位バイト

28

29 _PROX_MSB = 0x87 # 近接上位バイト

30 _PROX_LSB = 0x88 # 近接下位バイト

31

32 def __init__(self, i2c_addr = 0x13, busno = 1):

33 self.addr = i2c_addr

34 self.i2c = smbus.SMBus(busno)

35

36 self._write_reg(self._COMMAND_REG, self._ALS_OD |\

37 self._PROX_OD |\

38 self._ALS_EN |\

39 self._PROX_EN |\

40 self._SELFTIMED_EN )

41

42 self._write_reg(self._IR_CURRENT_REG, 2 ) # 20mA

43

44 self._write_reg(self._AMBIENT_PARAM_REG, self._CONT_CONV |\

45 self._AMBIENT_RATE |\

46 self._AUTO_OFFSET |\

47 self._AVERAGING )

48 self.semaphore = BoundedSemaphore()

49 time.sleep(0.6) # 初回測定まで待つ

50

51 def _write_reg(self, reg, value):

52 self.i2c.write_byte_data(self.addr, reg, value)

53

54 @property

55 def luminance(self):

56 self.semaphore.acquire()

57 d = self.i2c.read_i2c_block_data(self.addr, self._AMBIENT_MSB, 2)

58 self.semaphore.release()

59 return (d[0] * 256 + d[1])

60

61 @property

62 def proximity(self):

63 self.semaphore.acquire()

64 d = self.i2c.read_i2c_block_data(self.addr, self._PROX_MSB, 2)

65 self.semaphore.release()

66 return (d[0] * 256 + d[1])

Vol.57

投稿日：2018.11.25　｜　カテゴリー：　バックナンバー

シェルスクリプトマガジンでは、小型CPUボード「Raspberry Pi」のオリジナル拡張ボード第2弾として「ラズパイセンサーボード」を制作しました。このセンサーボードには湿温度・気圧センサー、ガスセンサー、明るさセンサーを搭載しています。特集1では、サンプルプログラムを基にしてラズパイセンサーボードの使い方を紹介します。

特集2では、プログラミング言語「Python」の標準ライブラリに含まれる便利で役立つモジュールを9個紹介します。機能が豊富なため、初心者には使い方が分からないものもあります。実際の活用方法を含めながら、分かりやすく解説します。

特集3では、注目のデザインアプリ「Adobe XD CC」を紹介します。Adobe XD CCは、UI/UXデザイン、プロトタイプ、共同作業ツールとして動作します。一部の制限はありますが、無料でも使えます。Adobe XD CCで次世代のデザインアプリを体験してみてください。

特別企画では、ユーザー企業向けにセキュリティ人材不足を解消する方法を解説します。どのような人材が必要なのか、どうすれば人材を育てられるか、アウトソースをどう活用すべきかなど、有益な情報を紹介します。

このほか、「1960年代から現在まで UNIXの歴史を振り返る」「Extensionで機能追加オープンソースエディタ「Visual Studio Code」を便利に使う」という二つの新連載が始まりました。

今月も読み応え十分のシェルスクリプトマガジン Vol.57。お見逃しなく!

※記事掲載のコードはこちら。記事の補足情報はこちら

※読者アンケートはこちら

漢のUNIX（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：後藤大地

これまで、JSONデータを読み込んで処理する方法を取り上げてきた。JSONデータをパースしながら処理する方法や、メモリー上に展開したJSONデータを、指定したフォーマットで出力する方法を解説した。今回も引き続き同じ「Jansson」ライブラリを使うが、JSONデータを読み込んで処理するのではなく、生成する方法を紹介する。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  // JSONデータを生成
  json_t *root = json_pack("{}");

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", 0);

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

// JSONデータを生成

json_t *root = json_pack("{}");

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout", 0);

// JSONメモリー解放

json_decref(root);

return 0;

}

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  // JSONデータを生成
  json_t *root = json_pack("{s:i, s:i}",
    "鍵1", 510, "鍵2", 0);

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", 0);

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

// JSONデータを生成

json_t *root = json_pack("{s:i, s:i}",

"鍵1", 510, "鍵2", 0);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout", 0);

// JSONメモリー解放

json_decref(root);

return 0;

}

{
  "Image": {
      "幅":  800,
      "高さ": 600,
      "タイトル": "View from 15th Floor",
      "サムネイル": {
          "Url": "http://www.example.com/image/481989943",
          "高さ": 125,
          "幅": 100
      },
      "アニメーション" : false,
      "IDs": [116, 943, 234, 38793]
    }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

{

"Image": {

"幅": 800,

"高さ": 600,

"タイトル": "View from 15th Floor",

"サムネイル": {

"Url": "http://www.example.com/image/481989943",

"高さ": 125,

"幅": 100

},

"アニメーション" : false,

"IDs": [116, 943, 234, 38793]

}

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  // JSONデータを生成
  json_t *root = json_pack(
  "{s:{s:i,s:i,s:s,s:{s:s,s:i,s:i},s:b,s:[i,i,i,i]}}",

  "Image", 
    "幅", 800,
    "高さ", 600,
    "タイトル", "View from 15th Floor",
    "サムネイル",
      "Url", "http://www.example.com/image/481989943",
      "高さ", 125,
      "幅", 100,
    "アニメーション", 0,
    "IDs", 116, 943, 234, 38793
  );

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", JSON_INDENT(2));

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

// JSONデータを生成

json_t *root = json_pack(

"{s:{s:i,s:i,s:s,s:{s:s,s:i,s:i},s:b,s:[i,i,i,i]}}",

"Image",

"幅", 800,

"高さ", 600,

"タイトル", "View from 15th Floor",

"サムネイル",

"Url", "http://www.example.com/image/481989943",

"高さ", 125,

"幅", 100,

"アニメーション", 0,

"IDs", 116, 943, 234, 38793

);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout", JSON_INDENT(2));

// JSONメモリー解放

json_decref(root);

return 0;

}

[
  {
     "精度": "zip",
     "緯度": 37.7668,
     "経度": -122.3959,
     "住所": "",
     "都市": "SAN FRANCISCO",
     "州": "CA",
     "郵便番号": "94107",
     "国": "US"
  },
  {
     "精度": "zip",
     "緯度": 37.371991,
     "経度": -122.026020,
     "住所": "",
     "都市": "SUNNYVALE",
     "州": "CA",
     "郵便番号": "94085",
     "国": "US"
  }
]

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

[

{

"精度": "zip",

"緯度": 37.7668,

"経度": -122.3959,

"住所": "",

"都市": "SAN FRANCISCO",

"州": "CA",

"郵便番号": "94107",

"国": "US"

},

{

"精度": "zip",

"緯度": 37.371991,

"経度": -122.026020,

"住所": "",

"都市": "SUNNYVALE",

"州": "CA",

"郵便番号": "94085",

"国": "US"

}

]

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  // JSONデータを生成
  json_t *root = json_pack(
  "[{sssfsfssssssssss}"
   "{sssfsfssssssssss}]",

  "精度", "zip",
  "緯度", 37.7668,
  "経度", -122.3959,
  "住所", "",
  "都市", "SAN FRANCISCO",
  "州", "CA",
  "郵便番号", "94107",
  "国", "US",

  "精度", "zip",
  "緯度", 37.371991,
  "経度", -122.026020,
  "住所", "",
  "都市", "SUNNYVALE",
  "州", "CA",
  "郵便番号", "94085",
  "国", "US"
  );

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout",
    JSON_INDENT(2)|
    JSON_REAL_PRECISION(10));

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

// JSONデータを生成

json_t *root = json_pack(

"[{sssfsfssssssssss}"

"{sssfsfssssssssss}]",

"精度", "zip",

"緯度", 37.7668,

"経度", -122.3959,

"住所", "",

"都市", "SAN FRANCISCO",

"州", "CA",

"郵便番号", "94107",

"国", "US",

"精度", "zip",

"緯度", 37.371991,

"経度", -122.026020,

"住所", "",

"都市", "SUNNYVALE",

"州", "CA",

"郵便番号", "94085",

"国", "US"

);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout",

JSON_INDENT(2)|

JSON_REAL_PRECISION(10));

// JSONメモリー解放

json_decref(root);

return 0;

}

zip 37.7668 -122.3959 _ SAN_FRANCISCO CA 94107 US
zip 37.371991 -122.02602 _ SUNNYVALE CA 94085 US
zip 32.8209296 -97.0117199 _ DALLAS TX 75001 US
zip 32.8010236 -97.4294011 _  FORT_WORTH TX 76006 US
zip 47.6131229 -122.4121037 _ SEATTLE WA 98101 US
zip 41.3141183 -88.2727778 _ CHICAGO IL 60007 US
zip 40.6976701 -74.259856 _ NEW_YORK NY 10001 US

1

2

3

4

5

6

7

zip 37.7668 -122.3959 _ SAN_FRANCISCO CA 94107 US

zip 37.371991 -122.02602 _ SUNNYVALE CA 94085 US

zip 32.8209296 -97.0117199 _ DALLAS TX 75001 US

zip 32.8010236 -97.4294011 _ FORT_WORTH TX 76006 US

zip 47.6131229 -122.4121037 _ SEATTLE WA 98101 US

zip 41.3141183 -88.2727778 _ CHICAGO IL 60007 US

zip 40.6976701 -74.259856 _ NEW_YORK NY 10001 US

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <sysexits.h>
#include <jansson.h>

#define ITEM_MAX_LEN 100

// 地図データ構造体
struct map_info {
  char  precise[ITEM_MAX_LEN];
  double  latitude;
  double  longitude;
  char  address[ITEM_MAX_LEN];
  char  city[ITEM_MAX_LEN];
  char  state[ITEM_MAX_LEN];
  char  zip[ITEM_MAX_LEN];
  char  country[ITEM_MAX_LEN];
};

int main(int argc, char *argv[])
{
  FILE *fp;
  struct map_info map;
  json_t *root;

  // データファイルオープン
  fp = fopen(argv[1], "r");
  if (NULL == fp)
    return EX_NOINPUT;

  // データを8項目ごとに読み取って順次処理
  while (EOF != fscanf(fp, 
    "%s %lf %lf %s %s %s %s %s", 
    map.precise, &map.latitude, 
    &map.longitude, map.address,
    map.city, map.state,
    map.zip, map.country)) {

    // JSONデータを生成
    root = json_pack(
      "{sssfsfssssssssss}",
      "精度", map.precise,
      "緯度", map.latitude,
      "経度", map.longitude,
      "住所", map.address,
      "都市", map.city,
      "州", map.state,
      "郵便番号", map.zip,
      "国", map.country
    );

    // JSONデータをエンコードして標準出力へ
    json_dump_file(root, "/dev/stdout",
      JSON_INDENT(2)|
      JSON_REAL_PRECISION(7));
    putchar('\n');

    // JSONメモリー解放
    json_decref(root);
  }

  // データファイルクローズ
  fclose(fp);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <sysexits.h>

#include <jansson.h>

#define ITEM_MAX_LEN 100

// 地図データ構造体

struct map_info {

char precise[ITEM_MAX_LEN];

double latitude;

double longitude;

char address[ITEM_MAX_LEN];

char city[ITEM_MAX_LEN];

char state[ITEM_MAX_LEN];

char zip[ITEM_MAX_LEN];

char country[ITEM_MAX_LEN];

};

int main(int argc, char *argv[])

{

FILE *fp;

struct map_info map;

json_t *root;

// データファイルオープン

fp = fopen(argv[1], "r");

if (NULL == fp)

return EX_NOINPUT;

// データを8項目ごとに読み取って順次処理

while (EOF != fscanf(fp,

"%s %lf %lf %s %s %s %s %s",

map.precise, &map.latitude,

&map.longitude, map.address,

map.city, map.state,

map.zip, map.country)) {

// JSONデータを生成

root = json_pack(

"{sssfsfssssssssss}",

"精度", map.precise,

"緯度", map.latitude,

"経度", map.longitude,

"住所", map.address,

"都市", map.city,

"州", map.state,

"郵便番号", map.zip,

"国", map.country

);

// JSONデータをエンコードして標準出力へ

json_dump_file(root, "/dev/stdout",

JSON_INDENT(2)|

JSON_REAL_PRECISION(7));

putchar('\n');

// JSONメモリー解放

json_decref(root);

}

// データファイルクローズ

fclose(fp);

return 0;

}

CMD=     make_json1 make_json2 \
         make_json3 make_json4 \
         make_json5

CC=      cc
RM=      rm -f
CFLAGS+= -I/usr/local/include \
         -L/usr/local/lib \
         -ljansson

build:  ${CMD}

.for i in ${CMD}
${i}:
        ${CC} -o ${i} ${i}.c ${CFLAGS}
.endfor

clean:
        ${RM} ${CMD}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

CMD= make_json1 make_json2 \

make_json3 make_json4 \

make_json5

CC= cc

RM= rm -f

CFLAGS+= -I/usr/local/include \

-L/usr/local/lib \

-ljansson

build: ${CMD}

.for i in ${CMD}

${i}:

${CC} -o ${i} ${i}.c ${CFLAGS}

.endfor

clean:

${RM} ${CMD}

シェルスクリプトマガジンvol.57 Web掲載記事まとめ

投稿日：2018.11.25　｜　カテゴリー：　コード

シェルスクリプトマガジン Vol.57で掲載しているコードをまとめています。

プレゼント＆アンケートページはこちら！

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

004 レポート　LPI-Japanインタビュ
005 レポート　第34回のTechLION開催
006 NEWS FLASH
008 特集1　ラズパイでセンサーを使う/米田聡、麻生二郎　コード掲載
020 特集2　Python標準モジュール9選/降籏洋行、西川公一朗　コード掲載
038 特集3　Adobe XD CCに触れてみよう/湯口りさ、北村崇
052 特別企画　セキュリティ人材不足を解決する/園田道夫
058 c人間とコンピュータの可能性/大岩元
060 UNIXの歴史を振り返る/古寺雅弘
066 法林浩之のFIGHTING TALKS/法林浩之
068 スズラボ通信/すずきひろのぶ　コード掲載
073 姐のNOGYO
074 バーティカルバーの極意/飯尾淳　コード掲載
080 RESEARCHES FOR FUTURE/飯尾淳
082 中小企業手作りIT化奮戦記/菅雄一
088 円滑コミュニケーションが世界を救う！/濱口誠一
090 「Visual Studio Code」を便利に使う/山本美穂　コード掲載
094 香川大学SLPからお届け！/飯國隆志　コード掲載
098 統合/桑原滝弥・イケヤシロウ
100 アジャイル開発 Let’s Practice!/熊野憲辰
104 Node.js/Expressで楽々Webアプリ開発/しょっさん　コード掲載
112 漢のUNIX/後藤大地　コード掲載
122 ユニケージ新コードレビュー/村本禎実　コード掲載
128 Techパズル/gori.sh
130 コラム「世の中の流れとは別に」/シェル魔人

「Visual Studio Code」を便利に使う（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：山本美穂

米Microsoft 社発のオープンソースエディタ「Visual Studio Code」には「Extension」と呼ばれる機能拡張用のソフトウエアが多数提供されています。本連載では便利なExtension の使い方を中心に紹介します。第1回は、PaaS「Azure App Service」と連携できるExtension です。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

{
    "name": "app-service-hello-world",
    "description": "Simple Hello World Node.js sample for Azure App Service",
    "version": "0.0.1",
    "private": true,
    "license": "MIT",
    "author": "Microsoft",
    "scripts": {
        "start": "node index.js"
        start_azure_debug":"node --inspect=0.0.0.0:$APPSVC_TUNNEL_PORT index.js
    }
}

1

2

3

4

5

6

7

8

9

10

11

12

{

"name": "app-service-hello-world",

"description": "Simple Hello World Node.js sample for Azure App Service",

"version": "0.0.1",

"private": true,

"license": "MIT",

"author": "Microsoft",

"scripts": {

"start": "node index.js"

start_azure_debug":"node --inspect=0.0.0.0:$APPSVC_TUNNEL_PORT index.js

}

バーティカルバーの極意（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：飯尾淳

バーティカルバー（垂直棒）の集合体「バーコード」の読み取りに挑戦します。すでに、スマートフォンのアプリなどでは、カメラでバーコードを認識する機能が当たり前になっています。この機能を自前のアプリに組み込むことができれば、いろいろな応用が考えられそうです。そのためにも、まずは、バーコード写真を読み込んで認識する基本的な機能を実現してみましょう。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

 1 <!DOCTYPE html>
 2 <html>
 3   <head>
 4     <meta charset="utf-8">
 5     <title>JOB</title>
 6   </head>
 7   <body>
 8     <div id="container">
 9       <input id="fileSelecter" accept="image/*" type="file"><br />
10       <canvas width="320" height="240" id="picture"></canvas>
11       <p id="textLabel"></p>
12     </div>
13     <script type="text/javascript" src="JOB.js"></script>
14     <script type="text/javascript" src="mySettings.js"></script>
15   </body>
16 </html>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

1 <!DOCTYPE html>

2 <html>

3 <head>

4 <meta charset="utf-8">

5 <title>JOB</title>

6 </head>

7 <body>

8 <div id="container">

9 <input id="fileSelecter" accept="image/*" type="file"><br />

10 <canvas width="320" height="240" id="picture"></canvas>

11 <p id="textLabel"></p>

12 </div>

13 <script type="text/javascript" src="JOB.js"></script>

14 <script type="text/javascript" src="mySettings.js"></script>

15 </body>

16 </html>

 1 var targetFile = document.getElementById("fileSelecter");
 2 var bcImage = document.createElement("img");
 3 var bcLabel = document.getElementById("textLabel");
 4 var canvas  = document.getElementById("picture");
 5 var context = canvas.getContext("2d");
 6
 7 targetFile.onchange = function (event) {
 8   var files = event.target.files;
 9   if (files && files.length > 0) {
10     var file = files[0];
11     var URL = window.URL || window.webkitURL;
12     bcImage.onload = function(event) {
13       bcLabel.innerHTML = "";
14       JOB.DecodeImage(bcImage);
15       URL.revokeObjectURL(bcImage.src);
16     };
17     bcImage.src = URL.createObjectURL(file);
18   }
19 };
20
21 JOB.Init();
22 JOB.SetImageCallback(function(result) {
23   if (result.length > 0) {
24     var tempArray = [];
25     for (var i = 0; i < result.length; i++) {
26       tempArray.push(result[i].Format+" : "+result[i].Value);
27     }
28     bcLabel.innerHTML=tempArray.join("<br />");
29   } else {
30     if (result.length === 0) {
31       bcLabel.innerHTML = "Decoding failed.";
32     }
33   }
34 });
35 JOB.PostOrientation = true;
36 JOB.OrientationCallback = function(result) {
37   canvas.width = result.width;
38   canvas.height = result.height;
39   var data = context.getImageData(0,0,canvas.width,canvas.height);
40   for (var i = 0; i < data.data.length; i++) {
41     data.data[i] = result.data[i];
42   }
43   context.putImageData(data,0,0);
44 };
45 JOB.SwitchLocalizationFeedback(true);
46 JOB.SetLocalizationCallback(function(result) {
47   context.beginPath();
48   context.lineWidth = "2";
49   context.strokeStyle="red";
50   for (var i = 0; i < result.length; i++) {
51     context.rect(result[i].x,result[i].y,
52                  result[i].width,result[i].height);
53   }
54   context.stroke();
55 });

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

1 var targetFile = document.getElementById("fileSelecter");

2 var bcImage = document.createElement("img");

3 var bcLabel = document.getElementById("textLabel");

4 var canvas = document.getElementById("picture");

5 var context = canvas.getContext("2d");

6

7 targetFile.onchange = function (event) {

8 var files = event.target.files;

9 if (files && files.length > 0) {

10 var file = files[0];

11 var URL = window.URL || window.webkitURL;

12 bcImage.onload = function(event) {

13 bcLabel.innerHTML = "";

14 JOB.DecodeImage(bcImage);

15 URL.revokeObjectURL(bcImage.src);

16 };

17 bcImage.src = URL.createObjectURL(file);

18 }

19 };

20

21 JOB.Init();

22 JOB.SetImageCallback(function(result) {

23 if (result.length > 0) {

24 var tempArray = [];

25 for (var i = 0; i < result.length; i++) {

26 tempArray.push(result[i].Format+" : "+result[i].Value);

27 }

28 bcLabel.innerHTML=tempArray.join("<br />");

29 } else {

30 if (result.length === 0) {

31 bcLabel.innerHTML = "Decoding failed.";

32 }

33 }

34 });

35 JOB.PostOrientation = true;

36 JOB.OrientationCallback = function(result) {

37 canvas.width = result.width;

38 canvas.height = result.height;

39 var data = context.getImageData(0,0,canvas.width,canvas.height);

40 for (var i = 0; i < data.data.length; i++) {

41 data.data[i] = result.data[i];

42 }

43 context.putImageData(data,0,0);

44 };

45 JOB.SwitchLocalizationFeedback(true);

46 JOB.SetLocalizationCallback(function(result) {

47 context.beginPath();

48 context.lineWidth = "2";

49 context.strokeStyle="red";

50 for (var i = 0; i < result.length; i++) {

51 context.rect(result[i].x,result[i].y,

52 result[i].width,result[i].height);

53 }

54 context.stroke();

55 });

Vol.57 補足情報

投稿日：2018.11.25　｜　カテゴリー：　コード

特集1「ラズパイでセンサーを扱う」

p.14の下から12行目、p.17の下から5行目、図23のキャプションの「smaple.py」は「sample.py」の誤りです。

お詫びして訂正いたします。

情報は随時更新致します。

香川大学SLPからお届け！（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：飯國隆志

前回は、我々が開発した小規模利用向けプライベートPaaS「LiPP」の概要と環境構築手順を紹介しました。LiPPは、ユーザーが開発したアプリケーションをDockerコンテナ上にリリースする機能を提供します。またLiPPは、GitHubと連携して、リポジトリにpushしたアプリケーションを自動的にデプロイできます。今回は、前回構築したLiPP環境に、サンプルWebアプリをデプロイする手順を紹介します。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

from flask import Flask
app = Flask(__name__)
@app.route('/')
def hello():
    return 'Hello World from LiPP!'
if __name__ == '__main__':
    app.run(debug=False, host='0.0.0.0', port=8000)

1

2

3

4

5

6

7

from flask import Flask

app = Flask(__name__)

@app.route('/')

def hello():

return 'Hello World from LiPP!'

if __name__ == '__main__':

app.run(debug=False, host='0.0.0.0', port=8000)

image: python:3.7.0
port: 8000
scripts:
  - run:
      command: pip3 install -r requirements.txt
daemon: ['python3', 'app.py']

1

2

3

4

5

6

image: python:3.7.0

port: 8000

scripts:

- run:

command: pip3 install -r requirements.txt

daemon: ['python3', 'app.py']

server {
  listen 80;
  server_name sample-app.アプリケーションノードのドメイン名
  charset utf-8;
  location / {
  proxy_pass http://localhost:8000;
  }
}

1

2

3

4

5

6

7

8

server {

listen 80;

server_name sample-app.アプリケーションノードのドメイン名

charset utf-8;

location / {

proxy_pass http://localhost:8000;

}

スズラボ通信（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：すずきひろのぶ

前回は、Arduino IDEを使って、中国Espressif Systems社のSoC「ESP32」を搭載する開発ボード「ESP32-DevKitC v2」で動作するサンプルプログラムを作成しました。今回は、前回作成したサンプルプログラムを省電力化してみます。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

// Hironobu SUZUKI
// <suzuki.hironobu@gmail.com>
// SUZULABO
#include <WiFi.h>
#include <WiFiUdp.h>

#define SENDBUFSIZE 32
#define SLEEPTIME  3
char ssid[] = "XXXXX";
char pass[] = "XXXXXX";
const char remoteIpAddr[] = "192.168.1.3";
const int port = 21231;
uint8_t  sendBuffer[SENDBUFSIZE];
int counter = 1;

int WiFiStatus = WL_IDLE_STATUS;
WiFiUDP udp;
void setup() {
  Serial.begin(115200);
  WiFiConnectionManage();
  udp.begin(port);
}
void loop() {
  for (int j = 0; j < SENDBUFSIZE; j++) {
    sendBuffer[j] = 0;
  }
  sendBuffer[0] = counter;
  sendBuffer[1] = '\0';
  WiFiConnectionManage();
  udp.beginPacket(remoteIpAddr, port);
  udp.write(sendBuffer, sizeof(sendBuffer));
  udp.endPacket();
  Serial.println(counter++);
  delay(500);
  if ( counter > 30 ) {
    system_deep_sleep(10 * 1000000);
  }
}
void WiFiConnectionManage() {
  int connection_error = 0;
  if ( (WiFiStatus = WiFi.status()) == WL_NO_SHIELD) {
    WiFiStatus = WL_IDLE_STATUS;
  }
  switch (WiFiStatus) {
    case WL_CONNECT_FAILED: // disconnect -> build connection
      WiFi.disconnect();
    case WL_DISCONNECTED: // build connection
    case WL_IDLE_STATUS:  // build connection
      Serial.print("WiFi Status: ");
      Serial.println(WiFiStatus);
      Serial.print("Attempting to WiFi connection SSID: ");
      Serial.println(ssid);
      while ( true ) {
        WiFiStatus = WiFi.begin(ssid, pass);
        if (  WiFiStatus == WL_CONNECTED ) {
          break;
        }
        delay(10000);
        if ( connection_error > 6 ) {
          // Too many connection error why? reboot.
          ESP.restart();
        }
        connection_error++;
      }
      Serial.println("WiFi Connection Complete.");
      delay(10000);
      printWifiStatus();
      break;
    case WL_CONNECTION_LOST: // lost -> try reconnection
      Serial.println("Try WiFi reconnect");
      WiFi.reconnect();
      break;
    default:
      break;
  }
}
void printWifiStatus() {
  String myssid;
  while (true) {
    myssid = WiFi.SSID();
    if (myssid != "" ) {
      break;
    }
    delay(3000);
  }
  Serial.print("SSID: ");
  Serial.println(myssid);
  IPAddress ip = WiFi.localIP();
  Serial.print("IP Address: ");
  Serial.println(ip);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

// Hironobu SUZUKI

// <suzuki.hironobu@gmail.com>

// SUZULABO

#include <WiFi.h>

#include <WiFiUdp.h>

#define SENDBUFSIZE 32

#define SLEEPTIME 3

char ssid[] = "XXXXX";

char pass[] = "XXXXXX";

const char remoteIpAddr[] = "192.168.1.3";

const int port = 21231;

uint8_t sendBuffer[SENDBUFSIZE];

int counter = 1;

int WiFiStatus = WL_IDLE_STATUS;

WiFiUDP udp;

void setup() {

Serial.begin(115200);

WiFiConnectionManage();

udp.begin(port);

}

void loop() {

for (int j = 0; j < SENDBUFSIZE; j++) {

sendBuffer[j] = 0;

}

sendBuffer[0] = counter;

sendBuffer[1] = '\0';

WiFiConnectionManage();

udp.beginPacket(remoteIpAddr, port);

udp.write(sendBuffer, sizeof(sendBuffer));

udp.endPacket();

Serial.println(counter++);

delay(500);

if ( counter > 30 ) {

system_deep_sleep(10 * 1000000);

}

void WiFiConnectionManage() {

int connection_error = 0;

if ( (WiFiStatus = WiFi.status()) == WL_NO_SHIELD) {

WiFiStatus = WL_IDLE_STATUS;

}

switch (WiFiStatus) {

case WL_CONNECT_FAILED: // disconnect -> build connection

WiFi.disconnect();

case WL_DISCONNECTED: // build connection

case WL_IDLE_STATUS: // build connection

Serial.print("WiFi Status: ");

Serial.println(WiFiStatus);

Serial.print("Attempting to WiFi connection SSID: ");

Serial.println(ssid);

while ( true ) {

WiFiStatus = WiFi.begin(ssid, pass);

if ( WiFiStatus == WL_CONNECTED ) {

break;

}

delay(10000);

if ( connection_error > 6 ) {

// Too many connection error why? reboot.

ESP.restart();

}

connection_error++;

}

Serial.println("WiFi Connection Complete.");

delay(10000);

printWifiStatus();

break;

case WL_CONNECTION_LOST: // lost -> try reconnection

Serial.println("Try WiFi reconnect");

WiFi.reconnect();

break;

default:

break;

}

void printWifiStatus() {

String myssid;

while (true) {

myssid = WiFi.SSID();

if (myssid != "" ) {

break;

}

delay(3000);

}

Serial.print("SSID: ");

Serial.println(myssid);

IPAddress ip = WiFi.localIP();

Serial.print("IP Address: ");

Serial.println(ip);

}

if ( counter > 30 ) {
  esp_sleep_enable_timer_wakeup(10*1000000);
  esp_light_sleep_start();
  counter = 0;
}

1

2

3

4

5

if ( counter > 30 ) {

esp_sleep_enable_timer_wakeup(10*1000000);

esp_light_sleep_start();

counter = 0;

}

ユニケージ新コードレビュー（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：村本禎実

ユニケージでは、小さな道具の「コマンド」をシェルスクリプトで組み合わせて、さまざまな業務システムを構築しています。本連載では、毎回あるテーマに従ってユニケージによるシェルスクリプトの記述例を分かりやすく紹介します。第4回は、Webブラウザからデータを参照・削除するためのサーバー側の処理です。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

51 ####################################################################
52 #  画面表示用データ作成
53 ####################################################################
54 # 表示データ取得
55 # 1:部門コード 2:部門名称                        3:担当者   4:適用開始日 5
56 # :適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
57 cat ${lv3d}/BUMON_MST  |
58 # 現在適用中のレコードを抽出
59 awk '$4<="'${today}'"' |
60 awk '$5>="'${today}'"' |
61 # 部門コード、適用開始日、登録日時でソート
62 msort key=1@4@7        |
63 # 部門コードをキーとして重複を削除
64 getlast 1 1            |
65 # 適用フラグで判断
66 delr 6 2               |
67 # 部門コードを5桁にする
68 maezero 1.5            > ${tmp}-bumon_data
69 ERROR_CHECK

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

51 ####################################################################

52 # 画面表示用データ作成

53 ####################################################################

54 # 表示データ取得

55 # 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5

56 # :適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

57 cat ${lv3d}/BUMON_MST |

58 # 現在適用中のレコードを抽出

59 awk '$4<="'${today}'"' |

60 awk '$5>="'${today}'"' |

61 # 部門コード、適用開始日、登録日時でソート

62 msort key=1@4@7 |

63 # 部門コードをキーとして重複を削除

64 getlast 1 1 |

65 # 適用フラグで判断

66 delr 6 2 |

67 # 部門コードを5桁にする

68 maezero 1.5 > ${tmp}-bumon_data

69 ERROR_CHECK

 66 
 67 # LV1データ作成
 68 # 適用フラグ 登録日時を作成
 69 echo "2 ${todayhms}" > ${tmp}-lv1_del_flg
 70 ERROR_CHECK
 71 
 72 # 登録画面から移動してきたことを考え、TOROKUのレコードを除外
 73 # 1:id名 2:チェックフラグ
 74 cat ${tmp}-name   |
 75 # TOROKUが入っているレコードを除外
 76 ugrep -v "TOROKU" > ${tmp}-name_del
 77 ERROR_CHECK
 78 
 79 # POSTされたデータが0バイトより大きいときに処理
 80 if [ -s ${tmp}-name_del ] ; then
 81 	# 1:BUMON_部門コード 2:チェックフラグ(on)
 82 	cat ${tmp}-name                  |
 83 	# 画面でチェックされたものを取得
 84 	selr 2 on                        |
 85 	# 第1フィールドを取得
 86 	self 1                           |
 87 	# 1:BUMON_部門コード
 88 	# 余分な文字列を削除
 89 	sed 's/BUMON_//g'                |
 90 	# 1:部門コード
 91 	# 部門コードを5桁にする
 92 	maezero 1.5                      |
 93 	# 部門コードでソート
 94 	msort key=1                      |
 95 	# LV3ファイルから削除対象のレコードを抽出
 96 	cjoin0 key=1 - ${lv3d}/BUMON_MST |
 97 	# 1:部門コード 2:部門名称                        3:担当者   4:適用開始日 5
 98 	# :適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
 99 	# 適用フラグと登録日時を入れ替える
100 	# 適用フラグと登録日時を入れ替える為に適用フラグと登録日時を削除
101 	delf NF-1 NF                     |
102 	# 1:部門コード 2:部門名称                        3:担当者   4:適用開始日 5
103 	# :適用終了日  
104 	# 新しい適用フラグ、登録日時をつける
105 	joinx - ${tmp}-lv1_del_flg       |
106 	# 後ほどデータをマージする為部門コードでソート
107 	msort key=1                      > ${tmp}-del_bumon
108 	# 1:部門コード  2:部門名称                        3:担当者   4:適用開始日
109 	# 5:適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
110 	ERROR_CHECK
111 	
112 	# LV1ディレクトリへコピー
113 	cp -p ${tmp}-del_bumon ${lv1d}/BUMON_DELETE_${todayhms}
114 	ERROR_CHECK
115 else
116 	# POSTされたデータが存在しない場合の処理
117 	echo "_ _ _ _ _ _ _" > ${tmp}-del_bumon
118 	ERROR_CHECK
119 fi
120

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

66

67 # LV1データ作成

68 # 適用フラグ登録日時を作成

69 echo "2 ${todayhms}" > ${tmp}-lv1_del_flg

70 ERROR_CHECK

71

72 # 登録画面から移動してきたことを考え、TOROKUのレコードを除外

73 # 1:id名 2:チェックフラグ

74 cat ${tmp}-name |

75 # TOROKUが入っているレコードを除外

76 ugrep -v "TOROKU" > ${tmp}-name_del

77 ERROR_CHECK

78

79 # POSTされたデータが0バイトより大きいときに処理

80 if [ -s ${tmp}-name_del ] ; then

81 # 1:BUMON_部門コード 2:チェックフラグ(on)

82 cat ${tmp}-name |

83 # 画面でチェックされたものを取得

84 selr 2 on |

85 # 第1フィールドを取得

86 self 1 |

87 # 1:BUMON_部門コード

88 # 余分な文字列を削除

89 sed 's/BUMON_//g' |

90 # 1:部門コード

91 # 部門コードを5桁にする

92 maezero 1.5 |

93 # 部門コードでソート

94 msort key=1 |

95 # LV3ファイルから削除対象のレコードを抽出

96 cjoin0 key=1 - ${lv3d}/BUMON_MST |

97 # 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5

98 # :適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

99 # 適用フラグと登録日時を入れ替える

100 # 適用フラグと登録日時を入れ替える為に適用フラグと登録日時を削除

101 delf NF-1 NF |

102 # 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5

103 # :適用終了日

104 # 新しい適用フラグ、登録日時をつける

105 joinx - ${tmp}-lv1_del_flg |

106 # 後ほどデータをマージする為部門コードでソート

107 msort key=1 > ${tmp}-del_bumon

108 # 1:部門コード 2:部門名称 3:担当者 4:適用開始日

109 # 5:適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

110 ERROR_CHECK

111

112 # LV1ディレクトリへコピー

113 cp -p ${tmp}-del_bumon ${lv1d}/BUMON_DELETE_${todayhms}

114 ERROR_CHECK

115 else

116 # POSTされたデータが存在しない場合の処理

117 echo "_ _ _ _ _ _ _" > ${tmp}-del_bumon

118 ERROR_CHECK

119 fi

120

Node.js/Expressで楽々Webアプリ開発（Vol.57掲載）

投稿日：2018.11.25　｜　カテゴリー：　コード

著者：しょっさん

プログラミング言語「JavaScript」の実行環境「Node.js」と「Express」フレームワークを使って、基本となるWebアプリの開発手法を習得しましょう。第3回は「テストファースト」（最初にテストプログラムを作る）を意識したテストコードの作成方法を解説します。

シェルスクリプトマガジン Vol.57は以下のリンク先でご購入できます。

describe('=validate', () => {
  // 検証された結果
  it('should get the result is true', () => {
    const result = book.validate(req.body);
    expect(result).toBe(true);
    expect(req.body.image_url).toBe('http://example.com/');
  });
});

1

2

3

4

5

6

7

8

describe('=validate', () => {

// 検証された結果

it('should get the result is true', () => {

const result = book.validate(req.body);

expect(result).toBe(true);

expect(req.body.image_url).toBe('http://example.com/');

});

beforeEach(() => {
  req = {
    body: {
      book_title: 'title',
      author: ' しょっさん',
      publisher: 'USP 研究所',
      image_uml: ''
    },
    params: {
      id: 1
    }
  };
  res = {
    redirect: function () { },
    render: function () { }
  };
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

beforeEach(() => {

req = {

body: {

book_title: 'title',

author: ' しょっさん',

publisher: 'USP 研究所',

image_uml: ''

},

params: {

id: 1

}

};

res = {

redirect: function () { },

render: function () { }

};

});

create: function (req, res) {
  module.exports.register_book(req.body)
    .then(result => {
      res.redirect(/books/{result.id});
    }).catch(errors => {
      res.render('error', {
        message: ' エラーが発生しました.',
        error: {
          status: ' 本を登録できませんでした.',
          stack: errors
        }
      });
  });
},

1

2

3

4

5

6

7

8

9

10

11

12

13

14

create: function (req, res) {

module.exports.register_book(req.body)

.then(result => {

res.redirect(/books/{result.id});

}).catch(errors => {

res.render('error', {

message: ' エラーが発生しました.',

error: {

status: ' 本を登録できませんでした.',

stack: errors

}

});

},

describe('=register_book', () => {
  it('should get the result is book information', (done) => {
    book.register_book(req.body).then(result => {
      expect(result.book_title).toBe('title');
      expect(result.id).toBeGreaterThanOrEqual(2);
      expect(result.image_url).toBe('http://example.com/');
      done();
    }).catch(done.fail);
  });
  it('should catch an error', (done) => {
    req.body.book_title = '';
    book.register_book(req.body).then(done.fail)
      .catch(result => {
      expect(result).toEqual([' 本のタイトルが入っていません']);
      done();
    });
  });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

describe('=register_book', () => {

it('should get the result is book information', (done) => {

book.register_book(req.body).then(result => {

expect(result.book_title).toBe('title');

expect(result.id).toBeGreaterThanOrEqual(2);

expect(result.image_url).toBe('http://example.com/');

done();

}).catch(done.fail);

});

it('should catch an error', (done) => {

req.body.book_title = '';

book.register_book(req.body).then(done.fail)

.catch(result => {

expect(result).toEqual([' 本のタイトルが入っていません']);

done();

});

'use strict';

module.exports = {
  up: (queryInterface, Sequelize) => {
    /*
      Add altering commands here.
      Return a promise to correctly handle asynchronicity.

      Example:
      return queryInterface.bulkInsert('Person', [{
        name: 'John Doe',
        isBetaMember: false
      }], {});
    */
  },

  down: (queryInterface, Sequelize) => {
    /*
      Add reverting commands here.
      Return a promise to correctly handle asynchronicity.

      Example:
      return queryInterface.bulkDelete('Person', null, {});
    */
  }
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

'use strict';

module.exports = {

up: (queryInterface, Sequelize) => {

/*

Add altering commands here.

Return a promise to correctly handle asynchronicity.

Example:

return queryInterface.bulkInsert('Person', [{

isBetaMember: false

}], {});

*/

},

down: (queryInterface, Sequelize) => {

/*

Add reverting commands here.

Return a promise to correctly handle asynchronicity.

Example:

return queryInterface.bulkDelete('Person', null, {});

*/

}

};

'use strict';

module.exports = {
  up: (queryInterface, Sequelize) => {
    const models = require('../models');
    return models.Library.bulkCreate([
      {
         id: 1,
         book_title: ' シェルスクリプトマガジン vol.54',
         author: ' しょっさん',
         publisher: 'USP 研究所',
         image_uml: 'https://uec.usp-lab.com/INFO/IMG/SHELLSCRIPTMAG_VOL54.JPG'
      },
      {
         id: 2,
         book_title: ' シェルスクリプトマガジン vol.55',
         author: ' しょっさん',
         publisher: 'USP 研究所',
         image_uml: 'https://uec.usp-lab.com/INFO/IMG/SHELLSCRIPTMAG_VOL55.JPG'
      }
    ]);
  },

  down: (queryInterface, Sequelize) => {
    return queryInterface.bulkDelete('libraries', null, {});
  }
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

'use strict';

module.exports = {

up: (queryInterface, Sequelize) => {

const models = require('../models');

return models.Library.bulkCreate([

{

id: 1,

book_title: ' シェルスクリプトマガジン vol.54',

author: ' しょっさん',

publisher: 'USP 研究所',

image_uml: 'https://uec.usp-lab.com/INFO/IMG/SHELLSCRIPTMAG_VOL54.JPG'

},

{

id: 2,

book_title: ' シェルスクリプトマガジン vol.55',

author: ' しょっさん',

publisher: 'USP 研究所',

image_uml: 'https://uec.usp-lab.com/INFO/IMG/SHELLSCRIPTMAG_VOL55.JPG'

}

]);

},

down: (queryInterface, Sequelize) => {

return queryInterface.bulkDelete('libraries', null, {});

}

};

// routing テスト
const request = require('supertest');
const app = require('../app');

// GET の場合
describe('GET /books/', () => {
  it('respond with http', (done) => {
    request(app)
      .get('/books/')
      .set('Accept', 'text/html')
      .expect(200, done);
  });
});

//POST の場合
describe('POST /books/create', () => {
  it('respond with http', (done) => {
    request(app)
      .post('/books/create')
      .send({book_title: 'test'})
      .set('Accept', 'text/html')
      .expect(302, done);
  });
});

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

// routing テスト

const request = require('supertest');

const app = require('../app');

// GET の場合

describe('GET /books/', () => {

it('respond with http', (done) => {

request(app)

.get('/books/')

.set('Accept', 'text/html')

.expect(200, done);

});

//POST の場合

describe('POST /books/create', () => {

it('respond with http', (done) => {

request(app)

.post('/books/create')

.send({book_title: 'test'})

.set('Accept', 'text/html')

.expect(302, done);

});

"scripts": {
  "start": "node ./bin/www",
  "test": "jasmine"
},

1

2

3

4

"scripts": {

"start": "node ./bin/www",

"test": "jasmine"

},

"scripts": {
  "start": "node ./bin/www",
  "migrate": "sequelize db:migrate",
  "seed": "sequelize db:seed:all",
  "build": "npm run migrate && npm run seed",
  "clean": "sequelize db:seed:undo:all",
  "retest": "npm run clean && npm run build && npm test",
  "test": "jasmine"
},

1

2

3

4

5

6

7

8

9

"scripts": {

"start": "node ./bin/www",

"migrate": "sequelize db:migrate",

"seed": "sequelize db:seed:all",

"build": "npm run migrate && npm run seed",

"clean": "sequelize db:seed:undo:all",

"retest": "npm run clean && npm run build && npm test",

"test": "jasmine"

},

language: node_js
node_js:
- "10.11"
- "8.12"
before_install:
before_script:
  - "npm install"
  - "npm run build"
script:
  - "npm test"
notifications:
on_success: always
on_failure: always

1

2

3

4

5

6

7

8

9

10

11

12

13

language: node_js

node_js:

- "10.11"

- "8.12"

before_install:

before_script:

- "npm install"

- "npm run build"

script:

- "npm test"

notifications:

on_success: always

on_failure: always

version: 2
jobs:
  build:
    docker:
      - image: circleci/node:10.11

    working_directory: ~/repo

    steps:
      - checkout
      - restore_cache:
        keys:
        - v1-dependencies-{{ checksum "package.json" }}
        - v1-dependencies-

      - run: npm install
      - run: npm run build
      - save_cache:
        paths:
          - node_modules
          key: v1-dependencies-{{ checksum "package.json" }}

      - run: npm test

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

version: 2

jobs:

build:

docker:

- image: circleci/node:10.11

working_directory: ~/repo

steps:

- checkout

- restore_cache:

keys:

- v1-dependencies-{{ checksum "package.json" }}

- v1-dependencies-

- run: npm install

- run: npm run build

- save_cache:

paths:

- node_modules

key: v1-dependencies-{{ checksum "package.json" }}

- run: npm test

第25回　アクセスを制限する（ACL）

投稿日：2018.11.16　｜　カテゴリー：　記事

一般的に、ファイルやディレクトリーへのアクセス制限には「パーミッション」を利用します。このパーミッションでは「所有者」「所有グループ」「その他のユーザー」に対して「読み出し」「書き込み」「実行」の権限（許可/禁止）しか設定できません。日々のサーバー運用管理において、もっと柔軟にアクセス制限を設定したい場合もあります。

ext4やXFSなどのファイルシステムには「ACL」（Access Control List）と呼ばれる、ユーザーやグループ単位でアクセスを制限する仕組みが用意されています（図1）。それを使うと、柔軟にアクセス制限を設定できます。

図1　パーミッションとACL

第24回　定期的にジョブを実行する（cron）

投稿日：2018.11.2　｜　カテゴリー：　記事

日々のサーバーの運用管理として、決まった時間、決まった曜日、決まった日にちに、ある処理（ジョブ）を実行するという作業はよくあります。Linuxには、そのような時間、曜日、日付を指定してジョブを自動実行するための仕組みの「cron」（クローンまたはクーロン）があります。

今回は、このcronを紹介します。cronでは、あらかじめ実行日時や曜日、ジョブとして実行するためのコマンドを記したファイルを用意しておきます。そのファイルの内容に従って、常駐プログラム（デーモン）「crond」が決められた日時や曜日に、指定されたコマンドを実行します（図1）。

図1　決まった日時や曜日にジョブを自動実行する「cron」

第23回　バックアップを取得する（増分と差分）

投稿日：2018.10.19　｜　カテゴリー：　記事

前回は「tar」コマンドによる基本的なバックアップ方法を紹介しました。紹介した方法は、バックアップ対象となるすべてのファイルやディレクトリーをアーカイブ化して一つのファイルに保存する「フルバックアップ」です。このフルバックアップは、毎日実施するバックアップには向きません。バックアップに時間がかかりますし、日々のアーカイブファイルには重複するファイルやディレクトリーが数多く含まれてバックアップデータが肥大化する恐れがあるからです。

日々のサーバー運用管理では、フルバックアップだけでなく、「差分バックアップ」（Partial backup）または「増分バックアップ」（Incremental backup）を併用します。それにより、バックアップ時間を短く、バックアップ保存先の容量を無駄なく抑えられます（図1）。

図1　日々のバックアップ

第22回　バックアップを取得する（tarコマンド）

投稿日：2018.10.12　｜　カテゴリー：　記事

サーバーの運用管理で日々のバックアップは重要な作業です。第7回～第12回で説明したRAID（Redundant Arrays of Inexpensive/Independent Disks）のよるデータ保護では、操作ミスや不正アクセス、ウイルスなどによる、データの変更（改ざん）や消去を防げません（図1）。バックアップを併用することで、大切なデータがすべてなくなってしまう最悪の事態を避けられます。

図1　データの変更（改ざん）や消去に有効なのはバックアップ

サーバーのバックアップツールには、さまざまなものがあります。また、第6回で説明した、Linuxなどのストレージを柔軟に管理する仕組み「LVM」（Logical Volume Manager）のスナップショット機能を用いればバックアップの取得が可能です。

ただし、専用のバックアップツールを導入していない、LVMを利用していない環境でもバックアップを取得できるように、まずはLinuxが標準で備える「tar」コマンドによるバックアップ取得方法を知っておきましょう。

第21回　ログを収集する（rsyslogによる一元管理）

投稿日：2018.10.5　｜　カテゴリー：　記事

カーネルやシステムに関連するログを収集・制御するソフトウエア「rsyslog」は、1台のサーバーで複数のサーバーのログを一元的に管理する機能を備えています（図1）。

図1　複数のサーバーのログを一元管理

今回は、3台のサーバーを用意し、その中の1台をログ管理サーバーとしてログを一元的に管理してみます。なお、いずれのサーバーもOSとしてUbuntu Server 16.04 LTSが稼働しているものとします。

番外編2　Webブラウザーからサーバーへリモートアクセス

投稿日：2018.09.28　｜　カテゴリー：　記事

連載「UbuntuではじめるLinuxサーバー」の第4回で紹介しましたが、サーバーにリモートからアクセスする場合、アクセスする側のパソコンやMacに「SSHクライアントソフト」が必要です。主要なLinuxディストリビューションやmacOSなら、SSHクライアントとなる「ssh」コマンドが標準で導入されています。それを使えばよいでしょう。

しかし、Windowsでは「Tera Term」などのSSHクライアントソフトを導入しなくてはいけません。WindowsでもSSHクライアントソフトを導入せずにSSHクライアントソフトが使えると便利です。

そこで今回は、Webブラウザー「Google Chrome」の拡張機能として提供されているSSHクライアントの「Secure Shell Extension」を導入して、サーバーにリモートからアクセスする環境を構築します（図1）。

図1　Google Chromeの「Secure Shell Extension」によるリモートアクセス

Google Chrome（以下、Chrome）に一度だけこの拡張機能を導入・有効しておけば、Google Chromeを導入している別のパソコンからもサーバーへリモートアクセスがすぐにできます。

ラズパイ入門ボードで学ぶ電子回路の制御（Vol.56）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：米田聡

シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）のプログラミングが楽しめる拡張ボード「ラズパイ入門ボード」を制作しました。本連載では、ラズパイ入門ボードを使った電子回路制御を取り上げていきます。第4 回は、赤外線レシーバを扱います。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

（略）
# Uncomment this to enable the lirc-rpi module
dtoverlay=lirc-rpi:gpio_in_pin=21,gpio_in_pull=down
（略）

1

2

3

4

（略）

# Uncomment this to enable the lirc-rpi module

dtoverlay=lirc-rpi:gpio_in_pin=21,gpio_in_pull=down

（略）

（略）
[lircd]
nodaemon        = False
driver          = default
device          = /dev/lirc0
（略）

1

2

3

4

5

6

（略）

[lircd]

nodaemon = False

driver = default

device = /dev/lirc0

（略）

begin
  button = button_a
  prog = rctest
  config = button_a
end

begin
  button = button_b
  prog = rctest
  config = button_b
end

1

2

3

4

5

6

7

8

9

10

11

begin

button = button_a

prog = rctest

config = button_a

end

begin

button = button_b

prog = rctest

config = button_b

end

import time
import lirc
import RPi.GPIO as GPIO

LED1 = 14
LED2 = 15
LED3 = 12
LED4 = 16

leds = [LED1, LED2, LED3 ,LED4]
flag_a = 0

GPIO.setmode(GPIO.BCM)
GPIO.setup(leds, GPIO.OUT, initial=GPIO.LOW)

socketid = lirc.init('rctest', './rctest.lircrc')

while True:
  code = lirc.nextcode()
  if code[0] == 'button_a':
    flag_a ^= 1
    GPIO.output(LED1, flag_a)
  elif code[0] == 'button_b':
    break
GPIO.cleanup()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import time

import lirc

import RPi.GPIO as GPIO

LED1 = 14

LED2 = 15

LED3 = 12

LED4 = 16

leds = [LED1, LED2, LED3 ,LED4]

flag_a = 0

GPIO.setmode(GPIO.BCM)

GPIO.setup(leds, GPIO.OUT, initial=GPIO.LOW)

socketid = lirc.init('rctest', './rctest.lircrc')

while True:

code = lirc.nextcode()

if code[0] == 'button_a':

flag_a ^= 1

GPIO.output(LED1, flag_a)

elif code[0] == 'button_b':

break

GPIO.cleanup()

漢のUNIX（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：後藤大地

プログラムでJSONデータを自動処理する場合、フォーマットはどうでもよい。ただし、人間が読むとなると、フォーマットを変換して整理する必要がある。整理されていないJSONデータは、人間にはあまりにも読みにくいからだ。自分の読みやすいようにJSONデータを変換するコマンドといったものが、Janssonライブラリを利用すると簡単に開発できる。これが今回のテーマである。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

{
  "Image": {
    "幅":  800,
    "高さ": 600,
    "タイトル":  "View from 15th Floor",
    "サムネイル": {
      "Url":"http://www.example.com/image/481989943",      "高さ": 125,
      "幅":  100
    },
    "アニメーション" : false,
    "IDs": [116, 943, 234, 38793]
  }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

{

"Image": {

"幅": 800,

"高さ": 600,

"タイトル": "View from 15th Floor",

"サムネイル": {

"Url":"http://www.example.com/image/481989943", "高さ": 125,

"幅": 100

},

"アニメーション" : false,

"IDs": [116, 943, 234, 38793]

}

[
  {
    "精度": "zip",
    "緯度":  37.7668,
    "経度": -122.3959,
    "住所":   "",
    "都市":  "SAN FRANCISCO",
    "州": "CA",
    "郵便番号":   "94107",
    "国":   "US"
  },
  {
    "精度": "zip",
    "緯度":  37.371991,
    "経度": -122.026020,
    "住所":   "",
    "都市":  "SUNNYVALE",
    "州": "CA",
    "郵便番号":   "94085",
    "国":   "US"
  }
]

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

[

{

"精度": "zip",

"緯度": 37.7668,

"経度": -122.3959,

"住所": "",

"都市": "SAN FRANCISCO",

"州": "CA",

"郵便番号": "94107",

"国": "US"

},

{

"精度": "zip",

"緯度": 37.371991,

"経度": -122.026020,

"住所": "",

"都市": "SUNNYVALE",

"州": "CA",

"郵便番号": "94085",

"国": "US"

}

]

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  char buf[1024 * 1024];
  int fd;

  // JSONデータを読み込み
  fd = open(argv[1], O_RDONLY);
  read(fd, buf, 1024 * 1024 - 1);
  close(fd);

  // JSONデータをパース
  json_error_t error;
  json_t *root = json_loads(buf, 0, &error);

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", 0);

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

char buf[1024 * 1024];

int fd;

// JSONデータを読み込み

fd = open(argv[1], O_RDONLY);

read(fd, buf, 1024 * 1024 - 1);

close(fd);

// JSONデータをパース

json_error_t error;

json_t *root = json_loads(buf, 0, &error);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout", 0);

// JSONメモリー解放

json_decref(root);

return 0;

}

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  char buf[1024 * 1024];
  int fd;

  // JSONデータを読み込み
  fd = open(argv[1], O_RDONLY);
  read(fd, buf, 1024 * 1024 - 1);
  close(fd);

  // JSONデータをパース
  json_error_t error;
  json_t *root = json_loads(buf, 0, &error);

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", 
    JSON_INDENT(1)|
    JSON_COMPACT|
    JSON_SORT_KEYS|
    JSON_REAL_PRECISION(10));

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

char buf[1024 * 1024];

int fd;

// JSONデータを読み込み

fd = open(argv[1], O_RDONLY);

read(fd, buf, 1024 * 1024 - 1);

close(fd);

// JSONデータをパース

json_error_t error;

json_t *root = json_loads(buf, 0, &error);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout",

JSON_INDENT(1)|

JSON_COMPACT|

JSON_SORT_KEYS|

JSON_REAL_PRECISION(10));

// JSONメモリー解放

json_decref(root);

return 0;

}

香川大学SLPからお届け！（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：飯國隆志

アプリケーションの開発やデプロイを容易にするPaaS（Platform as a Service）は非常に便利なサービスです。しかし、Google App Engineや、Herokuなどのパブリッククラウドサービスは、料金体系や学習コストの面から、サークルで利用するには難がありました。そこで、プライベートで構築できるPaaS「LiPP」を開発しました。今回から数回にわたってLiPPの利用方法を紹介します。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

GITHUB_KEY=GitHubのOAuth Appsの「Client ID」
GITHUB_SECRET=GitHubのOAuth Appsの「Client Secret」
LIPP_HOST=LiPPのアプリケーションノードのFQDNまたはIPアドレス
SECRET_KEY_BASE=Railsのキーに使うための任意の文字列
DOCKER_URL=コンテナノードのURL

1

2

3

4

5

GITHUB_KEY=GitHubのOAuth Appsの「Client ID」

GITHUB_SECRET=GitHubのOAuth Appsの「Client Secret」

LIPP_HOST=LiPPのアプリケーションノードのFQDNまたはIPアドレス

SECRET_KEY_BASE=Railsのキーに使うための任意の文字列

DOCKER_URL=コンテナノードのURL

version: '3'
services:
  db:
    image: postgres:10.1
    volumes:
      - data:/var/lib/postgresql/data
    ports:
      - "5432"
  web:
    build: .
    environment:
      DATABASE_HOST: db
      RAILS_ENV: production
    env_file:
      - .env
    volumes:
      - tmp-data:/app/tmp
      - public-data:/app/public
    ports:
      - "3000"
    depends_on:
      - db
    links:
      - db
  nginx:
    build: ./nginx/
    ports:
      - "80:80"
    volumes:
      - tmp-data:/app/tmp
      - public-data:/app/public
    depends_on:
      - web
  volumes:
    data: {}
    tmp-data:
    public-data:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

version: '3'

services:

db:

image: postgres:10.1

volumes:

- data:/var/lib/postgresql/data

ports:

- "5432"

web:

build: .

environment:

DATABASE_HOST: db

RAILS_ENV: production

env_file:

- .env

volumes:

- tmp-data:/app/tmp

- public-data:/app/public

ports:

- "3000"

depends_on:

- db

links:

- db

nginx:

build: ./nginx/

ports:

- "80:80"

volumes:

- tmp-data:/app/tmp

- public-data:/app/public

depends_on:

- web

volumes:

data: {}

tmp-data:

public-data:

スズラボ通信（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：すずきひろのぶ

今回は、開発ボード「ESP32-DevKitC v2」の省電力モードに挑戦してみた奮戦記の前半部分です。プログラミング設定から、まずWi-Fiが動くまでの流れを追ってみます。次回は、省電力のためにDeep SleepやLight Sleepに移行した際にWi-Fiはどんな動作となるのかを試行錯誤した結果を紹します。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

// Hironobu SUZUKI
// <suzuki.hironobu@gmail.com>
// SUZULABO for Shell Script Magazine
#include <WiFi.h>
#include <WiFiUdp.h>
#define SENDBUFSIZE 32
#define SLEEPTIME  3
char ssid[] = "XXXXXXXXXXX";
char pass[] = "XXXXXXXXXXX";
const char remoteIpAddr[] = "192.168.100.6";
const int port = 21231;
uint8_t  sendBuffer[SENDBUFSIZE];
int counter = 1;
int status = WL_IDLE_STATUS;
WiFiUDP udp;
void setup() {
  Serial.begin(115200);
  ConnectionManage();
  udp.begin(port);
}
void loop() {
  for (int j = 0; j < SENDBUFSIZE; j++) {
    sendBuffer[j] = 0;
  }
  sendBuffer[0] = counter;
  sendBuffer[1] = '\0';
  udp.beginPacket(remoteIpAddr, port);
  udp.write(sendBuffer, sizeof(sendBuffer));
  udp.endPacket();
  Serial.println(counter++);
  delay(SLEEPTIME * 1000);
}

void ConnectionManage() {
  if (  status == WL_IDLE_STATUS) {
    Serial.print("Try to connect WiFi...");
    Serial.println(ssid);
    while ( true ) {
      status = WiFi.begin(ssid, pass);
      if (  status == WL_CONNECTED ) {
        break;
      }
      Serial.println("Retry");
    }
    Serial.println("==Connected==");
    printWifiStatus();
    return;
  }
  return;
}
void printWifiStatus() {
  String myssid;
  while (true) {
    myssid = WiFi.SSID();
    if (myssid != "" ) {
      break;
    }
    delay(3000);
  }
  Serial.print("SSID: ");
  Serial.println(myssid);
  IPAddress ip = WiFi.localIP();
  Serial.print("IP Address: ");
  Serial.println(ip);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

// Hironobu SUZUKI

// <suzuki.hironobu@gmail.com>

// SUZULABO for Shell Script Magazine

#include <WiFi.h>

#include <WiFiUdp.h>

#define SENDBUFSIZE 32

#define SLEEPTIME 3

char ssid[] = "XXXXXXXXXXX";

char pass[] = "XXXXXXXXXXX";

const char remoteIpAddr[] = "192.168.100.6";

const int port = 21231;

uint8_t sendBuffer[SENDBUFSIZE];

int counter = 1;

int status = WL_IDLE_STATUS;

WiFiUDP udp;

void setup() {

Serial.begin(115200);

ConnectionManage();

udp.begin(port);

}

void loop() {

for (int j = 0; j < SENDBUFSIZE; j++) {

sendBuffer[j] = 0;

}

sendBuffer[0] = counter;

sendBuffer[1] = '\0';

udp.beginPacket(remoteIpAddr, port);

udp.write(sendBuffer, sizeof(sendBuffer));

udp.endPacket();

Serial.println(counter++);

delay(SLEEPTIME * 1000);

}

void ConnectionManage() {

if ( status == WL_IDLE_STATUS) {

Serial.print("Try to connect WiFi...");

Serial.println(ssid);

while ( true ) {

status = WiFi.begin(ssid, pass);

if ( status == WL_CONNECTED ) {

break;

}

Serial.println("Retry");

}

Serial.println("==Connected==");

printWifiStatus();

return;

}

return;

}

void printWifiStatus() {

String myssid;

while (true) {

myssid = WiFi.SSID();

if (myssid != "" ) {

break;

}

delay(3000);

}

Serial.print("SSID: ");

Serial.println(myssid);

IPAddress ip = WiFi.localIP();

Serial.print("IP Address: ");

Serial.println(ip);

}

typedef enum {
  WL_IDLE_STATUS = 0,
  WL_NO_SSID_AVAIL = 1,
  WL_SCAN_COMPLETED = 2,
  WL_CONNECTED = 3,
  WL_CONNECT_FAILED = 4,
  WL_CONNECTION_LOST = 5,
  WL_DISCONNECTED = 6
} wl_status_t;

1

2

3

4

5

6

7

8

9

typedef enum {

WL_IDLE_STATUS = 0,

WL_NO_SSID_AVAIL = 1,

WL_SCAN_COMPLETED = 2,

WL_CONNECTED = 3,

WL_CONNECT_FAILED = 4,

WL_CONNECTION_LOST = 5,

WL_DISCONNECTED = 6

} wl_status_t;

#!/usr/bin/python3
from socket import *
import sys
import datetime
HOST = ''
PORT = 21231
s = socket(AF_INET,SOCK_DGRAM)
s.bind((HOST, PORT))
while True:
  msg, address = s.recvfrom(32)
  now = datetime.datetime.now()
  count = int(msg[0]);
  print(now.strftime("%Y/%m/%d %H:%M:%S"), count)
s.close()
sys.exit()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

#!/usr/bin/python3

from socket import *

import sys

import datetime

HOST = ''

PORT = 21231

s = socket(AF_INET,SOCK_DGRAM)

s.bind((HOST, PORT))

while True:

msg, address = s.recvfrom(32)

now = datetime.datetime.now()

count = int(msg[0]);

print(now.strftime("%Y/%m/%d %H:%M:%S"), count)

s.close()

sys.exit()

Node.js/Expressで楽々Webアプリ開発（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：しょっさん

プログラミング言語「JavaScript」の実行環境「Node.js」と「Express」フレームワークを使って、基本となるWebアプリの開発手法を習得しましょう。第2回は「蔵書管理アプリケーション」を作成しながら、少し複雑なデータベースを扱う方法を紹介します。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

'use strict';
module.exports = (sequelize, DataTypes) => {
  var Library = sequelize.define('Library', {
    book_title: DataTypes.STRING,
    author: DataTypes.STRING,
    publisher: DataTypes.STRING,
    image_url: DataTypes.STRING(2048)
  },
  {
    underscored: true,
  });
  Library.associate = function (models) {
    // 参照制約を示すときは、ここに記述。今回は1:nなので'hasMany'を使用
    Library.hasMany(models.Comment, { foreignKey: 'book_id' });
  };
  return Library;
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

'use strict';

module.exports = (sequelize, DataTypes) => {

var Library = sequelize.define('Library', {

book_title: DataTypes.STRING,

author: DataTypes.STRING,

publisher: DataTypes.STRING,

image_url: DataTypes.STRING(2048)

},

{

underscored: true,

});

Library.associate = function (models) {

// 参照制約を示すときは、ここに記述。今回は1:nなので'hasMany'を使用

Library.hasMany(models.Comment, { foreignKey: 'book_id' });

};

return Library;

};

book_id: {
  type: Sequelize.INTEGER,
  allowNull: false,
  foreignKey: true,
  references: {
    model: 'Libraries',
    key: 'id',
  },
  onUpdate: 'RESTRICT',
  onDelete: 'RESTRICT',
},

1

2

3

4

5

6

7

8

9

10

11

book_id: {

type: Sequelize.INTEGER,

allowNull: false,

foreignKey: true,

references: {

model: 'Libraries',

key: 'id',

},

onUpdate: 'RESTRICT',

onDelete: 'RESTRICT',

},

get_book: function (book_id) {
  return libraries.findOne({
    where: {
      id: book_id
    },
    include: [{
      model: comments,
      required: false
    }]
  });
},

1

2

3

4

5

6

7

8

9

10

11

get_book: function (book_id) {

return libraries.findOne({

where: {

id: book_id

},

include: [{

model: comments,

required: false

}]

});

},

{ id: 1,
  book_title: 'title',
  author: 'しょっさん',
  publisher: 'USP研究所',
  image_url: 'http://example.com/',
  created_at: '2018-08-09T00:49:22.382Z',
  updated_at: '2018-08-09T00:49:22.934Z',
Comments:
  [ { id: 1,
      comment: '#1へのコメント#1',
      book_id: 1,
      created_at: '2018-08-09T00:49:22.401Z',
      updated_at: '2018-08-09T00:49:22.401Z' },
    { id: 2,
      comment: '#1へのコメント#2',
      book_id: 1,
      created_at: '2018-08-09T00:49:22.401Z',
      updated_at: '2018-08-09T00:49:22.401Z' },
    { id: 3,
      comment: '#1へのコメント#3',
      book_id: 1,
      created_at: '2018-08-09T00:49:22.401Z',
      updated_at: '2018-08-09T00:49:22.401Z' } ] }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

{ id: 1,

book_title: 'title',

author: 'しょっさん',

publisher: 'USP研究所',

image_url: 'http://example.com/',

created_at: '2018-08-09T00:49:22.382Z',

updated_at: '2018-08-09T00:49:22.934Z',

Comments:

[ { id: 1,

comment: '#1へのコメント#1',

book_id: 1,

created_at: '2018-08-09T00:49:22.401Z',

updated_at: '2018-08-09T00:49:22.401Z' },

{ id: 2,

comment: '#1へのコメント#2',

book_id: 1,

created_at: '2018-08-09T00:49:22.401Z',

updated_at: '2018-08-09T00:49:22.401Z' },

{ id: 3,

comment: '#1へのコメント#3',

book_id: 1,

created_at: '2018-08-09T00:49:22.401Z',

updated_at: '2018-08-09T00:49:22.401Z' } ] }

  get_contents: function () {
    return libraries.findAll({
      attributes: ['id', 'book_title', 'author','publisher',[models.sequelize.fn('COUNT',models.sequelize.col('Comments.book_id')), 'cnt']],
      group: ['Library.id'],
      raw: true,
      subQuery: false,
      limit: 10,
      include: {
        model: models.Comment,
        attributes: []
      },
    });
  },

1

2

3

4

5

6

7

8

9

10

11

12

13

get_contents: function () {

return libraries.findAll({

attributes: ['id', 'book_title', 'author','publisher',[models.sequelize.fn('COUNT',models.sequelize.col('Comments.book_id')), 'cnt']],

group: ['Library.id'],

raw: true,

subQuery: false,

limit: 10,

include: {

model: models.Comment,

attributes: []

},

});

},

シェルスクリプトマガジンvol.56 Web掲載記事まとめ

投稿日：2018.09.25　｜　カテゴリー：　コード

シェルスクリプトマガジン Vol.56で掲載しているコードをまとめています。

プレゼント＆アンケートページはこちら！

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

004　レポート　バッファローの新無線LANブランド
005　レポート　パッケージ管理システム「Flatpak 1.0」
006　NEWS FLASH
008　特集1　Zabbix入門/寺島広大、田中敦
029　姐のNOGYO
030　特集2　「HCI」に乗り遅れるな！/羽鳥正明
038　特集3　Visual Studio Codeを使おう/山本美穂　コード掲載
048　特別企画　シェルスクリプトで作るTwitter bot/Piro（結城洋志）　コード掲載
056　ラズパイ入門ボードで学ぶ電子回路の制御/米田聡　　コード掲載
060　スズラボ通信/すずきひろのぶ　コード掲載
064　機械学習のココロ/石井一夫　コード掲載
068　中小企業手作りIT化奮戦記/菅雄一
072　人間とコンピュータの可能性/大岩元
074　バーティカルバーの極意/飯尾淳　コード掲載
080　RESEARCHES FOR FUTURE/米澤拓郎
082　香川大学SLPからお届け！/飯國隆志　コード掲載
086　円滑コミュニケーションが世界を救う！/濱口誠一
088　漢のUNIX/後藤大地　コード掲載
096　法林浩之のFIGHTING TALKS/法林浩之
098　アジャイル開発 Let’s Practice!/熊野憲辰
102　Node.js/Expressで楽々Webアプリ開発/しょっさん　コード掲載
110　ユニケージ新コードレビュー/村本禎実　コード掲載
116　統合/桑原滝弥・イケヤシロウ
118　Techパズル/gori.sh
120　コラム「世の中の流れとは別に」/シェル魔人

Vol.56 補足情報

投稿日：2018.09.25　｜　カテゴリー：　コード

Node.js/Expressで楽々Webアプリ開発

p.106の10行目にある「外部キー（{{ foreignKey: ‘book_id’ }）」は、「外部キー（{ foreignKey: ‘book_id’ }）」の誤りです。

ユニケージ新コードレビュー

p.110の注釈（*1）にある「https://github.com/shellscript-magazine/newcodereview/201810/」は、「https://github.com/shellscript-magazine/newcodereview」の誤りです。

p.112の本文の最終行にある「プロセスID-name」は「プロセスID-flg」の誤りです。

以上、お詫びして訂正いたします。

特別企画　シェルスクリプトで作る Twitter bot（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：結城洋志

つぶやき投稿サイト「Twitter」に自動でつぶやくBot「Twitter bot」を、Bash
のシェルスクリプトで作ってみましょう。このTwitter botは、日経Linuxで好評
連載中の人気まんが「シス管系女子」の著者である私自身が作成し、シス管系女子宣伝用アカウントでも利用しています。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

MY_SCREEN_NAME=投稿に使うアカウントのスクリーンネーム
MY_LANGUAGE=投稿に使うアカウントの言語
CONSUMER_KEY=カスタマキー
CONSUMER_SECRET=カスタマシークレット
ACCESS_TOKEN=アクセストークン
ACCESS_TOKEN_SECRET=アクセストークンシークレット

1

2

3

4

5

6

MY_SCREEN_NAME=投稿に使うアカウントのスクリーンネーム

MY_LANGUAGE=投稿に使うアカウントの言語

CONSUMER_KEY=カスタマキー

CONSUMER_SECRET=カスタマシークレット

ACCESS_TOKEN=アクセストークン

ACCESS_TOKEN_SECRET=アクセストークンシークレット

# 管理者として扱うユーザー
# これらのユーザーからのDMはコマンドとして受け付ける
ADMINISTRATORS="piro_or, sysadgirl_mint"
# 反応キーワード
# これらのキーワードへの言及を検出したら反応する
WATCH_KEYWORDS='sysadgirl, system-admin-girl, シス管系女子, #シス管系女子'

# 言及への応答のキューを処理する間隔
PROCESS_QUEUE_INTERVALL_MINUTES=20
# 言及への応答のキューを処理する時間帯
ACTIVE_TIME_RANGE="11:40-15:00,17:00-24:00"

# 独り言をする時間帯
MONOLOGUE_ACTIVE_TIME_RANGE="00:00-00:30,06:00-24:00"
# 独り言の自動投稿の間隔
MONOLOGUE_INTERVAL_MINUTES=90

# メンションに連続して返事をする最大の回数
# 延々と同じ返事ばかりを返さないようにする安全装置。
MAX_MENTIONS_IN_PERIOD=10
# 連続して返事をする最大の回数の制限を反映する時間。
# この指定の場合、120分の間に最大で10回までしか返事をしない。
MENTION_LIMIT_PERIOD_MIN=120

# いいねする基準：言及されたらいいねする
FAVORITE_MENTIONS=true
FAVORITE_SEARCH_RESULTS=true

# RT基準：メンション以外はRTする
RETWEET_MENTIONS=false
RETWEET_SEARCH_RESULTS=true

# 言及への言及：リプライかメンションには応答、それ以外は言及しない
RESPOND_TO_MENTIONS=true
RESPOND_TO_SEARCH_RESULTS=false

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

# 管理者として扱うユーザー

# これらのユーザーからのDMはコマンドとして受け付ける

ADMINISTRATORS="piro_or, sysadgirl_mint"

# 反応キーワード

# これらのキーワードへの言及を検出したら反応する

WATCH_KEYWORDS='sysadgirl, system-admin-girl, シス管系女子, #シス管系女子'

# 言及への応答のキューを処理する間隔

PROCESS_QUEUE_INTERVALL_MINUTES=20

# 言及への応答のキューを処理する時間帯

ACTIVE_TIME_RANGE="11:40-15:00,17:00-24:00"

# 独り言をする時間帯

MONOLOGUE_ACTIVE_TIME_RANGE="00:00-00:30,06:00-24:00"

# 独り言の自動投稿の間隔

MONOLOGUE_INTERVAL_MINUTES=90

# メンションに連続して返事をする最大の回数

# 延々と同じ返事ばかりを返さないようにする安全装置。

MAX_MENTIONS_IN_PERIOD=10

# 連続して返事をする最大の回数の制限を反映する時間。

# この指定の場合、120分の間に最大で10回までしか返事をしない。

MENTION_LIMIT_PERIOD_MIN=120

# いいねする基準：言及されたらいいねする

FAVORITE_MENTIONS=true

FAVORITE_SEARCH_RESULTS=true

# RT基準：メンション以外はRTする

RETWEET_MENTIONS=false

RETWEET_SEARCH_RESULTS=true

# 言及への言及：リプライかメンションには応答、それ以外は言及しない

RESPOND_TO_MENTIONS=true

RESPOND_TO_SEARCH_RESULTS=false

#!/usr/bin/env bash

periodical_search() {
  # 検索APIのポーリング用の処理
}
periodical_search &

periodical_fetch_direct_messages() {
  # DMのAPIのポーリング用の処理
}
periodical_fetch_direct_messages &

periodical_monologue() {
  # 定期的な自動発言用の処理
}
periodical_monologue &
（略）
wait

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

#!/usr/bin/env bash

periodical_search() {

# 検索APIのポーリング用の処理

}

periodical_search &

periodical_fetch_direct_messages() {

# DMのAPIのポーリング用の処理

}

periodical_fetch_direct_messages &

periodical_monologue() {

# 定期的な自動発言用の処理

}

periodical_monologue &

（略）

wait

（略）
kill_descendants() {
  local target_pid=$1
  local children=$(ps --no-heading --ppid $target_pid -o pid)
  for child in $children
  do
    kill_descendants $child
  done
  if [ $target_pid != $$ ]
  then
    kill $target_pid 2>&1 > /dev/null
  fi
}
self_pid=$$
trap 'kill_descendants $self_pid; clear_all_lock; exit 0' HUP INT QUIT KILL TERM
（略）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

（略）

kill_descendants() {

local target_pid=$1

local children=$(ps --no-heading --ppid $target_pid -o pid)

for child in $children

do

kill_descendants $child

done

if [ $target_pid != $$ ]

then

kill $target_pid 2>&1 > /dev/null

fi

}

self_pid=$$

trap 'kill_descendants $self_pid; clear_all_lock; exit 0' HUP INT QUIT KILL TERM

（略）

periodical_search() {
（略）
  local last_id_file="$status_dir/last_search_result"
  local last_id=''
  [ -f "$last_id_file" ] && last_id="$(cat "$last_id_file")"
（略）
  while true
  do
    debug "Processing results of REST search API (newer than $last_id)..."
    while read -r tweet
    do
      [ "$tweet" = '' ] && continue
      id="$(echo "$tweet" | jq -r .id_str)"
（略）
      if [ $id -gt $last_id ]
      then
        last_id="$id"
        echo "$last_id" > "$last_id_file"
      fi
（略）
      # 検索結果として得たツイートをここで処理する
（略）
    done < <("$tools_dir/tweet.sh/tweet.sh" search \
                -q "$query" \
                -c "$count" \
                -s "$last_id" |
                jq -c '.statuses[]' |
                tac)

    if [ "$last_id" != '' ]
    then
      # increment "since id" to bypass cached search results
      last_id="$(($last_id + 1))"
      echo "$last_id" > "$last_id_file"
    fi
    sleep 3m
  done
}
（略）
if [ "$query" != '' ]
then
  log "Tracking search results with the query \"$query\"..."
  periodical_search &
  periodical_process_queue &
else
  log "No search queriy."
fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

periodical_search() {

（略）

local last_id_file="$status_dir/last_search_result"

local last_id=''

[ -f "$last_id_file" ] && last_id="$(cat "$last_id_file")"

（略）

while true

do

debug "Processing results of REST search API (newer than $last_id)..."

while read -r tweet

do

[ "$tweet" = '' ] && continue

id="$(echo "$tweet" | jq -r .id_str)"

（略）

if [ $id -gt $last_id ]

then

last_id="$id"

echo "$last_id" > "$last_id_file"

fi

（略）

# 検索結果として得たツイートをここで処理する

（略）

done < <("$tools_dir/tweet.sh/tweet.sh" search \

-q "$query" \

-c "$count" \

-s "$last_id" |

jq -c '.statuses[]' |

tac)

if [ "$last_id" != '' ]

then

# increment "since id" to bypass cached search results

last_id="$(($last_id + 1))"

echo "$last_id" > "$last_id_file"

fi

sleep 3m

done

}

（略）

if [ "$query" != '' ]

then

log "Tracking search results with the query \"$query\"..."

periodical_search &

periodical_process_queue &

else

log "No search queriy."

fi

（略）
if echo "$input" | egrep -i "good morning|おはよう|お早う|ぐっど? *もーにん|グッド? *モーニン" > /dev/null
then
  [ "$DEBUG" != '' ] && echo "Matched to \"good morning|おはよう|お早う|ぐっど? *もーにん|グッド? *モーニン\", from \"$base_dir/./responses/おはよう.txt\"" 1>&2
  extract_response "$base_dir/./responses/おはよう.txt"
  exit $?
fi

if echo "$input" | egrep -i "^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]" > /dev/null
then
  [ "$DEBUG" != '' ] && echo "Matched to \"^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]\", from \"$base_dir/./responses/こんにちは.txt\"" 1>&2
  extract_response "$base_dir/./responses/こんにちは.txt"
  exit $?
fi
（略）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

（略）

then

[ "$DEBUG" != '' ] && echo "Matched to \"good morning|おはよう|お早う|ぐっど? *もーにん|グッド? *モーニン\", from \"$base_dir/./responses/おはよう.txt\"" 1>&2

extract_response "$base_dir/./responses/おはよう.txt"

exit $?

fi

if echo "$input" | egrep -i "^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]" > /dev/null

then

[ "$DEBUG" != '' ] && echo "Matched to \"^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]\", from \"$base_dir/./responses/こんにちは.txt\"" 1>&2

extract_response "$base_dir/./responses/こんにちは.txt"

exit $?

fi

（略）

機械学習のココロ（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：石井一夫

今回は、人工知能プラットフォーム「TensorFlow」のインストール手順と、TensorFlow を使った機械学習と画像分析の一例を紹介します。TensorFlow をベースにした機械学習環境の構築や利用には、やや難易度の高い作業がかつては必要でした。しかし最近、ニューラルネットワークライブラリの「Keras」が開発されたことで、非常に楽になっています。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras

# Helper libraries
import numpy as np
import matplotlib.pyplot as plt

print(tf.__version__)

1

2

3

4

5

6

7

8

9

# TensorFlow and tf.keras

import tensorflow as tf

from tensorflow import keras

# Helper libraries

import numpy as np

import matplotlib.pyplot as plt

print(tf.__version__)

from keras.datasets import fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat', 
               'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
train_images = train_images / 255.0
test_images = test_images / 255.0

1

2

3

4

5

6

from keras.datasets import fashion_mnist

(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',

'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

train_images = train_images / 255.0

test_images = test_images / 255.0

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

model.compile(optimizer=tf.train.AdamOptimizer(), 
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

1

2

3

4

5

6

7

8

9

model = keras.Sequential([

keras.layers.Flatten(input_shape=(28, 28)),

keras.layers.Dense(128, activation=tf.nn.relu),

keras.layers.Dense(10, activation=tf.nn.softmax)

])

model.compile(optimizer=tf.train.AdamOptimizer(),

loss='sparse_categorical_crossentropy',

metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)

test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)

1

2

3

4

model.fit(train_images, train_labels, epochs=5)

test_loss, test_acc = model.evaluate(test_images, test_labels)

print('Test accuracy:', test_acc)

plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid('off')
    plt.imshow(test_images[i], cmap=plt.cm.binary)
    predicted_label = np.argmax(predictions[i])
    true_label = test_labels[i]
    if predicted_label == true_label:
      color = 'green'
    else:
      color = 'red'
    plt.xlabel("{} ({})".format(class_names[predicted_label],
                                  class_names[true_label]),
                                  color=color)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

plt.figure(figsize=(10,10))

for i in range(25):

plt.subplot(5,5,i+1)

plt.xticks([])

plt.yticks([])

plt.grid('off')

plt.imshow(test_images[i], cmap=plt.cm.binary)

predicted_label = np.argmax(predictions[i])

true_label = test_labels[i]

if predicted_label == true_label:

color = 'green'

else:

color = 'red'

plt.xlabel("{} ({})".format(class_names[predicted_label],

class_names[true_label]),

color=color)

バーティカルバーの極意（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：飯尾淳

本連載の第2 回（2017 年6 月号掲載）では、SNS（Facebook）のデータを分析しました。そこでは、投稿時間別のヒストグラムを作り、自分が何時頃によく投稿しているのかを考えてみました。今回は、バーティカルバー（垂直の棒）による代表的な表現に立ち戻り、再度、ヒストグラムを描いて分析してみましょう。分析の対象は、会議録です。国会議員による発言の状況を、ざっくりと捉えてみようという試みです。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

#!/bin/bash

dirs=(XML TXT1 TXT2 DAT)

for d in ${dirs[@]}; do
  if [ ! -d $d ]; then
    mkdir $d
  fi
done

# StartDate
SD=2018-05-30
# EndDate
ED=2018-05-30

while read line
do
  echo $line ... 
  arg=`echo speaker=$line\&maximumRecords=50\&from=$SD\&until=$ED \
   | nkf -WwMQ | sed 's/=$//g' | tr -d '\n' | tr = %`
  curl http://kokkai.ndl.go.jp/api/1.0/speech?$arg > XML/$line.xml
  sleep 3

  ./get_speech.py XML/$line.xml | sed -e 's/　/ /g' | cut -d ' ' -f 2-\
   | grep -v '^$' > TXT1/$line.txt
  cat TXT1/$line.txt | sed 's/。/。\
/g' | sed 's/（[^）]*）//g' | grep '。$' > TXT2/$line.txt
   echo -n '' > DAT/$line.dat
   while read line2
   do
     echo $line2 | wc -m >> DAT/$line.dat
   done < TXT2/$line.txt

  echo done
done < pols.txt

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

#!/bin/bash

dirs=(XML TXT1 TXT2 DAT)

for d in ${dirs[@]}; do

if [ ! -d $d ]; then

mkdir $d

fi

done

# StartDate

SD=2018-05-30

# EndDate

ED=2018-05-30

while read line

do

echo $line ...

arg=`echo speaker=$line\&maximumRecords=50\&from=$SD\&until=$ED \

| nkf -WwMQ | sed 's/=$//g' | tr -d '\n' | tr = %`

curl http://kokkai.ndl.go.jp/api/1.0/speech?$arg > XML/$line.xml

sleep 3

./get_speech.py XML/$line.xml | sed -e 's/　/ /g' | cut -d ' ' -f 2-\

| grep -v '^$' > TXT1/$line.txt

cat TXT1/$line.txt | sed 's/。/。\

/g' | sed 's/（[^）]*）//g' | grep '。$' > TXT2/$line.txt

echo -n '' > DAT/$line.dat

while read line2

do

echo $line2 | wc -m >> DAT/$line.dat

done < TXT2/$line.txt

echo done

done < pols.txt

#!/usr/bin/env python

from bs4 import BeautifulSoup
import sys

args = sys.argv

xml = open(args[1])
bsObj = BeautifulSoup(xml.read(), "lxml")
targets = bsObj.findAll("speech")

for t in targets:
  print(t.get_text())

1

2

3

4

5

6

7

8

9

10

11

12

13

#!/usr/bin/env python

from bs4 import BeautifulSoup

import sys

args = sys.argv

xml = open(args[1])

bsObj = BeautifulSoup(xml.read(), "lxml")

targets = bsObj.findAll("speech")

for t in targets:

print(t.get_text())

abe<-read.csv('DAT/安倍晋三.dat', header=F)
eda<-read.csv('DAT/枝野幸男.dat', header=F)
shi<-read.csv('DAT/志位和夫.dat', header=F)
kat<-read.csv('DAT/片山虎之助.dat', header=F)
tam<-read.csv('DAT/玉木雄一郎.dat', header=F)
aso<-read.csv('DAT/麻生太郎.dat', header=F)

myplot <- function(title="議員名", color1, color2, data) {
  x = data$V1
  hist(x,
    border = color1, col = color2,
    breaks = c(0,20,40,60,80,100,120,140,160,180,200,
            220,240,260,280,300,320,340,360,380,400,420),
    lwd = 3,
    xlim = c(0.0, 400), ylim = c(0.0, 0.018),
    freq = FALSE,
    main = paste(title, 'による発言の長さ', sep=''),
    ylab = '', xlab = '一発話（一文）あたりの文字数')
}

png("graph_r.png", width=2400, height=1280)
par(las=1, mfrow=c(2,3), cex=2.4, lwd=3)
par(family="HiraMaruProN-W4")
myplot(title="A氏", color1="#0288D1", color2="#04C0E8", data=abe)
myplot(title="B氏", color1="#FBC02D", color2="#FFD85A", data=aso)
myplot(title="C氏", color1="#FFEA00", color2="#FFFC80", data=eda)
myplot(title="D氏", color1="#0F9D58", color2="#1FCAB0", data=shi)
myplot(title="E氏", color1="#FF5252", color2="#FFA4A4", data=kat)
myplot(title="F氏", color1="#AFB42B", color2="#D0D858", data=tam)
dev.off()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

abe<-read.csv('DAT/安倍晋三.dat', header=F)

eda<-read.csv('DAT/枝野幸男.dat', header=F)

shi<-read.csv('DAT/志位和夫.dat', header=F)

kat<-read.csv('DAT/片山虎之助.dat', header=F)

tam<-read.csv('DAT/玉木雄一郎.dat', header=F)

aso<-read.csv('DAT/麻生太郎.dat', header=F)

myplot <- function(title="議員名", color1, color2, data) {

x = data$V1

hist(x,

border = color1, col = color2,

breaks = c(0,20,40,60,80,100,120,140,160,180,200,

220,240,260,280,300,320,340,360,380,400,420),

lwd = 3,

xlim = c(0.0, 400), ylim = c(0.0, 0.018),

freq = FALSE,

main = paste(title, 'による発言の長さ', sep=''),

ylab = '', xlab = '一発話（一文）あたりの文字数')

}

png("graph_r.png", width=2400, height=1280)

par(las=1, mfrow=c(2,3), cex=2.4, lwd=3)

par(family="HiraMaruProN-W4")

myplot(title="A氏", color1="#0288D1", color2="#04C0E8", data=abe)

myplot(title="B氏", color1="#FBC02D", color2="#FFD85A", data=aso)

myplot(title="C氏", color1="#FFEA00", color2="#FFFC80", data=eda)

myplot(title="D氏", color1="#0F9D58", color2="#1FCAB0", data=shi)

myplot(title="E氏", color1="#FF5252", color2="#FFA4A4", data=kat)

myplot(title="F氏", color1="#AFB42B", color2="#D0D858", data=tam)

dev.off()

Visual Studio Codeを使おう（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：山本美穂

高機能、クロスプラットフォームで最近話題になっている、米Microsoft 社
発のオープンソースのエディタ「Visual Studio Code」。その概要、導入方法、画面構成や基本操作、カスタマイズ、デバックなど、便利な機能を含めながらVisual Studio Code を紹介します。

シェルスクリプトマガジンvol.56は以下リンク先でご購入できます。

{
// VS Code の表示言語を定義します。
// サポートされている言語の一覧については、
https://go.microsoft.com/fwlink/?LinkId=761051 をご覧ください。
"locale":"ja" // VS Code を再起動するまで変更は有効になりま
せん。
}

1

2

3

4

5

6

7

{

// VS Code の表示言語を定義します。

// サポートされている言語の一覧については、

https://go.microsoft.com/fwlink/?LinkId=761051 をご覧ください。

"locale":"ja" // VS Code を再起動するまで変更は有効になりま

せん。

}

ユニケージ新コードレビュー（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

筆者：村本禎実

ユニケージでは、小さな道具の「コマンド」をシェルスクリプトで組み合わせて、さまざまな業務システムを構築しています。本連載では、毎回あるテーマに従ってユニケージによるシェルスクリプトの記述例を分かりやすく紹介します。第3回は、Webブラウザからデータを登録するためのサーバー側の処理です。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

#!/bin/bash -xv
#
# BUMON_TOROKU_DEMO.CGI : 部門マスタ登録画面 
#
# 作成日：2018/08/20
# 作成者：t.muramoto

####################################################################
# 環境変数の設定
####################################################################
export PATH=/home/UTL:/home/TOOL:/usr/local/bin/:${PATH}
export LANG=ja_JP.UTF-8
####################################################################

####################################################################
# 実行ログの出力
####################################################################
exec 2> /LOG/LOG.$(basename $0).$(date +%Y%m%d%H%M%S)

####################################################################
# 変数設定
####################################################################
# 日付
today=$(mdate today)
# 時刻
todayhms=$(date +%Y%m%d%H%M%S)

# ホームディレクトリ
homd=/home/usp/WEB/BUMON
# LV1ディレクトリ
lv1d=${homd}/LV1
# LV3ディレクトリ
lv3d=${homd}/LV3
# HTMLディレクトリ
htmd=${homd}/HTML
# SEMAPHOREディレクトリ
semd=${homd}/SEMAPHORE
# tmp
tmp=/tmp/$$

####################################################################
# エラーチェック関数
####################################################################
# ERROR_CHECK
ERROR_CHECK(){
        [ $(plus ${PIPESTATUS[@]}) -eq 0 ] && return
        # エラーの場合
        rm -rf $tmp-*
        touch $semd/$(basename $0).$HOSTNAME.ERROR.$today
        exit 1
}

####################################################################
#  画面表示用データ作成
####################################################################
# POSTされたデータを取得
if [ $(echo ${CONTENT_LENGTH}) -ne 0 ]; then
  dd bs=${CONTENT_LENGTH}        |
  cgi-name -e_ -s_               > $tmp-name
  ERROR_CHECK
else
  # POSTの内容がない場合はファイルのみ作成
  :> $tmp-name
fi


# 適用フラグ、登録日時を作成
echo "1 ${todayhms}" > ${tmp}-flg
ERROR_CHECK
# 1:適用フラグ 2:登録日時

# LV1データ作成
# POSTデータが０バイトより大きい場合は処理
if [ -s ${tmp}-name ] ; then
	# 1:ID名 2:入力値
	cat ${tmp}-name    |
	# タグ形式に変換
	name-tag           |
	# 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5:適用終了日
	# ヘッダを削除
	sed 1d             |
	# 適用フラグ、登録日時をつける
	joinx - ${tmp}-flg |
	# 1:部門コード 2:部門名称                        3:担当者   4:適用開始日 5
	# :適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
	# 部門コードを5桁に変換
	maezero 1.5        |
	# 部門コードでソート
	msort key=1        > ${tmp}-lv1
	ERROR_CHECK

	# LV1データを保存
	cp -p ${tmp}-lv1 ${lv1d}/BUMON_TOROKU_${todayhms}
	ERROR_CHECK
else
	# POSTデータが0バイトのときの処理
	echo "_ _ _ _ _ _ _" > ${tmp}-lv1
	ERROR_CHECK
fi

# 表示データ取得
# 1:部門コード  2:部門名称                        3:担当者   4:適用開始日
# 5:適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
cat ${lv3d}/BUMON_MST  |
# 部門コードをキーとして登録データをマージ
up3 key=1 - ${tmp}-lv1 |
# 部門コードが"_"は除外
delr 1 _               |
# LV3更新データとして保存
tee ${tmp}-bumon_data  |
# 現在適用中のレコードを抽出
awk '$4<="'${today}'"' |
awk '$5>="'${today}'"' |
# 部門コード、適用開始日、登録日時でソート
msort key=1@4@7        |
# 部門コードをキーとして重複を削除
getlast 1 1            |
# 適用フラグで判断
delr 6 2               > ${tmp}-bumon_data_sansho
ERROR_CHECK

# HTML加工
cat ${htmd}/BUMON_DEMO_TOROKU.HTML                    |
# ###DATE###を変換
calsed "###DATE###" ${today} -                        |
# 文字をはめ込む
mojihame -l###BUMON_MST### - ${tmp}-bumon_data_sansho > ${tmp}-html
ERROR_CHECK

# LV3データを更新
cp -p ${tmp}-bumon_data ${lv3d}/BUMON_MST
ERROR_CHECK

####################################################################
#  HTML表示
####################################################################
echo "Content-type:text/html"
echo ""
cat $tmp-html

####################################################################
# 終了処理
####################################################################
rm -f ${tmp}-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

#!/bin/bash -xv

#

# BUMON_TOROKU_DEMO.CGI : 部門マスタ登録画面

#

# 作成日：2018/08/20

# 作成者：t.muramoto

####################################################################

# 環境変数の設定

####################################################################

export PATH=/home/UTL:/home/TOOL:/usr/local/bin/:${PATH}

export LANG=ja_JP.UTF-8

####################################################################

# 実行ログの出力

####################################################################

exec 2> /LOG/LOG.$(basename $0).$(date +%Y%m%d%H%M%S)

####################################################################

# 変数設定

####################################################################

# 日付

today=$(mdate today)

# 時刻

todayhms=$(date +%Y%m%d%H%M%S)

# ホームディレクトリ

homd=/home/usp/WEB/BUMON

# LV1ディレクトリ

lv1d=${homd}/LV1

# LV3ディレクトリ

lv3d=${homd}/LV3

# HTMLディレクトリ

htmd=${homd}/HTML

# SEMAPHOREディレクトリ

semd=${homd}/SEMAPHORE

# tmp

tmp=/tmp/$$

####################################################################

# エラーチェック関数

####################################################################

# ERROR_CHECK

ERROR_CHECK(){

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] && return

# エラーの場合

rm -rf $tmp-*

touch $semd/$(basename $0).$HOSTNAME.ERROR.$today

exit 1

}

####################################################################

# 画面表示用データ作成

####################################################################

# POSTされたデータを取得

if [ $(echo ${CONTENT_LENGTH}) -ne 0 ]; then

dd bs=${CONTENT_LENGTH} |

cgi-name -e_ -s_ > $tmp-name

ERROR_CHECK

else

# POSTの内容がない場合はファイルのみ作成

:> $tmp-name

fi

# 適用フラグ、登録日時を作成

echo "1 ${todayhms}" > ${tmp}-flg

ERROR_CHECK

# 1:適用フラグ 2:登録日時

# LV1データ作成

# POSTデータが０バイトより大きい場合は処理

if [ -s ${tmp}-name ] ; then

# 1:ID名 2:入力値

cat ${tmp}-name |

# タグ形式に変換

name-tag |

# 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5:適用終了日

# ヘッダを削除

sed 1d |

# 適用フラグ、登録日時をつける

joinx - ${tmp}-flg |

# 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5

# :適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

# 部門コードを5桁に変換

maezero 1.5 |

# 部門コードでソート

msort key=1 > ${tmp}-lv1

ERROR_CHECK

# LV1データを保存

cp -p ${tmp}-lv1 ${lv1d}/BUMON_TOROKU_${todayhms}

ERROR_CHECK

else

# POSTデータが0バイトのときの処理

echo "_ _ _ _ _ _ _" > ${tmp}-lv1

ERROR_CHECK

fi

# 表示データ取得

# 1:部門コード 2:部門名称 3:担当者 4:適用開始日

# 5:適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

cat ${lv3d}/BUMON_MST |

# 部門コードをキーとして登録データをマージ

up3 key=1 - ${tmp}-lv1 |

# 部門コードが"_"は除外

delr 1 _ |

# LV3更新データとして保存

tee ${tmp}-bumon_data |

# 現在適用中のレコードを抽出

awk '$4<="'${today}'"' |

awk '$5>="'${today}'"' |

# 部門コード、適用開始日、登録日時でソート

msort key=1@4@7 |

# 部門コードをキーとして重複を削除

getlast 1 1 |

# 適用フラグで判断

delr 6 2 > ${tmp}-bumon_data_sansho

ERROR_CHECK

# HTML加工

cat ${htmd}/BUMON_DEMO_TOROKU.HTML |

# ###DATE###を変換

calsed "###DATE###" ${today} - |

# 文字をはめ込む

mojihame -l###BUMON_MST### - ${tmp}-bumon_data_sansho > ${tmp}-html

ERROR_CHECK

# LV3データを更新

cp -p ${tmp}-bumon_data ${lv3d}/BUMON_MST

ERROR_CHECK

####################################################################

# HTML表示

####################################################################

echo "Content-type:text/html"

echo ""

cat $tmp-html

####################################################################

# 終了処理

####################################################################

rm -f ${tmp}-*

exit 0

Vol.56

投稿日：2018.09.25　｜　カテゴリー：　バックナンバー

Linuxサーバーやネットワーク機器の運用管理に、それらを監視するツールは欠かせません。特集1では、有償の監視ツールにも劣らない多くの機能を有する「Zabbix」を取り上げました。Zabbixの導入方法や基本的な使い方、今秋にリリースされるバージョン4.0について分かりやすく紹介しています。
特集2では、企業ITインフラの新しいコンセプト「パイパーコンバージドインフラストラクチャ」（HCI）について分かりやすくまとめました。仮想化技術でハードウエアをシンプルにまとめたHCIの特徴を誰でも理解できます。
特集3では、Microsoft発のオープンソースエディタ「Visual Stuido Code」を紹介しました。バージョン管理システム「Git」と連携した導入方法、基本操作、カスタマイズ、デバッグなどを、多数の画面写真を使って解説しています。
特別企画では、日経Linuxで超人気のITまんが「シス管系女子」の筆者が、自らがシェルスクリプトで作ったTwitter Botを紹介しています。実際に「@sysadgirl_mint」で動いている本格的なものです。
このほか、「香川大学SLPからお届け！」では、独自開発の小規模利用向けプライベートPaaS（Platform as a Service）「LiPP」の使い方を紹介しています。好評連載の「ラズパイ入門ボードで学ぶ電子回路の制御」では、赤外線リモコンによるラズパイの遠隔操作を扱っています。シェルスクリプトマガジン特製の「ラズパイ入門ボード」を活用してください。

今月も読み応え十分のシェルスクリプトマガジン Vol.56。お見逃しなく!

※記事掲載のコードはこちら。記事の補足情報はこちら

※読者アンケートはこちら

第20回　ログを収集する（rsyslogのログメッセージ）

投稿日：2018.09.21　｜　カテゴリー：　記事

前回は、カーネルやシステムに関連するログを収集・制御するソフトウエア「rsyslog」によって、Ubuntu Server 16.04 LTSではどのような種類のログが取得されているのかを確認しました。また、rsyslogでログを取得して処理するためのルールの書き方も簡単に説明しました。
今回は、rsyslogによって出力されるログメッセージのフォーマットについて解説します。このフォーマットは「テンプレート」を使って、サーバー管理者が自由に変更できます。

図1　カーネル関連のログメッセージ

第19回　ログを収集する（rsyslogの設定）

投稿日：2018.08.31　｜　カテゴリー：　記事

前回は、カーネルやシステムに関連するログを収集・制御しているソフトウエア「rsyslog」の概要を紹介しました。その中で、「/etc/rsyslog.d/50-default.conf」の設定ファイルに、カーネルやシステムに関するログ出力のための設定が書き込まれていると説明しました。

今回は、このデフォルトで用意されている/etc/rsyslog.d/50-default.confの内容から、Ubuntu Server 16.04 LTSでは、どのようなログが取得されているのかを確認します（図1）。

図1　デフォルトのログ設定を確認する

第18回　ログを収集する（rsyslogの概要）

投稿日：2018.08.24　｜　カテゴリー：　記事

サーバーの運用管理で各種ログを収集することは重要です。Linuxでは「rsyslog」（https://www.rsyslog.com/）というソフトウエアでカーネルやシステムに関連するログを収集・制御しています（図1）。今回から、このrsyslogについて解説します。

図1　rsyslogによるログ収集

このrsyslogは、UNIXやLinux標準のログ転送およびログ取得の規格「syslog」に準拠しています。そのため、多くのLinuxディストリビューションで利用されています。

第17回　ネットワークの可用性を高める（チーミング）

投稿日：2018.08.10　｜　カテゴリー：　記事

複数のネットワークインタフェースを束ねて、一つのネットワークインタフェースとして扱う技術に「チーミング」（または「ボンディング」）があります。このチーミングには、帯域幅を広げる効果と、冗長化により可用性を向上させる効果があります（図1）。後者の可用性向上は、RAIDと同様にLinuxサーバーでは重要です。サーバーの運用管理の一つとして、チーミング方法を覚えておきましょう。

図1　チーミングの利点

ネットワークのプロトコルには「IPv4」と「IPv6」がありますが、広く利用されているIPv4でチーミングを設定する方法を紹介します。
今回もUbuntu Server 16.04 LTSをインストールしたサーバーを例にします。チーミングのためにネットワークインタフェースカードを二つ追加し、三つのネットワークインタフェースを搭載した状態としました。

第16回　複数のユーザーを効率良く管理する（有効期限の制御）

投稿日：2018.08.3　｜　カテゴリー：　記事

前回は、複数のユーザーを一括登録する方法を紹介しました。ユーザーの管理は、登録だけではありません。パスワードを頻繁に変えさせたり、ユーザーの利用期限を設定したり、一時的にログインを不可にしたりなど、登録後のユーザー管理の方が重要です（図1）。

そこで、今回は既存ユーザーに関する管理について紹介します。

図1　既存ユーザーの管理

第15回　複数のユーザーを効率良く管理する（ユーザー登録）

投稿日：2018.07.27　｜　カテゴリー：　記事

複数のユーザーでLinuxサーバーを共用する場合、個々のユーザーを効率良く管理することが重要です（図1）。ユーザーの一括登録、パスワード変更の義務付け、退社や退会などによるログイン自動停止などができると便利です。

図1　Linuxサーバーの運用管理としてユーザー管理は重要

そこ、Linuxサーバーにおけるユーザー管理方法を解説します。今回は、ユーザーの一括登録を紹介します。ここでも「Ubuntu 16.04 LTS」を例にします。

シェルスクリプトマガジンvol.55 Web掲載記事まとめ

投稿日：2018.07.25　｜　カテゴリー：　記事

シェルスクリプトマガジン Vol.55のWeb掲載部分まとめです。

プレゼント＆アンケートページはこちら！

シェルスクリプトマガジンvol.55は以下リンク先でご購入できます。

004　レポート　テキストエディタ「Vim 8.1」公開
005　レポート　トークイベント「TechLI ON」開催
006　NEWS FLASH
008　特集1　Linuxサーバー構築/麻生二郎　コード掲載
032　姐のNOGYO
033　特集2　IBM Cloud Functions を試す/小薗井康志、岸田吉弘、十川恵美、佐藤光太
048　特集3　GitHubの使い方/松浦隼人、水谷翔、鈴木順子
056　特別企画　仮想通貨マイニング/末安泰三　コード掲載
066　ラズパイ入門ボードで学ぶ電子回路の制御/米田聡　コード掲載
070　Node.js/Expressで楽々Webアプリ開発/しょっさん　コード掲載
078　RESEARCHES FOR FUTURE/中村聡史
080　中小企業手作りIT化奮戦記菅雄一
086　それプロのエバンジェリストから愛をこめて/山本美穂
088　漢のUNIX/後藤大地　コード掲載
098　人間とコンピュータの可能性/大岩元
100　バーティカルバーの極意/飯尾淳
106　法林浩之のFIGHTING TALKS/法林浩之
108　アジャイル開発 Let’s Practice!/熊野憲辰
112　機械学習のココロ/石井一夫
117　スズラボ通信/すずきひろのぶ
120　円滑コミュニケーションが世界を救う！/濱口誠
122　香川大学SLPからお届け！/山田昂平
128　ユニケージ新コードレビュー/伊藤和正　コード掲載
134　雲/桑原滝弥・イケヤシロウ
136　Techパズル/gori.sh
138　コラム「オールマイティーさを身に付けよう」/シェル魔人

Vol.55

投稿日：2018.07.25　｜　カテゴリー：　バックナンバー

Linuxやオープンソースに関連する技術者の需要が高まっています。特集1では、企業で人気のRed Hat Enterprise Linux（RHEL）のクローンOS「CentOS」による自宅サーバーの構築方法を解説しました。仮想化ソフト「Oracle VM VirtualBox」を用いてサーバーを構築しているので、Linux専用のパソコンやサーバー機を用意する必要はなく、気軽に始められます。
特集2では、米IBM社が提供する「IBM Cloud Functions」を扱いました、IBM Cloud Functionsは、最近話題のサーバーレス/マイクロサービスです。無料のアカウントを利用しての使い方、AIサービス「Watson」と組み合わせた実用的なアプリの作り方、導入事例を紹介しています。
特集3では、コードホスティングサービス「GitHub」のコラボレーション機能を中心に解説しました。また、そのほかの便利な機能もいくつか紹介しています。
特別企画は、仮想通貨のマイニング（採掘）です。専用のハードウエアを使うことなく、パソコンだけで採掘できる方法を紹介しました。
このほか、注目のサーバーサイド実行環境「Node.js」と「Express」フレームワークを活用するための新連載を開始しました。好評連載の「ラズパイ入門ボードで学ぶ電子回路の制御」では、OLEDへの画像表示を扱っています。シェルスクリプトマガジン特製の「ラズパイ入門ボード」を活用してください。

今月も読み応え十分のシェルスクリプトマガジン Vol.55。お見逃しなく!

※記事掲載のコードはこちら
※読者アンケートはこちら

第14回　ストレージの使用量を制限する（クオータの設定2）

投稿日：2018.07.20　｜　カテゴリー：　記事

前回は、ルートファイルシステム以外のファイルシステム（/home）に対して、ユーザーやグループのストレージ使用量を制限する「クオータ」の設定方法を紹介しました。今回は、ルートファイルシステムに対するクオータの設定です（図1）。ルートファイルシステムの場合、クオータが使えるようにするオプション、ユーザーやグループの設定ファイルの作成方法が異なります。今回も「Ubuntu Server 16.04 LTS」を例にします。

図1　ルートファイルシステムにクオータを設定する

Node.js/Expressで楽々Webアプリ開発（Vol.55掲載）

投稿日：2018.07.18　｜　カテゴリー：　コード

著者：しょっさん

プログラミング言語「JavaScript」の実行環境「Node.js」と「Express」フレームワークを使って、基本となるWebアプリの開発手法を習得しましょう。第1回は「MVC」（Model View Controller）で「見た目」と「ロジック」を分離したWebアプリの開発手順を紹介します。

記事本文掲載のシェルスクリプトマガジンvol.55は以下のリンク先でご購入できます。

var indexRouter = require('./routes/index');
var usersRouter = require('./routes/users'); 
（略）
app.use('/', indexRouter);
app.use('/users', usersRouter);

1

2

3

4

5

var indexRouter = require('./routes/index');

var usersRouter = require('./routes/users');

（略）

app.use('/', indexRouter);

app.use('/users', usersRouter);

{
  "name": "express-crud",
  "version": "0.0.0",
  "private": true,
  "scripts": {
"start": "node ./bin/www"
  },
  "dependencies": {
    "cookie-parser": "~1.4.3",
    "debug": "~2.6.9",
    "ejs": "~2.5.7",
    "express": "~4.16.0",
    "http-errors": "~1.6.2",
    "morgan": "~1.9.0",
    "pg": "^7.4.2",
    "sequelize": "^4.37.6",
    "sequelize-cli": "^4.0.0",
    "sqlite3": "^4.0.0"
  }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

{

"name": "express-crud",

"version": "0.0.0",

"private": true,

"scripts": {

"start": "node ./bin/www"

},

"dependencies": {

"cookie-parser": "~1.4.3",

"debug": "~2.6.9",

"ejs": "~2.5.7",

"express": "~4.16.0",

"http-errors": "~1.6.2",

"morgan": "~1.9.0",

"pg": "^7.4.2",

"sequelize": "^4.37.6",

"sequelize-cli": "^4.0.0",

"sqlite3": "^4.0.0"

}

{
  "development": {
    "dialect": "sqlite",
    "storage": ".db.development.sql"
  },

  "production": {
    "use_env_variable": "DATABASE_URL"
  }
}

1

2

3

4

5

6

7

8

9

10

{

"development": {

"dialect": "sqlite",

"storage": ".db.development.sql"

},

"production": {

"use_env_variable": "DATABASE_URL"

}

// モデル情報の読み込み
const models = require('../models');

// Expressルーターの記述
var express = require('express');
var router = express.Router();

// データを10件読み込んで、Web画面をレンダリングする
router.get('/', function(req, res) {
  models.User.findAll({
    order: [
      ['id', 'desc']
    ],
    limit: 10
  }).then(function(users) {
    res.render('users', {
      title: 'Node.js/Express入門: CRUD サンプル',
      users: users
    });
  });  
});

// 新規追加ユーザーの作成
router.post('/create', function(req, res) {
  models.User.create({
    first_name: req.body.first_name,
    last_name: req.body.last_name,
    email: req.body.email
  }).then(function() {
    res.redirect('/users');
  });
});

// 対象IDのユーザー情報を更新
router.post('/update/:id', function(req, res) {
  models.User.update({
    first_name: req.body.first_name,
    last_name: req.body.last_name,
    email: req.body.email
  }, {
    where: {
      id: req.params.id
    }
  }).then(function() {
    res.redirect('/users');
  });
});

// 対象IDのユーザー情報を削除
router.get('/destroy/:id', function(req, res) {
  models.User.destroy({
    where: {
      id: req.params.id
    }
  }).then(function() {
    res.redirect('/users');
  });
});

// 外部から利用する場合の指定
module.exports = router;

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

// モデル情報の読み込み

const models = require('../models');

// Expressルーターの記述

var express = require('express');

var router = express.Router();

// データを10件読み込んで、Web画面をレンダリングする

router.get('/', function(req, res) {

models.User.findAll({

order: [

['id', 'desc']

],

limit: 10

}).then(function(users) {

res.render('users', {

title: 'Node.js/Express入門: CRUD サンプル',

users: users

});

// 新規追加ユーザーの作成

router.post('/create', function(req, res) {

models.User.create({

first_name: req.body.first_name,

last_name: req.body.last_name,

email: req.body.email

}).then(function() {

res.redirect('/users');

});

// 対象IDのユーザー情報を更新

router.post('/update/:id', function(req, res) {

models.User.update({

first_name: req.body.first_name,

last_name: req.body.last_name,

email: req.body.email

}, {

where: {

id: req.params.id

}

}).then(function() {

res.redirect('/users');

});

// 対象IDのユーザー情報を削除

router.get('/destroy/:id', function(req, res) {

models.User.destroy({

where: {

id: req.params.id

}

}).then(function() {

res.redirect('/users');

});

// 外部から利用する場合の指定

module.exports = router;

<!DOCTYPE html>
<html>
  <head>
    <title><%= title %></title>
    <link rel='stylesheet' href='/stylesheets/style.css' />
  </head>
  <body>
    <h1><%= title %></h1>
    <form action="/users/create" method="post">
      <label for="last_name">名前(姓): </label>
      <input id="last_name" type="text" name="last_name" value="">
      <label for="first_name">名前(名): </label>
      <input id="first_name" type="text" name="first_name" value="">
      <label for="email">メールアドレス: </label>
      <input id="email" type="text" name="email" value="">
      <input type="submit" value="新規追加">
  </form>

  <table>
    <tr>
    <th>ID</th>
    <th>名前(姓)</th>
    <th>名前(名)</th>
    <th>メールアドレス</th>
    <th></th>
    </tr>
  <% users.forEach(function (user) { %>
    <tr>
      <form action="/users/update/<%= user['id'] %>" method="post">
      <td><%= user["id"] %></td>
      <td><input type="text" name="last_name" value="<%= user['last_name'] %>"></td>
      <td><input type="text" name="first_name" value="<%= user['first_name'] %>"></td>
      <td><input type="text" name="email" value="<%= user['email'] %>"></td>
      <td><input type="submit" value="更新"><a href="/users/destroy/<%= user['id'] %>">削除</a></td>
      </form>
    </tr>
  <% }); %>
  </table>

  </body>
</html>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

<!DOCTYPE html>

<html>

<head>

</head>

<body>

<label for="email">メールアドレス: </label>

</form>

<table>

<tr>

<th>メールアドレス</th>

</tr>

<% users.forEach(function (user) { %>

<tr>

<form action="/users/update/<%= user['id'] %>" method="post">

</form>

</tr>

<% }); %>

</table>

</body>

</html>

ユニケージ新コードレビュー（vol.55掲載）

投稿日：2018.07.18　｜　カテゴリー：　コード

著者：伊藤和正

ユニケージでは、小さな道具の「コマンド」をシェルスクリプトで組み合わせて、さまざまな業務システムを構築しています。本連載では、毎回あるテーマに従ってユニケージによるシェルスクリプトの記述例を分かりやすく紹介します。第2回は、データを分割・保存した複数のテキストファイルの抽出や読み出しです。

記事本文掲載のシェルスクリプトマガジンvol.55は以下のリンク先でご購入できます。

ERROR_CHECK(){
  [ $(plus ${PIPESTATUS[@]}) -eq 0 ] && return
  echo "ERROR"
  exit 1
}

echo *       |
tarr         |
ugrep -v '*' |
xargs cat    |
（略）
cat          > $tmp-result
ERROR_CHECK

1

2

3

4

5

6

7

8

9

10

11

12

13

ERROR_CHECK(){

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] && return

echo "ERROR"

exit 1

}

echo * |

tarr |

ugrep -v '*' |

xargs cat |

（略）

cat > $tmp-result

ERROR_CHECK

（略）
echo DATA/*/*/*            |
tarr                       |
ugrep -v '*'               |
# 1:DATA/日付/店舗/商品
tr '/' ' '                 |
# 1:DATA 2:日付 3:店舗 4:商品
cjoin0 key=2 $tmp-days -   |
cjoin0 key=3 $tmp-tenpo -  |
cjoin0 key=4 $tmp-shohin - |
tr ' ' '/'                 |
# 1:DATA/日付/店舗/商品
xargs cat                  |
（略）
cat                        > $tmp-result
ERROR_CHECK

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

（略）

echo DATA/*/*/* |

tarr |

ugrep -v '*' |

# 1:DATA/日付/店舗/商品

tr '/' ' ' |

# 1:DATA 2:日付 3:店舗 4:商品

cjoin0 key=2 $tmp-days - |

cjoin0 key=3 $tmp-tenpo - |

cjoin0 key=4 $tmp-shohin - |

tr ' ' '/' |

# 1:DATA/日付/店舗/商品

xargs cat |

（略）

cat > $tmp-result

ERROR_CHECK

（略）
find DATA -type f          |
# 1:DATA/日付/店舗/商品
tr '/' ' '                 |
# 1:DATA 2:日付 3:店舗 4:商品
cjoin0 key=2 $tmp-days -   |
cjoin0 key=3 $tmp-tenpo -  |
cjoin0 key=4 $tmp-shohin - |
tr ' ' '/'                 |
# 1:DATA/日付/店舗/商品
xargs cat                  |
（略）
cat                        > $tmp-result
ERROR_CHECK

1

2

3

4

5

6

7

8

9

10

11

12

13

14

（略）

find DATA -type f |

# 1:DATA/日付/店舗/商品

tr '/' ' ' |

# 1:DATA 2:日付 3:店舗 4:商品

cjoin0 key=2 $tmp-days - |

cjoin0 key=3 $tmp-tenpo - |

cjoin0 key=4 $tmp-shohin - |

tr ' ' '/' |

# 1:DATA/日付/店舗/商品

xargs cat |

（略）

cat > $tmp-result

ERROR_CHECK

loopx $tmp-day $tmp-tenpo $tmp-shohin |
# 1:日付 2:店舗 3:商品
tr ' ' '/'                            |
# 1:日付/店舗/商品
strcat \"DATA/\"+1                    |
# 1:DATA/日付/店舗/商品
xargs ls 2>/dev/null                  > $tmp-filepass

cat $tmp-filepass |
xargs cat         |
（略）
cat               > $tmp-result
ERROR_CHECK

1

2

3

4

5

6

7

8

9

10

11

12

13

loopx $tmp-day $tmp-tenpo $tmp-shohin |

# 1:日付 2:店舗 3:商品

tr ' ' '/' |

# 1:日付/店舗/商品

strcat \"DATA/\"+1 |

# 1:DATA/日付/店舗/商品

xargs ls 2>/dev/null > $tmp-filepass

cat $tmp-filepass |

xargs cat |

（略）

cat > $tmp-result

ERROR_CHECK

漢のUNIX　JSON データを扱うJanssonライブラリ（Vol.55掲載）

投稿日：2018.07.18　｜　カテゴリー：　コード

著者：後藤大地

C言語のJSON用ライブラリ「Jansson」の使い方を紹介する。Janssonライブラリは、使い方がかなり直感的で扱いやすい。C言語でJSONデータを扱いたいのなら最初に使っておきたいものだ。

記事本文掲載のシェルスクリプトマガジンvol.55は以下のリンク先でご購入できます。

{
  "Image": {
      "Width":  800,
      "Height": 600,
      "Title":  "View from 15th Floor",
      "Thumbnail": {
          "Url":    "http://www.example.com/image/481989943",
          "Height": 125,
          "Width":  100
      },
      "Animated" : false,
      "IDs": [116, 943, 234, 38793]
    }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

{

"Image": {

"Width": 800,

"Height": 600,

"Title": "View from 15th Floor",

"Thumbnail": {

"Url": "http://www.example.com/image/481989943",

"Height": 125,

"Width": 100

},

"Animated" : false,

"IDs": [116, 943, 234, 38793]

}

[
  {
     "precision": "zip",
     "Latitude":  37.7668,
     "Longitude": -122.3959,
     "Address":   "",
     "City":      "SAN FRANCISCO",
     "State":     "CA",
     "Zip":       "94107",
     "Country":   "US"
  },
  {
     "precision": "zip",
     "Latitude":  37.371991,
     "Longitude": -122.026020,
     "Address":   "",
     "City":      "SUNNYVALE",
     "State":     "CA",
     "Zip":       "94085",
     "Country":   "US"
  }
]

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

[

{

"precision": "zip",

"Latitude": 37.7668,

"Longitude": -122.3959,

"Address": "",

"City": "SAN FRANCISCO",

"State": "CA",

"Zip": "94107",

"Country": "US"

},

{

"precision": "zip",

"Latitude": 37.371991,

"Longitude": -122.026020,

"Address": "",

"City": "SUNNYVALE",

"State": "CA",

"Zip": "94085",

"Country": "US"

}

]

{"Image":{"Width":800,"Height":600,"Title":"View from 15th Floor","Thumbnail":{"Url":"http://www.example.com/image/481989943","Height":125,"Width":100},"Animated":false,"IDs":[116,943,234,38793]}}

1	{"Image":{"Width":800,"Height":600,"Title":"View from 15th Floor","Thumbnail":{"Url":"http://www.example.com/image/481989943","Height":125,"Width":100},"Animated":false,"IDs":[116,943,234,38793]}}

[{"precision":"zip","Latitude":37.7668,"Longitude":-122.3959,"Address":"","City":"SAN FRANCISCO","State":"CA","Zip":"94107","Country":"US"},{"precision":"zip","Latitude":37.371991,"Longitude":-122.026020,"Address":"","City":"SUNNYVALE","State":"CA","Zip":"94085","Country":"US"}]

1	[{"precision":"zip","Latitude":37.7668,"Longitude":-122.3959,"Address":"","City":"SAN FRANCISCO","State":"CA","Zip":"94107","Country":"US"},{"precision":"zip","Latitude":37.371991,"Longitude":-122.026020,"Address":"","City":"SUNNYVALE","State":"CA","Zip":"94085","Country":"US"}]

#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

void print_json_aux(json_t *element, int indent);

const char *json_plural(int count) {
    return count == 1 ? "" : "s";
}

void print_json_indent(int indent) {
    int i;
    for (i = 0; i < indent; i++) { putchar(' '); }
}

void print_json_object(json_t *element, int indent) {
    size_t size;
    const char *key;
    json_t *value;

    print_json_indent(indent);
    size = json_object_size(element);

    printf("JSON Object of %ld pair%s:\n", size, json_plural(size));
    json_object_foreach(element, key, value) {
        print_json_indent(indent + 2);
        printf("JSON Key: \"%s\"\n", key);
        print_json_aux(value, indent + 2);
    }

}

void print_json_array(json_t *element, int indent) {
    size_t i;
    size_t size = json_array_size(element);
    print_json_indent(indent);

    printf("JSON Array of %ld element%s:\n", size, json_plural(size));
    for (i = 0; i < size; i++) {
        print_json_aux(json_array_get(element, i), indent + 2);
    }
}

void print_json_string(json_t *element, int indent) {
    print_json_indent(indent);
    printf("JSON String: \"%s\"\n", json_string_value(element));
}

void print_json_integer(json_t *element, int indent) {
    print_json_indent(indent);
    printf("JSON Integer: \"%" JSON_INTEGER_FORMAT "\"\n", json_integer_value(element));
}

void print_json_real(json_t *element, int indent) {
    print_json_indent(indent);
    printf("JSON Real: %f\n", json_real_value(element));
}

void print_json_true(json_t *element, int indent) {
    (void)element;
    print_json_indent(indent);
    printf("JSON True\n");
}

void print_json_false(json_t *element, int indent) {
    (void)element;
    print_json_indent(indent);
    printf("JSON False\n");
}

void print_json_null(json_t *element, int indent) {
    (void)element;
    print_json_indent(indent);
    printf("JSON Null\n");
}

void print_json_aux(json_t *element, int indent) {
    switch (json_typeof(element)) {
    case JSON_OBJECT:
        print_json_object(element, indent);
        break;
    case JSON_ARRAY:
        print_json_array(element, indent);
        break;
    case JSON_STRING:
        print_json_string(element, indent);
        break;
    case JSON_INTEGER:
        print_json_integer(element, indent);
        break;
    case JSON_REAL:
        print_json_real(element, indent);
        break;
    case JSON_TRUE:
        print_json_true(element, indent);
        break;
    case JSON_FALSE:
        print_json_false(element, indent);
        break;
    case JSON_NULL:
        print_json_null(element, indent);
        break;
    default:
        fprintf(stderr, "unrecognized JSON type %d\n", json_typeof(element));
    }
}

void print_json(json_t *root) {
    print_json_aux(root, 0);
}

json_t *load_json(const char *text) {
    json_t *root;
    json_error_t error;

    root = json_loads(text, 0, &error);

    if (root) {
        return root;
    } else {
        fprintf(stderr, "json error on line %d: %s\n", error.line, error.text);
        return (json_t *)0;
    }
}

char *read_line(char *line, int max_chars) {
    printf("Type some JSON > ");
    fflush(stdout);
    return fgets(line, max_chars, stdin);
}

int main(int argc, char *argv[]) {
    char line[4096];

    if (argc != 1) {
        fprintf(stderr, "Usage: %s\n", argv[0]);
        exit(-1);
    }

    while (read_line(line, 4096) != (char *)NULL) {

        json_t *root = load_json(line);

        if (root) {
            print_json(root);
            json_decref(root);
        }
    }

    return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

void print_json_aux(json_t *element, int indent);

const char *json_plural(int count) {

return count == 1 ? "" : "s";

}

void print_json_indent(int indent) {

int i;

for (i = 0; i < indent; i++) { putchar(' '); }

}

void print_json_object(json_t *element, int indent) {

size_t size;

const char *key;

json_t *value;

print_json_indent(indent);

size = json_object_size(element);

printf("JSON Object of %ld pair%s:\n", size, json_plural(size));

json_object_foreach(element, key, value) {

print_json_indent(indent + 2);

printf("JSON Key: \"%s\"\n", key);

print_json_aux(value, indent + 2);

}

void print_json_array(json_t *element, int indent) {

size_t i;

size_t size = json_array_size(element);

print_json_indent(indent);

printf("JSON Array of %ld element%s:\n", size, json_plural(size));

for (i = 0; i < size; i++) {

print_json_aux(json_array_get(element, i), indent + 2);

}

void print_json_string(json_t *element, int indent) {

print_json_indent(indent);

printf("JSON String: \"%s\"\n", json_string_value(element));

}

void print_json_integer(json_t *element, int indent) {

print_json_indent(indent);

printf("JSON Integer: \"%" JSON_INTEGER_FORMAT "\"\n", json_integer_value(element));

}

void print_json_real(json_t *element, int indent) {

print_json_indent(indent);

printf("JSON Real: %f\n", json_real_value(element));

}

void print_json_true(json_t *element, int indent) {

(void)element;

print_json_indent(indent);

printf("JSON True\n");

}

void print_json_false(json_t *element, int indent) {

(void)element;

print_json_indent(indent);

printf("JSON False\n");

}

void print_json_null(json_t *element, int indent) {

(void)element;

print_json_indent(indent);

printf("JSON Null\n");

}

void print_json_aux(json_t *element, int indent) {

switch (json_typeof(element)) {

case JSON_OBJECT:

print_json_object(element, indent);

break;

case JSON_ARRAY:

print_json_array(element, indent);

break;

case JSON_STRING:

print_json_string(element, indent);

break;

case JSON_INTEGER:

print_json_integer(element, indent);

break;

case JSON_REAL:

print_json_real(element, indent);

break;

case JSON_TRUE:

print_json_true(element, indent);

break;

case JSON_FALSE:

print_json_false(element, indent);

break;

case JSON_NULL:

print_json_null(element, indent);

break;

default:

fprintf(stderr, "unrecognized JSON type %d\n", json_typeof(element));

}

void print_json(json_t *root) {

print_json_aux(root, 0);

}

json_t *load_json(const char *text) {

json_t *root;

json_error_t error;

root = json_loads(text, 0, &error);

if (root) {

return root;

} else {

fprintf(stderr, "json error on line %d: %s\n", error.line, error.text);

return (json_t *)0;

}

char *read_line(char *line, int max_chars) {

printf("Type some JSON > ");

fflush(stdout);

return fgets(line, max_chars, stdin);

}

int main(int argc, char *argv[]) {

char line[4096];

if (argc != 1) {

fprintf(stderr, "Usage: %s\n", argv[0]);

exit(-1);

}

while (read_line(line, 4096) != (char *)NULL) {

json_t *root = load_json(line);

if (root) {

print_json(root);

json_decref(root);

}

return 0;

}

#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  // JSONデータをパース
  json_error_t error;
  json_t *root = json_loads(buf, 0, &error);

  // JSON要素の種類判定
  switch (json_typeof(root)) {
  case JSON_OBJECT:  break;
  case JSON_ARRAY:  break;
  case JSON_STRING:  break;
  case JSON_INTEGER:  break;
  case JSON_REAL:    break;
  case JSON_TRUE:    break;
  case JSON_FALSE:  break;
  case JSON_NULL:    break;
  default:
  }

  // JSONデータを印刷
  printf("%s\n", json_string_value(element));
  printf("%f\n", json_real_value(element));
  printf("%lld\n", json_integer_value(element));

  // 配列処理
  int index;
  json_t *value;
  json_array_foreach(element, index, value) {
    printf("%d\n", index);
    ...value...
  }

  // オブジェクト処理
  const char *key;
  json_t *value;
  json_object_foreach(element, key, value) {
    printf("%s\n", key);
    ...value...
  }

  // メモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

// JSONデータをパース

json_error_t error;

json_t *root = json_loads(buf, 0, &error);

// JSON要素の種類判定

switch (json_typeof(root)) {

case JSON_OBJECT: break;

case JSON_ARRAY: break;

case JSON_STRING: break;

case JSON_INTEGER: break;

case JSON_REAL: break;

case JSON_TRUE: break;

case JSON_FALSE: break;

case JSON_NULL: break;

default:

}

// JSONデータを印刷

printf("%s\n", json_string_value(element));

printf("%f\n", json_real_value(element));

printf("%lld\n", json_integer_value(element));

// 配列処理

int index;

json_t *value;

json_array_foreach(element, index, value) {

printf("%d\n", index);

...value...

}

// オブジェクト処理

const char *key;

json_t *value;

json_object_foreach(element, key, value) {

printf("%s\n", key);

...value...

}

// メモリー解放

json_decref(root);

return 0;

}

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

void print(json_t *element, int indent)
{
  const char *key;
  json_t *value;
  int index;

#define INDENT \
  for (int i = 0; i < indent; i++) \
    putchar(' ');

  switch (json_typeof(element)) {
  case JSON_OBJECT:
    putchar('\n');
    json_object_foreach(element, key, value) {
      INDENT
      printf("%s: ", key);
      print(value, 1+indent);
    }
    break;
  case JSON_ARRAY:
    putchar('\n');
    json_array_foreach(element, index, value) {
      INDENT
      printf("%d: ", index);
      print(value, 1+indent);
    }
    break;
  case JSON_STRING:
    printf("%s\n", json_string_value(element));
    break;
  case JSON_INTEGER:
    printf("%lld\n", json_integer_value(element));
    break;
  case JSON_REAL:
    printf("%f\n", json_real_value(element));
    break;
  case JSON_TRUE:
    printf("true\n");
    break;
  case JSON_FALSE:
    printf("false\n");
    break;
  case JSON_NULL:
    printf("null\n");
    break;
  }
}

int main(int argc, char *argv[])
{
  char buf[1024 * 1024];
  int fd = open(argv[1], O_RDONLY);
  read(fd, buf, 1024 * 1024 - 1);

  // JSONデータをパース
  json_error_t error;
  json_t *root = json_loads(buf, 0, &error);

  // JSONデータをトラバースしながら印刷
  print(root, 0);

  // JSONメモリー解放
  json_decref(root);

  close(fd);
  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

void print(json_t *element, int indent)

{

const char *key;

json_t *value;

int index;

#define INDENT \

for (int i = 0; i < indent; i++) \

putchar(' ');

switch (json_typeof(element)) {

case JSON_OBJECT:

putchar('\n');

json_object_foreach(element, key, value) {

INDENT

printf("%s: ", key);

print(value, 1+indent);

}

break;

case JSON_ARRAY:

putchar('\n');

json_array_foreach(element, index, value) {

INDENT

printf("%d: ", index);

print(value, 1+indent);

}

break;

case JSON_STRING:

printf("%s\n", json_string_value(element));

break;

case JSON_INTEGER:

printf("%lld\n", json_integer_value(element));

break;

case JSON_REAL:

printf("%f\n", json_real_value(element));

break;

case JSON_TRUE:

printf("true\n");

break;

case JSON_FALSE:

printf("false\n");

break;

case JSON_NULL:

printf("null\n");

break;

}

int main(int argc, char *argv[])

{

char buf[1024 * 1024];

int fd = open(argv[1], O_RDONLY);

read(fd, buf, 1024 * 1024 - 1);

// JSONデータをパース

json_error_t error;

json_t *root = json_loads(buf, 0, &error);

// JSONデータをトラバースしながら印刷

print(root, 0);

// JSONメモリー解放

json_decref(root);

close(fd);

return 0;

}

ラズパイ入門ボードで学ぶ電子回路の制御（Vol.55掲載）

投稿日：2018.07.18　｜　カテゴリー：　コード

著者：米田聡

シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）のプログラミングが楽しめる拡張ボード「ラズパイ入門ボード」を制作しました。本連載では、ラズパイ入門ボードを使った電子回路制御を取り上げていきます。第3回は、OLEDに画像を表示します。

記事本文掲載のシェルスクリプトマガジンvol.55は以下のリンク先でご購入できます。

#!/usr/bin/python3
# -*- coding: utf-8 -*-

import time
import Adafruit_GPIO.SPI as SPI
import Adafruit_SSD1306
import RPi.GPIO as GPIO

from PIL import Image
from PIL import ImageDraw
from PIL import ImageFont

class EB_OLED(Adafruit_SSD1306.SSD1306_128_64):

  WIDTH = 128
  HEIGHT = 64
  
  __RST = 24
  __DC = 23
  SPI_PORT = 0
  SPI_DEVICE = 0
  
  def __init__(self):
    self.__spi = SPI.SpiDev(self.SPI_PORT, self.SPI_DEVICE, max_speed_hz=8000000)
    super().__init__(rst=self.__RST, dc=self.__DC, spi=self.__spi)


if __name__ == "__main__":

  oled = EB_OLED()
  # 初期化
  oled.begin()
  oled.clear()
  oled.display()
  
  jpg = Image.open("sample.jpg")
  # 画像を縮小
  scale = float(float(EB_OLED.WIDTH)/float(jpg.size[0]))
  jpg = jpg.resize((int(jpg.size[0] * scale), int(jpg.size[1]*scale)))
  jpg = jpg.crop(box=(0, 0, EB_OLED.WIDTH, EB_OLED.HEIGHT))
  # 2値に変換
  image = jpg.convert('1')
  oled.image(image)
  oled.display()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

#!/usr/bin/python3

# -*- coding: utf-8 -*-

import time

import Adafruit_GPIO.SPI as SPI

import Adafruit_SSD1306

import RPi.GPIO as GPIO

from PIL import Image

from PIL import ImageDraw

from PIL import ImageFont

class EB_OLED(Adafruit_SSD1306.SSD1306_128_64):

WIDTH = 128

HEIGHT = 64

__RST = 24

__DC = 23

SPI_PORT = 0

SPI_DEVICE = 0

def __init__(self):

self.__spi = SPI.SpiDev(self.SPI_PORT, self.SPI_DEVICE, max_speed_hz=8000000)

super().__init__(rst=self.__RST, dc=self.__DC, spi=self.__spi)

if __name__ == "__main__":

oled = EB_OLED()

# 初期化

oled.begin()

oled.clear()

oled.display()

jpg = Image.open("sample.jpg")

# 画像を縮小

scale = float(float(EB_OLED.WIDTH)/float(jpg.size[0]))

jpg = jpg.resize((int(jpg.size[0] * scale), int(jpg.size[1]*scale)))

jpg = jpg.crop(box=(0, 0, EB_OLED.WIDTH, EB_OLED.HEIGHT))

# 2値に変換

image = jpg.convert('1')

oled.image(image)

oled.display()

SW1=4
SW2=17
SW3=5
SW4=6

pos_y = 0
img_height = 0
f_exit = False
jpg = None

def sw_event(channel):

  global pos_y
  global f_exit
  global jpg
  global img_height

  if channel == SW1:
    if (img_height - pos_y - EB_OLED.HEIGHT) >= 0:
      pos_y += 1
  elif channel == SW4:
    if pos_y <= 0:
      return
    pos_y -= 1
  elif channel == SW2:
    f_exit = True
  
  image = jpg.crop(box=(0, pos_y, EB_OLED.WIDTH, EB_OLED.HEIGHT+pos_y))
  oled.image(image)
  oled.display()
  

if __name__ == "__main__":

  oled = EB_OLED()
  # OLED 初期化
  oled.begin()
  oled.clear()
  oled.display()
  
  # スイッチ初期化
  GPIO.setmode(GPIO.BCM)
  GPIO.setup([SW1, SW2, SW4], GPIO.IN)
  GPIO.add_event_detect(SW1, GPIO.FALLING, bouncetime=60)
  GPIO.add_event_detect(SW2, GPIO.FALLING, bouncetime=60)
  GPIO.add_event_detect(SW4, GPIO.FALLING, bouncetime=60)
  
  GPIO.add_event_callback(SW1, sw_event )
  GPIO.add_event_callback(SW2, sw_event )
  GPIO.add_event_callback(SW4, sw_event )
  
  jpg = Image.open("sample.jpg")
  scale = float(float(EB_OLED.WIDTH)/float(jpg.size[0]))
  jpg = jpg.resize((int(jpg.size[0] * scale), int(jpg.size[1]*scale)))
  # 2値に変換
  jpg = jpg.convert('1')
  img_height = jpg.size[1]
  
  image = jpg.crop(box=(0, 0, EB_OLED.WIDTH, EB_OLED.HEIGHT))
  oled.image(image)
  oled.display()

  while f_exit == False:
    time.sleep(0.1)

  GPIO.cleanup()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

SW1=4

SW2=17

SW3=5

SW4=6

pos_y = 0

img_height = 0

f_exit = False

jpg = None

def sw_event(channel):

global pos_y

global f_exit

global jpg

global img_height

if channel == SW1:

if (img_height - pos_y - EB_OLED.HEIGHT) >= 0:

pos_y += 1

elif channel == SW4:

if pos_y <= 0:

return

pos_y -= 1

elif channel == SW2:

f_exit = True

image = jpg.crop(box=(0, pos_y, EB_OLED.WIDTH, EB_OLED.HEIGHT+pos_y))

oled.image(image)

oled.display()

if __name__ == "__main__":

oled = EB_OLED()

# OLED 初期化

oled.begin()

oled.clear()

oled.display()

# スイッチ初期化

GPIO.setmode(GPIO.BCM)

GPIO.setup([SW1, SW2, SW4], GPIO.IN)

GPIO.add_event_detect(SW1, GPIO.FALLING, bouncetime=60)

GPIO.add_event_detect(SW2, GPIO.FALLING, bouncetime=60)

GPIO.add_event_detect(SW4, GPIO.FALLING, bouncetime=60)

GPIO.add_event_callback(SW1, sw_event )

GPIO.add_event_callback(SW2, sw_event )

GPIO.add_event_callback(SW4, sw_event )

jpg = Image.open("sample.jpg")

scale = float(float(EB_OLED.WIDTH)/float(jpg.size[0]))

jpg = jpg.resize((int(jpg.size[0] * scale), int(jpg.size[1]*scale)))

# 2値に変換

jpg = jpg.convert('1')

img_height = jpg.size[1]

image = jpg.crop(box=(0, 0, EB_OLED.WIDTH, EB_OLED.HEIGHT))

oled.image(image)

oled.display()

while f_exit == False:

time.sleep(0.1)

GPIO.cleanup()

特別企画　普通のパソコンではじめる仮想通貨マイニング（Vol.55掲載）

投稿日：2018.07.18　｜　カテゴリー：　コード

著者：末安泰三

一時期のバブルは弾けた感じはありますが、仮想通貨にはまだまだ注目が集まっています。仮想通貨の一部は、パソコンでマイニング（採掘）という作業をすることで獲得できます。ASIC 耐性が高い「yescrypt」と呼ばれるハッシュ関数を使用する仮想通貨をマイニングする方法を紹介します。

記事本文掲載のシェルスクリプトマガジンvol.55は以下のリンク先でご購入できます。

#!/bin/sh

if [ $# -ne 1 ];then
  echo "Usage: sh reqpkg.sh program" 1>&2
  exit 1
fi

apt-file update >/dev/null 2>&1
ldd $1 | grep "not found" | cut -d '=' -f 1 | tr -d [:blank:] | xargs -I {} apt-file -l search {}

1

2

3

4

5

6

7

8

9

#!/bin/sh

if [ $# -ne 1 ];then

echo "Usage: sh reqpkg.sh program" 1>&2

exit 1

fi

apt-file update >/dev/null 2>&1

ldd $1 | grep "not found" | cut -d '=' -f 1 | tr -d [:blank:] | xargs -I {} apt-file -l search {}

特集1　CentOSではじめるLinuxサーバー構築（Vol.55掲載）

投稿日：2018.07.18　｜　カテゴリー：　コード

著者：麻生二郎

CentOSやUbuntuなどのLinuxディストリビューション、パソコン、インターネットに接続する環境を用意すれば、無料で実用的なサーバーを構築できます。本特集では、企業のサーバーOSとして人気のCentOSを用いて、「ファイル共有」と「ブログ」の2種類のサーバーを立ち上げる方法を分かりやすく紹介します。
記事本文掲載のシェルスクリプトマガジンvol.55は以下のリンク先でご購入できます。

Part2　リモートアクセス環境の構築

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
IPADDR="192.168.10.254"
PREFIX="24"
GATEWAY="192.168.10.1"
DNS1="192.168.10.1"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s3"
UUID="120ac59c-2ec3-4ec4-b66f-2bcac2c8e18b"
DEVICE="enp0s3"
ONBOOT="yes"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

TYPE="Ethernet"

PROXY_METHOD="none"

BROWSER_ONLY="no"

BOOTPROTO="none"

IPADDR="192.168.10.254"

PREFIX="24"

GATEWAY="192.168.10.1"

DNS1="192.168.10.1"

DEFROUTE="yes"

IPV4_FAILURE_FATAL="no"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_FAILURE_FATAL="no"

IPV6_ADDR_GEN_MODE="stable-privacy"

NAME="enp0s3"

UUID="120ac59c-2ec3-4ec4-b66f-2bcac2c8e18b"

DEVICE="enp0s3"

ONBOOT="yes"

Part3 ファイル共有/ブログサーバーの構築

[global]
workgroup = SHELLMAG
dos charset = CP932
unix charset = UTF8

[share]
comment = CentOS
path = /var/share
browsable = yes
writable = yes
create mask = 0777
directory mask = 0777

1

2

3

4

5

6

7

8

9

10

11

12

[global]

workgroup = SHELLMAG

dos charset = CP932

unix charset = UTF8

[share]

comment = CentOS

path = /var/share

browsable = yes

writable = yes

create mask = 0777

directory mask = 0777

第13回　ストレージの使用量を制限する（クオータの設定1）

投稿日：2018.07.13　｜　カテゴリー：　記事

Linuxサーバー上で複数のユーザーが作業することもあります。通常、各ユーザーには、作業場所として「/home」ディレクトリーの下に自分の名前と同じ「ホームディレクトリー」が割り当てられています。自分のホームディレクトリー内なら自由にファイルを保存できます。

ただし、自由に保存できるからといって、一人のユーザーが多くのストレージ容量を使うと、システムや他の人が使用できる領域を圧迫しかねません。よって、ユーザーや、ユーザーが所属するグループごとにファイルシステム単位でストレージの使用容量を制限するための「クオータ」（Quota）機能が用意されています（図1）。そのクオータの設定方法を紹介します。今回も「Ubuntu Server 16.04 LTS」を例にします。

図1　ユーザーやグループごとにストレージの使用量を制限する

第12回　ストレージの可用性を高める（RAIDの復旧）

投稿日：2018.07.6　｜　カテゴリー：　記事

前回は、RAIDの運用管理における監視方法を紹介しました。RAIDの障害を検出したら、次の障害が発生する前に完全復旧させましょう。
完全復旧作業の手順は図1のようになります。

図1　RAIDアレイの完全復旧手順

まず、障害が発生したストレージをRAIDアレイから切り離します。そして、サーバーマシンから故障したストレージを抜き取り、新しいストレージを交換します。「ホットスワップ」または「ホットプラグ」に対応したベイまたはケースなら電源を入れたまま抜き差しできますが、大抵はホットスワップに対応していません。サーバーマシンをシャットダウンして電源をオフにしてからストレージを交換してください。
交換を終えたら、サーバーマシンの電源をオンにします。サーバーが起動したら、新しいストレージに物理ボリュームを作成します。作成したら、RAIDアレイに追加します。これで完全復旧の完了です。

第11回　ストレージの可用性を高める（RAIDの運用管理）

投稿日：2018.06.29　｜　カテゴリー：　記事

3回にわたって、Ubuntu Server 16.04 LTSにおけるRAIDアレイ（ソフトウエアRAID)の構築方法を紹介しました。複数のストレージを使ってRAIDを構成したことで、可用性を高めることができました。しかし、安心はできません。ストレージの故障から復旧するまでの間は、高可用性を確保できないからです。

常にRAIDの状態を監視し、ストレージの故障を発見したときはすぐに新しいストレージを割り当て完全復旧しなくてはいけません（図1）。よって、今回はRAIDの運用管理方法について解説します。

図1　RAIDアレイの監視

第10回　ストレージの可用性を高める（ソフトウエアRAIDの構築3）

投稿日：2018.06.22　｜　カテゴリー：　記事

前回と前々回で、Ubuntu Server 16.04 LTSのインストーラーを使った、ソフトウエアRAIDの構築方法を解説しました。今回は、既に動かしているUbuntuサーバーにRAID構成にしたストレージ（RAIDアレイ）を追加します（図1）。

図1　ソフトウエアRAIDによるRAIDアレイを追加

今回も扱うRAIDは「ソフトウエアRAID」です。LinuxにはソフトウエアRAIDを構築・管理する「mdadm」コマンドが用意されています。

第9回　ストレージの可用性を高める（ソフトウエアRAIDの構築2）

投稿日：2018.06.15　｜　カテゴリー：　記事

前回は、「BIOS」のファームウエアを搭載するマシンで、Ubuntu Server 16.04 LTSのインストーラーを使ったソフトウエアRAID（RAID 1、RAID 5、RAID 6）を構築する手順を解説しました。今回は、ファームウエアが「UEFI」のマシンでの手順を紹介します（図1）。

図1　ファームウエアが「UEFI」のマシンでUbuntu ServerのインストーラーによるRAID構築

前回も少し触れましたが、「EFIシステムパーティション」への障害対策が必要です。EFIシステムパーティションはRAID構成にできませんが、起動時にしか使いません。そこで、別のストレージを用意してその中に作成し、バックアップしておきます。

第8回　ストレージの可用性を高める（ソフトウエアRAIDの構築1）

投稿日：2018.06.8　｜　カテゴリー：　記事

前回は「RAID」（レイド、Redundant Arrays of Inexpensive/Independent Disks）の概要、「RAID 0」「RAID 1」「RAID 5」「RAID 6」「RAID 0+1」「RAID 1+0」の構成、「ハードウエアRAID」と「ソフトウエアRAID」などの種類を紹介しました。今回から数回にわたって、Ubuntu Server 16.04 LTSのストレージをRAID構成にする方法、RAIDの監視やストレージの障害検出、障害からの復旧方法を解説します。

今回は、Ubuntu Server 16.04 LTSのインストーラーを使った、ソフトウエアRAIDによるRAID 1、RAID 5、RAID 6を構築する手順です。マシンのファームウエアが「BIOS」なら、Ubuntu Serverのインストーラーからシステムで利用しているストレージを簡単にRAID構成にできるので、それから始めましょう（図1）。

図1　Ubuntu Server 16.04 LTSのインストーラーによるRAID構築

ちなみに、ファームウエアが「UEFI」の場合、ストレージの先頭にある、OS起動用のソフトなどを格納する「EFIシステムパーティション」への障害対策が必要です。このパーティションを含むストレージに障害が発生した状態で、サーバーを再起動すると起動しないことがあり得ます。UEFIのマシンにおけるシステム全体のRAID構築方法は、次回以降に解説します。

第7回　ストレージの可用性を高める（RAIDの概要）

投稿日：2018.06.1　｜　カテゴリー：　記事

「可用性」（Availability）とは、システム稼働を継続できる能力のことです。この可用性を向上するには、障害に対して強いシステムを構築できるかどうかにかかっています。
サーバーには、ソフトウエアによる障害以外にハードウエアによる障害もあります。ハードウエアの中で最も壊れやすいのが、機械部品（モーター）で動作する「ハードディスク」（HDD）です。HDDの経年劣化による故障は避けられません。一部のデータが読み出しにくかったり、読み出せなかったりと、部分的に故障するので、とてもやっかいです。
このように壊れやすいにもかかわらず、HDDはサーバー内の大切なデータを保存しています。大切なデータが失われてしまうと、システム稼働を継続できません。逆にいえば、HDDが故障しても大切なデータを失うことがなければ、システム稼働を継続できます。その方法として有効なのが「RAID」（レイド、Redundant Arrays of Inexpensive/Independent Disks）です。RAIDは、複数のストレージを組み合わせて、1台（または2台）のストレージが故障しても他のストレージによってデータを消失させない仕組みです（図1）。複数のストレージに同じデータを保存したり、データを修復するための「パリティー」を生成・保存したりして、データ消失を防ぎます。

図1　RAID（Redundant Arrays of Inexpensive/Independent Disks）

第6回　ストレージを柔軟に管理する（LVMの操作3）

投稿日：2018.05.25　｜　カテゴリー：　記事

第5回に引き続き、Linuxなどのストレージを柔軟に管理する仕組み「LVM」（Logical Volume Manager）の利点を紹介します。今回は「スナップショット」です。
このスナップショットは、LVMの「論理ボリューム」を瞬時にバックアップできるとても便利な機能です（図1）。スナップショット作成時の論理ボリューム（LV）の状態を維持でき、それを「dump」や「rsync」などのコマンドで簡単に取り出せます。

図1　スナップショット機能

ラズパイ入門ボードで学ぶ電子回路の制御（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：米田

シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）のプログラミングが楽しめる拡張ボード「ラズパイ入門ボード」を制作しました。本連載では、ラズパイ入門ボードを使った電子回路制御を取り上げていきます。第2 回は、Grove System の光センサーを扱います。

記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

import time
import Adafruit_GPIO.SPI as SPI
import Adafruit_SSD1306

from PIL import Image
from PIL import ImageDraw
from PIL import ImageFont


class OLED():
	OLED_WIDTH = 128
	OLED_HEIGHT = 64

	RST = 24
	DC = 23
	SPI_PORT = 0
	SPI_DEVICE = 0

	DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'
	FONT_SIZE = 14
	
	_LINE_HEIGHT = 16

	def __init__(self, port=SPI_PORT, dev=SPI_DEVICE, _rst=RST, _dc=DC):
		self._spi = SPI.SpiDev(port, dev, max_speed_hz=8000000)
		self._disp = Adafruit_SSD1306.SSD1306_128_64(rst=_rst, dc=_dc, spi=self._spi)
		self._disp.begin()
		self._disp.clear()
		self._disp.display()
		self._image = Image.new('1', (self.OLED_WIDTH, self.OLED_HEIGHT) ,0)
		self._draw = ImageDraw.Draw(self._image)
		self._font = ImageFont.truetype(self.DEFAULT_FONT, self.FONT_SIZE, encoding='unic')
		
	def put_string(self, str, line=0):
		self._draw.rectangle((0, line*self._LINE_HEIGHT, self.OLED_WIDTH,line*self._LINE_HEIGHT+self._LINE_HEIGHT), fill=(0))
		self._draw.text((0, line*self._LINE_HEIGHT), str, font=self._font, fill=1)
		self._disp.image(self._image)
		self._disp.display()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

import time

import Adafruit_GPIO.SPI as SPI

import Adafruit_SSD1306

from PIL import Image

from PIL import ImageDraw

from PIL import ImageFont

class OLED():

OLED_WIDTH = 128

OLED_HEIGHT = 64

RST = 24

DC = 23

SPI_PORT = 0

SPI_DEVICE = 0

DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'

FONT_SIZE = 14

_LINE_HEIGHT = 16

def __init__(self, port=SPI_PORT, dev=SPI_DEVICE, _rst=RST, _dc=DC):

self._spi = SPI.SpiDev(port, dev, max_speed_hz=8000000)

self._disp = Adafruit_SSD1306.SSD1306_128_64(rst=_rst, dc=_dc, spi=self._spi)

self._disp.begin()

self._disp.clear()

self._disp.display()

self._image = Image.new('1', (self.OLED_WIDTH, self.OLED_HEIGHT) ,0)

self._draw = ImageDraw.Draw(self._image)

self._font = ImageFont.truetype(self.DEFAULT_FONT, self.FONT_SIZE, encoding='unic')

def put_string(self, str, line=0):

self._draw.rectangle((0, line*self._LINE_HEIGHT, self.OLED_WIDTH,line*self._LINE_HEIGHT+self._LINE_HEIGHT), fill=(0))

self._draw.text((0, line*self._LINE_HEIGHT), str, font=self._font, fill=1)

self._disp.image(self._image)

self._disp.display()

#!/usr/bin/python3
# -*- coding: utf-8 -*-

from tsl2561 import TSL2561
from OLED import OLED
import time

oled = OLED()
# アドレスを指定する
tsl = TSL2561(address=0x29)

oled.put_string('Current LUX')

while True:
	# lux()メソッドで現在の照度を得ることが出来る
	oled.put_string(str(tsl.lux()), 1)
	time.sleep(1)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

#!/usr/bin/python3

# -*- coding: utf-8 -*-

from tsl2561 import TSL2561

from OLED import OLED

import time

oled = OLED()

# アドレスを指定する

tsl = TSL2561(address=0x29)

oled.put_string('Current LUX')

while True:

# lux()メソッドで現在の照度を得ることが出来る

oled.put_string(str(tsl.lux()), 1)

time.sleep(1)

ユニケージ新コードレビュー（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：大内智明

ユニケージでは、小さな道具の「コマンド」をシェルスクリプトで組み合わせて、さまざまな業務システムを構築しています。本連載では、毎回あるテーマに従ってユニケージによるシェルスクリプトの記述例を分かりやすく紹介します。初回は、サーバー2重化時のデータ書き込みです。
記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

#!/bin/ush -xve
（略）
err ERROR_EXIT(){
  exit 1
}
（略）
if [ -z $(msctrl -job HACHU -ctrl C -msflg M -print host) ] ; then
  ERROR_EXIT
else
  set +e
  err true
  touch ${lv1d}/touchfile
  [ $? -eq 0 ] || echo "AP1" >> $tmp-cp-err
  err ERROR_EXIT
  set -e
  if [ -s $tmp-cp-err ];then
    errcnt=$(lineup 1 $tmp-cp-err | gyo)
    [ "${errcnt}" -eq "1" ] && ERROR_EXIT
  fi
  set +e
  err true
  正サーバーへのデータ書き込み処理（記述例）
  ファイルを書き込むコマンド
  [ $? -eq 0 ] || echo "AP1" >> $tmp-cp-err
  err ERROR_EXIT
  set -e
  if [ -s $tmp-cp-err ];then
    errcnt=$(lineup 1 $tmp-cp-err | gyo)
    [ "${errcnt}" -eq "1" ] && ERROR_EXIT
  fi
  if [ -z $(msctrl -job HACHUBT -ctrl C -msflg S -print host) ] ; then
    :
  else
    set +e
    err true
    副サーバーへの書き込み処理（記述例）
    ファイルを書き込むコマンド
    [ $? -eq 0 ] || echo "AP2" >> $tmp-cp-err
    err ERROR_EXIT
    set -e
    if [ -s $tmp-cp-err ];then
      errcnt=$(lineup 1 $tmp-cp-err | gyo)
      [ "${errcnt}" -eq "1" ] && ワーニング処理
    fi
  fi
fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

#!/bin/ush -xve

（略）

err ERROR_EXIT(){

exit 1

}

（略）

if [ -z $(msctrl -job HACHU -ctrl C -msflg M -print host) ] ; then

ERROR_EXIT

else

set +e

err true

touch ${lv1d}/touchfile

[ $? -eq 0 ] || echo "AP1" >> $tmp-cp-err

err ERROR_EXIT

set -e

if [ -s $tmp-cp-err ];then

errcnt=$(lineup 1 $tmp-cp-err | gyo)

[ "${errcnt}" -eq "1" ] && ERROR_EXIT

fi

set +e

err true

正サーバーへのデータ書き込み処理（記述例）

ファイルを書き込むコマンド

[ $? -eq 0 ] || echo "AP1" >> $tmp-cp-err

err ERROR_EXIT

set -e

if [ -s $tmp-cp-err ];then

errcnt=$(lineup 1 $tmp-cp-err | gyo)

[ "${errcnt}" -eq "1" ] && ERROR_EXIT

fi

if [ -z $(msctrl -job HACHUBT -ctrl C -msflg S -print host) ] ; then

:

else

set +e

err true

副サーバーへの書き込み処理（記述例）

ファイルを書き込むコマンド

[ $? -eq 0 ] || echo "AP2" >> $tmp-cp-err

err ERROR_EXIT

set -e

if [ -s $tmp-cp-err ];then

errcnt=$(lineup 1 $tmp-cp-err | gyo)

[ "${errcnt}" -eq "1" ] && ワーニング処理

fi

漢のUNIX　XML2JSON のコードを整理して仕上げる（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：後藤大地

前回までの2回で、XMLパーサーライブラリ「expat」の使い方と、expatによるXMLデータをJSONデータへ変換する方法を取り上げた。前回作成したサンプルコードはとりあえず動作するものだが、それほどきれいに整理はされていない。今回はこのサンプルコードを整理して完成させる。
記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

#include "xml2json.h"

int
main(int argc, char *argv[])
{
	char buf[BUFSIZ];
	int len, done;
	XML_Parser parser = XML_ParserCreate(NULL);

	XML_SetElementHandler(parser, begin, end);
	XML_SetCharacterDataHandler(parser, chardata);
	do {
		len = fread(buf, 1, sizeof(buf), stdin);
		done = len < sizeof(buf);
		if (XML_Parse(parser, buf, (int)len, done) == 
			XML_STATUS_ERROR)
			return 1;
	} while (!done);

	XML_ParserFree(parser);
	return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

#include "xml2json.h"

int

main(int argc, char *argv[])

{

char buf[BUFSIZ];

int len, done;

XML_Parser parser = XML_ParserCreate(NULL);

XML_SetElementHandler(parser, begin, end);

XML_SetCharacterDataHandler(parser, chardata);

do {

len = fread(buf, 1, sizeof(buf), stdin);

done = len < sizeof(buf);

if (XML_Parse(parser, buf, (int)len, done) ==

XML_STATUS_ERROR)

return 1;

} while (!done);

XML_ParserFree(parser);

return 0;

}

typedef enum __element_type {
	TYPE_STRUCTURE,
	TYPE_KEY,
	TYPE_VALUE,
	TYPE_NOT_APPLICABLE
} ELEMENT_TYPE;

typedef enum __element {
	ELEMENT_DOCUMENT,
	ELEMENT_DOCGROUP,
	ELEMENT_DOCINFO,
	ELEMENT_TITLE,
	ELEMENT_AUTHOR,
	ELEMENT_FIRSTEDITION,
	ELEMENT_LASTMODIFIED,
	ELEMENT_P,
	ELEMENT_NOT_APPLICABLE
} ELEMENT;

typedef struct __element_info {
	ELEMENT_TYPE	element_type;
	ELEMENT		element;
	char*		name;
} ELEMENT_INFO;

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

typedef enum __element_type {

TYPE_STRUCTURE,

TYPE_KEY,

TYPE_VALUE,

TYPE_NOT_APPLICABLE

} ELEMENT_TYPE;

typedef enum __element {

ELEMENT_DOCUMENT,

ELEMENT_DOCGROUP,

ELEMENT_DOCINFO,

ELEMENT_TITLE,

ELEMENT_AUTHOR,

ELEMENT_FIRSTEDITION,

ELEMENT_LASTMODIFIED,

ELEMENT_P,

ELEMENT_NOT_APPLICABLE

} ELEMENT;

typedef struct __element_info {

ELEMENT_TYPE element_type;

ELEMENT element;

char* name;

} ELEMENT_INFO;

#include "xml2json.h"

static const ELEMENT_INFO ELEMENTS_INFO[] = {
	{ TYPE_STRUCTURE,	ELEMENT_DOCUMENT,	"document"	},
	{ TYPE_STRUCTURE,	ELEMENT_DOCGROUP,	"docgroup"	},
	{ TYPE_STRUCTURE,	ELEMENT_DOCINFO,	"docinfo"	},
	{ TYPE_KEY,		ELEMENT_TITLE,		"title"		},
	{ TYPE_KEY,		ELEMENT_AUTHOR,		"author"	},
	{ TYPE_KEY,		ELEMENT_FIRSTEDITION,	"firstedition"	},
	{ TYPE_KEY,		ELEMENT_LASTMODIFIED,	"lastmodified"	},
	{ TYPE_VALUE,		ELEMENT_P,		"p"		},
	{ TYPE_NOT_APPLICABLE,	ELEMENT_NOT_APPLICABLE,	NULL		}
};

ELEMENT_TYPE
name_2_element_type(const XML_Char *name)
{
	int i = 0;
	while (ELEMENTS_INFO[i].element != ELEMENT_NOT_APPLICABLE) {
		if (0 == strcmp(ELEMENTS_INFO[i].name, name))
			return ELEMENTS_INFO[i].element_type;

		i++;
	}

	return TYPE_NOT_APPLICABLE;
}

ELEMENT_TYPE
element_2_element_type(ELEMENT element)
{
	int i = 0;
	while (ELEMENTS_INFO[i].element != ELEMENT_NOT_APPLICABLE) {
		if (ELEMENTS_INFO[i].element == element)
			return ELEMENTS_INFO[i].element_type;

		i++;
	}

	return TYPE_NOT_APPLICABLE;
}

ELEMENT
name_2_element(const XML_Char *name)
{
	int i = 0;
	while (ELEMENTS_INFO[i].element != ELEMENT_NOT_APPLICABLE) {
		if (0 == strcmp(ELEMENTS_INFO[i].name, name))
			return ELEMENTS_INFO[i].element;

		i++;
	}

	return ELEMENT_NOT_APPLICABLE;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

#include "xml2json.h"

static const ELEMENT_INFO ELEMENTS_INFO[] = {

{ TYPE_STRUCTURE, ELEMENT_DOCUMENT, "document" },

{ TYPE_STRUCTURE, ELEMENT_DOCGROUP, "docgroup" },

{ TYPE_STRUCTURE, ELEMENT_DOCINFO, "docinfo" },

{ TYPE_KEY, ELEMENT_TITLE, "title" },

{ TYPE_KEY, ELEMENT_AUTHOR, "author" },

{ TYPE_KEY, ELEMENT_FIRSTEDITION, "firstedition" },

{ TYPE_KEY, ELEMENT_LASTMODIFIED, "lastmodified" },

{ TYPE_VALUE, ELEMENT_P, "p" },

{ TYPE_NOT_APPLICABLE, ELEMENT_NOT_APPLICABLE, NULL }

};

ELEMENT_TYPE

name_2_element_type(const XML_Char *name)

{

int i = 0;

while (ELEMENTS_INFO[i].element != ELEMENT_NOT_APPLICABLE) {

if (0 == strcmp(ELEMENTS_INFO[i].name, name))

return ELEMENTS_INFO[i].element_type;

i++;

}

return TYPE_NOT_APPLICABLE;

}

ELEMENT_TYPE

element_2_element_type(ELEMENT element)

{

int i = 0;

while (ELEMENTS_INFO[i].element != ELEMENT_NOT_APPLICABLE) {

if (ELEMENTS_INFO[i].element == element)

return ELEMENTS_INFO[i].element_type;

i++;

}

return TYPE_NOT_APPLICABLE;

}

ELEMENT

name_2_element(const XML_Char *name)

{

int i = 0;

while (ELEMENTS_INFO[i].element != ELEMENT_NOT_APPLICABLE) {

if (0 == strcmp(ELEMENTS_INFO[i].name, name))

return ELEMENTS_INFO[i].element;

i++;

}

return ELEMENT_NOT_APPLICABLE;

}

#include <sys/queue.h>
#include <stdlib.h>
#include <malloc_np.h>

#include "xml2json.h"

static int initialized = 0;
static struct slisthead *headp;
static struct entry {
	ELEMENT	element;
	SLIST_ENTRY(entry) entries;
} *np;
SLIST_HEAD(slisthead, entry) head = SLIST_HEAD_INITIALIZER(head);

static void init(void);

void
stack_push(ELEMENT element)
{
	init();

	np = malloc(sizeof(struct entry));
	np->element = element;
	SLIST_INSERT_HEAD(&head, np, entries);
}

void
stack_pop(void)
{
	init();

	np = SLIST_FIRST(&head);
	SLIST_REMOVE_HEAD(&head, entries);
	free(np);
}

ELEMENT
stack_top(void)
{
	init();

	np = SLIST_FIRST(&head);
	if (NULL == np)
		return ELEMENT_NOT_APPLICABLE;

	return (SLIST_FIRST(&head)->element);
}

static void
init(void)
{
	if (!initialized) {
		SLIST_INIT(&head);
		initialized = 1;
	}
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

#include <sys/queue.h>

#include <stdlib.h>

#include <malloc_np.h>

#include "xml2json.h"

static int initialized = 0;

static struct slisthead *headp;

static struct entry {

ELEMENT element;

SLIST_ENTRY(entry) entries;

} *np;

SLIST_HEAD(slisthead, entry) head = SLIST_HEAD_INITIALIZER(head);

static void init(void);

void

stack_push(ELEMENT element)

{

init();

np = malloc(sizeof(struct entry));

np->element = element;

SLIST_INSERT_HEAD(&head, np, entries);

}

void

stack_pop(void)

{

init();

np = SLIST_FIRST(&head);

SLIST_REMOVE_HEAD(&head, entries);

free(np);

}

ELEMENT

stack_top(void)

{

init();

np = SLIST_FIRST(&head);

if (NULL == np)

return ELEMENT_NOT_APPLICABLE;

return (SLIST_FIRST(&head)->element);

}

static void

init(void)

{

if (!initialized) {

SLIST_INIT(&head);

initialized = 1;

}

#include "xml2json.h"

static void indent(void);
static int depth = 0;

static ELEMENT pre_element;
static ELEMENT_TYPE pre_type;
static int pre_element_is_start_tag;

void XMLCALL
begin(void *d, const XML_Char *name, const XML_Char **attr)
{
	ELEMENT element = name_2_element(name);
	ELEMENT_TYPE type = name_2_element_type(name);

	ELEMENT parent = stack_top();
	ELEMENT_TYPE parent_type = element_2_element_type(parent);

	switch (element) {
	case ELEMENT_DOCUMENT:
		printf("{");
		break;
	default:
		switch (type) {
		case TYPE_STRUCTURE:
			switch (element) {
			case ELEMENT_DOCUMENT:
				printf("{ ");
				break;
			default:
				if (pre_element_is_start_tag)
					printf("\n");
				else
					printf(",\n");
				break;
			}
			indent();
			printf("\"%s\": {", name);
			break;
		case TYPE_KEY:
			switch (pre_type) {
			case TYPE_KEY:
				printf(",");
				break;
			default:
				break;
			}
			printf("\n");
			indent();
			printf("\"%s\":", name);
			break;
		case TYPE_VALUE:
			switch (parent_type) {
			case TYPE_KEY:
				putchar('"');
				break;
			default:
				if (pre_element_is_start_tag)
					printf("\n");
				else
					printf(",\n");
				indent();
				printf("\"content\":\"");
				break;
			}
			break;
		default:
			break;
		}
		break;
	}


	++depth;
	pre_element = element;
	pre_type = type;
	pre_element_is_start_tag = 1;
	stack_push(element);
}

void XMLCALL
end(void *d, const XML_Char * name)
{
	--depth;

	ELEMENT_TYPE type = name_2_element_type(name);
	ELEMENT element = name_2_element(name);

	switch (element) {
	case ELEMENT_DOCUMENT:
		printf("\n}\n");
		break;
	default:
		switch (type) {
		case TYPE_STRUCTURE:
			printf("\n");
			indent();
			printf("}");
			break;
		case TYPE_KEY:
			break;
		case TYPE_VALUE:
			putchar('"');
			break;
		default:
			break;
		}
		break;
	}


	pre_element = element;
	pre_type = type;
	pre_element_is_start_tag = 0;
	stack_pop();
}

void
chardata(void *data, const XML_Char *cdata, int len)
{
	char *p;

	switch (stack_top()) {
	case ELEMENT_P:
		p = (char *)cdata;
		for (int i = 0; i < len; i++)
			if ('\n' != *p)
				putchar(*p++);
		break;
	default:
		break;
	}
}

static void
indent()
{
	for (int i = 0; i < depth; i++)
		printf("\t");
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

#include "xml2json.h"

static void indent(void);

static int depth = 0;

static ELEMENT pre_element;

static ELEMENT_TYPE pre_type;

static int pre_element_is_start_tag;

void XMLCALL

begin(void *d, const XML_Char *name, const XML_Char **attr)

{

ELEMENT element = name_2_element(name);

ELEMENT_TYPE type = name_2_element_type(name);

ELEMENT parent = stack_top();

ELEMENT_TYPE parent_type = element_2_element_type(parent);

switch (element) {

case ELEMENT_DOCUMENT:

printf("{");

break;

default:

switch (type) {

case TYPE_STRUCTURE:

switch (element) {

case ELEMENT_DOCUMENT:

printf("{ ");

break;

default:

if (pre_element_is_start_tag)

printf("\n");

else

printf(",\n");

break;

}

indent();

printf("\"%s\": {", name);

break;

case TYPE_KEY:

switch (pre_type) {

case TYPE_KEY:

printf(",");

break;

default:

break;

}

printf("\n");

indent();

printf("\"%s\":", name);

break;

case TYPE_VALUE:

switch (parent_type) {

case TYPE_KEY:

putchar('"');

break;

default:

if (pre_element_is_start_tag)

printf("\n");

else

printf(",\n");

indent();

printf("\"content\":\"");

break;

}

break;

default:

break;

}

break;

}

++depth;

pre_element = element;

pre_type = type;

pre_element_is_start_tag = 1;

stack_push(element);

}

void XMLCALL

end(void *d, const XML_Char * name)

{

--depth;

ELEMENT_TYPE type = name_2_element_type(name);

ELEMENT element = name_2_element(name);

switch (element) {

case ELEMENT_DOCUMENT:

printf("\n}\n");

break;

default:

switch (type) {

case TYPE_STRUCTURE:

printf("\n");

indent();

printf("}");

break;

case TYPE_KEY:

break;

case TYPE_VALUE:

putchar('"');

break;

default:

break;

}

break;

}

pre_element = element;

pre_type = type;

pre_element_is_start_tag = 0;

stack_pop();

}

void

chardata(void *data, const XML_Char *cdata, int len)

{

char *p;

switch (stack_top()) {

case ELEMENT_P:

p = (char *)cdata;

for (int i = 0; i < len; i++)

if ('\n' != *p)

putchar(*p++);

break;

default:

break;

}

static void

indent()

{

for (int i = 0; i < depth; i++)

printf("\t");

}

#include <stdio.h>
#include <string.h>
#include <expat.h>

typedef enum __element_type {
	TYPE_STRUCTURE,
	TYPE_KEY,
	TYPE_VALUE,
	TYPE_NOT_APPLICABLE
} ELEMENT_TYPE;

typedef enum __element {
	ELEMENT_DOCUMENT,
	ELEMENT_DOCGROUP,
	ELEMENT_DOCINFO,
	ELEMENT_TITLE,
	ELEMENT_AUTHOR,
	ELEMENT_FIRSTEDITION,
	ELEMENT_LASTMODIFIED,
	ELEMENT_P,
	ELEMENT_NOT_APPLICABLE
} ELEMENT;

typedef struct __element_info {
	ELEMENT_TYPE	element_type;
	ELEMENT		element;
	char*		name;
} ELEMENT_INFO;

void XMLCALL begin(void *, const XML_Char*, const XML_Char**);
void XMLCALL end(void *, const XML_Char *);
void XMLCALL chardata(void *, const XML_Char *, int);

ELEMENT_TYPE name_2_element_type(const XML_Char *);
ELEMENT_TYPE element_2_element_type(ELEMENT);
ELEMENT name_2_element(const XML_Char *);

void stack_push(ELEMENT);
void stack_pop(void);
ELEMENT stack_top(void);

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

#include <stdio.h>

#include <string.h>

#include <expat.h>

typedef enum __element_type {

TYPE_STRUCTURE,

TYPE_KEY,

TYPE_VALUE,

TYPE_NOT_APPLICABLE

} ELEMENT_TYPE;

typedef enum __element {

ELEMENT_DOCUMENT,

ELEMENT_DOCGROUP,

ELEMENT_DOCINFO,

ELEMENT_TITLE,

ELEMENT_AUTHOR,

ELEMENT_FIRSTEDITION,

ELEMENT_LASTMODIFIED,

ELEMENT_P,

ELEMENT_NOT_APPLICABLE

} ELEMENT;

typedef struct __element_info {

ELEMENT_TYPE element_type;

ELEMENT element;

char* name;

} ELEMENT_INFO;

void XMLCALL begin(void *, const XML_Char*, const XML_Char**);

void XMLCALL end(void *, const XML_Char *);

void XMLCALL chardata(void *, const XML_Char *, int);

ELEMENT_TYPE name_2_element_type(const XML_Char *);

ELEMENT_TYPE element_2_element_type(ELEMENT);

ELEMENT name_2_element(const XML_Char *);

void stack_push(ELEMENT);

void stack_pop(void);

ELEMENT stack_top(void);

CC=	cc
RM=	rm -f

EXPAT=	-lexpat
LIBDIR=	/usr/local/lib
INCLUDEDIR=	/usr/local/include
CFLAGS=	-I${INCLUDEDIR} -L${LIBDIR} ${EXPAT}

SRCS=	xml2json.c element.c process.c stack.c
OUT=	xml2json

OBJS=	${SRCS:C,.c$,.o,}

.c.o:
	${CC} -I${INCLUDEDIR} -c $<

build: ${OBJS}
	${CC} -o ${OUT} ${CFLAGS} ${OBJS}

clean:
	${RM} ${OUT} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

CC= cc

RM= rm -f

EXPAT= -lexpat

LIBDIR= /usr/local/lib

INCLUDEDIR= /usr/local/include

CFLAGS= -I${INCLUDEDIR} -L${LIBDIR} ${EXPAT}

SRCS= xml2json.c element.c process.c stack.c

OUT= xml2json

OBJS= ${SRCS:C,.c$,.o,}

.c.o:

${CC} -I${INCLUDEDIR} -c $<

build: ${OBJS}

${CC} -o ${OUT} ${CFLAGS} ${OBJS}

clean:

${RM} ${OUT} ${OBJS}

<?xml version="1.0" encoding="UTF-8"?>

<document>
 <docgroup>
  <docinfo>
   <title><p>タイトル</p></title>
   <author><p>名前</p></author>
   <firstedition><p>編集開始日</p></firstedition>
   <lastmodified><p>編集終了日</p></lastmodified>
  </docinfo>

  <docgroup>
   <docinfo>
    <title><p>章タイトル</p></title>
   </docinfo>

   <p>説明1</p>

   <p>説明2</p>
  </docgroup>
 </docgroup>
</document>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

<?xml version="1.0" encoding="UTF-8"?>

<firstedition><p>編集開始日</p></firstedition>

<lastmodified><p>編集終了日</p></lastmodified>

</docinfo>

<title><p>章タイトル</p></title>

</docinfo>

</docgroup>

</document>

香川大学SLPからお届け！（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：楠目幹

こんにちは。香川大学工学部学部4年生の楠目です。高校時代にPCがマルウェアに感染した経験がきっかけでセキュリティに興味を持ち、マルウェア対策やペネトレーションテストに関する分野の勉強を行っています。
昨年の8月「セキュリティ・キャンプ全国大会2017」に参加しました。そこでは「Linux向けマルウェア対策ソフトを作ろう」と言う講義に参加し、「surface indicator+αなELFマルウェアの分類」というテーマに、チームで取り組みました。このテーマの目標は、機械学習や複雑な解析を用いずにELFマルウェアの亜種を素早く検出することです。今回の記事では、私が講師やチューターの方、チームのメンバーと一緒に取り組んだ内容をご紹介します。

記事本文掲載のシェルスクリプトマガジンvol.54は以下リンク先でご購入できます。

#! /usr/bin/env python3
# VirusTotalのメタデータから特定のアンチウィルスソフトウェアで特定の検出名を持つものを出力
# Usage: ./z2kit_find_virustotal.py
import glob
import json
import sys
import z2kit.elf
import z2kit.features

AV_SOFTWARE = '指定したアンチウィルスソフトウェア'
EXPECTED_DETECTION = '対応する検体名'

def set_features(elffile):
    if not isinstance(elffile, z2kit.elf.ELFFile):
        raise ValueError('ELFFileクラスを与えなければなりません。')
    elffile.features = {}
    elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)
    elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)
    elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

with open('virustotal-ELF-VXShare.json') as f:
    virustotal_info = json.load(f)

for filename in glob.glob('z2/VirusShare_*'):
    try:
        elffile = z2kit.elf.ELFFile.read_from_file(filename)
        set_features(elffile)
        md5 = elffile.features['md5']
        if md5 not in virustotal_info:
            continue
        if AV_SOFTWARE not in virustotal_info[md5]['scans']:
            continue
        if not virustotal_info[md5]['scans'][AV_SOFTWARE]['detected']:
            continue
        if virustotal_info[md5]['scans'][AV_SOFTWARE]['result'] != EXPECTED_DETECTION:
            continue
        print(filename)
    except:
        raise

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

#! /usr/bin/env python3

# VirusTotalのメタデータから特定のアンチウィルスソフトウェアで特定の検出名を持つものを出力

# Usage: ./z2kit_find_virustotal.py

import glob

import json

import sys

import z2kit.elf

import z2kit.features

AV_SOFTWARE = '指定したアンチウィルスソフトウェア'

EXPECTED_DETECTION = '対応する検体名'

def set_features(elffile):

if not isinstance(elffile, z2kit.elf.ELFFile):

raise ValueError('ELFFileクラスを与えなければなりません。')

elffile.features = {}

elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)

elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)

elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

with open('virustotal-ELF-VXShare.json') as f:

virustotal_info = json.load(f)

for filename in glob.glob('z2/VirusShare_*'):

try:

elffile = z2kit.elf.ELFFile.read_from_file(filename)

set_features(elffile)

md5 = elffile.features['md5']

if md5 not in virustotal_info:

continue

if AV_SOFTWARE not in virustotal_info[md5]['scans']:

continue

if not virustotal_info[md5]['scans'][AV_SOFTWARE]['detected']:

continue

if virustotal_info[md5]['scans'][AV_SOFTWARE]['result'] != EXPECTED_DETECTION:

continue

print(filename)

except:

raise

#! /usr/bin/env python3
# ファイルリストを受け取ってlstrfuzzyデータを出力
# Usage: ./z2kit_extract_lstrfuzzy.py FILELIST
import sys
import z2kit.elf
import z2kit.features

def set_features(elffile):
    if not isinstance(elffile, z2kit.elf.ELFFile):
        raise ValueError('ELFファイルを与えなければなりません。')
    elffile.features = {}
    elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)
    elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)
    elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

with open(sys.argv[1], 'r') as f:
    for ln in f:
        filename = ln[:-1]
        try:
            elffile = z2kit.elf.ELFFile.read_from_file(filename)
            set_features(elffile)
            print(filename, elffile.features['lstrfuzzy'])
        except:
            pass

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

#! /usr/bin/env python3

# ファイルリストを受け取ってlstrfuzzyデータを出力

# Usage: ./z2kit_extract_lstrfuzzy.py FILELIST

import sys

import z2kit.elf

import z2kit.features

def set_features(elffile):

if not isinstance(elffile, z2kit.elf.ELFFile):

raise ValueError('ELFファイルを与えなければなりません。')

elffile.features = {}

elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)

elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)

elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

with open(sys.argv[1], 'r') as f:

for ln in f:

filename = ln[:-1]

try:

elffile = z2kit.elf.ELFFile.read_from_file(filename)

set_features(elffile)

print(filename, elffile.features['lstrfuzzy'])

except:

pass

#! /usr/bin/env python3
# z2kit_extract_lstrfuzzy.pyの結果をもとに検出器を作成する
# 検出器を使った結果とz2kit_find_virustotal.pyとの結果を比較する
# Usage: ./z2_find_match.py
import glob
import json
import sys
import z2kit.elf
import z2kit.features
import ssdeep

AV_SOFTWARE = '指定したアンチウィルスソフトウェア'
EXPECTED_DETECTION = '対応する検体名'

def set_features(elffile):
    if not isinstance(elffile, z2kit.elf.ELFFile):
        raise ValueError('ELFFile クラスを与えなければなりません。')
    elffile.features = {}
    elffile.features['md5']       = z2kit.features.MD5Feature().get_feature(elffile)
    elffile.features['ssdeep']    = z2kit.features.SsdeepFeature().get_feature(elffile)
    elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

def is_malware_to_focus(elffile):
    return \
        ssdeep.compare(elffile.features['lstrfuzzy'], '選出したハッシュ値') >= 50 or \
        ssdeep.compare(elffile.features['lstrfuzzy'], '選出したハッシュ値') >= 50 or \
        ssdeep.compare(elffile.features['lstrfuzzy'], '選出したハッシュ値') >= 50

for filename in glob.glob('z2/VirusShare_*'):
    try:
        elffile = z2kit.elf.ELFFile.read_from_file(filename)
        set_features(elffile)
        if is_malware_to_focus(elffile):
            print(filename)
    except:
        pass

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

#! /usr/bin/env python3

# z2kit_extract_lstrfuzzy.pyの結果をもとに検出器を作成する

# 検出器を使った結果とz2kit_find_virustotal.pyとの結果を比較する

# Usage: ./z2_find_match.py

import glob

import json

import sys

import z2kit.elf

import z2kit.features

import ssdeep

AV_SOFTWARE = '指定したアンチウィルスソフトウェア'

EXPECTED_DETECTION = '対応する検体名'

def set_features(elffile):

if not isinstance(elffile, z2kit.elf.ELFFile):

raise ValueError('ELFFile クラスを与えなければなりません。')

elffile.features = {}

elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)

elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)

elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

def is_malware_to_focus(elffile):

return \

ssdeep.compare(elffile.features['lstrfuzzy'], '選出したハッシュ値') >= 50 or \

ssdeep.compare(elffile.features['lstrfuzzy'], '選出したハッシュ値') >= 50

for filename in glob.glob('z2/VirusShare_*'):

try:

elffile = z2kit.elf.ELFFile.read_from_file(filename)

set_features(elffile)

if is_malware_to_focus(elffile):

print(filename)

except:

pass

#! /usr/bin/env python3
# stringsコマンドの結果を特徴量とする
# Usage: ./z2kit_find_strings_by_virustotal.py | ./histogram_to_graph.py /dev/stdin > TEXT
import glob
import json
import sys
import z2kit.elf
import z2kit.features

AV_SOFTWARE = '指定したアンチウィルスソフトウェア'
EXPECTED_DETECTION = '対応する検体名'

def set_features(elffile):
    if not isinstance(elffile, z2kit.elf.ELFFile):
        raise ValueError('ELFFile クラスを与えなければなりません。')
    elffile.features = {}
    elffile.features['md5']       = z2kit.features.MD5Feature().get_feature(elffile)
    #elffile.features['ssdeep']    = z2kit.features.SsdeepFeature().get_feature(elffile)
    #elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)
    elffile.features['strings']   = z2kit.features.StringsFeature().get_feature(elffile)

with open('virustotal-ELF-VXShare.json') as f:
    virustotal_info = json.load(f)

HISTOGRAM = {}
for filename in glob.glob('z2/VirusShare_*'):
    try:
        elffile = z2kit.elf.ELFFile.read_from_file(filename)
        set_features(elffile)
        md5 = elffile.features['md5']
        if md5 not in virustotal_info:
            continue
        if AV_SOFTWARE not in virustotal_info[md5]['scans']:
            continue
        if not virustotal_info[md5]['scans'][AV_SOFTWARE]['detected']:
            continue
        if virustotal_info[md5]['scans'][AV_SOFTWARE]['result'] != EXPECTED_DETECTION:
            continue
        strings = elffile.features['strings']
        for s in strings.keys():
            if s not in HISTOGRAM:
                HISTOGRAM[s] = 0
            HISTOGRAM[s] += strings[s]
    except:
        pass

json.dump(HISTOGRAM, sys.stdout)
#! /usr/bin/env python3
# JSONファイルをもとにヒストグラムを作成
# Usage: ./histogram_to_graph.py JSON_FILE
import json
import sys

WIDTH = 40
FILLER = '#'
with open(sys.argv[1], 'r', encoding='utf-8') as f:
    obj = json.load(f)
m = 0
for v in obj.values():
    m = max(v, m)
FORMAT = '{}{} {:' + str(len(str(m))) + 'd} {}'
for i, v in sorted(obj.items(), key=lambda x:-x[1]):
    g = int((WIDTH - 1) * 1.0 * v / m)
    g = FILLER * g + ' ' * (WIDTH - 1 - g)
    print(FORMAT.format(FILLER, g, v, i))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

#! /usr/bin/env python3

# stringsコマンドの結果を特徴量とする

# Usage: ./z2kit_find_strings_by_virustotal.py | ./histogram_to_graph.py /dev/stdin > TEXT

import glob

import json

import sys

import z2kit.elf

import z2kit.features

AV_SOFTWARE = '指定したアンチウィルスソフトウェア'

EXPECTED_DETECTION = '対応する検体名'

def set_features(elffile):

if not isinstance(elffile, z2kit.elf.ELFFile):

raise ValueError('ELFFile クラスを与えなければなりません。')

elffile.features = {}

elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)

#elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)

#elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

elffile.features['strings'] = z2kit.features.StringsFeature().get_feature(elffile)

with open('virustotal-ELF-VXShare.json') as f:

virustotal_info = json.load(f)

HISTOGRAM = {}

for filename in glob.glob('z2/VirusShare_*'):

try:

elffile = z2kit.elf.ELFFile.read_from_file(filename)

set_features(elffile)

md5 = elffile.features['md5']

if md5 not in virustotal_info:

continue

if AV_SOFTWARE not in virustotal_info[md5]['scans']:

continue

if not virustotal_info[md5]['scans'][AV_SOFTWARE]['detected']:

continue

if virustotal_info[md5]['scans'][AV_SOFTWARE]['result'] != EXPECTED_DETECTION:

continue

strings = elffile.features['strings']

for s in strings.keys():

if s not in HISTOGRAM:

HISTOGRAM[s] = 0

HISTOGRAM[s] += strings[s]

except:

pass

json.dump(HISTOGRAM, sys.stdout)

#! /usr/bin/env python3

# JSONファイルをもとにヒストグラムを作成

# Usage: ./histogram_to_graph.py JSON_FILE

import json

import sys

WIDTH = 40

FILLER = '#'

with open(sys.argv[1], 'r', encoding='utf-8') as f:

obj = json.load(f)

m = 0

for v in obj.values():

m = max(v, m)

FORMAT = '{}{} {:' + str(len(str(m))) + 'd} {}'

for i, v in sorted(obj.items(), key=lambda x:-x[1]):

g = int((WIDTH - 1) * 1.0 * v / m)

g = FILLER * g + ' ' * (WIDTH - 1 - g)

print(FORMAT.format(FILLER, g, v, i))

#! /usr/bin/env python3
# stringsコマンドの特徴量をもとにz2kit_find_strings_by_virustotal.pyとの結果を比較
# Usage: ./z2kit_find_strings_match.py
import glob
import json
import sys
import z2kit.elf
import z2kit.features
import ssdeep

def set_features(elffile):
    if not isinstance(elffile, z2kit.elf.ELFFile):
        raise ValueError('ELFFile クラスを与えなければなりません。')
    elffile.features = {}
    #elffile.features['md5']       = z2kit.features.MD5Feature().get_feature(elffile)
    #elffile.features['ssdeep']    = z2kit.features.SsdeepFeature().get_feature(elffile)
    elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)
    elffile.features['strings']   = z2kit.features.StringsFeature().get_feature(elffile)

def is_strings_matching(elffile, substring):
    for k in elffile.features['strings'].keys():
        if substring in k:
            return True
    return False

def is_malware_to_focus(elffile):
    return is_strings_matching(elffile, '特徴量として選出した文字列')

for filename in glob.glob('z2/VirusShare_*'):
    try:
        elffile = z2kit.elf.ELFFile.read_from_file(filename)
        set_features(elffile)
        if is_malware_to_focus(elffile):
            print(filename)
    except:
        pass

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

#! /usr/bin/env python3

# stringsコマンドの特徴量をもとにz2kit_find_strings_by_virustotal.pyとの結果を比較

# Usage: ./z2kit_find_strings_match.py

import glob

import json

import sys

import z2kit.elf

import z2kit.features

import ssdeep

def set_features(elffile):

if not isinstance(elffile, z2kit.elf.ELFFile):

raise ValueError('ELFFile クラスを与えなければなりません。')

elffile.features = {}

#elffile.features['md5'] = z2kit.features.MD5Feature().get_feature(elffile)

#elffile.features['ssdeep'] = z2kit.features.SsdeepFeature().get_feature(elffile)

elffile.features['lstrfuzzy'] = z2kit.features.LstrfuzzyFeature().get_feature(elffile)

elffile.features['strings'] = z2kit.features.StringsFeature().get_feature(elffile)

def is_strings_matching(elffile, substring):

for k in elffile.features['strings'].keys():

if substring in k:

return True

return False

def is_malware_to_focus(elffile):

return is_strings_matching(elffile, '特徴量として選出した文字列')

for filename in glob.glob('z2/VirusShare_*'):

try:

elffile = z2kit.elf.ELFFile.read_from_file(filename)

set_features(elffile)

if is_malware_to_focus(elffile):

print(filename)

except:

pass

特集1　Node.js/Express入門（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：しょっさん

インターネットを介する各種サービス、ゲーム、そしてコミュニケーションツールなどの多くが「Webアプリ」として提供されています。このようにWebアプリが普及したのは、プログラミング言語「JavaScript」のおかげです。JavaScriptはフロントエンド開発が中心でしたが、サーバーサイドの実行環境「Node.js」の登場によりバンクエンドのアプリ開発にも使われています。本特集ではNode.js、フレームワークとなる「Express」について、実践しながら分かりやすく紹介します。
記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

const http = require('http');

http.createServer(function (req, res) {
  res.writeHead(200, { 'Content-Type': 'text/plain' });
  res.end('Hello World!');

}).listen(5000);

1

2

3

4

5

6

7

const http = require('http');

http.createServer(function (req, res) {

res.writeHead(200, { 'Content-Type': 'text/plain' });

res.end('Hello World!');

}).listen(5000);

const http = require('http');
const url = require('url');

const port = 5000;
const server = http.createServer();

server.on('request', function (req, res) {
  const uri = url.parse(req.url, true).pathname;
  const query = url.parse(req.url, true).query;
  let status = 200;
  let message = '';
  // URIごとに表示するメッセージを変える
  switch (uri) {
    case '/':
      message = 'Hello World!';
      break;
    case '/about':
      message = 'About page';
      break;
    case '/query':
      message = 'query: ' + query.name;
      break;
    default:
      status = 404;
      message = 'Page not found.';
  }
  // http ステータスコードや、実際のメッセージ表示はここ
  res.writeHead(status, { 'Content-Type': 'text/plain' });
  res.write(message);
  res.end();
});

server.listen(port);

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

const http = require('http');

const url = require('url');

const port = 5000;

const server = http.createServer();

server.on('request', function (req, res) {

const uri = url.parse(req.url, true).pathname;

const query = url.parse(req.url, true).query;

let status = 200;

let message = '';

// URIごとに表示するメッセージを変える

switch (uri) {

case '/':

message = 'Hello World!';

break;

case '/about':

message = 'About page';

break;

case '/query':

message = 'query: ' + query.name;

break;

default:

status = 404;

message = 'Page not found.';

}

// http ステータスコードや、実際のメッセージ表示はここ

res.writeHead(status, { 'Content-Type': 'text/plain' });

res.write(message);

res.end();

});

server.listen(port);

// Express の利用宣言
const express = require('express');

const app = express();
const port = 5000;

// URIごとの表示メッセージを定義
app.get('/', (req, res) => res.send('Hello World!'));
app.get('/about', (req, res) => res.send('About Page'));
app.get('/query', (req, res) => res.send('query: ' + req.query.name));

// 指定したポートでサーバーへの受付を開始
app.listen(port);

1

2

3

4

5

6

7

8

9

10

11

12

13

// Express の利用宣言

const express = require('express');

const app = express();

const port = 5000;

// URIごとの表示メッセージを定義

app.get('/', (req, res) => res.send('Hello World!'));

app.get('/about', (req, res) => res.send('About Page'));

app.get('/query', (req, res) => res.send('query: ' + req.query.name));

// 指定したポートでサーバーへの受付を開始

app.listen(port);

// Expressの利用宣言
const express = require('express');

const app = express();

// URIごとの表示メッセージを定義
app.get('/', (req, res) => res.send('Hello World!'));
app.get('/about', (req, res) => res.send('About Page'));
app.get('/query', (req, res) => res.send('query: ' + req.query.name));

// 404 not found
1app.use((req, res) => res.status(404).send("Page not found"));

// 指定したポートでサーバーへの受付を開始
app.listen(process.env.PORT); // 環境変数 PORTを見るように変更

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

// Expressの利用宣言

const express = require('express');

const app = express();

// URIごとの表示メッセージを定義

app.get('/', (req, res) => res.send('Hello World!'));

app.get('/about', (req, res) => res.send('About Page'));

app.get('/query', (req, res) => res.send('query: ' + req.query.name));

// 404 not found

1app.use((req, res) => res.status(404).send("Page not found"));

// 指定したポートでサーバーへの受付を開始

app.listen(process.env.PORT); // 環境変数 PORTを見るように変更

Vol.54

投稿日：2018.05.25　｜　カテゴリー：　バックナンバー

2018年に学ぶべきプログラミング言語として注目の「JavaScript」。特集1では、Webサーバーのバックエンドで動作するJavaScript実行環境「Node.js」と、Node.js向けフレームワークの「Express」を、導入方法も含めて分かりやすく紹介します。ITインフラやIoT（モノのインターネット）の技術者は必見です。
特集2では、すぐに使えるシェルスクリプト/ワンライナー集を紹介します。それぞれのシェルスクリプトやワンライナーで記述しているコードを詳しく解説しています。そのまま使ったり、自分なりにカスタマイズしたりと、自由に活用してください。
特集3では、仮想化技術の一つであるコンテナーの運用管理や運用自動化で定番になりつつある「Kubernetes」（クーバネイティス）を解説します。米Google社のクラウドサービス「Google Cloud Platform」を利用して、Kubernetesの実践的な使い方も紹介します。
特別企画では、一般販売も開始したスマートスピーカー「Amazon Echo」をカスタマイズするための「Alexaカスタムスキル」開発を紹介します。自分だけのAmazon Echoを手に入れましょう。
このほか、好評連載の「ラズパイ入門ボードで学ぶ電子回路の制御」では光センサーを扱います。シェルスクリプトマガジン特製の「ラズパイ入門ボード」を活用してください。

今月も読み応え十分のシェルスクリプトマガジン Vol.54。お見逃しなく!

※記事掲載のコードはこちら
※読者アンケートはこちら

シェルスクリプトマガジンvol.54 Web掲載記事まとめ

投稿日：2018.05.25　｜　カテゴリー：　記事

シェルスクリプトマガジンvol.54のWeb掲載部分まとめです。

プレゼント＆アンケートページはこちら！

シェルスクリプトマガジンvol.54は以下リンク先でご購入できます。

04 　レポート　Ubuntu最新版18.04 LTSが登場　FoundationDBのオープンソース化

06 　NEWS FLASH

08 　特集1 Node.js/Express入門/しょっさん　コード掲載

29 　縁の木、育てよう/白羽玲子

30 　特集2 シェルスクリプトスニペット集/今泉光之　コード掲載

41 　姐のNOGYO

42 　特集3 Kubernetesを知る/福田潔　コード掲載

52 　特別企画 Alexaカスタムスキル開発入門/岡本秀高　コード掲載

60 　ラズパイ入門ボードで学ぶ電子回路の制御/米田聡　コード掲載

64 　スズラボ通信/すずきひろのぶ

72 　アジャイル開発 Let’s Practice!/熊野憲辰

76 　円滑コミュニケーションが世界を救う! /濱口誠一

78 　中小企業手作りIT化奮戦記/菅雄一

84 　RESEARCHES FOR FUTURE/伊藤貴之

86 　香川大学SLPからお届け! /楠目幹　コード掲載

92 　法林浩之のFIGHTING TALKS/法林浩之

94 　それプロのエバンジェリストから愛をこめて/山本美穂

98 　人間とコンピュータの可能性/大岩元

100 　バーティカルバーの極意/飯尾淳　コード掲載

106 　雲/桑原滝弥・イケヤシロウ

108 　漢のUNIX/後藤大地　コード掲載

116 　ユニケージ新コードレビュー/大内智明　コード掲載

120 　Techパズル/gori.sh

122 　コラム「人間がボトルネックになる時代」/シェル魔人

バーティカルバーの極意第六回（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：飯尾淳

前回は、政府統計の総合窓口「e-Stat1」から入手できるデータをダウンロードして、八王子市の町・丁目を示す境界データを地図上に可視化する準備をしました。今回は、実際に地図データを活用できるように、データをきれいに整理する作業を実施します。データをきれいにする作業、それを「クレンジング」と呼びます。
記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

#!/usr/bin/env python

from math import sqrt

# 近傍にあるかどうかの判定
def near(a, b, e):
  (c_ax, c_ay, c_az) = a.split(",")
  (c_bx, c_by, c_bz) = b.split(",")
  dx = float(c_ax) - float(c_bx)
  dy = float(c_ay) - float(c_by)
  d = sqrt(dx*dx + dy*dy)
  return (d < e)

def splitBorderParts(c0, c1):
  # 境界面を形作る地点の集合を作成
  s0 = [a for a in c0 for b in c1 if near(a, b, 0.00001)]
  s1 = [b for b in c1 for a in c0 if near(a, b, 0.00001)]
  # 交差部分がないとき
  if len(s0) == 0: raise NameError("No intersections!")

  # 始点が境界面の端に来るように回す
  if c0[0] not in s0:                        # 始点が境界面の外にあるとき
    while c0[0] not in s0: c0.append(c0.pop(0))
  else:                                      # 始点が境界面の中にあるとき
    while c0[-1] in s0: c0.insert(0, c0.pop())
  if c1[0] not in s1:
    while c1[0] not in s1: c1.append(c1.pop(0))
  else:
    while c1[-1] in s1: c1.insert(0, c1.pop())

  # 境界面部分を取り出す（元データの境界面には'0,0,0'でマークしておく）
  i = 0; s0_ = []
  for c in c0:
    if c in s0: s0_.append(c0[i]); c0[i] = '0,0,0'
    i += 1
    i = 0; s1_ = []
  for c in c1:
    if c in s1: s1_.append(c1[i]); c1[i] = '0,0,0'
    i += 1
  return (c0,s0_,c1,s1_)

from bs4 import BeautifulSoup
import re
import sys

xml = open("./sample4.kml")
bsObj = BeautifulSoup(xml.read(), "lxml")
targets = bsObj.findAll("coordinates")

coords = []
for coord in targets:
  val = re.sub(" +", "", coord.get_text()).split("\n")
  while val.count(""): val.remove("")
  # 先頭と末尾が重複しているので，とりあえず先頭を削除
  val.pop(0)
  coords.append(val)

try:
  # 第1引数で与える配列の非境界面(c0), 境界面(s0),
  # 第2引数で与える配列の非境界面(c1), 境界面(s0) を求める
  (c0,s0,c1,s1) = splitBorderParts(coords[0], coords[1])
  # c0とc1から'0.0.0'を取り除く
  while c0[0] == '0,0,0': c0.pop(0)
  while c1[0] == '0,0,0': c1.pop(0)
  # c0,c1の頭にs0,s1の末尾（境界面の端点）を追加 
  c0.insert(0, s0[-1])
  c1.insert(0, s1[-1])

  # c0とc1を繋いで出力（最後に先頭を出力して閉領域完成）
  print (“<coordinates>”)
  for f in c0: print (“    ”, f)
  for f in c1: print (“    ”, f)
  print (“    ”, c0[0]) 
  print (“</coordinates>”)

except NameError:
  sys.exit()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

#!/usr/bin/env python

from math import sqrt

# 近傍にあるかどうかの判定

def near(a, b, e):

(c_ax, c_ay, c_az) = a.split(",")

(c_bx, c_by, c_bz) = b.split(",")

dx = float(c_ax) - float(c_bx)

dy = float(c_ay) - float(c_by)

d = sqrt(dx*dx + dy*dy)

return (d < e)

def splitBorderParts(c0, c1):

# 境界面を形作る地点の集合を作成

s0 = [a for a in c0 for b in c1 if near(a, b, 0.00001)]

s1 = [b for b in c1 for a in c0 if near(a, b, 0.00001)]

# 交差部分がないとき

if len(s0) == 0: raise NameError("No intersections!")

# 始点が境界面の端に来るように回す

if c0[0] not in s0: # 始点が境界面の外にあるとき

while c0[0] not in s0: c0.append(c0.pop(0))

else: # 始点が境界面の中にあるとき

while c0[-1] in s0: c0.insert(0, c0.pop())

if c1[0] not in s1:

while c1[0] not in s1: c1.append(c1.pop(0))

else:

while c1[-1] in s1: c1.insert(0, c1.pop())

# 境界面部分を取り出す（元データの境界面には'0,0,0'でマークしておく）

i = 0; s0_ = []

for c in c0:

if c in s0: s0_.append(c0[i]); c0[i] = '0,0,0'

i += 1

i = 0; s1_ = []

for c in c1:

if c in s1: s1_.append(c1[i]); c1[i] = '0,0,0'

i += 1

return (c0,s0_,c1,s1_)

from bs4 import BeautifulSoup

import re

import sys

xml = open("./sample4.kml")

bsObj = BeautifulSoup(xml.read(), "lxml")

targets = bsObj.findAll("coordinates")

coords = []

for coord in targets:

val = re.sub(" +", "", coord.get_text()).split("\n")

while val.count(""): val.remove("")

# 先頭と末尾が重複しているので，とりあえず先頭を削除

val.pop(0)

coords.append(val)

try:

# 第1引数で与える配列の非境界面(c0), 境界面(s0),

# 第2引数で与える配列の非境界面(c1), 境界面(s0) を求める

(c0,s0,c1,s1) = splitBorderParts(coords[0], coords[1])

# c0とc1から'0.0.0'を取り除く

while c0[0] == '0,0,0': c0.pop(0)

while c1[0] == '0,0,0': c1.pop(0)

# c0,c1の頭にs0,s1の末尾（境界面の端点）を追加

c0.insert(0, s0[-1])

c1.insert(0, s1[-1])

# c0とc1を繋いで出力（最後に先頭を出力して閉領域完成）

print (“<coordinates>”)

for f in c0: print (“ ”, f)

for f in c1: print (“ ”, f)

print (“ ”, c0[0])

print (“</coordinates>”)

except NameError:

sys.exit()

特集3　Kubernetesを知る（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：福田潔

コンテナー型の仮想化環境を提供するソフトウエア「Docker」の普及により、その運用管理が重要になってきています。Kubernetesは、最も注目されているコンテナー運用管理/運用自動化ツールです。本特集では使い方も含めて、Kubernetesについて分かりやすく紹介します。
記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: basic-ingress
spec:
  backend:
    serviceName: web
    servicePort: 8080

1

2

3

4

5

6

7

8

apiVersion: extensions/v1beta1

kind: Ingress

metadata:

spec:

backend:

serviceName: web

servicePort: 8080

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: basic-ingress
spec:
  rules:
  - http:
    paths:
    - path: /*
      backend:
        serviceName: hello-server
        servicePort: 8080
    - path: /v2/*
      backend:
        serviceName: hello-server2
        servicePort: 8080

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

apiVersion: extensions/v1beta1

kind: Ingress

metadata:

spec:

rules:

- http:

paths:

- path: /*

backend:

serviceName: hello-server

servicePort: 8080

- path: /v2/*

backend:

serviceName: hello-server2

servicePort: 8080

特集2　日々の仕事をちょっと便利にする　シェルスクリプトスニペット集（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：今泉光之

日々の業務でよく使い回すちょっとしたコードの羅列を「スニペット」（断片）として用意しておくと便利です。本特集では、作業の自動化に便利であろういくつかのシェルスクリプトスニペットを紹介します。

記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

#!/bin/sh
# SSL証明書の有効期限をチェックして管理者に通知する
# 1日数回の実施 (10:00 / 13:00 / 16:00 / 18:00) を想定している
 
cert="${1}"
host=${2:-`hostname`}
check=/tmp/sslcheck-send
 
# リミット
soft=$((30 * 24 * 60 * 60))
hard=$((10 * 24 * 60 * 60))
 
# パラメーターチェック
if [ -z "{cert}" ]
then
    echo "Usage: $(basename ${0}) certfile [hostname]" 1>&2
    exit 1
fi
 
# 証明書から有効日を取得
limit=$(date -d "$(openssl x509 -noout -text -in {cert} | sed -n '/Not After/s/.* : ¥(.*¥).*/¥1/p')" '+%Y/%m/%d %H:%M:%S')
limit_s=$(date -d "${limit}" '+%s')
today=$(date -d "00:00:00" '+%Y/%m/%d %H:%M:%S')
today_s=$(date -d "${today}" '+%s')
 
current_s=$((${limit_s} - ${today_s}))
current=$((current_s / (24 * 60 * 60)))
 
if [ ${current_s} -lt 0 ]
then
    # 証明書期限切れ
    notice "ホスト ${host}の SSL証明書の期限が ${limit}で終了しています。大至急更新作業をして下さい。"
elif [ {current_s} -le ${hard} ]
then
    # 証明書期限まで残り 10 日以内
    notice "ホスト ${host}の SSL証明書の期限が ${limit}までです (残り {current}日 )。至急更新作業をして下さい。"
elif [ ${current_s} -le ${soft} ]
then
    # 証明書期限まで残り 30 日以内 (1日 1回通知 )
    update=$(date '+%m%d')
    if ! [ -f {check} -a "$(cat ${check})" -eq ${update} ]
    then
        notice "ホスト ${host}の SSL証明書の期限が ${limit}まです (残り {current}日 )。更新作業をして下さい。"
        echo ${update} > ${check}
    fi
fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

#!/bin/sh

# SSL証明書の有効期限をチェックして管理者に通知する

# 1日数回の実施 (10:00 / 13:00 / 16:00 / 18:00) を想定している

cert="${1}"

host=${2:-`hostname`}

check=/tmp/sslcheck-send

# リミット

soft=$((30 * 24 * 60 * 60))

hard=$((10 * 24 * 60 * 60))

# パラメーターチェック

if [ -z "{cert}" ]

then

echo "Usage: $(basename ${0}) certfile [hostname]" 1>&2

exit 1

fi

# 証明書から有効日を取得

limit=$(date -d "$(openssl x509 -noout -text -in {cert} | sed -n '/Not After/s/.* : ¥(.*¥).*/¥1/p')" '+%Y/%m/%d %H:%M:%S')

limit_s=$(date -d "${limit}" '+%s')

today=$(date -d "00:00:00" '+%Y/%m/%d %H:%M:%S')

today_s=$(date -d "${today}" '+%s')

current_s=$((${limit_s} - ${today_s}))

current=$((current_s / (24 * 60 * 60)))

if [ ${current_s} -lt 0 ]

then

# 証明書期限切れ

notice "ホスト ${host}の SSL証明書の期限が ${limit}で終了しています。大至急更新作業をして下さい。"

elif [ {current_s} -le ${hard} ]

then

# 証明書期限まで残り 10 日以内

notice "ホスト ${host}の SSL証明書の期限が ${limit}までです (残り {current}日 )。至急更新作業をして下さい。"

elif [ ${current_s} -le ${soft} ]

then

# 証明書期限まで残り 30 日以内 (1日 1回通知 )

update=$(date '+%m%d')

if ! [ -f {check} -a "$(cat ${check})" -eq ${update} ]

then

notice "ホスト ${host}の SSL証明書の期限が ${limit}まです (残り {current}日 )。更新作業をして下さい。"

echo ${update} > ${check}

fi

#!/bin/sh
target="https://hooks.slack.com/services/XXXXXXXXX/XXXXXXXXX/XXXXXXXXXXXXXXXXXXXXXXXX" 
icon="表示されるアイコン "
name="表示される名前"

exec > /dev/null 2>&1
 
notice()
{

    curl -X POST -H 'Content-type: application/json' --data '{"text": "'"${*}"'", "icon_emoji": "${icon}", "username": "${name}" }' ${target}

}

1

2

3

4

5

6

7

8

9

10

11

12

13

#!/bin/sh

target="https://hooks.slack.com/services/XXXXXXXXX/XXXXXXXXX/XXXXXXXXXXXXXXXXXXXXXXXX"

icon="表示されるアイコン "

name="表示される名前"

exec > /dev/null 2>&1

notice()

{

curl -X POST -H 'Content-type: application/json' --data '{"text": "'"${*}"'", "icon_emoji": "${icon}", "username": "${name}" }' ${target}

}

#!/bin/sh
tmpfile=${TMP:-/tmp}/rdf.$$
ssh="/usr/bin/ssh"
df="LANG=C df -hlP -t ext3 -t ext4"
 
servers="サーバー 1 サーバー 2 … サーバー n"

trap 'rm -rf ${tmpfile}; exit' 0 1 2 3 15
 
for i in ${servers}
do
    ${ssh} ${i} ${df} |
    tee ${tmpfile} |
    awk '{
        if(NR > 1)
            ret += $(NF-1) > '${1:-80}'
    }
    END{
        exit ret;
    }' || notice "${i} DISK Usage Warning!¥n $(cat ${tmpfile})"
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

#!/bin/sh

tmpfile=${TMP:-/tmp}/rdf.$$

ssh="/usr/bin/ssh"

df="LANG=C df -hlP -t ext3 -t ext4"

servers="サーバー 1 サーバー 2 … サーバー n"

trap 'rm -rf ${tmpfile}; exit' 0 1 2 3 15

for i in ${servers}

do

${ssh} ${i} ${df} |

tee ${tmpfile} |

awk '{

if(NR > 1)

ret += $(NF-1) > '${1:-80}'

}

END{

exit ret;

}' || notice "${i} DISK Usage Warning!¥n $(cat ${tmpfile})"

done

#!/bin/sh
usage()
{
 
    echo "Usage: $(basename $0) [-f][-l time] process" 1>&2
    exit 255
 
}
 
# パラメーターチェック
if opt=`getopt fl: $*`
then
    set -- ${opt}
    while [ -n "${1}" ]
    do
        case "${1}" in
            -f )
                cmd="sh";;
            -l )
                limit=$2
                shift;;
            -- )
                shift
                break;;
            -* )
                usage;;
        esac
        shift
    done
else
    usage;
fi
 
test $# -ne 1 && usage
 
ps ax |
awk -v "process=${1}" -v "limit=${limit:-100}" '
    {
        if($5 ~ process) {
            gsub(/:/, "", $4);
            if(($4 + 0) > (limit * 100))
                pid = pid " " $1
        }
    }
    END{
        if(pid)
            print "kill" pid
    }' |
{cmd:-cat}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

#!/bin/sh

usage()

{

echo "Usage: $(basename $0) [-f][-l time] process" 1>&2

exit 255

}

# パラメーターチェック

if opt=`getopt fl: $*`

then

set -- ${opt}

while [ -n "${1}" ]

do

case "${1}" in

-f )

cmd="sh";;

-l )

limit=$2

shift;;

-- )

shift

break;;

-* )

usage;;

esac

shift

done

else

usage;

fi

test $# -ne 1 && usage

ps ax |

awk -v "process=${1}" -v "limit=${limit:-100}" '

{

if($5 ~ process) {

gsub(/:/, "", $4);

if(($4 + 0) > (limit * 100))

pid = pid " " $1

}

END{

if(pid)

print "kill" pid

}' |

{cmd:-cat}

#!/bin/sh
source="${1}"
target="$(pwd)/${2}"
 
if true
then
    doit()
    {
 
        nkf -e ${1} > ${2}
 
    }
else
    doit()
    {
        local _wav
        wav=$(echo "${2}" | sed 's/m4a/wav/')
        faad -q "${1}" -o "${wav}"
        lame --quiet -h -b 192 "${wav}" "${2}"
        rm "${wav}"
    }
fi
 
cd ${source} || exit 1
 
find . | while read line
do
    if [ -d "${line}" ]
    then
        mkdir -p "${target}/${line}"
    else
        doit ${line} ${target}/${line}
    fi
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

#!/bin/sh

source="${1}"

target="$(pwd)/${2}"

if true

then

doit()

{

nkf -e ${1} > ${2}

}

else

doit()

{

local _wav

wav=$(echo "${2}" | sed 's/m4a/wav/')

faad -q "${1}" -o "${wav}"

lame --quiet -h -b 192 "${wav}" "${2}"

rm "${wav}"

}

fi

cd ${source} || exit 1

find . | while read line

do

if [ -d "${line}" ]

then

mkdir -p "${target}/${line}"

else

doit ${line} ${target}/${line}

fi

done

#!/bin/sh
# バックアップ対象はホスト名を大文字にした名前でマークする
# ホスト名が myhost.example.comの場合 "MYHOST"でマーク
# ディレクトリー /some/directoryをバックアップする場合 /some/directory.MYHOSTを touchする
# ファイル /some/fileをバックアップする場合 /some.file.MYHOSTをtouchする
# ファイルを /some/fileを編集するときにオリジナルを /some/file.MYHOST にコピーしておくと
# バックアップ対象になり、更に変更内容を diffなどで変更内容を容易に確認できる。
 
# max generation(s)
max=7
 
# files and directories
backupdir=/home/backup
targetdir=${backupdir}/$(date '+%Y%m%d')
latestdir=${backupdir}/latest
 
# backup target
base=$(hostname -s | tr [:lower:] [:upper:])
 
# prepare directories
test -d ${backupdir} && test $(ls -1 ${backupdir} | wc -l) -ge ${max} && rm -rf ${backupdir}/$(ls -1 ${backupdir} | head -1)
mkdir -p ${targetdir}
rm -rf ${latestdir}
ln -s ${targetdir} ${latestdir}
 
find / -name "*.${base}" |
sed "s!^/¥(.*¥)¥.${base}$!¥1!g" |
tar -C / -cvzf ${targetdir}/${base}.tgz -T -

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

#!/bin/sh

# バックアップ対象はホスト名を大文字にした名前でマークする

# ホスト名が myhost.example.comの場合 "MYHOST"でマーク

# ディレクトリー /some/directoryをバックアップする場合 /some/directory.MYHOSTを touchする

# ファイル /some/fileをバックアップする場合 /some.file.MYHOSTをtouchする

# ファイルを /some/fileを編集するときにオリジナルを /some/file.MYHOST にコピーしておくと

# バックアップ対象になり、更に変更内容を diffなどで変更内容を容易に確認できる。

# max generation(s)

max=7

# files and directories

backupdir=/home/backup

targetdir=${backupdir}/$(date '+%Y%m%d')

latestdir=${backupdir}/latest

# backup target

base=$(hostname -s | tr [:lower:] [:upper:])

# prepare directories

test -d ${backupdir} && test $(ls -1 ${backupdir} | wc -l) -ge ${max} && rm -rf ${backupdir}/$(ls -1 ${backupdir} | head -1)

mkdir -p ${targetdir}

rm -rf ${latestdir}

ln -s ${targetdir} ${latestdir}

find / -name "*.${base}" |

sed "s!^/¥(.*¥)¥.${base}$!¥1!g" |

tar -C / -cvzf ${targetdir}/${base}.tgz -T -

top bn1 | sed -n -e '1,/^$/p' -e '/apache/p'

1	top bn1 \| sed -n -e '1,/^$/p' -e '/apache/p'

ps axH | awk '/[a]pache/{ $4=""; print $0} ' | sort -k 1,1 -rn | uniq -c

1	ps axH \| awk '/[a]pache/{ $4=""; print $0} ' \| sort -k 1,1 -rn \| uniq -c

awk '{ if($7!="408"){sub(/?.*/, "", $7); u[$7]++} }END{ for(key in u) print u[key], key }' access.log | sort -nr

1	awk '{ if($7!="408"){sub(/?.*/, "", $7); u[$7]++} }END{ for(key in u) print u[key], key }' access.log \| sort -nr

awk '{ c[$1]++ }END{ for(key in c) print c[key], key }' access.log | sort -nr

1	awk '{ c[$1]++ }END{ for(key in c) print c[key], key }' access.log \| sort -nr

特別企画　Alexaカスタムスキル開発入門（vol.54掲載）

投稿日：2018.05.25　｜　カテゴリー：　コード

著者：岡本秀高

2018 年3 月30 日、スマートスピーカー「Amazon Echo」の一般販売が開始されました。そのバックエンドに使用されるAIアシスタント「Amazon Alexa」を活用することで、自分のオリジナルアプリ（スキル）を簡単に作成できます。本企画で、シンプルなスキルを作りながら、スキルの開発方法を学んでいきましょう。
記事本文掲載のシェルスクリプトマガジンvol.54は以下のリンク先でご購入できます。

'use strict';
// alexa-sdkを取得
const Alexa = require('alexa-sdk');
// AlexaのスキルIDを指定（省略可）
const APP_ID = '';

// リクエスト内容から、nameスロットの値を取り出す処理
const getName = (event) => {
  if (!event.request.intent) return '';
  if (!event.request.intent.slots.name.value) return '';
  return `${event.request.intent.slots.name.value} さん`;
}

// インテントごとのレスポンスをオブジェクト形式で定義
// キーがインテント名となる
const handlers = {
  'LaunchRequest': function () {
    // LaunchRequestでは、HelloIntentを同じ内容を話すように設定
    this.emit('HelloIntent');
  },
  'HelloIntent': function () {
    const name = getName(this.event);
    // ユーザーからの返答が必要ない場合は「:tell」を使う
    // 第2引数にAlexaにしゃべらせたい内容を記述
    this.emit(':tell', 'アレクサスキルへようこそ。' + name);
  },
  'Unhandled': function () {
    // Unhandledはユーザーの発話内容がどのインテントにも一致しなかった場合に呼び出される
    // ユーザーからの返答を求めたい場合は「:ask」を使う
    // 第2引数にAlexaにしゃべらせたい内容を記述
    // 第3引数にユーザーがしばらく返答しなかった場合に再度よびかける内容を記述
    this.emit(':ask', 'すみません。よく聞き取れませんでした。なにか試したいことはありますか？', 'なにか試したいことはありますか？');
  },
  'AMAZON.HelpIntent': function () {
    // AMAZON.XXXIntentはAmazonのビルトインインテント
    // ビルトインインテントの詳細：https://developer.amazon.com/ja/docs/custom-skills/implement-the-built-in-intents.html
    this.emit(':ask', 'これはアレクサのサンプルスキルです', 'なにか試したいことはありますか？');
  },
  'AMAZON.CancelIntent': function () {
    this.emit(':tell', 'ごきげんよう。');
  },
  'AMAZON.StopIntent': function () {
    this.emit(':tell', 'ごきげんよう。');
  },
};

// Alexaからのリクエストはeventに含まれる
exports.handler = function (event, context, callback) {
  // alexa-sdkをセットアップ
  const alexa = Alexa.handler(event, context, callback);
  // AlexaのスキルIDをここで定義
  alexa.appId = APP_ID;
  // 作成したレスポンスを登録
  alexa.registerHandlers(handlers);
  // execute()を実行することで、リクエストに対応したレスポンス返す
  alexa.execute();
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

'use strict';

// alexa-sdkを取得

const Alexa = require('alexa-sdk');

// AlexaのスキルIDを指定（省略可）

const APP_ID = '';

// リクエスト内容から、nameスロットの値を取り出す処理

const getName = (event) => {

if (!event.request.intent) return '';

if (!event.request.intent.slots.name.value) return '';

return `${event.request.intent.slots.name.value} さん`;

}

// インテントごとのレスポンスをオブジェクト形式で定義

// キーがインテント名となる

const handlers = {

'LaunchRequest': function () {

// LaunchRequestでは、HelloIntentを同じ内容を話すように設定

this.emit('HelloIntent');

},

'HelloIntent': function () {

const name = getName(this.event);

// ユーザーからの返答が必要ない場合は「:tell」を使う

// 第2引数にAlexaにしゃべらせたい内容を記述

this.emit(':tell', 'アレクサスキルへようこそ。' + name);

},

'Unhandled': function () {

// Unhandledはユーザーの発話内容がどのインテントにも一致しなかった場合に呼び出される

// ユーザーからの返答を求めたい場合は「:ask」を使う

// 第2引数にAlexaにしゃべらせたい内容を記述

// 第3引数にユーザーがしばらく返答しなかった場合に再度よびかける内容を記述

this.emit(':ask', 'すみません。よく聞き取れませんでした。なにか試したいことはありますか？', 'なにか試したいことはありますか？');

},

'AMAZON.HelpIntent': function () {

// AMAZON.XXXIntentはAmazonのビルトインインテント

// ビルトインインテントの詳細：https://developer.amazon.com/ja/docs/custom-skills/implement-the-built-in-intents.html

this.emit(':ask', 'これはアレクサのサンプルスキルです', 'なにか試したいことはありますか？');

},

'AMAZON.CancelIntent': function () {

this.emit(':tell', 'ごきげんよう。');

},

'AMAZON.StopIntent': function () {

this.emit(':tell', 'ごきげんよう。');

},

};

// Alexaからのリクエストはeventに含まれる

exports.handler = function (event, context, callback) {

// alexa-sdkをセットアップ

const alexa = Alexa.handler(event, context, callback);

// AlexaのスキルIDをここで定義

alexa.appId = APP_ID;

// 作成したレスポンスを登録

alexa.registerHandlers(handlers);

// execute()を実行することで、リクエストに対応したレスポンス返す

alexa.execute();

};

番外編1　長期サポート版のUbuntu Server 18.04 LTS

投稿日：2018.05.18　｜　カテゴリー：　記事

2018年4月26日に「Ubuntu 18.04 LTS」がリリースされました（図1）。今まで連載で紹介してきた「Ubuntu 16.04 LTS」に代わる長期サポート版（LTS）です。Ubuntu 18.04 LTSでは、カーネルを含む多くのソフトウエアが更新されました。

図1　Ubuntu 18.04 LTSのリリースノート（https://wiki.ubuntu.com/BionicBeaver/ReleaseNotes）

サーバー版の「Ubuntu Server 18.04 LTS」では、ネットワークユーティリティーとして「NetPlan」が採用され、ネットワーク設定は「systemd-networkd」というデーモンで管理されています。また、デフォルトのインストーラーが「Subiquity」となり、九つのステップで簡単にインストール可能になりました。

今回は、このUbuntu Server 18.04 LTSをSubiquityでインストールする方法と、ストレージを柔軟に管理する仕組み「LVM」（Logical Volume Manager）を設定したインストール方法を紹介します。Subiquityでは、インストールが簡単になった分、LVMが設定できません。

第5回　ストレージを柔軟に管理する（LVMの操作2）

投稿日：2018.05.11　｜　カテゴリー：　記事

前回は、Linuxなどのストレージを柔軟に管理する仕組み「LVM」（Logical Volume Manager）の利点として、論理ボリュームを拡張してファイルシステムの容量を増やす方法を紹介しました。今回は、残っている利点の一つとして論理ボリュームの縮小を解説します。
ルートファイルシステムなどに必要以上の容量を割り当ててしまっても、LVMならその容量を減らして減らした容量を別の用途に利用できます（図1）。

図1　論理ボリュームの縮小

第4回　ストレージを柔軟に管理する（LVMの操作1）

投稿日：2018.04.27　｜　カテゴリー：　記事

前回は、Linuxなどのストレージを柔軟に管理する仕組み「LVM」（Logical Volume Manager）の利点と、Ubuntu ServerのストレージをLVMで管理する方法を紹介しました。今回は、LVMの特長である、論理ボリュームを拡張してファイルシステムの容量を増やす方法を、Ubuntu Serverを使って実際に試しながら紹介します（図1）。

図1　論理ボリュームを拡張する

ルートファイルシステムを拡張する

物理ディスクを追加し、それを使ってUbuntu Serverのルートファイルシステムを拡張します。第3回「ストレージを柔軟に管理する（LVMの導入）」で解説した手順で、Ubuntu ServerのストレージをLVMに設定してインストールしておいてください。
いったんシャットダウンして電源を切り、ハードディスクなどの物理ディスクを増設します。増設したら、電源を投入してUbuntu Serverを起動します。ここでは、1Tバイトの新品ハードディスクを追加しました。

追加ディスクのデバイスファイル名を確認する

「parted」コマンドと「grep」コマンドで、追加したハードディスクのデバイスファイル名を調べます。「[sudo] taro のパスワード:」のように表示されたら、自分のパスワードを入力します。

$ sudo parted -l | grep /dev/sd
エラー: /dev/sdb: ディスクラベルが認識できません。
警告: /dev/sr0 を読み書き可能な状態にオープンできません(読み込み専用ファイルシステムです)。/dev/sr0
は読み込みのみ可能な状態でオープンされました。
ディスク /dev/sda: 107GB
ディスク /dev/sdb: 1074GB

1

2

3

4

5

6

$ sudo parted -l | grep /dev/sd

エラー: /dev/sdb: ディスクラベルが認識できません。

警告: /dev/sr0 を読み書き可能な状態にオープンできません(読み込み専用ファイルシステムです)。/dev/sr0

は読み込みのみ可能な状態でオープンされました。

ディスク /dev/sda: 107GB

ディスク /dev/sdb: 1074GB

基本的に、Ubuntu Serverをインストールしているストレージには「/dev/sda」のデバイスファイル名が割り当てられます。/dev/sda以外の「ディスク」から始まる行を確認します。容量から、追加したハードディスクのデバイスファイル名は「/dev/sdb」と分かります。

第3回　ストレージを柔軟に管理する（LVMの導入）

投稿日：2018.04.20　｜　カテゴリー：　記事

第1回から2回にわたって、パーティションの分割方法を紹介しました。いくつかのディレクトリーに別々のパーティションを割り当てると、他のディレクトリーから容量の圧迫などの影響を受けることがなくなります。
しかし、容量不足によるシステムやサーバーアプリの停止は免れても、容量不足に陥っているディレクトリーのサイズを簡単に増やせるわけではありません。新しいハードディスク（HDD）などを追加してより大きなサイズのパーティションを作成し、そのパーティションにディレクトリーの中身を丸ごとコピーした上で割り当てし直す作業が必要です。

柔軟なストレージ管理ができるLVM

Linuxには「LVM」（Logical Volume Manager）という仕組みがあります。LVMでは、HDDなどのストレージ内を物理的な区画（物理ボリューム）に分けて、それをいくつか束ねて論理的なストレージとなる「ボリュームグループ」を作成します（図1）。このボリュームグループから必要な容量だけを「論理ボリューム」に割り当てられます。この論理ボリュームは、パーティションと同様に扱えます。

図1　LVM（Logical Volume Manager）の構成

ボリュームグループや論理ボリュームの容量の増減は容易です。容量を増やしたいなら、ボリュームグループに物理ボリュームを追加し、追加したボリュームから必要な容量だけを論理ボリュームに割り当てます。逆に減らしたいなら、論理ボリュームからボリュームグループに容量を戻します。
また、LVMには「スナップショット」という便利な機能があります。ある時点のLVM上にあるデータの状態を瞬時に保存できます。バックアップ用途にも利用できるのでとても重宝します。
今回は、Ubuntu Server上でLVMを扱う方法を紹介します。

第2回　パーティションを分割する（Ubuntu Serverで実施）

投稿日：2018.04.13　｜　カテゴリー：　記事

前回、別々のパーティションに分けたいディレクトリーを示しました。「/boot」「/home」「/var」の3種類です。今回は、実際にUbuntu Serverのパーティションを分割し、それぞれのディレクトリーに割り当てます（図1）。

図1　パーティションを分割して個々のディレクトリーに割り当てる

分割は、Ubuntu Sertverのインストール時に実施するのが簡単です。そこで、Ubuntu Serverのインストールから始めましょう。以前の連載「UbuntuではじめるLinuxサーバー」の第1回で紹介した方法でインストールメディアを作成してください。そして、同じ連載の第2回で解説した手順でインストールを進めます。図2の画面になったら、「手動」を選んでパーティションを手作業で作成します。

図2　パーティションの作成方法を選択する画面

インストール対象のマシンに内蔵または接続されているストレージが自動認識されます。「iSCSIボリュームの設定」と「パーティションへの変更を元に戻す」の間に、そのストレージが表示されるのでそれを選択します（図3）。

図3　Ubuntu Serverをインストールするディスクを選択

ここでは何も書き込まれていないハードディスク（HDD）を利用しているので、最初にディスクの先頭にパーティション情報を保存するためのテーブルを作成します。図4の画面で「はい」を選びます。

図4　パーティションテーブルの作成

第1回　パーティションを分割する（ディレクトリー構成）

投稿日：2018.04.6　｜　カテゴリー：　記事

Linuxが使用するディスク容量が不足すると、リモートからアクセスできなかったり、サーバーが正しく稼働しなくなったりするなど、重大な問題が起こりかねません。サーバーを安定的に運用するには、何らかの対策が必要です。ディスク容量が足りなくなる前に増設することも一つの方法ですが、まずはLinuxの特徴を生かした対策を施しておきましょう。
Linuxでは、ディレクトリーごとに別々のパーティション（ディスク内の区画）を割り当てられます。パーティションを分けておけば、あるパーティションが容量不足になっても他のパーティションへの影響はありません。よって、システムやサーバーの稼働に重要なファイルを格納しているディレクトリーと、容量が肥大化しやすいディレクトリーを、あらかじめ別々のパーティションに分けておくことで、最悪の事態を回避できます（図1）。

図1　システムのパーティションを分けておく

はじめてのLinuxサーバー運用管理

投稿日：2018.04.6　｜　カテゴリー：　記事

正常に、安全にLinuxサーバーを稼働させるには、日々の運用管理が重要です。Linux（Ubuntu）サーバーの運用管理に役立つ内容を紹介します。

written by シェルスクリプトマガジン編集部

最終回　グループウエアサーバーを作る（Joruri Gwの導入）

投稿日：2018.03.30　｜　カテゴリー：　記事

約7カ月間、「UbuntuではじめるLinuxサーバー」を連載してきました。今回は、その最後としてグループウエアサーバーを構築します。無料で使えるグループウエアサーバーソフトはいくつか存在します。ただし、日本で使うなら国産のグループウエアサーバーソフトがお薦めです。そこで、徳島県のサンブリッジが開発するオープンソースの「Joruri Gw」を使用します（図1）。

図1　グループウエアサーバーソフト「Joruri Gw」の掲示板を表示

Joruri GWは、プログラミング言語「Ruby」とフレームワーク「Ruby on Rails」で開発されています。Webサーバーソフト「Apache HTTP Server」（以下、Apache）、データベース管理システム（DBMS）「MySQL」、分散型メモリーキャッシュシステム「Memcached」と組み合わせて動作します。対応OSはCentOSですが、Ubuntu Server（16.04 LTS）上でも動きます。

スズラボ通信　３７　オープンソース・デザインBeagleboard

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：すずきひろのぶ

今回はPocketBeagle を取り上げたいと思います。本連載だけではなくシェルスクリプトマガジンでもなんども取り上げているクレジットカードサイズのコンピュータRaspberry Pi は広く知られていますが、それ以外にもカードサイズの小さなコンピュータがあります。その中の1 つがBeagleBoard.orgFoundation が提供するBeagleBone ファミリです。
そのBeagleBone ファミリを、さらに小さくしたボードコンピュータがPocketBeagle です。

記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。

PokectBeagleのブートの様子
https://youtu.be/0dIX4gAv2ZI

ラズパイ入門ボードで学ぶ電子回路の制御（vol.53掲載）

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：米田聡

シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）のプログラミングが楽しめる拡張ボード「ラズパイ入門ボード」を制作しました。本連載では、ラズパイ入門
ボードを使った電子回路制御を取り上げていきます。第1回はOLEDに日本語文字を表示します。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。

#!/usr/bin/python3
# -*- coding: utf-8 -*-

import time
import Adafruit_GPIO.SPI as SPI
import Adafruit_SSD1306

from PIL import Image
from PIL import ImageDraw
from PIL import ImageFont

# OLEDのサイズ設定
OLED_WIDTH = 128
OLED_HEIGHT = 64

# OLEDとSPIバスの設定
RST = 24
DC = 23
SPI_PORT = 0
SPI_DEVICE = 0

# フォントの設定
DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'
FONT_SIZE = 14

# SPIオブジェクト
spi = SPI.SpiDev(SPI_PORT, SPI_DEVICE, max_speed_hz=8000000)

# 128×64ドットのOLEDオブジェクト
disp = Adafruit_SSD1306.SSD1306_128_64(rst=RST, dc=DC, spi=spi)

# OLEDオブジェクトのスタート
disp.begin()

# OLEDオブジェクトのバッファークリア
disp.clear()
# バッファの表示
disp.display()

# Imageオブジェクトの作成
image = Image.new('1', (OLED_WIDTH, OLED_HEIGHT) ,0)

# drawオブジェクトの取得
draw = ImageDraw.Draw(image)

# TryeTypeフォントオブジェクト
jpfont = ImageFont.truetype(DEFAULT_FONT, FONT_SIZE, encoding='unic')

# 文字をimageに描く
draw.text((0,0), 'こんにちは', font=jpfont, fill=1)
draw.text((0,16), 'Hello, World', font=jpfont, fill=1)
draw.text((0,32), 'シェルスクリプトマガジン', font=jpfont, fill=1)
draw.text((0,48), 'ラズパイ入門ボード', font=jpfont, fill=1)

# imageをOLEDバッファーに書き込む
disp.image(image)
# バッファーを表示
disp.display()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

#!/usr/bin/python3

# -*- coding: utf-8 -*-

import time

import Adafruit_GPIO.SPI as SPI

import Adafruit_SSD1306

from PIL import Image

from PIL import ImageDraw

from PIL import ImageFont

# OLEDのサイズ設定

OLED_WIDTH = 128

OLED_HEIGHT = 64

# OLEDとSPIバスの設定

RST = 24

DC = 23

SPI_PORT = 0

SPI_DEVICE = 0

# フォントの設定

DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'

FONT_SIZE = 14

# SPIオブジェクト

spi = SPI.SpiDev(SPI_PORT, SPI_DEVICE, max_speed_hz=8000000)

# 128×64ドットのOLEDオブジェクト

disp = Adafruit_SSD1306.SSD1306_128_64(rst=RST, dc=DC, spi=spi)

# OLEDオブジェクトのスタート

disp.begin()

# OLEDオブジェクトのバッファークリア

disp.clear()

# バッファの表示

disp.display()

# Imageオブジェクトの作成

image = Image.new('1', (OLED_WIDTH, OLED_HEIGHT) ,0)

# drawオブジェクトの取得

draw = ImageDraw.Draw(image)

# TryeTypeフォントオブジェクト

jpfont = ImageFont.truetype(DEFAULT_FONT, FONT_SIZE, encoding='unic')

# 文字をimageに描く

draw.text((0,0), 'こんにちは', font=jpfont, fill=1)

draw.text((0,16), 'Hello, World', font=jpfont, fill=1)

draw.text((0,32), 'シェルスクリプトマガジン', font=jpfont, fill=1)

draw.text((0,48), 'ラズパイ入門ボード', font=jpfont, fill=1)

# imageをOLEDバッファーに書き込む

disp.image(image)

# バッファーを表示

disp.display()

40歳から始める、オレとRubyプログラミング（vol.53掲載）

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：しょっさん

自動的にホストが登録される部分までのプログラムは、これまでずいぶんとリファクタリングを繰り返しながら作ってきました。今回は、残りのサーバによる定期監視部分です。以前、「TaskControl」クラスを作って、将来の実装に備えました。そのTaskControlクラスの改修と、それを制御するためのメインとなる部分を準備します。
従って、今回のプログラミング作業は次の3点です。
1. 全体を制御するメインルーチンの改修
2. 死活を監視するためのTaskControlクラスの完成
3. サーバ側に合わせたエージェント側の改修
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。

# coding: utf-8

# filename: lib/reins.rb

require "reins/version"
require "reins/dispatcher"
require "reins/auth_service"
require "reins/host_registry"
require "reins/task_control"
require "reins/config"

require "json"
require "socket"
require "ipaddr"
require 'thwait'

module Reins
  class << self
    # 指定されたポートでサーバを起動する
    # == パラメータ
    # port:: 割り当てるポート番号
    # == 返り値
    # Exception:: サーバが起動できなかった場合、例外を発生させ起動させない
    # TCPSocket:: 正常に起動した場合、Socket オブジェクトを返す
    def run_server(port)
      Reins.logger.info("Reins #{VERSION} を #{port} で起動します")
      TCPServer.new(port)
    rescue => e
      Reins.logger.error("Reins が起動できませんでした: #{e}")
      puts(e.to_s)
      exit
    end

    # 起動されているサーバを停止する
    # == パラメータ
    # server:: 起動中のサーバの Socket
    # == 返り値
    # 特になし
    def exit_server(server)
      Reins.logger.info("Reins #{VERSION} を終了します")
      Reins.regist_host.store
      server.close
      exit
    end

    # ブロックとして定義されたコードをスレッド化して実行する
    # == パラメータ
    # ブロック:: スレッドとして実行したいコード
    # == 返り値
    # Thread:: 生成されたスレッド
    def threaded
      Thread.new do
        loop do
          yield
        end
      end
    end

    # クライアントからの接続を待ち受ける
    # == パラメータ
    # TCPSocket:: Socket オブジェクト
    # == 返り値
    # Thread:: 生成されたスレッド
    def connect_client(server)
      Thread.start(server.accept) do |c|
        client = Reins::Clients.new(c)
        status = {}
        status["keycode"] = client.keycode
        status["result"]  = client.command == 'auth' ? client.run_auth : client.run_command
        c.puts JSON.pretty_generate(status)
        c.close
      end
    end

    # クライアントとの定義されたタスクを5秒間隔で実行するよう制御
    # == パラメータ
    # 特になし
    # == 返り値
    # 特になし
    def check_client
      threads = []
        Reins.regist_host.read_hosts.each do |host|
          threads << Thread.new do
            task = TaskControl.new(host)
            task.check_agent
          end
        end
      ThreadsWait.all_waits(*threads)
      sleep 5
    end
  end

  class Clients
    attr_reader :addr, :keycode, :command, :options

    def initialize(client)
      @message = JSON.parse(client.gets)
      Reins.logger.debug(@message)
      @addr    = IPAddr.new(client.peeraddr[3]).native.to_s
      @keycode = @message["keycode"]
      @command = @message["command"]
      @options = @message["options"]
    end

    # 認証処理を行う
    # == パラメータ
    # 特になし
    # == 返り値
    # key:: 認証が成功した場合は接続用の認証キーを返す
    # false:: 認証が失敗した時は "false" 文字列を返す
    def run_auth
      Reins.logger.debug("#{addr} : 認証を行います")
      if (key = Reins.auth_service.authenticate_key(keycode, addr))
        key
      else
        "false"
      end
    end

    # サーバで実行されるコマンドを受け渡す
    # == パラメータ
    # 特になし
    # == 返り値
    # false:: 実行できなければ "false" 文字列を返す
    # false以外:: 実行された結果を、改行を含む文字列で返す
    def run_command
      Reins::Dispatch.new(addr, keycode).command(command, options)
    end
  end

  def start
    server = run_server(Reins.port)
    clients_thread = threaded {connect_client(server)}
    tasks_thread   = threaded {check_client}
    tasks_thread.join
    clients_thread.join
  rescue Interrupt
    exit_server(server)
  end

  module_function :start
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

# coding: utf-8

# filename: lib/reins.rb

require "reins/version"

require "reins/dispatcher"

require "reins/auth_service"

require "reins/host_registry"

require "reins/task_control"

require "reins/config"

require "json"

require "socket"

require "ipaddr"

require 'thwait'

module Reins

class << self

# 指定されたポートでサーバを起動する

# == パラメータ

# port:: 割り当てるポート番号

# == 返り値

# Exception:: サーバが起動できなかった場合、例外を発生させ起動させない

# TCPSocket:: 正常に起動した場合、Socket オブジェクトを返す

def run_server(port)

Reins.logger.info("Reins #{VERSION} を #{port} で起動します")

TCPServer.new(port)

rescue => e

Reins.logger.error("Reins が起動できませんでした: #{e}")

puts(e.to_s)

exit

end

# 起動されているサーバを停止する

# == パラメータ

# server:: 起動中のサーバの Socket

# == 返り値

# 特になし

def exit_server(server)

Reins.logger.info("Reins #{VERSION} を終了します")

Reins.regist_host.store

server.close

exit

end

# ブロックとして定義されたコードをスレッド化して実行する

# == パラメータ

# ブロック:: スレッドとして実行したいコード

# == 返り値

# Thread:: 生成されたスレッド

def threaded

Thread.new do

loop do

yield

end

# クライアントからの接続を待ち受ける

# == パラメータ

# TCPSocket:: Socket オブジェクト

# == 返り値

# Thread:: 生成されたスレッド

def connect_client(server)

Thread.start(server.accept) do |c|

client = Reins::Clients.new(c)

status = {}

status["keycode"] = client.keycode

status["result"] = client.command == 'auth' ? client.run_auth : client.run_command

c.puts JSON.pretty_generate(status)

c.close

end

# クライアントとの定義されたタスクを5秒間隔で実行するよう制御

# == パラメータ

# 特になし

# == 返り値

# 特になし

def check_client

threads = []

Reins.regist_host.read_hosts.each do |host|

threads << Thread.new do

task = TaskControl.new(host)

task.check_agent

end

ThreadsWait.all_waits(*threads)

sleep 5

end

class Clients

attr_reader :addr, :keycode, :command, :options

def initialize(client)

@message = JSON.parse(client.gets)

Reins.logger.debug(@message)

@addr = IPAddr.new(client.peeraddr[3]).native.to_s

@keycode = @message["keycode"]

@command = @message["command"]

@options = @message["options"]

end

# 認証処理を行う

# == パラメータ

# 特になし

# == 返り値

# key:: 認証が成功した場合は接続用の認証キーを返す

# false:: 認証が失敗した時は "false" 文字列を返す

def run_auth

Reins.logger.debug("#{addr} : 認証を行います")

if (key = Reins.auth_service.authenticate_key(keycode, addr))

key

else

"false"

end

# サーバで実行されるコマンドを受け渡す

# == パラメータ

# 特になし

# == 返り値

# false:: 実行できなければ "false" 文字列を返す

# false以外:: 実行された結果を、改行を含む文字列で返す

def run_command

Reins::Dispatch.new(addr, keycode).command(command, options)

end

def start

server = run_server(Reins.port)

clients_thread = threaded {connect_client(server)}

tasks_thread = threaded {check_client}

tasks_thread.join

clients_thread.join

rescue Interrupt

exit_server(server)

end

module_function :start

end

# filename: task_control.rb
module Reins
  class TaskControl
    # クライアント定義
    # == パラメータ
    # hostname:: 接続先クライアントのホスト名、またはIPアドレス
    # port:: 接続先クライアントのTCPポート番号。通常は 24368
    # == 返り値
    # 特になし
    def initialize(hostname = '127.0.0.1', port = 24_368)
      @addr    = hostname
      @port    = port
      @keycode = Reins.regist_host.read_hostkeys[@addr]
    end

    # クライアントとの接続
    # == パラメータ
    # 特になし
    # == 返り値
    # TCPScoket:: TCPのソケット情報
    def connection
      TCPSocket.open(@addr, @port)
    rescue => e
      Reins.logger.error("#{e}: クライアントへの接続でエラーが発生しました")
      dead
    end

    # クライアントとの死活確認
    # == パラメータ
    # 特になし
    # == 返り値
    # true:: 生存確認
    # false:: クライアントが停止、またはネットワーク上に問題あり
    def viability(s)
      s.puts(JSON.generate("keycode" => @keycode.to_s, "command" => "watch"))
      raise unless s.gets.chomp == "OK"
      alive
    rescue => e
      Reins.logger.error("#{e}: クライアントへの接続でエラーが発生しました")
      dead
    end

    # ステータスコードを「alive」に変更
    # == パラメータ
    # 特になし
    # == 返り値
    # true:: ステータスの変更に成功
    # false:: ステータスの変更に失敗
    def alive
      Reins.regist_host.set_status(@addr, @keycode, "alive") if Reins.regist_host.get_status(@addr, @keycode) == "dead"
    end

    # ステータスコードを「dead」に変更
    # == パラメータ
    # 特になし
    # == 返り値
    # true:: ステータスの変更に成功
    # false:: ステータスの変更に失敗
    def dead
      Reins.regist_host.set_status(@addr, @keycode, "dead") if Reins.regist_host.get_status(@addr, @keycode) == "alive"
    end

    # クライアントエージェントとの応答確認
    # == パラメータ
    # 特になし
    # == 返り値
    # 特になし
    def check_agent
      Reins.logger.debug("#{@addr} 宛にチェックを行います...")
      viability(connection)
      close
    end

    # クライアントとの接続を切断
    # == パラメータ
    # 特になし
    # == 返り値
    # nil:: 正常に切断
    def disconnect
      @s.close
    end
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

# filename: task_control.rb

module Reins

class TaskControl

# クライアント定義

# == パラメータ

# hostname:: 接続先クライアントのホスト名、またはIPアドレス

# port:: 接続先クライアントのTCPポート番号。通常は 24368

# == 返り値

# 特になし

def initialize(hostname = '127.0.0.1', port = 24_368)

@addr = hostname

@port = port

@keycode = Reins.regist_host.read_hostkeys[@addr]

end

# クライアントとの接続

# == パラメータ

# 特になし

# == 返り値

# TCPScoket:: TCPのソケット情報

def connection

TCPSocket.open(@addr, @port)

rescue => e

Reins.logger.error("#{e}: クライアントへの接続でエラーが発生しました")

dead

end

# クライアントとの死活確認

# == パラメータ

# 特になし

# == 返り値

# true:: 生存確認

# false:: クライアントが停止、またはネットワーク上に問題あり

def viability(s)

s.puts(JSON.generate("keycode" => @keycode.to_s, "command" => "watch"))

raise unless s.gets.chomp == "OK"

alive

rescue => e

Reins.logger.error("#{e}: クライアントへの接続でエラーが発生しました")

dead

end

# ステータスコードを「alive」に変更

# == パラメータ

# 特になし

# == 返り値

# true:: ステータスの変更に成功

# false:: ステータスの変更に失敗

def alive

Reins.regist_host.set_status(@addr, @keycode, "alive") if Reins.regist_host.get_status(@addr, @keycode) == "dead"

end

# ステータスコードを「dead」に変更

# == パラメータ

# 特になし

# == 返り値

# true:: ステータスの変更に成功

# false:: ステータスの変更に失敗

def dead

Reins.regist_host.set_status(@addr, @keycode, "dead") if Reins.regist_host.get_status(@addr, @keycode) == "alive"

end

# クライアントエージェントとの応答確認

# == パラメータ

# 特になし

# == 返り値

# 特になし

def check_agent

Reins.logger.debug("#{@addr} 宛にチェックを行います...")

viability(connection)

close

end

# クライアントとの接続を切断

# == パラメータ

# 特になし

# == 返り値

# nil:: 正常に切断

def disconnect

@s.close

end

# filename: reins_agent.rb
require "reins_agent/config"
require "reins_agent/version"

require "json"
require "ipaddr"
require "socket"

module ReinsAgent
  class << self
    # サーバへ接続した後、指定したポート番号でサービスを開放する
    # == パラメータ
    # port:: エージェントが起動するためのポート番号
    # == 返り値
    # agent:: 起動されたサービスのソケット情報(@agent でも参照可)
    def run_agent(port)
      ReinsAgent.logger.info("Reins Agent #{VERSION} を #{port} で起動します")

      auth_command = JSON.generate("command" => "auth", "keycode" => ReinsAgent.client_key.to_s)
      throw unless (status = JSON.parse(ReinsAgent.exec(auth_command)))

      @cert_key = status["result"]
      ReinsAgent.logger.debug("認証キー : #{@cert_key} で認証が完了しました")

      @agent = TCPServer.new(ReinsAgent.client_port)
    rescue => e
      ReinsAgent.logger.fatal("Reins Agent が起動できませんでした: #{e}")
      exit
    end

    # サーバからのデータをパースする
    # == パラメータ
    # r:: リモートサーバのソケット情報
    # == 返り値
    # 特になし、ただし @message 連想配列へ、取得した情報を取得
    def define_value(r)
      @message = JSON.parse(r.gets)
      @message["IP address"] = IPAddr.new(r.peeraddr[3]).native.to_s
      ReinsAgent.logger.debug("addr = #{@message['IP address']}, keycode = #{@message['keycode']}, command = #{@message['command']}, options = #{@message['options']}")
    end

    # ブロックとして定義されたコードをスレッド化して実行する
    # == パラメータ
    # ブロック:: スレッドとして実行したいコード
    # == 返り値
    # Thread:: 生成されたスレッド
    def threaded
      Thread.new do
        loop do
          yield
        end
      end
    end

    # エージェントの終了処理
    # == パラメータ
    # 特になし
    # == 返り値
    # 常に終了
    def exit_agent
      ReinsAgent.logger.info("Reins Agent #{VERSION} を終了します")
      delete_command = JSON.generate("command" => "delete", "keycode" => @cert_key.to_s)
      ReinsAgent.exec(delete_command)
      @agent.close
      exit
    end

    # サーバへコマンドを送信し、その返り値を取得する
    # == パラメータ
    # command:: サーバへ送信するコマンド+オプションを指定
    # == 返り値
    # response:: サーバからの返り値(改行付き/複数行)
    def exec(command)
      ReinsAgent.logger.debug("コマンドを実行します : #{command}")
      s = TCPSocket.open(ReinsAgent.server_host, ReinsAgent.server_port)
      s.puts command
      response = s.read
      s.close if s
      response
    end

    # サーバからの接続用常駐エージェントを起動
    # == パラメータ
    # 特になし
    # == 返り値
    # 特になし
    def connect_agent
      Thread.start(@agent.accept) do |r|
        define_value(r)
        r.puts("OK")
        r.close
      end
    end
  end

  #
  def start
    run_agent(ReinsAgent.client_port)
    list_command = JSON.generate("command" => "list", "keycode" => @cert_key.to_s)
    puts ReinsAgent.exec(list_command)

    server_thread = threaded {connect_agent}
    server_thread.join
  rescue Interrupt
    exit_agent
  end

  module_function :start
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

# filename: reins_agent.rb

require "reins_agent/config"

require "reins_agent/version"

require "json"

require "ipaddr"

require "socket"

module ReinsAgent

class << self

# サーバへ接続した後、指定したポート番号でサービスを開放する

# == パラメータ

# port:: エージェントが起動するためのポート番号

# == 返り値

# agent:: 起動されたサービスのソケット情報(@agent でも参照可)

def run_agent(port)

ReinsAgent.logger.info("Reins Agent #{VERSION} を #{port} で起動します")

auth_command = JSON.generate("command" => "auth", "keycode" => ReinsAgent.client_key.to_s)

throw unless (status = JSON.parse(ReinsAgent.exec(auth_command)))

@cert_key = status["result"]

ReinsAgent.logger.debug("認証キー : #{@cert_key} で認証が完了しました")

@agent = TCPServer.new(ReinsAgent.client_port)

rescue => e

ReinsAgent.logger.fatal("Reins Agent が起動できませんでした: #{e}")

exit

end

# サーバからのデータをパースする

# == パラメータ

# r:: リモートサーバのソケット情報

# == 返り値

# 特になし、ただし @message 連想配列へ、取得した情報を取得

def define_value(r)

@message = JSON.parse(r.gets)

@message["IP address"] = IPAddr.new(r.peeraddr[3]).native.to_s

ReinsAgent.logger.debug("addr = #{@message['IP address']}, keycode = #{@message['keycode']}, command = #{@message['command']}, options = #{@message['options']}")

end

# ブロックとして定義されたコードをスレッド化して実行する

# == パラメータ

# ブロック:: スレッドとして実行したいコード

# == 返り値

# Thread:: 生成されたスレッド

def threaded

Thread.new do

loop do

yield

end

# エージェントの終了処理

# == パラメータ

# 特になし

# == 返り値

# 常に終了

def exit_agent

ReinsAgent.logger.info("Reins Agent #{VERSION} を終了します")

delete_command = JSON.generate("command" => "delete", "keycode" => @cert_key.to_s)

ReinsAgent.exec(delete_command)

@agent.close

exit

end

# サーバへコマンドを送信し、その返り値を取得する

# == パラメータ

# command:: サーバへ送信するコマンド+オプションを指定

# == 返り値

# response:: サーバからの返り値(改行付き/複数行)

def exec(command)

ReinsAgent.logger.debug("コマンドを実行します : #{command}")

s = TCPSocket.open(ReinsAgent.server_host, ReinsAgent.server_port)

s.puts command

response = s.read

s.close if s

response

end

# サーバからの接続用常駐エージェントを起動

# == パラメータ

# 特になし

# == 返り値

# 特になし

def connect_agent

Thread.start(@agent.accept) do |r|

define_value(r)

r.puts("OK")

r.close

end

#

def start

run_agent(ReinsAgent.client_port)

list_command = JSON.generate("command" => "list", "keycode" => @cert_key.to_s)

puts ReinsAgent.exec(list_command)

server_thread = threaded {connect_agent}

server_thread.join

rescue Interrupt

exit_agent

end

module_function :start

end

#!/usr/bin/env ruby

# ThreadsWait が使いたくて
require 'thwait'

# スレッドの実行前に、ひとまず "100" と定義しておく
a = 100
threads = []

puts "実行前-親スレッド = #{a}"

# 5つのスレッドを起動し、各々で、変数"a"の状態を変更してみる
5.times { |i|
    threads << Thread.new do
        a = i
        puts "子スレッド = #{a}"
    end
}

# 全てのスレッドの終了を待つ...
ThreadsWait.all_waits(*threads)

# さて、実行後、変数"a" はどうなったか？
puts "実行後-親スレッド = #{a}"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

#!/usr/bin/env ruby

# ThreadsWait が使いたくて

require 'thwait'

# スレッドの実行前に、ひとまず "100" と定義しておく

a = 100

threads = []

puts "実行前-親スレッド = #{a}"

# 5つのスレッドを起動し、各々で、変数"a"の状態を変更してみる

5.times { |i|

threads << Thread.new do

a = i

puts "子スレッド = #{a}"

end

}

# 全てのスレッドの終了を待つ...

ThreadsWait.all_waits(*threads)

# さて、実行後、変数"a" はどうなったか？

puts "実行後-親スレッド = #{a}"

#!/usr/bin/env ruby

# 実行前に親プロセスとなる、自分のプロセスIDを保管しておく
a = Process.pid
puts "実行前-親プロセス = #{a}"

# 子プロセスを5つ起動し、親プロセスから引き継いだ、変数"a"の内容を、子プロセスのプロセスIDで上書きしてみる
5.times do 
    fork do
        a = Process.pid
        puts "子プロセス = #{a}"
    end
end

# 5つの子プロセスの終了を待つ
5.times do
    Process.wait
end

# さて、実行後、変数"a" はどうなったか？
puts "実行後-親プロセス = #{a}"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

#!/usr/bin/env ruby

# 実行前に親プロセスとなる、自分のプロセスIDを保管しておく

a = Process.pid

puts "実行前-親プロセス = #{a}"

# 子プロセスを5つ起動し、親プロセスから引き継いだ、変数"a"の内容を、子プロセスのプロセスIDで上書きしてみる

5.times do

fork do

a = Process.pid

puts "子プロセス = #{a}"

end

# 5つの子プロセスの終了を待つ

5.times do

Process.wait

end

# さて、実行後、変数"a" はどうなったか？

puts "実行後-親プロセス = #{a}"

漢のUNIX　XMLをJSONに変換するコードを書いてみよう（Vol.53掲載）

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：後藤大地

今回は前回作ったサンプルコードをベースに、XMLデータをJSON（JavaScript Object Notation）形式に変換する例を紹介する。XMLデータをJSON形式に変換する、またはその逆を実施するのは需要の高い処理だ。今回紹介するのはサンプルレベルのコードだが、それなりに実用的なコードが書けることをわかってもらえるだろう。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。

#include <stdio.h>
#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);
static void XMLCALL end(void *, const XML_Char *);

static int depth = 0;

int
main(int argc, char *argv[])
{
        char buf[BUFSIZ];
        int len, done;
        XML_Parser parser = XML_ParserCreate(NULL);

        XML_SetElementHandler(parser, begin, end);
        do {
                len = fread(buf, 1, sizeof(buf), stdin);
                done = len < sizeof(buf);
                if (XML_Parse(parser, buf, (int)len, done) == 
                        XML_STATUS_ERROR)
                        return 1;
        } while (!done);

        XML_ParserFree(parser);
        return 0;
}

static void XMLCALL
begin(void *d, const XML_Char *name, const XML_Char **attr)
{
        for (int i = 0; i < depth; i++)
                printf("→");

        printf("%s\n", name);
        ++depth;
}

static void XMLCALL
end(void *d, const XML_Char * name)
{
        --depth;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

#include <stdio.h>

#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);

static void XMLCALL end(void *, const XML_Char *);

static int depth = 0;

int

main(int argc, char *argv[])

{

char buf[BUFSIZ];

int len, done;

XML_Parser parser = XML_ParserCreate(NULL);

XML_SetElementHandler(parser, begin, end);

do {

len = fread(buf, 1, sizeof(buf), stdin);

done = len < sizeof(buf);

if (XML_Parse(parser, buf, (int)len, done) ==

XML_STATUS_ERROR)

return 1;

} while (!done);

XML_ParserFree(parser);

return 0;

}

static void XMLCALL

begin(void *d, const XML_Char *name, const XML_Char **attr)

{

for (int i = 0; i < depth; i++)

printf("→");

printf("%s\n", name);

++depth;

}

static void XMLCALL

end(void *d, const XML_Char * name)

{

--depth;

}

<?xml version="1.0" encoding="UTF-8"?>

<document>
 <docgroup>
  <docinfo>
   <title><p>タイトル</p></title>
   <author><p>名前</p></author>
   <firstedition><p>編集開始日</p></firstedition>
   <lastmodified><p>編集終了日</p></lastmodified>
  </docinfo>

  <docgroup>
   <docinfo>
    <title><p>章タイトル</p></title>
   </docinfo>

   <p>説明1</p>

   <p>説明2</p>
  </docgroup>
 </docgroup>
</document>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

<?xml version="1.0" encoding="UTF-8"?>

<firstedition><p>編集開始日</p></firstedition>

<lastmodified><p>編集終了日</p></lastmodified>

</docinfo>

<title><p>章タイトル</p></title>

</docinfo>

</docgroup>

</document>

CC=     cc
RM=     rm -f

EXPAT=  -lexpat
LIBDIR= /usr/local/lib
INCLUDEDIR=     /usr/local/include
CFLAGS= -I${INCLUDEDIR} -L${LIBDIR} ${EXPAT}

SRC=    xml2json.c
OUT=    xml2json

build:
        ${CC} -o ${OUT} ${CFLAGS} ${SRC}


clean:
        ${RM} ${OUT}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

CC= cc

RM= rm -f

EXPAT= -lexpat

LIBDIR= /usr/local/lib

INCLUDEDIR= /usr/local/include

CFLAGS= -I${INCLUDEDIR} -L${LIBDIR} ${EXPAT}

SRC= xml2json.c

OUT= xml2json

build:

${CC} -o ${OUT} ${CFLAGS} ${SRC}

clean:

${RM} ${OUT}

#include <stdio.h>
#include <string.h>
#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);
static void XMLCALL end(void *, const XML_Char *);

static int depth = 0;

static char *struct_elements[] = {
        "document",
        "docgroup",
        "docinfo"
};

static char *key_elements[] = {
        "title",
        "author",
        "firstedition",
        "lastmodified"
};

static char *value_elements[] = {
        "p",
};

int
main(int argc, char *argv[])
{
        char buf[BUFSIZ];
        int len, done;
        XML_Parser parser = XML_ParserCreate(NULL);

        XML_SetElementHandler(parser, begin, end);
        do {
                len = fread(buf, 1, sizeof(buf), stdin);
                done = len < sizeof(buf);
                if (XML_Parse(parser, buf, (int)len, done) == 
                        XML_STATUS_ERROR)
                        return 1;
        } while (!done);

        XML_ParserFree(parser);
        return 0;
}

static void XMLCALL
begin(void *d, const XML_Char *name, const XML_Char **attr)
{
        int len, done;

        done = 0;
        len = sizeof(struct_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(struct_elements[i], name)) {
                        printf("構造化要素: %s\n", name);
                        done = 1;
                }
        }

        len = sizeof(key_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(key_elements[i], name)) {
                        printf("鍵要素: %s\n", name);
                        done = 1;
                }
        }

        len = sizeof(value_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(value_elements[i], name)) {
                        printf("値要素: %s\n", name);
                        done = 1;
                }
        }

        ++depth;
}

static void XMLCALL
end(void *d, const XML_Char * name)
{
        --depth;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

#include <stdio.h>

#include <string.h>

#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);

static void XMLCALL end(void *, const XML_Char *);

static int depth = 0;

static char *struct_elements[] = {

"document",

"docgroup",

"docinfo"

};

static char *key_elements[] = {

"title",

"author",

"firstedition",

"lastmodified"

};

static char *value_elements[] = {

"p",

};

int

main(int argc, char *argv[])

{

char buf[BUFSIZ];

int len, done;

XML_Parser parser = XML_ParserCreate(NULL);

XML_SetElementHandler(parser, begin, end);

do {

len = fread(buf, 1, sizeof(buf), stdin);

done = len < sizeof(buf);

if (XML_Parse(parser, buf, (int)len, done) ==

XML_STATUS_ERROR)

return 1;

} while (!done);

XML_ParserFree(parser);

return 0;

}

static void XMLCALL

begin(void *d, const XML_Char *name, const XML_Char **attr)

{

int len, done;

done = 0;

len = sizeof(struct_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(struct_elements[i], name)) {

printf("構造化要素: %s\n", name);

done = 1;

}

len = sizeof(key_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(key_elements[i], name)) {

printf("鍵要素: %s\n", name);

done = 1;

}

len = sizeof(value_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(value_elements[i], name)) {

printf("値要素: %s\n", name);

done = 1;

}

++depth;

}

static void XMLCALL

end(void *d, const XML_Char * name)

{

--depth;

}

#include <stdio.h>
#include <string.h>
#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);
static void XMLCALL end(void *, const XML_Char *);

static char *struct_elements[] = {
        "document",
        "docgroup",
        "docinfo"
};

static char *key_elements[] = {
        "title",
        "author",
        "firstedition",
        "lastmodified"
};

static char *value_elements[] = {
        "p",
};

static int depth = 0;
static char *pre_element;

int
main(int argc, char *argv[])
{
        char buf[BUFSIZ];
        int len, done;
        XML_Parser parser = XML_ParserCreate(NULL);

        XML_SetElementHandler(parser, begin, end);
        do {
                len = fread(buf, 1, sizeof(buf), stdin);
                done = len < sizeof(buf);
                if (XML_Parse(parser, buf, (int)len, done) == 
                        XML_STATUS_ERROR)
                        return 1;
        } while (!done);

        XML_ParserFree(parser);
        return 0;
}

static void XMLCALL
begin(void *d, const XML_Char *name, const XML_Char **attr)
{
        int len, done;

        done = 0;

        len = sizeof(struct_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(struct_elements[i], name)) {
                        if (0 == strcmp("document", name))
                                printf("{ ");

                        for (int i = 0; i < depth; i++)
                                printf("\t");
                        printf("\"%s\": {\n", name);

                        done = 1;
                        pre_element = struct_elements[i];
                }
        }

        len = sizeof(key_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(key_elements[i], name)) {
                        for (int i = 0; i < depth; i++)
                                printf("\t");
                        printf("\"%s\":", name);

                        done = 1;
                        pre_element = key_elements[i];
                }
        }

        int parent_is_key = 0;
        len = sizeof(value_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(value_elements[i], name)) {
                        for (int j = 0, 
                                k = sizeof(key_elements) / sizeof(char*);
                                j < k; j++) {
                                if (key_elements[j] == pre_element) {
                                        parent_is_key = 1;
                                }
                        }

                        if (parent_is_key) {
                                printf("\"値\",\n");
                        }
                        else {
                                for (int i = 0; i < depth; i++)
                                        printf("\t");
                                printf("\"content\": \"値\",\n");
                        }

                        done = 1;
                        pre_element = value_elements[i];
                }
        }

        if (!done)
                pre_element = NULL;

        ++depth;
}

static void XMLCALL
end(void *d, const XML_Char * name)
{
        int len, done;

        --depth;

        done = 0;
        len = sizeof(struct_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(struct_elements[i], name)) {

                        if (0 == strcmp("document", name))
                                printf("}\n");
                        else {
                                for (int i = 0; i < depth; i++)
                                        printf("\t");
                                printf("},\n");
                        }
                        done = 1;
                }
        }

        len = sizeof(key_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(key_elements[i], name)) {
                        done = 1;
                }
        }

        len = sizeof(value_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(value_elements[i], name)) {
                        done = 1;
                }
        }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

#include <stdio.h>

#include <string.h>

#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);

static void XMLCALL end(void *, const XML_Char *);

static char *struct_elements[] = {

"document",

"docgroup",

"docinfo"

};

static char *key_elements[] = {

"title",

"author",

"firstedition",

"lastmodified"

};

static char *value_elements[] = {

"p",

};

static int depth = 0;

static char *pre_element;

int

main(int argc, char *argv[])

{

char buf[BUFSIZ];

int len, done;

XML_Parser parser = XML_ParserCreate(NULL);

XML_SetElementHandler(parser, begin, end);

do {

len = fread(buf, 1, sizeof(buf), stdin);

done = len < sizeof(buf);

if (XML_Parse(parser, buf, (int)len, done) ==

XML_STATUS_ERROR)

return 1;

} while (!done);

XML_ParserFree(parser);

return 0;

}

static void XMLCALL

begin(void *d, const XML_Char *name, const XML_Char **attr)

{

int len, done;

done = 0;

len = sizeof(struct_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(struct_elements[i], name)) {

if (0 == strcmp("document", name))

printf("{ ");

for (int i = 0; i < depth; i++)

printf("\t");

printf("\"%s\": {\n", name);

done = 1;

pre_element = struct_elements[i];

}

len = sizeof(key_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(key_elements[i], name)) {

for (int i = 0; i < depth; i++)

printf("\t");

printf("\"%s\":", name);

done = 1;

pre_element = key_elements[i];

}

int parent_is_key = 0;

len = sizeof(value_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(value_elements[i], name)) {

for (int j = 0,

k = sizeof(key_elements) / sizeof(char*);

j < k; j++) {

if (key_elements[j] == pre_element) {

parent_is_key = 1;

}

if (parent_is_key) {

printf("\"値\",\n");

}

else {

for (int i = 0; i < depth; i++)

printf("\t");

printf("\"content\": \"値\",\n");

}

done = 1;

pre_element = value_elements[i];

}

if (!done)

pre_element = NULL;

++depth;

}

static void XMLCALL

end(void *d, const XML_Char * name)

{

int len, done;

--depth;

done = 0;

len = sizeof(struct_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(struct_elements[i], name)) {

if (0 == strcmp("document", name))

printf("}\n");

else {

for (int i = 0; i < depth; i++)

printf("\t");

printf("},\n");

}

done = 1;

}

len = sizeof(key_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(key_elements[i], name)) {

done = 1;

}

len = sizeof(value_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(value_elements[i], name)) {

done = 1;

}

#include <stdio.h>
#include <string.h>
#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);
static void XMLCALL end(void *, const XML_Char *);
static void XMLCALL chardata(void *, const XML_Char *, int);

static char *struct_elements[] = {
        "document",
        "docgroup",
        "docinfo"
};

static char *key_elements[] = {
        "title",
        "author",
        "firstedition",
        "lastmodified"
};

static char *value_elements[] = {
        "p",
};

static int depth = 0;
static char *pre_element;

int
main(int argc, char *argv[])
{
        char buf[BUFSIZ];
        int len, done;
        XML_Parser parser = XML_ParserCreate(NULL);

        XML_SetElementHandler(parser, begin, end);
        XML_SetCharacterDataHandler(parser, chardata);
        do {
                len = fread(buf, 1, sizeof(buf), stdin);
                done = len < sizeof(buf);
                if (XML_Parse(parser, buf, (int)len, done) == 
                        XML_STATUS_ERROR)
                        return 1;
        } while (!done);

        XML_ParserFree(parser);
        return 0;
}

static void XMLCALL
begin(void *d, const XML_Char *name, const XML_Char **attr)
{
        int len, done;

        done = 0;

        len = sizeof(struct_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(struct_elements[i], name)) {
                        if (0 == strcmp("document", name))
                                printf("{ ");

                        for (int i = 0; i < depth; i++)
                                printf("\t");
                        printf("\"%s\": {\n", name);

                        done = 1;
                        pre_element = struct_elements[i];
                }
        }

        len = sizeof(key_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(key_elements[i], name)) {
                        for (int i = 0; i < depth; i++)
                                printf("\t");
                        printf("\"%s\":", name);

                        done = 1;
                        pre_element = key_elements[i];
                }
        }

        int parent_is_key = 0;
        len = sizeof(value_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(value_elements[i], name)) {
                        for (int j = 0, 
                                k = sizeof(key_elements) / sizeof(char*);
                                j < k; j++) {
                                if (key_elements[j] == pre_element) {
                                        parent_is_key = 1;
                                }
                        }

                        if (parent_is_key) {
                                printf("\"");
                        }
                        else {
                                for (int i = 0; i < depth; i++)
                                        printf("\t");
                                printf("\"content\": \"");
                        }

                        done = 1;
                        pre_element = value_elements[i];
                }
        }

        if (!done)
                pre_element = NULL;

        ++depth;
}

static void XMLCALL
end(void *d, const XML_Char * name)
{
        int len, done;

        --depth;

        done = 0;
        len = sizeof(struct_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(struct_elements[i], name)) {

                        if (0 == strcmp("document", name))
                                printf("}\n");
                        else {
                                for (int i = 0; i < depth; i++)
                                        printf("\t");
                                printf("},\n");
                        }
                        done = 1;
                }
        }

        len = sizeof(key_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(key_elements[i], name)) {
                        done = 1;
                }
        }

        len = sizeof(value_elements) / sizeof(char*);
        for (int i = 0; !done && i < len; i++) {
                if (0 == strcmp(value_elements[i], name)) {
                        printf("\",\n");
                        done = 1;
                }
        }
}

static void
chardata(void *data, const XML_Char *cdata, int len)
{
        char *p;

        p = (char *)cdata;
        for (int i = 0; i < len; i++)
                if ('\n' != *p)
                        putchar(*p++);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

#include <stdio.h>

#include <string.h>

#include <expat.h>

static void XMLCALL begin(void *, const XML_Char*, const XML_Char**);

static void XMLCALL end(void *, const XML_Char *);

static void XMLCALL chardata(void *, const XML_Char *, int);

static char *struct_elements[] = {

"document",

"docgroup",

"docinfo"

};

static char *key_elements[] = {

"title",

"author",

"firstedition",

"lastmodified"

};

static char *value_elements[] = {

"p",

};

static int depth = 0;

static char *pre_element;

int

main(int argc, char *argv[])

{

char buf[BUFSIZ];

int len, done;

XML_Parser parser = XML_ParserCreate(NULL);

XML_SetElementHandler(parser, begin, end);

XML_SetCharacterDataHandler(parser, chardata);

do {

len = fread(buf, 1, sizeof(buf), stdin);

done = len < sizeof(buf);

if (XML_Parse(parser, buf, (int)len, done) ==

XML_STATUS_ERROR)

return 1;

} while (!done);

XML_ParserFree(parser);

return 0;

}

static void XMLCALL

begin(void *d, const XML_Char *name, const XML_Char **attr)

{

int len, done;

done = 0;

len = sizeof(struct_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(struct_elements[i], name)) {

if (0 == strcmp("document", name))

printf("{ ");

for (int i = 0; i < depth; i++)

printf("\t");

printf("\"%s\": {\n", name);

done = 1;

pre_element = struct_elements[i];

}

len = sizeof(key_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(key_elements[i], name)) {

for (int i = 0; i < depth; i++)

printf("\t");

printf("\"%s\":", name);

done = 1;

pre_element = key_elements[i];

}

int parent_is_key = 0;

len = sizeof(value_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(value_elements[i], name)) {

for (int j = 0,

k = sizeof(key_elements) / sizeof(char*);

j < k; j++) {

if (key_elements[j] == pre_element) {

parent_is_key = 1;

}

if (parent_is_key) {

printf("\"");

}

else {

for (int i = 0; i < depth; i++)

printf("\t");

printf("\"content\": \"");

}

done = 1;

pre_element = value_elements[i];

}

if (!done)

pre_element = NULL;

++depth;

}

static void XMLCALL

end(void *d, const XML_Char * name)

{

int len, done;

--depth;

done = 0;

len = sizeof(struct_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(struct_elements[i], name)) {

if (0 == strcmp("document", name))

printf("}\n");

else {

for (int i = 0; i < depth; i++)

printf("\t");

printf("},\n");

}

done = 1;

}

len = sizeof(key_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(key_elements[i], name)) {

done = 1;

}

len = sizeof(value_elements) / sizeof(char*);

for (int i = 0; !done && i < len; i++) {

if (0 == strcmp(value_elements[i], name)) {

printf("\",\n");

done = 1;

}

static void

chardata(void *data, const XML_Char *cdata, int len)

{

char *p;

p = (char *)cdata;

for (int i = 0; i < len; i++)

if ('\n' != *p)

putchar(*p++);

}

機械学習のココロ（vol.53掲載）

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：石井一夫（久留米大学）

今回は、機械学習においてよく耳にする正則化とスパースモデリングの話題を取り上げます。

記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。

訂正情報

以下の箇所に文章漏れがございました。謹んで訂正いたします。

p57 右下　下から7行目

誤り
「L2正則化の場合、パラメータの大きさをだけゼロに近づける操作を行っており、」
訂正
「L2正則化の場合、パラメータの大きさを分散の大きさだけゼロに近づける操作を行っており、」

参考リンク

scikit-learnオフィシャルサイト　L1 ノルム正則化の解説とサンプルコード（英語・リンク先にpython用コード有り）

sklearn.linear_model.Lasso

MathWorks(MATLAB開発元)によるLasso 正則化の解説（日本語）

一般化線形モデルの Lasso 正則化

scikit-learnオフィシャルサイト　L2ノルム正則化の解説とサンプルコード（英語・リンク先にpython用コード有り）

sklearn.linear_model.Ridge

香川大学SLPからお届け！（vol.53掲載）

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：朝野有也

こんにちは、香川大学工学部の朝野です。普段からパソコンを使っている方ならJava というプログラミング言語の名前を一度は聞いたことがあると思います。プラットフォームに依存しないため、クライアント側、サーバ側問わず様々なシステムで使用されている言語です。さらに、Java のプログラムを実行するにあたって必要となるJava 仮想マシン(JVM) を利用したJVM 言語というものがあります。JVM 言語は、Java の資源を利用できるのに加えて、Java より後発であるため便利なライブラリや仕組みが揃っていることが多いです。

今回は、簡単な名簿アプリケーションの開発をとおして、JVM 言語の１つであるScala と、Java とScala のWeb アプリケーションフレームワークであるPlay Framework をご紹介します。

記事本文掲載のシェルスクリプトマガジンvol.53は以下リンク先でご購入できます。

sbt のインストール:
https://www.scala-sbt.org/1.x/docs/ja/Setup.html

libraryDependencies ++= Seq(
ehcache, ws, specs2 % Test,
  "com.typesafe.play" %% "play-slick" % "3.0.3",
  "com.typesafe.play" %% "play-slick-evolutions" % "3.0.3", 
  "com.h2database" % "h2" % "1.4.196"
)

1

2

3

4

5

6

libraryDependencies ++= Seq(

ehcache, ws, specs2 % Test,

"com.typesafe.play" %% "play-slick" % "3.0.3",

"com.typesafe.play" %% "play-slick-evolutions" % "3.0.3",

"com.h2database" % "h2" % "1.4.196"

)

# --- !Ups
CREATE TABLE users (
    id BIGINT(20) NOT NULL PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(255) NOT NULL,
    age INTEGER NOT NULL,
);
# --- !Downs
DROP TABLE "user";

1

2

3

4

5

6

7

8

# --- !Ups

CREATE TABLE users (

id BIGINT(20) NOT NULL PRIMARY KEY AUTO_INCREMENT,

name VARCHAR(255) NOT NULL,

age INTEGER NOT NULL,

);

# --- !Downs

DROP TABLE "user";

slick.dbs.default {
  profile = "slick.jdbc.H2Profile$"
  db.driver = org.h2.Driver
  db.url = "jdbc:h2:./db/play"
  db.user = sa
  db.password = ""
}

1

2

3

4

5

6

7

slick.dbs.default {

profile = "slick.jdbc.H2Profile$"

db.driver = org.h2.Driver

db.url = "jdbc:h2:./db/play"

db.user = sa

db.password = ""

}

package models

import javax.inject.Inject

import models.User
import play.api.db.slick.{DatabaseConfigProvider, HasDatabaseConfigProvider}
import slick.jdbc.H2Profile
import slick.jdbc.H2Profile.api._

import scala.concurrent.Future

/**
  * Userモデル
  *
  * @param id    識別ID
  * @param name  ユーザ名
  * @param age   年齢
  */
case class User(id: Long, name: String, age: Int)

/** 以下DAO関連の定義 **/

object UserDAO {
  val users = TableQuery[UsersTable]
}

class UserDAO @Inject()(protected val dbConfigProvider: DatabaseConfigProvider) extends HasDatabaseConfigProvider[H2Profile] {
  import scala.concurrent.ExecutionContext.Implicits.global

  //=== 操作
  //== 読み込み
  def all(): Future[Seq[User]] = db.run(UserDAO.users.result)

  //== 検索
  def findOfId(id: Long): Future[Seq[User]] = {
    db.run(UserDAO.users.filter(_.id === id).result)
  }

  //== 削除
  def delete(id: Long): Future[Unit] = {
    db.run(UserDAO.users.filter(_.id === id).delete).map(_ => ())
  }

  //== 登録
  def insert(user: User): Future[Unit] = db.run(UserDAO.users += user).map { _ => () }
}

//=== テーブル定義
class UsersTable(tag: Tag) extends Table[User](tag, "USERS") {
  def id = column[Long]("ID", O.PrimaryKey, O.AutoInc)

  def name = column[String]("NAME")

  def age = column[Int]("AGE")

  def * = (id, name, age) <> (User.tupled, User.unapply _)
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

package models

import javax.inject.Inject

import models.User

import play.api.db.slick.{DatabaseConfigProvider, HasDatabaseConfigProvider}

import slick.jdbc.H2Profile

import slick.jdbc.H2Profile.api._

import scala.concurrent.Future

/**

* Userモデル

*

* @param id 識別ID

* @param name ユーザ名

* @param age 年齢

*/

case class User(id: Long, name: String, age: Int)

/** 以下DAO関連の定義 **/

object UserDAO {

val users = TableQuery[UsersTable]

}

class UserDAO @Inject()(protected val dbConfigProvider: DatabaseConfigProvider) extends HasDatabaseConfigProvider[H2Profile] {

import scala.concurrent.ExecutionContext.Implicits.global

//=== 操作

//== 読み込み

def all(): Future[Seq[User]] = db.run(UserDAO.users.result)

//== 検索

def findOfId(id: Long): Future[Seq[User]] = {

db.run(UserDAO.users.filter(_.id === id).result)

}

//== 削除

def delete(id: Long): Future[Unit] = {

db.run(UserDAO.users.filter(_.id === id).delete).map(_ => ())

}

//== 登録

def insert(user: User): Future[Unit] = db.run(UserDAO.users += user).map { _ => () }

}

//=== テーブル定義

class UsersTable(tag: Tag) extends Table[User](tag, "USERS") {

def id = column[Long]("ID", O.PrimaryKey, O.AutoInc)

def name = column[String]("NAME")

def age = column[Int]("AGE")

def * = (id, name, age) <> (User.tupled, User.unapply _)

}

# トップページ
GET         /                    controllers.HomeController.index

# 登録
+ nocsrf
POST        /insert/user         controllers.HomeController.insertUser

# 表示
GET         /show/user           controllers.HomeController.showUser

# 削除
GET         /remove/:id          controllers.HomeController.deleteUser(id: Long)

# リソース
GET         /assets/*file        controllers.Assets.versioned(path="/public", file: Asset)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

# トップページ

GET / controllers.HomeController.index

# 登録

+ nocsrf

POST /insert/user controllers.HomeController.insertUser

# 表示

GET /show/user controllers.HomeController.showUser

# 削除

GET /remove/:id controllers.HomeController.deleteUser(id: Long)

# リソース

GET /assets/*file controllers.Assets.versioned(path="/public", file: Asset)

package controllers

import javax.inject._

import models.{User, UserDAO}
import play.api.data.Form
import play.api.data.Forms.{mapping, nonEmptyText, number}
import play.api.i18n.{I18nSupport, MessagesApi}
import play.api.mvc._

import scala.concurrent.ExecutionContext

//=== 入力フォームクラス
case class UserForm(name: String, age: Int)

//=== コントローラクラス
@Singleton
class HomeController @Inject()(cc: ControllerComponents, val userDao: UserDAO, val messages: MessagesApi)(implicit ec: ExecutionContext) extends AbstractController(cc) with I18nSupport {
  //== 入力フォーム値受け取り用
  val form = Form(
    mapping(
      "name" -> nonEmptyText(minLength = 2, maxLength = 20),
      "age" -> number
    )(UserForm.apply)(UserForm.unapply)
  )

  //== トップページ
  def index = Action { implicit request =>
    Ok(views.html.index(form))
  }

  //== 表示
  def showUser = Action.async { implicit request =>
    userDao.all().map {
      users => Ok(views.html.show(users))
    }
  }

  //== 登録 
  def insertUser = Action.async { implicit request =>
    form.bindFromRequest.fold(
      formWithErrors => {
        userDao.all().map(users => Ok(views.html.index(formWithErrors)))
      },
      userForm => {
        userDao.insert(User(0, userForm.name, userForm.age)).map(_ => Redirect(routes.HomeController.showUser))
      }
    )
  }

  //== 削除 
  def deleteUser(id: Long) = Action.async { implicit request =>
    userDao.delete(id).map(_ => Redirect(routes.HomeController.showUser))
  }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

package controllers

import javax.inject._

import models.{User, UserDAO}

import play.api.data.Form

import play.api.data.Forms.{mapping, nonEmptyText, number}

import play.api.i18n.{I18nSupport, MessagesApi}

import play.api.mvc._

import scala.concurrent.ExecutionContext

//=== 入力フォームクラス

case class UserForm(name: String, age: Int)

//=== コントローラクラス

@Singleton

class HomeController @Inject()(cc: ControllerComponents, val userDao: UserDAO, val messages: MessagesApi)(implicit ec: ExecutionContext) extends AbstractController(cc) with I18nSupport {

//== 入力フォーム値受け取り用

val form = Form(

mapping(

"name" -> nonEmptyText(minLength = 2, maxLength = 20),

"age" -> number

)(UserForm.apply)(UserForm.unapply)

)

//== トップページ

def index = Action { implicit request =>

Ok(views.html.index(form))

}

//== 表示

def showUser = Action.async { implicit request =>

userDao.all().map {

users => Ok(views.html.show(users))

}

//== 登録

def insertUser = Action.async { implicit request =>

form.bindFromRequest.fold(

formWithErrors => {

userDao.all().map(users => Ok(views.html.index(formWithErrors)))

},

userForm => {

userDao.insert(User(0, userForm.name, userForm.age)).map(_ => Redirect(routes.HomeController.showUser))

}

)

}

//== 削除

def deleteUser(id: Long) = Action.async { implicit request =>

userDao.delete(id).map(_ => Redirect(routes.HomeController.showUser))

}

@(userForm: Form[UserForm])(implicit messages: Messages)
@import helper._

@main("トップページ") {

1

2

3

4

@(userForm: Form[UserForm])(implicit messages: Messages)

@import helper._

@main("トップページ") {

登録:

@form(routes.HomeController.insertUser) { @inputText(userForm(“name”), ‘_label -> “名前”) @inputText(userForm(“age”), ‘_label -> “年齢”) }

@form(routes.HomeCon troller.showUser) { }

}

@(users: Seq[User])(implicit messages: Messages)
@import helper._

@main("ユーザ一覧") {

1

2

3

4

@(users: Seq[User])(implicit messages: Messages)

@import helper._

@main("ユーザ一覧") {

一覧:

@for(user <- users ) { }

名前	年齢
@user.name	@user.age	@form(routes.HomeController.deleteUser(user.id)) { }

@form(routes.HomeController.index) { }

}

特集3　IBM Cloudで学ぶAI・機械学習・ディープラーニング（vol.53掲載）

投稿日：2018.03.25　｜　カテゴリー：　コード

著者：佐々木敦守、古川正宏、小薗井康志

IBMの「Watson」が動くクラウドプラットフォーム「IBM Cloud」を使って、無料でAI、機械学習、ディープラーニングを試してみましょう。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。

'''Trains a simple convnet on the MNIST dataset.
Gets to 99.25% test accuracy after 12 epochs
(there is still a lot of margin for parameter tuning).
16 seconds per epoch on a GRID K520 GPU.
'''

from __future__ import print_function
import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras import backend as K

batch_size = 128
num_classes = 10
epochs = 12

# input image dimensions
img_rows, img_cols = 28, 28

# the data, shuffled and split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()

if K.image_data_format() == 'channels_first':
    x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)
    x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)
    input_shape = (1, img_rows, img_cols)
else:
    x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)
    x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)
    input_shape = (img_rows, img_cols, 1)

x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

model.compile(loss=keras.losses.categorical_crossentropy,
              optimizer=keras.optimizers.Adadelta(),
              metrics=['accuracy'])
model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=epochs,
          verbose=1,
          validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

'''Trains a simple convnet on the MNIST dataset.

Gets to 99.25% test accuracy after 12 epochs

(there is still a lot of margin for parameter tuning).

16 seconds per epoch on a GRID K520 GPU.

'''

from __future__ import print_function

import keras

from keras.datasets import mnist

from keras.models import Sequential

from keras.layers import Dense, Dropout, Flatten

from keras.layers import Conv2D, MaxPooling2D

from keras import backend as K

batch_size = 128

num_classes = 10

epochs = 12

# input image dimensions

img_rows, img_cols = 28, 28

# the data, shuffled and split between train and test sets

(x_train, y_train), (x_test, y_test) = mnist.load_data()

if K.image_data_format() == 'channels_first':

x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)

x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)

input_shape = (1, img_rows, img_cols)

else:

x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)

x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)

input_shape = (img_rows, img_cols, 1)

x_train = x_train.astype('float32')

x_test = x_test.astype('float32')

x_train /= 255

x_test /= 255

print('x_train shape:', x_train.shape)

print(x_train.shape[0], 'train samples')

print(x_test.shape[0], 'test samples')

# convert class vectors to binary class matrices

y_train = keras.utils.to_categorical(y_train, num_classes)

y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()

model.add(Conv2D(32, kernel_size=(3, 3),

activation='relu',

input_shape=input_shape))

model.add(Conv2D(64, (3, 3), activation='relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Dropout(0.25))

model.add(Flatten())

model.add(Dense(128, activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(num_classes, activation='softmax'))

model.compile(loss=keras.losses.categorical_crossentropy,

optimizer=keras.optimizers.Adadelta(),

metrics=['accuracy'])

model.fit(x_train, y_train,

batch_size=batch_size,

epochs=epochs,

verbose=1,

validation_data=(x_test, y_test))

score = model.evaluate(x_test, y_test, verbose=0)

print('Test loss:', score[0])

print('Test accuracy:', score[1])

図2 自作コンテナエンジンのソースコードの一部

unshareシステムコールによるLinux Namespaceの分離

fork/execシステムコールによるコンテナ内子プロセス生成

図5 「数字に隠された真実」のソースコードの一部

数値を1桁ずつ分解して、すべての和を求める関数

数値を1桁ずつ分解して、すべての積を求める関数

図9 サーバー監視システムのソースコードの一部

Techパズル 第11回

バーティカルバーの極意

図3 「models/user.js」ファイルにLibrariesテーブルとの関係性を追記

図4 モデルファイル「models/library.js」の修正

図5 マイグレーションファイルの追記内容

図6 作成したseed（日付-demo-user.js）

図8 passportストラテジの定義

図9 セッション連携の関数「serializeUser」と「deserializeUser」

図10 ミドルウエアで認証済みか否かの判定

図11 テストコード（supertest-spec.js）の主要部分

図4 ライブラリのインポートとIMDBデータセットの取り込み

図5 IMDBデータセットの中身を表示するコード

図6 元の単語を表示する関数を定義するコード

図7 データをテンソル化するコード

図8 学習モデルを構築するコード

図10 モデルをコンパイルするコード

図11 訓練用データセットを分割するコード

図12 モデルの訓練用コード

図13 モデルの性能評価用コード

図14 損失のグラフを表示するコード

図16 精度のグラフを表示するコード

図3 割り込みに対応したVCNL4020ライブラリ（VCNL4020.py）

図4 物体が近づいたら割り込みを発生させるサンプルプログラム（simpletest.py）

特集1「ラズパイでセンサーを扱う」

目次

Node.js/Expressで楽々Webアプリ開発

ユニケージ新コードレビュー

Part2 リモートアクセス環境の構築

Part3 ファイル共有/ブログサーバーの構築

記事本文掲載のシェルスクリプトマガジンvol.54は以下リンク先でご購入できます。

ルートファイルシステムを拡張する

追加ディスクのデバイスファイル名を確認する

柔軟なストレージ管理ができるLVM

訂正情報

参考リンク

登録:

一覧:

図2　自作コンテナエンジンのソースコードの一部

図5　「数字に隠された真実」のソースコードの一部

図9　サーバー監視システムのソースコードの一部

Techパズル　第11回

図3　「models/user.js」ファイルにLibrariesテーブルとの関係性を追記

図4　モデルファイル「models/library.js」の修正

図5　マイグレーションファイルの追記内容

図6　作成したseed（日付-demo-user.js）

図8　passportストラテジの定義

図9　セッション連携の関数「serializeUser」と「deserializeUser」

図10　ミドルウエアで認証済みか否かの判定

図11　テストコード（supertest-spec.js）の主要部分

図4　ライブラリのインポートとIMDBデータセットの取り込み

図5　IMDBデータセットの中身を表示するコード

図6　元の単語を表示する関数を定義するコード

図7　データをテンソル化するコード

図8　学習モデルを構築するコード

図10　モデルをコンパイルするコード

図11　訓練用データセットを分割するコード

図12　モデルの訓練用コード

図13　モデルの性能評価用コード

図14　損失のグラフを表示するコード

図16　精度のグラフを表示するコード

図3　割り込みに対応したVCNL4020ライブラリ（VCNL4020.py）

図4　物体が近づいたら割り込みを発生させるサンプルプログラム（simpletest.py）

Part2　リモートアクセス環境の構築