9月 « 2018 « shell-mag

番外編2　Webブラウザーからサーバーへリモートアクセス

投稿日：2018.09.28　｜　カテゴリー：　記事

連載「UbuntuではじめるLinuxサーバー」の第4回で紹介しましたが、サーバーにリモートからアクセスする場合、アクセスする側のパソコンやMacに「SSHクライアントソフト」が必要です。主要なLinuxディストリビューションやmacOSなら、SSHクライアントとなる「ssh」コマンドが標準で導入されています。それを使えばよいでしょう。

しかし、Windowsでは「Tera Term」などのSSHクライアントソフトを導入しなくてはいけません。WindowsでもSSHクライアントソフトを導入せずにSSHクライアントソフトが使えると便利です。

そこで今回は、Webブラウザー「Google Chrome」の拡張機能として提供されているSSHクライアントの「Secure Shell Extension」を導入して、サーバーにリモートからアクセスする環境を構築します（図1）。

図1　Google Chromeの「Secure Shell Extension」によるリモートアクセス

Google Chrome（以下、Chrome）に一度だけこの拡張機能を導入・有効しておけば、Google Chromeを導入している別のパソコンからもサーバーへリモートアクセスがすぐにできます。

ラズパイ入門ボードで学ぶ電子回路の制御（Vol.56）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：米田聡

シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）のプログラミングが楽しめる拡張ボード「ラズパイ入門ボード」を制作しました。本連載では、ラズパイ入門ボードを使った電子回路制御を取り上げていきます。第4 回は、赤外線レシーバを扱います。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

（略）
# Uncomment this to enable the lirc-rpi module
dtoverlay=lirc-rpi:gpio_in_pin=21,gpio_in_pull=down
（略）

1

2

3

4

（略）

# Uncomment this to enable the lirc-rpi module

dtoverlay=lirc-rpi:gpio_in_pin=21,gpio_in_pull=down

（略）

（略）
[lircd]
nodaemon        = False
driver          = default
device          = /dev/lirc0
（略）

1

2

3

4

5

6

（略）

[lircd]

nodaemon = False

driver = default

device = /dev/lirc0

（略）

begin
  button = button_a
  prog = rctest
  config = button_a
end

begin
  button = button_b
  prog = rctest
  config = button_b
end

1

2

3

4

5

6

7

8

9

10

11

begin

button = button_a

prog = rctest

config = button_a

end

begin

button = button_b

prog = rctest

config = button_b

end

import time
import lirc
import RPi.GPIO as GPIO

LED1 = 14
LED2 = 15
LED3 = 12
LED4 = 16

leds = [LED1, LED2, LED3 ,LED4]
flag_a = 0

GPIO.setmode(GPIO.BCM)
GPIO.setup(leds, GPIO.OUT, initial=GPIO.LOW)

socketid = lirc.init('rctest', './rctest.lircrc')

while True:
  code = lirc.nextcode()
  if code[0] == 'button_a':
    flag_a ^= 1
    GPIO.output(LED1, flag_a)
  elif code[0] == 'button_b':
    break
GPIO.cleanup()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import time

import lirc

import RPi.GPIO as GPIO

LED1 = 14

LED2 = 15

LED3 = 12

LED4 = 16

leds = [LED1, LED2, LED3 ,LED4]

flag_a = 0

GPIO.setmode(GPIO.BCM)

GPIO.setup(leds, GPIO.OUT, initial=GPIO.LOW)

socketid = lirc.init('rctest', './rctest.lircrc')

while True:

code = lirc.nextcode()

if code[0] == 'button_a':

flag_a ^= 1

GPIO.output(LED1, flag_a)

elif code[0] == 'button_b':

break

GPIO.cleanup()

漢のUNIX（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：後藤大地

プログラムでJSONデータを自動処理する場合、フォーマットはどうでもよい。ただし、人間が読むとなると、フォーマットを変換して整理する必要がある。整理されていないJSONデータは、人間にはあまりにも読みにくいからだ。自分の読みやすいようにJSONデータを変換するコマンドといったものが、Janssonライブラリを利用すると簡単に開発できる。これが今回のテーマである。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

{
  "Image": {
    "幅":  800,
    "高さ": 600,
    "タイトル":  "View from 15th Floor",
    "サムネイル": {
      "Url":"http://www.example.com/image/481989943",      "高さ": 125,
      "幅":  100
    },
    "アニメーション" : false,
    "IDs": [116, 943, 234, 38793]
  }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

{

"Image": {

"幅": 800,

"高さ": 600,

"タイトル": "View from 15th Floor",

"サムネイル": {

"Url":"http://www.example.com/image/481989943", "高さ": 125,

"幅": 100

},

"アニメーション" : false,

"IDs": [116, 943, 234, 38793]

}

[
  {
    "精度": "zip",
    "緯度":  37.7668,
    "経度": -122.3959,
    "住所":   "",
    "都市":  "SAN FRANCISCO",
    "州": "CA",
    "郵便番号":   "94107",
    "国":   "US"
  },
  {
    "精度": "zip",
    "緯度":  37.371991,
    "経度": -122.026020,
    "住所":   "",
    "都市":  "SUNNYVALE",
    "州": "CA",
    "郵便番号":   "94085",
    "国":   "US"
  }
]

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

[

{

"精度": "zip",

"緯度": 37.7668,

"経度": -122.3959,

"住所": "",

"都市": "SAN FRANCISCO",

"州": "CA",

"郵便番号": "94107",

"国": "US"

},

{

"精度": "zip",

"緯度": 37.371991,

"経度": -122.026020,

"住所": "",

"都市": "SUNNYVALE",

"州": "CA",

"郵便番号": "94085",

"国": "US"

}

]

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  char buf[1024 * 1024];
  int fd;

  // JSONデータを読み込み
  fd = open(argv[1], O_RDONLY);
  read(fd, buf, 1024 * 1024 - 1);
  close(fd);

  // JSONデータをパース
  json_error_t error;
  json_t *root = json_loads(buf, 0, &error);

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", 0);

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

char buf[1024 * 1024];

int fd;

// JSONデータを読み込み

fd = open(argv[1], O_RDONLY);

read(fd, buf, 1024 * 1024 - 1);

close(fd);

// JSONデータをパース

json_error_t error;

json_t *root = json_loads(buf, 0, &error);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout", 0);

// JSONメモリー解放

json_decref(root);

return 0;

}

#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <jansson.h>

int main(int argc, char *argv[])
{
  char buf[1024 * 1024];
  int fd;

  // JSONデータを読み込み
  fd = open(argv[1], O_RDONLY);
  read(fd, buf, 1024 * 1024 - 1);
  close(fd);

  // JSONデータをパース
  json_error_t error;
  json_t *root = json_loads(buf, 0, &error);

  // JSONデータをエンコードして標準出力へ出力
  json_dump_file(root, "/dev/stdout", 
    JSON_INDENT(1)|
    JSON_COMPACT|
    JSON_SORT_KEYS|
    JSON_REAL_PRECISION(10));

  // JSONメモリー解放
  json_decref(root);

  return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

#include <unistd.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <jansson.h>

int main(int argc, char *argv[])

{

char buf[1024 * 1024];

int fd;

// JSONデータを読み込み

fd = open(argv[1], O_RDONLY);

read(fd, buf, 1024 * 1024 - 1);

close(fd);

// JSONデータをパース

json_error_t error;

json_t *root = json_loads(buf, 0, &error);

// JSONデータをエンコードして標準出力へ出力

json_dump_file(root, "/dev/stdout",

JSON_INDENT(1)|

JSON_COMPACT|

JSON_SORT_KEYS|

JSON_REAL_PRECISION(10));

// JSONメモリー解放

json_decref(root);

return 0;

}

アプリケーションの開発やデプロイを容易にするPaaS（Platform as a Service）は非常に便利なサービスです。しかし、Google App Engineや、Herokuなどのパブリッククラウドサービスは、料金体系や学習コストの面から、サークルで利用するには難がありました。そこで、プライベートで構築できるPaaS「LiPP」を開発しました。今回から数回にわたってLiPPの利用方法を紹介します。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

GITHUB_KEY=GitHubのOAuth Appsの「Client ID」
GITHUB_SECRET=GitHubのOAuth Appsの「Client Secret」
LIPP_HOST=LiPPのアプリケーションノードのFQDNまたはIPアドレス
SECRET_KEY_BASE=Railsのキーに使うための任意の文字列
DOCKER_URL=コンテナノードのURL

1

2

3

4

5

GITHUB_KEY=GitHubのOAuth Appsの「Client ID」

GITHUB_SECRET=GitHubのOAuth Appsの「Client Secret」

LIPP_HOST=LiPPのアプリケーションノードのFQDNまたはIPアドレス

SECRET_KEY_BASE=Railsのキーに使うための任意の文字列

DOCKER_URL=コンテナノードのURL

version: '3'
services:
  db:
    image: postgres:10.1
    volumes:
      - data:/var/lib/postgresql/data
    ports:
      - "5432"
  web:
    build: .
    environment:
      DATABASE_HOST: db
      RAILS_ENV: production
    env_file:
      - .env
    volumes:
      - tmp-data:/app/tmp
      - public-data:/app/public
    ports:
      - "3000"
    depends_on:
      - db
    links:
      - db
  nginx:
    build: ./nginx/
    ports:
      - "80:80"
    volumes:
      - tmp-data:/app/tmp
      - public-data:/app/public
    depends_on:
      - web
  volumes:
    data: {}
    tmp-data:
    public-data:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

version: '3'

services:

db:

image: postgres:10.1

volumes:

- data:/var/lib/postgresql/data

ports:

- "5432"

web:

build: .

environment:

DATABASE_HOST: db

RAILS_ENV: production

env_file:

- .env

volumes:

- tmp-data:/app/tmp

- public-data:/app/public

ports:

- "3000"

depends_on:

- db

links:

- db

nginx:

build: ./nginx/

ports:

- "80:80"

volumes:

- tmp-data:/app/tmp

- public-data:/app/public

depends_on:

- web

volumes:

data: {}

tmp-data:

public-data:

スズラボ通信（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：すずきひろのぶ

今回は、開発ボード「ESP32-DevKitC v2」の省電力モードに挑戦してみた奮戦記の前半部分です。プログラミング設定から、まずWi-Fiが動くまでの流れを追ってみます。次回は、省電力のためにDeep SleepやLight Sleepに移行した際にWi-Fiはどんな動作となるのかを試行錯誤した結果を紹します。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

// Hironobu SUZUKI
// <suzuki.hironobu@gmail.com>
// SUZULABO for Shell Script Magazine
#include <WiFi.h>
#include <WiFiUdp.h>
#define SENDBUFSIZE 32
#define SLEEPTIME  3
char ssid[] = "XXXXXXXXXXX";
char pass[] = "XXXXXXXXXXX";
const char remoteIpAddr[] = "192.168.100.6";
const int port = 21231;
uint8_t  sendBuffer[SENDBUFSIZE];
int counter = 1;
int status = WL_IDLE_STATUS;
WiFiUDP udp;
void setup() {
  Serial.begin(115200);
  ConnectionManage();
  udp.begin(port);
}
void loop() {
  for (int j = 0; j < SENDBUFSIZE; j++) {
    sendBuffer[j] = 0;
  }
  sendBuffer[0] = counter;
  sendBuffer[1] = '\0';
  udp.beginPacket(remoteIpAddr, port);
  udp.write(sendBuffer, sizeof(sendBuffer));
  udp.endPacket();
  Serial.println(counter++);
  delay(SLEEPTIME * 1000);
}

void ConnectionManage() {
  if (  status == WL_IDLE_STATUS) {
    Serial.print("Try to connect WiFi...");
    Serial.println(ssid);
    while ( true ) {
      status = WiFi.begin(ssid, pass);
      if (  status == WL_CONNECTED ) {
        break;
      }
      Serial.println("Retry");
    }
    Serial.println("==Connected==");
    printWifiStatus();
    return;
  }
  return;
}
void printWifiStatus() {
  String myssid;
  while (true) {
    myssid = WiFi.SSID();
    if (myssid != "" ) {
      break;
    }
    delay(3000);
  }
  Serial.print("SSID: ");
  Serial.println(myssid);
  IPAddress ip = WiFi.localIP();
  Serial.print("IP Address: ");
  Serial.println(ip);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

// Hironobu SUZUKI

// <suzuki.hironobu@gmail.com>

// SUZULABO for Shell Script Magazine

#include <WiFi.h>

#include <WiFiUdp.h>

#define SENDBUFSIZE 32

#define SLEEPTIME 3

char ssid[] = "XXXXXXXXXXX";

char pass[] = "XXXXXXXXXXX";

const char remoteIpAddr[] = "192.168.100.6";

const int port = 21231;

uint8_t sendBuffer[SENDBUFSIZE];

int counter = 1;

int status = WL_IDLE_STATUS;

WiFiUDP udp;

void setup() {

Serial.begin(115200);

ConnectionManage();

udp.begin(port);

}

void loop() {

for (int j = 0; j < SENDBUFSIZE; j++) {

sendBuffer[j] = 0;

}

sendBuffer[0] = counter;

sendBuffer[1] = '\0';

udp.beginPacket(remoteIpAddr, port);

udp.write(sendBuffer, sizeof(sendBuffer));

udp.endPacket();

Serial.println(counter++);

delay(SLEEPTIME * 1000);

}

void ConnectionManage() {

if ( status == WL_IDLE_STATUS) {

Serial.print("Try to connect WiFi...");

Serial.println(ssid);

while ( true ) {

status = WiFi.begin(ssid, pass);

if ( status == WL_CONNECTED ) {

break;

}

Serial.println("Retry");

}

Serial.println("==Connected==");

printWifiStatus();

return;

}

return;

}

void printWifiStatus() {

String myssid;

while (true) {

myssid = WiFi.SSID();

if (myssid != "" ) {

break;

}

delay(3000);

}

Serial.print("SSID: ");

Serial.println(myssid);

IPAddress ip = WiFi.localIP();

Serial.print("IP Address: ");

Serial.println(ip);

}

typedef enum {
  WL_IDLE_STATUS = 0,
  WL_NO_SSID_AVAIL = 1,
  WL_SCAN_COMPLETED = 2,
  WL_CONNECTED = 3,
  WL_CONNECT_FAILED = 4,
  WL_CONNECTION_LOST = 5,
  WL_DISCONNECTED = 6
} wl_status_t;

1

2

3

4

5

6

7

8

9

typedef enum {

WL_IDLE_STATUS = 0,

WL_NO_SSID_AVAIL = 1,

WL_SCAN_COMPLETED = 2,

WL_CONNECTED = 3,

WL_CONNECT_FAILED = 4,

WL_CONNECTION_LOST = 5,

WL_DISCONNECTED = 6

} wl_status_t;

#!/usr/bin/python3
from socket import *
import sys
import datetime
HOST = ''
PORT = 21231
s = socket(AF_INET,SOCK_DGRAM)
s.bind((HOST, PORT))
while True:
  msg, address = s.recvfrom(32)
  now = datetime.datetime.now()
  count = int(msg[0]);
  print(now.strftime("%Y/%m/%d %H:%M:%S"), count)
s.close()
sys.exit()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

#!/usr/bin/python3

from socket import *

import sys

import datetime

HOST = ''

PORT = 21231

s = socket(AF_INET,SOCK_DGRAM)

s.bind((HOST, PORT))

while True:

msg, address = s.recvfrom(32)

now = datetime.datetime.now()

count = int(msg[0]);

print(now.strftime("%Y/%m/%d %H:%M:%S"), count)

s.close()

sys.exit()

Node.js/Expressで楽々Webアプリ開発（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：しょっさん

プログラミング言語「JavaScript」の実行環境「Node.js」と「Express」フレームワークを使って、基本となるWebアプリの開発手法を習得しましょう。第2回は「蔵書管理アプリケーション」を作成しながら、少し複雑なデータベースを扱う方法を紹介します。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

'use strict';
module.exports = (sequelize, DataTypes) => {
  var Library = sequelize.define('Library', {
    book_title: DataTypes.STRING,
    author: DataTypes.STRING,
    publisher: DataTypes.STRING,
    image_url: DataTypes.STRING(2048)
  },
  {
    underscored: true,
  });
  Library.associate = function (models) {
    // 参照制約を示すときは、ここに記述。今回は1:nなので'hasMany'を使用
    Library.hasMany(models.Comment, { foreignKey: 'book_id' });
  };
  return Library;
};

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

'use strict';

module.exports = (sequelize, DataTypes) => {

var Library = sequelize.define('Library', {

book_title: DataTypes.STRING,

author: DataTypes.STRING,

publisher: DataTypes.STRING,

image_url: DataTypes.STRING(2048)

},

{

underscored: true,

});

Library.associate = function (models) {

// 参照制約を示すときは、ここに記述。今回は1:nなので'hasMany'を使用

Library.hasMany(models.Comment, { foreignKey: 'book_id' });

};

return Library;

};

book_id: {
  type: Sequelize.INTEGER,
  allowNull: false,
  foreignKey: true,
  references: {
    model: 'Libraries',
    key: 'id',
  },
  onUpdate: 'RESTRICT',
  onDelete: 'RESTRICT',
},

1

2

3

4

5

6

7

8

9

10

11

book_id: {

type: Sequelize.INTEGER,

allowNull: false,

foreignKey: true,

references: {

model: 'Libraries',

key: 'id',

},

onUpdate: 'RESTRICT',

onDelete: 'RESTRICT',

},

get_book: function (book_id) {
  return libraries.findOne({
    where: {
      id: book_id
    },
    include: [{
      model: comments,
      required: false
    }]
  });
},

1

2

3

4

5

6

7

8

9

10

11

get_book: function (book_id) {

return libraries.findOne({

where: {

id: book_id

},

include: [{

model: comments,

required: false

}]

});

},

{ id: 1,
  book_title: 'title',
  author: 'しょっさん',
  publisher: 'USP研究所',
  image_url: 'http://example.com/',
  created_at: '2018-08-09T00:49:22.382Z',
  updated_at: '2018-08-09T00:49:22.934Z',
Comments:
  [ { id: 1,
      comment: '#1へのコメント#1',
      book_id: 1,
      created_at: '2018-08-09T00:49:22.401Z',
      updated_at: '2018-08-09T00:49:22.401Z' },
    { id: 2,
      comment: '#1へのコメント#2',
      book_id: 1,
      created_at: '2018-08-09T00:49:22.401Z',
      updated_at: '2018-08-09T00:49:22.401Z' },
    { id: 3,
      comment: '#1へのコメント#3',
      book_id: 1,
      created_at: '2018-08-09T00:49:22.401Z',
      updated_at: '2018-08-09T00:49:22.401Z' } ] }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

{ id: 1,

book_title: 'title',

author: 'しょっさん',

publisher: 'USP研究所',

image_url: 'http://example.com/',

created_at: '2018-08-09T00:49:22.382Z',

updated_at: '2018-08-09T00:49:22.934Z',

Comments:

[ { id: 1,

comment: '#1へのコメント#1',

book_id: 1,

created_at: '2018-08-09T00:49:22.401Z',

updated_at: '2018-08-09T00:49:22.401Z' },

{ id: 2,

comment: '#1へのコメント#2',

book_id: 1,

created_at: '2018-08-09T00:49:22.401Z',

updated_at: '2018-08-09T00:49:22.401Z' },

{ id: 3,

comment: '#1へのコメント#3',

book_id: 1,

created_at: '2018-08-09T00:49:22.401Z',

updated_at: '2018-08-09T00:49:22.401Z' } ] }

  get_contents: function () {
    return libraries.findAll({
      attributes: ['id', 'book_title', 'author','publisher',[models.sequelize.fn('COUNT',models.sequelize.col('Comments.book_id')), 'cnt']],
      group: ['Library.id'],
      raw: true,
      subQuery: false,
      limit: 10,
      include: {
        model: models.Comment,
        attributes: []
      },
    });
  },

1

2

3

4

5

6

7

8

9

10

11

12

13

get_contents: function () {

return libraries.findAll({

attributes: ['id', 'book_title', 'author','publisher',[models.sequelize.fn('COUNT',models.sequelize.col('Comments.book_id')), 'cnt']],

group: ['Library.id'],

raw: true,

subQuery: false,

limit: 10,

include: {

model: models.Comment,

attributes: []

},

});

},

シェルスクリプトマガジンvol.56 Web掲載記事まとめ

投稿日：2018.09.25　｜　カテゴリー：　コード

シェルスクリプトマガジン Vol.56で掲載しているコードをまとめています。

プレゼント＆アンケートページはこちら！

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

004　レポート　バッファローの新無線LANブランド
005　レポート　パッケージ管理システム「Flatpak 1.0」
006　NEWS FLASH
008　特集1　Zabbix入門/寺島広大、田中敦
029　姐のNOGYO
030　特集2　「HCI」に乗り遅れるな！/羽鳥正明
038　特集3　Visual Studio Codeを使おう/山本美穂　コード掲載
048　特別企画　シェルスクリプトで作るTwitter bot/Piro（結城洋志）　コード掲載
056　ラズパイ入門ボードで学ぶ電子回路の制御/米田聡　　コード掲載
060　スズラボ通信/すずきひろのぶ　コード掲載
064　機械学習のココロ/石井一夫　コード掲載
068　中小企業手作りIT化奮戦記/菅雄一
072　人間とコンピュータの可能性/大岩元
074　バーティカルバーの極意/飯尾淳　コード掲載
080　RESEARCHES FOR FUTURE/米澤拓郎
082　香川大学SLPからお届け！/飯國隆志　コード掲載
086　円滑コミュニケーションが世界を救う！/濱口誠一
088　漢のUNIX/後藤大地　コード掲載
096　法林浩之のFIGHTING TALKS/法林浩之
098　アジャイル開発 Let’s Practice!/熊野憲辰
102　Node.js/Expressで楽々Webアプリ開発/しょっさん　コード掲載
110　ユニケージ新コードレビュー/村本禎実　コード掲載
116　統合/桑原滝弥・イケヤシロウ
118　Techパズル/gori.sh
120　コラム「世の中の流れとは別に」/シェル魔人

Vol.56 補足情報

投稿日：2018.09.25　｜　カテゴリー：　コード

Node.js/Expressで楽々Webアプリ開発

p.106の10行目にある「外部キー（{{ foreignKey: ‘book_id’ }）」は、「外部キー（{ foreignKey: ‘book_id’ }）」の誤りです。

ユニケージ新コードレビュー

p.110の注釈（*1）にある「https://github.com/shellscript-magazine/newcodereview/201810/」は、「https://github.com/shellscript-magazine/newcodereview」の誤りです。

p.112の本文の最終行にある「プロセスID-name」は「プロセスID-flg」の誤りです。

以上、お詫びして訂正いたします。

特別企画　シェルスクリプトで作る Twitter bot（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：結城洋志

つぶやき投稿サイト「Twitter」に自動でつぶやくBot「Twitter bot」を、Bash
のシェルスクリプトで作ってみましょう。このTwitter botは、日経Linuxで好評
連載中の人気まんが「シス管系女子」の著者である私自身が作成し、シス管系女子宣伝用アカウントでも利用しています。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

MY_SCREEN_NAME=投稿に使うアカウントのスクリーンネーム
MY_LANGUAGE=投稿に使うアカウントの言語
CONSUMER_KEY=カスタマキー
CONSUMER_SECRET=カスタマシークレット
ACCESS_TOKEN=アクセストークン
ACCESS_TOKEN_SECRET=アクセストークンシークレット

1

2

3

4

5

6

MY_SCREEN_NAME=投稿に使うアカウントのスクリーンネーム

MY_LANGUAGE=投稿に使うアカウントの言語

CONSUMER_KEY=カスタマキー

CONSUMER_SECRET=カスタマシークレット

ACCESS_TOKEN=アクセストークン

ACCESS_TOKEN_SECRET=アクセストークンシークレット

# 管理者として扱うユーザー
# これらのユーザーからのDMはコマンドとして受け付ける
ADMINISTRATORS="piro_or, sysadgirl_mint"
# 反応キーワード
# これらのキーワードへの言及を検出したら反応する
WATCH_KEYWORDS='sysadgirl, system-admin-girl, シス管系女子, #シス管系女子'

# 言及への応答のキューを処理する間隔
PROCESS_QUEUE_INTERVALL_MINUTES=20
# 言及への応答のキューを処理する時間帯
ACTIVE_TIME_RANGE="11:40-15:00,17:00-24:00"

# 独り言をする時間帯
MONOLOGUE_ACTIVE_TIME_RANGE="00:00-00:30,06:00-24:00"
# 独り言の自動投稿の間隔
MONOLOGUE_INTERVAL_MINUTES=90

# メンションに連続して返事をする最大の回数
# 延々と同じ返事ばかりを返さないようにする安全装置。
MAX_MENTIONS_IN_PERIOD=10
# 連続して返事をする最大の回数の制限を反映する時間。
# この指定の場合、120分の間に最大で10回までしか返事をしない。
MENTION_LIMIT_PERIOD_MIN=120

# いいねする基準：言及されたらいいねする
FAVORITE_MENTIONS=true
FAVORITE_SEARCH_RESULTS=true

# RT基準：メンション以外はRTする
RETWEET_MENTIONS=false
RETWEET_SEARCH_RESULTS=true

# 言及への言及：リプライかメンションには応答、それ以外は言及しない
RESPOND_TO_MENTIONS=true
RESPOND_TO_SEARCH_RESULTS=false

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

# 管理者として扱うユーザー

# これらのユーザーからのDMはコマンドとして受け付ける

ADMINISTRATORS="piro_or, sysadgirl_mint"

# 反応キーワード

# これらのキーワードへの言及を検出したら反応する

WATCH_KEYWORDS='sysadgirl, system-admin-girl, シス管系女子, #シス管系女子'

# 言及への応答のキューを処理する間隔

PROCESS_QUEUE_INTERVALL_MINUTES=20

# 言及への応答のキューを処理する時間帯

ACTIVE_TIME_RANGE="11:40-15:00,17:00-24:00"

# 独り言をする時間帯

MONOLOGUE_ACTIVE_TIME_RANGE="00:00-00:30,06:00-24:00"

# 独り言の自動投稿の間隔

MONOLOGUE_INTERVAL_MINUTES=90

# メンションに連続して返事をする最大の回数

# 延々と同じ返事ばかりを返さないようにする安全装置。

MAX_MENTIONS_IN_PERIOD=10

# 連続して返事をする最大の回数の制限を反映する時間。

# この指定の場合、120分の間に最大で10回までしか返事をしない。

MENTION_LIMIT_PERIOD_MIN=120

# いいねする基準：言及されたらいいねする

FAVORITE_MENTIONS=true

FAVORITE_SEARCH_RESULTS=true

# RT基準：メンション以外はRTする

RETWEET_MENTIONS=false

RETWEET_SEARCH_RESULTS=true

# 言及への言及：リプライかメンションには応答、それ以外は言及しない

RESPOND_TO_MENTIONS=true

RESPOND_TO_SEARCH_RESULTS=false

#!/usr/bin/env bash

periodical_search() {
  # 検索APIのポーリング用の処理
}
periodical_search &

periodical_fetch_direct_messages() {
  # DMのAPIのポーリング用の処理
}
periodical_fetch_direct_messages &

periodical_monologue() {
  # 定期的な自動発言用の処理
}
periodical_monologue &
（略）
wait

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

#!/usr/bin/env bash

periodical_search() {

# 検索APIのポーリング用の処理

}

periodical_search &

periodical_fetch_direct_messages() {

# DMのAPIのポーリング用の処理

}

periodical_fetch_direct_messages &

periodical_monologue() {

# 定期的な自動発言用の処理

}

periodical_monologue &

（略）

wait

（略）
kill_descendants() {
  local target_pid=$1
  local children=$(ps --no-heading --ppid $target_pid -o pid)
  for child in $children
  do
    kill_descendants $child
  done
  if [ $target_pid != $$ ]
  then
    kill $target_pid 2>&1 > /dev/null
  fi
}
self_pid=$$
trap 'kill_descendants $self_pid; clear_all_lock; exit 0' HUP INT QUIT KILL TERM
（略）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

（略）

kill_descendants() {

local target_pid=$1

local children=$(ps --no-heading --ppid $target_pid -o pid)

for child in $children

do

kill_descendants $child

done

if [ $target_pid != $$ ]

then

kill $target_pid 2>&1 > /dev/null

fi

}

self_pid=$$

trap 'kill_descendants $self_pid; clear_all_lock; exit 0' HUP INT QUIT KILL TERM

（略）

periodical_search() {
（略）
  local last_id_file="$status_dir/last_search_result"
  local last_id=''
  [ -f "$last_id_file" ] && last_id="$(cat "$last_id_file")"
（略）
  while true
  do
    debug "Processing results of REST search API (newer than $last_id)..."
    while read -r tweet
    do
      [ "$tweet" = '' ] && continue
      id="$(echo "$tweet" | jq -r .id_str)"
（略）
      if [ $id -gt $last_id ]
      then
        last_id="$id"
        echo "$last_id" > "$last_id_file"
      fi
（略）
      # 検索結果として得たツイートをここで処理する
（略）
    done < <("$tools_dir/tweet.sh/tweet.sh" search \
                -q "$query" \
                -c "$count" \
                -s "$last_id" |
                jq -c '.statuses[]' |
                tac)

    if [ "$last_id" != '' ]
    then
      # increment "since id" to bypass cached search results
      last_id="$(($last_id + 1))"
      echo "$last_id" > "$last_id_file"
    fi
    sleep 3m
  done
}
（略）
if [ "$query" != '' ]
then
  log "Tracking search results with the query \"$query\"..."
  periodical_search &
  periodical_process_queue &
else
  log "No search queriy."
fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

periodical_search() {

（略）

local last_id_file="$status_dir/last_search_result"

local last_id=''

[ -f "$last_id_file" ] && last_id="$(cat "$last_id_file")"

（略）

while true

do

debug "Processing results of REST search API (newer than $last_id)..."

while read -r tweet

do

[ "$tweet" = '' ] && continue

id="$(echo "$tweet" | jq -r .id_str)"

（略）

if [ $id -gt $last_id ]

then

last_id="$id"

echo "$last_id" > "$last_id_file"

fi

（略）

# 検索結果として得たツイートをここで処理する

（略）

done < <("$tools_dir/tweet.sh/tweet.sh" search \

-q "$query" \

-c "$count" \

-s "$last_id" |

jq -c '.statuses[]' |

tac)

if [ "$last_id" != '' ]

then

# increment "since id" to bypass cached search results

last_id="$(($last_id + 1))"

echo "$last_id" > "$last_id_file"

fi

sleep 3m

done

}

（略）

if [ "$query" != '' ]

then

log "Tracking search results with the query \"$query\"..."

periodical_search &

periodical_process_queue &

else

log "No search queriy."

fi

（略）
if echo "$input" | egrep -i "good morning|おはよう|お早う|ぐっど? *もーにん|グッド? *モーニン" > /dev/null
then
  [ "$DEBUG" != '' ] && echo "Matched to \"good morning|おはよう|お早う|ぐっど? *もーにん|グッド? *モーニン\", from \"$base_dir/./responses/おはよう.txt\"" 1>&2
  extract_response "$base_dir/./responses/おはよう.txt"
  exit $?
fi

if echo "$input" | egrep -i "^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]" > /dev/null
then
  [ "$DEBUG" != '' ] && echo "Matched to \"^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]\", from \"$base_dir/./responses/こんにちは.txt\"" 1>&2
  extract_response "$base_dir/./responses/こんにちは.txt"
  exit $?
fi
（略）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

（略）

then

[ "$DEBUG" != '' ] && echo "Matched to \"good morning|おはよう|お早う|ぐっど? *もーにん|グッド? *モーニン\", from \"$base_dir/./responses/おはよう.txt\"" 1>&2

extract_response "$base_dir/./responses/おはよう.txt"

exit $?

fi

if echo "$input" | egrep -i "^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]" > /dev/null

then

[ "$DEBUG" != '' ] && echo "Matched to \"^(hello|hey|yo|hi)[ \.,!]|good afternoon|こんに?ちは|ハロー|はろー|ヘイ|やあ|よ[うお]\", from \"$base_dir/./responses/こんにちは.txt\"" 1>&2

extract_response "$base_dir/./responses/こんにちは.txt"

exit $?

fi

（略）

機械学習のココロ（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：石井一夫

今回は、人工知能プラットフォーム「TensorFlow」のインストール手順と、TensorFlow を使った機械学習と画像分析の一例を紹介します。TensorFlow をベースにした機械学習環境の構築や利用には、やや難易度の高い作業がかつては必要でした。しかし最近、ニューラルネットワークライブラリの「Keras」が開発されたことで、非常に楽になっています。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras

# Helper libraries
import numpy as np
import matplotlib.pyplot as plt

print(tf.__version__)

1

2

3

4

5

6

7

8

9

# TensorFlow and tf.keras

import tensorflow as tf

from tensorflow import keras

# Helper libraries

import numpy as np

import matplotlib.pyplot as plt

print(tf.__version__)

from keras.datasets import fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat', 
               'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
train_images = train_images / 255.0
test_images = test_images / 255.0

1

2

3

4

5

6

from keras.datasets import fashion_mnist

(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',

'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

train_images = train_images / 255.0

test_images = test_images / 255.0

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

model.compile(optimizer=tf.train.AdamOptimizer(), 
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

1

2

3

4

5

6

7

8

9

model = keras.Sequential([

keras.layers.Flatten(input_shape=(28, 28)),

keras.layers.Dense(128, activation=tf.nn.relu),

keras.layers.Dense(10, activation=tf.nn.softmax)

])

model.compile(optimizer=tf.train.AdamOptimizer(),

loss='sparse_categorical_crossentropy',

metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)

test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)

1

2

3

4

model.fit(train_images, train_labels, epochs=5)

test_loss, test_acc = model.evaluate(test_images, test_labels)

print('Test accuracy:', test_acc)

plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid('off')
    plt.imshow(test_images[i], cmap=plt.cm.binary)
    predicted_label = np.argmax(predictions[i])
    true_label = test_labels[i]
    if predicted_label == true_label:
      color = 'green'
    else:
      color = 'red'
    plt.xlabel("{} ({})".format(class_names[predicted_label],
                                  class_names[true_label]),
                                  color=color)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

plt.figure(figsize=(10,10))

for i in range(25):

plt.subplot(5,5,i+1)

plt.xticks([])

plt.yticks([])

plt.grid('off')

plt.imshow(test_images[i], cmap=plt.cm.binary)

predicted_label = np.argmax(predictions[i])

true_label = test_labels[i]

if predicted_label == true_label:

color = 'green'

else:

color = 'red'

plt.xlabel("{} ({})".format(class_names[predicted_label],

class_names[true_label]),

color=color)

バーティカルバーの極意（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：飯尾淳

本連載の第2 回（2017 年6 月号掲載）では、SNS（Facebook）のデータを分析しました。そこでは、投稿時間別のヒストグラムを作り、自分が何時頃によく投稿しているのかを考えてみました。今回は、バーティカルバー（垂直の棒）による代表的な表現に立ち戻り、再度、ヒストグラムを描いて分析してみましょう。分析の対象は、会議録です。国会議員による発言の状況を、ざっくりと捉えてみようという試みです。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

#!/bin/bash

dirs=(XML TXT1 TXT2 DAT)

for d in ${dirs[@]}; do
  if [ ! -d $d ]; then
    mkdir $d
  fi
done

# StartDate
SD=2018-05-30
# EndDate
ED=2018-05-30

while read line
do
  echo $line ... 
  arg=`echo speaker=$line\&maximumRecords=50\&from=$SD\&until=$ED \
   | nkf -WwMQ | sed 's/=$//g' | tr -d '\n' | tr = %`
  curl http://kokkai.ndl.go.jp/api/1.0/speech?$arg > XML/$line.xml
  sleep 3

  ./get_speech.py XML/$line.xml | sed -e 's/　/ /g' | cut -d ' ' -f 2-\
   | grep -v '^$' > TXT1/$line.txt
  cat TXT1/$line.txt | sed 's/。/。\
/g' | sed 's/（[^）]*）//g' | grep '。$' > TXT2/$line.txt
   echo -n '' > DAT/$line.dat
   while read line2
   do
     echo $line2 | wc -m >> DAT/$line.dat
   done < TXT2/$line.txt

  echo done
done < pols.txt

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

#!/bin/bash

dirs=(XML TXT1 TXT2 DAT)

for d in ${dirs[@]}; do

if [ ! -d $d ]; then

mkdir $d

fi

done

# StartDate

SD=2018-05-30

# EndDate

ED=2018-05-30

while read line

do

echo $line ...

arg=`echo speaker=$line\&maximumRecords=50\&from=$SD\&until=$ED \

| nkf -WwMQ | sed 's/=$//g' | tr -d '\n' | tr = %`

curl http://kokkai.ndl.go.jp/api/1.0/speech?$arg > XML/$line.xml

sleep 3

./get_speech.py XML/$line.xml | sed -e 's/　/ /g' | cut -d ' ' -f 2-\

| grep -v '^$' > TXT1/$line.txt

cat TXT1/$line.txt | sed 's/。/。\

/g' | sed 's/（[^）]*）//g' | grep '。$' > TXT2/$line.txt

echo -n '' > DAT/$line.dat

while read line2

do

echo $line2 | wc -m >> DAT/$line.dat

done < TXT2/$line.txt

echo done

done < pols.txt

#!/usr/bin/env python

from bs4 import BeautifulSoup
import sys

args = sys.argv

xml = open(args[1])
bsObj = BeautifulSoup(xml.read(), "lxml")
targets = bsObj.findAll("speech")

for t in targets:
  print(t.get_text())

1

2

3

4

5

6

7

8

9

10

11

12

13

#!/usr/bin/env python

from bs4 import BeautifulSoup

import sys

args = sys.argv

xml = open(args[1])

bsObj = BeautifulSoup(xml.read(), "lxml")

targets = bsObj.findAll("speech")

for t in targets:

print(t.get_text())

abe<-read.csv('DAT/安倍晋三.dat', header=F)
eda<-read.csv('DAT/枝野幸男.dat', header=F)
shi<-read.csv('DAT/志位和夫.dat', header=F)
kat<-read.csv('DAT/片山虎之助.dat', header=F)
tam<-read.csv('DAT/玉木雄一郎.dat', header=F)
aso<-read.csv('DAT/麻生太郎.dat', header=F)

myplot <- function(title="議員名", color1, color2, data) {
  x = data$V1
  hist(x,
    border = color1, col = color2,
    breaks = c(0,20,40,60,80,100,120,140,160,180,200,
            220,240,260,280,300,320,340,360,380,400,420),
    lwd = 3,
    xlim = c(0.0, 400), ylim = c(0.0, 0.018),
    freq = FALSE,
    main = paste(title, 'による発言の長さ', sep=''),
    ylab = '', xlab = '一発話（一文）あたりの文字数')
}

png("graph_r.png", width=2400, height=1280)
par(las=1, mfrow=c(2,3), cex=2.4, lwd=3)
par(family="HiraMaruProN-W4")
myplot(title="A氏", color1="#0288D1", color2="#04C0E8", data=abe)
myplot(title="B氏", color1="#FBC02D", color2="#FFD85A", data=aso)
myplot(title="C氏", color1="#FFEA00", color2="#FFFC80", data=eda)
myplot(title="D氏", color1="#0F9D58", color2="#1FCAB0", data=shi)
myplot(title="E氏", color1="#FF5252", color2="#FFA4A4", data=kat)
myplot(title="F氏", color1="#AFB42B", color2="#D0D858", data=tam)
dev.off()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

abe<-read.csv('DAT/安倍晋三.dat', header=F)

eda<-read.csv('DAT/枝野幸男.dat', header=F)

shi<-read.csv('DAT/志位和夫.dat', header=F)

kat<-read.csv('DAT/片山虎之助.dat', header=F)

tam<-read.csv('DAT/玉木雄一郎.dat', header=F)

aso<-read.csv('DAT/麻生太郎.dat', header=F)

myplot <- function(title="議員名", color1, color2, data) {

x = data$V1

hist(x,

border = color1, col = color2,

breaks = c(0,20,40,60,80,100,120,140,160,180,200,

220,240,260,280,300,320,340,360,380,400,420),

lwd = 3,

xlim = c(0.0, 400), ylim = c(0.0, 0.018),

freq = FALSE,

main = paste(title, 'による発言の長さ', sep=''),

ylab = '', xlab = '一発話（一文）あたりの文字数')

}

png("graph_r.png", width=2400, height=1280)

par(las=1, mfrow=c(2,3), cex=2.4, lwd=3)

par(family="HiraMaruProN-W4")

myplot(title="A氏", color1="#0288D1", color2="#04C0E8", data=abe)

myplot(title="B氏", color1="#FBC02D", color2="#FFD85A", data=aso)

myplot(title="C氏", color1="#FFEA00", color2="#FFFC80", data=eda)

myplot(title="D氏", color1="#0F9D58", color2="#1FCAB0", data=shi)

myplot(title="E氏", color1="#FF5252", color2="#FFA4A4", data=kat)

myplot(title="F氏", color1="#AFB42B", color2="#D0D858", data=tam)

dev.off()

Visual Studio Codeを使おう（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

著者：山本美穂

高機能、クロスプラットフォームで最近話題になっている、米Microsoft 社
発のオープンソースのエディタ「Visual Studio Code」。その概要、導入方法、画面構成や基本操作、カスタマイズ、デバックなど、便利な機能を含めながらVisual Studio Code を紹介します。

シェルスクリプトマガジンvol.56は以下リンク先でご購入できます。

{
// VS Code の表示言語を定義します。
// サポートされている言語の一覧については、
https://go.microsoft.com/fwlink/?LinkId=761051 をご覧ください。
"locale":"ja" // VS Code を再起動するまで変更は有効になりま
せん。
}

1

2

3

4

5

6

7

{

// VS Code の表示言語を定義します。

// サポートされている言語の一覧については、

https://go.microsoft.com/fwlink/?LinkId=761051 をご覧ください。

"locale":"ja" // VS Code を再起動するまで変更は有効になりま

せん。

}

ユニケージ新コードレビュー（Vol.56掲載）

投稿日：2018.09.25　｜　カテゴリー：　コード

筆者：村本禎実

ユニケージでは、小さな道具の「コマンド」をシェルスクリプトで組み合わせて、さまざまな業務システムを構築しています。本連載では、毎回あるテーマに従ってユニケージによるシェルスクリプトの記述例を分かりやすく紹介します。第3回は、Webブラウザからデータを登録するためのサーバー側の処理です。

シェルスクリプトマガジン Vol.56は以下のリンク先でご購入できます。

#!/bin/bash -xv
#
# BUMON_TOROKU_DEMO.CGI : 部門マスタ登録画面 
#
# 作成日：2018/08/20
# 作成者：t.muramoto

####################################################################
# 環境変数の設定
####################################################################
export PATH=/home/UTL:/home/TOOL:/usr/local/bin/:${PATH}
export LANG=ja_JP.UTF-8
####################################################################

####################################################################
# 実行ログの出力
####################################################################
exec 2> /LOG/LOG.$(basename $0).$(date +%Y%m%d%H%M%S)

####################################################################
# 変数設定
####################################################################
# 日付
today=$(mdate today)
# 時刻
todayhms=$(date +%Y%m%d%H%M%S)

# ホームディレクトリ
homd=/home/usp/WEB/BUMON
# LV1ディレクトリ
lv1d=${homd}/LV1
# LV3ディレクトリ
lv3d=${homd}/LV3
# HTMLディレクトリ
htmd=${homd}/HTML
# SEMAPHOREディレクトリ
semd=${homd}/SEMAPHORE
# tmp
tmp=/tmp/$$

####################################################################
# エラーチェック関数
####################################################################
# ERROR_CHECK
ERROR_CHECK(){
        [ $(plus ${PIPESTATUS[@]}) -eq 0 ] && return
        # エラーの場合
        rm -rf $tmp-*
        touch $semd/$(basename $0).$HOSTNAME.ERROR.$today
        exit 1
}

####################################################################
#  画面表示用データ作成
####################################################################
# POSTされたデータを取得
if [ $(echo ${CONTENT_LENGTH}) -ne 0 ]; then
  dd bs=${CONTENT_LENGTH}        |
  cgi-name -e_ -s_               > $tmp-name
  ERROR_CHECK
else
  # POSTの内容がない場合はファイルのみ作成
  :> $tmp-name
fi


# 適用フラグ、登録日時を作成
echo "1 ${todayhms}" > ${tmp}-flg
ERROR_CHECK
# 1:適用フラグ 2:登録日時

# LV1データ作成
# POSTデータが０バイトより大きい場合は処理
if [ -s ${tmp}-name ] ; then
	# 1:ID名 2:入力値
	cat ${tmp}-name    |
	# タグ形式に変換
	name-tag           |
	# 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5:適用終了日
	# ヘッダを削除
	sed 1d             |
	# 適用フラグ、登録日時をつける
	joinx - ${tmp}-flg |
	# 1:部門コード 2:部門名称                        3:担当者   4:適用開始日 5
	# :適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
	# 部門コードを5桁に変換
	maezero 1.5        |
	# 部門コードでソート
	msort key=1        > ${tmp}-lv1
	ERROR_CHECK

	# LV1データを保存
	cp -p ${tmp}-lv1 ${lv1d}/BUMON_TOROKU_${todayhms}
	ERROR_CHECK
else
	# POSTデータが0バイトのときの処理
	echo "_ _ _ _ _ _ _" > ${tmp}-lv1
	ERROR_CHECK
fi

# 表示データ取得
# 1:部門コード  2:部門名称                        3:担当者   4:適用開始日
# 5:適用終了日  6:適用フラグ（1:適用中 2:適用外） 7:登録日時
cat ${lv3d}/BUMON_MST  |
# 部門コードをキーとして登録データをマージ
up3 key=1 - ${tmp}-lv1 |
# 部門コードが"_"は除外
delr 1 _               |
# LV3更新データとして保存
tee ${tmp}-bumon_data  |
# 現在適用中のレコードを抽出
awk '$4<="'${today}'"' |
awk '$5>="'${today}'"' |
# 部門コード、適用開始日、登録日時でソート
msort key=1@4@7        |
# 部門コードをキーとして重複を削除
getlast 1 1            |
# 適用フラグで判断
delr 6 2               > ${tmp}-bumon_data_sansho
ERROR_CHECK

# HTML加工
cat ${htmd}/BUMON_DEMO_TOROKU.HTML                    |
# ###DATE###を変換
calsed "###DATE###" ${today} -                        |
# 文字をはめ込む
mojihame -l###BUMON_MST### - ${tmp}-bumon_data_sansho > ${tmp}-html
ERROR_CHECK

# LV3データを更新
cp -p ${tmp}-bumon_data ${lv3d}/BUMON_MST
ERROR_CHECK

####################################################################
#  HTML表示
####################################################################
echo "Content-type:text/html"
echo ""
cat $tmp-html

####################################################################
# 終了処理
####################################################################
rm -f ${tmp}-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

#!/bin/bash -xv

#

# BUMON_TOROKU_DEMO.CGI : 部門マスタ登録画面

#

# 作成日：2018/08/20

# 作成者：t.muramoto

####################################################################

# 環境変数の設定

####################################################################

export PATH=/home/UTL:/home/TOOL:/usr/local/bin/:${PATH}

export LANG=ja_JP.UTF-8

####################################################################

# 実行ログの出力

####################################################################

exec 2> /LOG/LOG.$(basename $0).$(date +%Y%m%d%H%M%S)

####################################################################

# 変数設定

####################################################################

# 日付

today=$(mdate today)

# 時刻

todayhms=$(date +%Y%m%d%H%M%S)

# ホームディレクトリ

homd=/home/usp/WEB/BUMON

# LV1ディレクトリ

lv1d=${homd}/LV1

# LV3ディレクトリ

lv3d=${homd}/LV3

# HTMLディレクトリ

htmd=${homd}/HTML

# SEMAPHOREディレクトリ

semd=${homd}/SEMAPHORE

# tmp

tmp=/tmp/$$

####################################################################

# エラーチェック関数

####################################################################

# ERROR_CHECK

ERROR_CHECK(){

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] && return

# エラーの場合

rm -rf $tmp-*

touch $semd/$(basename $0).$HOSTNAME.ERROR.$today

exit 1

}

####################################################################

# 画面表示用データ作成

####################################################################

# POSTされたデータを取得

if [ $(echo ${CONTENT_LENGTH}) -ne 0 ]; then

dd bs=${CONTENT_LENGTH} |

cgi-name -e_ -s_ > $tmp-name

ERROR_CHECK

else

# POSTの内容がない場合はファイルのみ作成

:> $tmp-name

fi

# 適用フラグ、登録日時を作成

echo "1 ${todayhms}" > ${tmp}-flg

ERROR_CHECK

# 1:適用フラグ 2:登録日時

# LV1データ作成

# POSTデータが０バイトより大きい場合は処理

if [ -s ${tmp}-name ] ; then

# 1:ID名 2:入力値

cat ${tmp}-name |

# タグ形式に変換

name-tag |

# 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5:適用終了日

# ヘッダを削除

sed 1d |

# 適用フラグ、登録日時をつける

joinx - ${tmp}-flg |

# 1:部門コード 2:部門名称 3:担当者 4:適用開始日 5

# :適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

# 部門コードを5桁に変換

maezero 1.5 |

# 部門コードでソート

msort key=1 > ${tmp}-lv1

ERROR_CHECK

# LV1データを保存

cp -p ${tmp}-lv1 ${lv1d}/BUMON_TOROKU_${todayhms}

ERROR_CHECK

else

# POSTデータが0バイトのときの処理

echo "_ _ _ _ _ _ _" > ${tmp}-lv1

ERROR_CHECK

fi

# 表示データ取得

# 1:部門コード 2:部門名称 3:担当者 4:適用開始日

# 5:適用終了日 6:適用フラグ（1:適用中 2:適用外） 7:登録日時

cat ${lv3d}/BUMON_MST |

# 部門コードをキーとして登録データをマージ

up3 key=1 - ${tmp}-lv1 |

# 部門コードが"_"は除外

delr 1 _ |

# LV3更新データとして保存

tee ${tmp}-bumon_data |

# 現在適用中のレコードを抽出

awk '$4<="'${today}'"' |

awk '$5>="'${today}'"' |

# 部門コード、適用開始日、登録日時でソート

msort key=1@4@7 |

# 部門コードをキーとして重複を削除

getlast 1 1 |

# 適用フラグで判断

delr 6 2 > ${tmp}-bumon_data_sansho

ERROR_CHECK

# HTML加工

cat ${htmd}/BUMON_DEMO_TOROKU.HTML |

# ###DATE###を変換

calsed "###DATE###" ${today} - |

# 文字をはめ込む

mojihame -l###BUMON_MST### - ${tmp}-bumon_data_sansho > ${tmp}-html

ERROR_CHECK

# LV3データを更新

cp -p ${tmp}-bumon_data ${lv3d}/BUMON_MST

ERROR_CHECK

####################################################################

# HTML表示

####################################################################

echo "Content-type:text/html"

echo ""

cat $tmp-html

####################################################################

# 終了処理

####################################################################

rm -f ${tmp}-*

exit 0

Vol.56

投稿日：2018.09.25　｜　カテゴリー：　バックナンバー

Linuxサーバーやネットワーク機器の運用管理に、それらを監視するツールは欠かせません。特集1では、有償の監視ツールにも劣らない多くの機能を有する「Zabbix」を取り上げました。Zabbixの導入方法や基本的な使い方、今秋にリリースされるバージョン4.0について分かりやすく紹介しています。
特集2では、企業ITインフラの新しいコンセプト「パイパーコンバージドインフラストラクチャ」（HCI）について分かりやすくまとめました。仮想化技術でハードウエアをシンプルにまとめたHCIの特徴を誰でも理解できます。
特集3では、Microsoft発のオープンソースエディタ「Visual Stuido Code」を紹介しました。バージョン管理システム「Git」と連携した導入方法、基本操作、カスタマイズ、デバッグなどを、多数の画面写真を使って解説しています。
特別企画では、日経Linuxで超人気のITまんが「シス管系女子」の筆者が、自らがシェルスクリプトで作ったTwitter Botを紹介しています。実際に「@sysadgirl_mint」で動いている本格的なものです。
このほか、「香川大学SLPからお届け！」では、独自開発の小規模利用向けプライベートPaaS（Platform as a Service）「LiPP」の使い方を紹介しています。好評連載の「ラズパイ入門ボードで学ぶ電子回路の制御」では、赤外線リモコンによるラズパイの遠隔操作を扱っています。シェルスクリプトマガジン特製の「ラズパイ入門ボード」を活用してください。

今月も読み応え十分のシェルスクリプトマガジン Vol.56。お見逃しなく!

※記事掲載のコードはこちら。記事の補足情報はこちら

※読者アンケートはこちら

第20回　ログを収集する（rsyslogのログメッセージ）

投稿日：2018.09.21　｜　カテゴリー：　記事

前回は、カーネルやシステムに関連するログを収集・制御するソフトウエア「rsyslog」によって、Ubuntu Server 16.04 LTSではどのような種類のログが取得されているのかを確認しました。また、rsyslogでログを取得して処理するためのルールの書き方も簡単に説明しました。
今回は、rsyslogによって出力されるログメッセージのフォーマットについて解説します。このフォーマットは「テンプレート」を使って、サーバー管理者が自由に変更できます。

図1　カーネル関連のログメッセージ

シェルスクリプトマガジン

番外編2　Webブラウザーからサーバーへリモートアクセス

ラズパイ入門ボードで学ぶ電子回路の制御（Vol.56）

漢のUNIX（Vol.56掲載）

香川大学SLPからお届け！（Vol.56掲載）

スズラボ通信（Vol.56掲載）

Node.js/Expressで楽々Webアプリ開発（Vol.56掲載）

シェルスクリプトマガジンvol.56 Web掲載記事まとめ

Vol.56 補足情報

目次

Node.js/Expressで楽々Webアプリ開発

ユニケージ新コードレビュー

特別企画　シェルスクリプトで作る Twitter bot（Vol.56掲載）

機械学習のココロ（Vol.56掲載）

バーティカルバーの極意（Vol.56掲載）

Visual Studio Codeを使おう（Vol.56掲載）

ユニケージ新コードレビュー（Vol.56掲載）

Vol.56

第20回　ログを収集する（rsyslogのログメッセージ）

固定ページ

アーカイブ

カテゴリー