麻生二郎 « shell-mag

もしインターネットの1秒が1年だったら　WEB掲載記事まとめ

投稿日：2017.09.12　｜　カテゴリー：　コード

もしインターネットの1秒が1年だったら第１回（vol.47掲載）

もしインターネットの1秒が1年だったら第２回（vol.48掲載）

もしインターネットの1秒が1年だったら第３回（vol.49掲載）

オリジナル版掲載サイト（外部リンク）

もしインターネットの１秒が１年だったら第3回（vol.49掲載）

投稿日：2017.09.12　｜　カテゴリー：　記事

written by hakatashi・Mine02C4

編注：本記事は「SunPro 2016 技術書典」で発表された記事に説明・イラストを追加し、シェルマガvol.49に掲載したものです。
以下リンク先で、オリジナル版の全文が公開されています。
https://sunpro.io/techbookfest/

インターネットが日本中のあらゆる人間に行き渡るようになってから、すでに10年単位の時間が経過しています。今日においてインターネットを支えるネットワーク技術が重要であることは言うまでもありませんが、実際にネットワークでどのタイミングで何が起こり、どれくらいの時間が費やされるのかということを身を持って体感している人は、たとえネットワークに精通している人でも少ないのではないでしょうか？この記事では、1 秒というわずかな時間を1年にまで拡大し、ネットワーク上で何が起こっているかを人間スケールでざっくりと解説していきます。

はじめに

こんにちは。博多市(@hakatashi) です。前回、前々回に引き続き、2016年の技術書典にて発表した「インターネットの1 秒がもし1 年だったら」という記事を、シェルスクリプトマガジン向けに再構成してお届けします。この記事は、インターネット通信においてクライアントがサーバーとコミュニケーションする様子を、1秒を1年というスケールに引き伸ばし、クライアントとサーバーをそれぞれ「クライアントちゃん」と「サーバーちゃん」として、人間スケールに置き換えて順に見ていこうという企画です。
前回までの記事では、長くて面倒なTLSハンドシェイクの手続きを終え、サーバーちゃんとクライアントちゃんの間で暗号通信を行うための準備が完了しました。これで本題となる通信の内容を送るための用意は終了し、いよいよインターネットを通した2人の文通が始まります。クライアントちゃんにとっては100日以上も待ち続けた念願のやり取りです。果たして2人は無事に文通を行い、そして年内に終了することができるのでしょうか。引き続きお楽しみください。

サーバーちゃん　　クライアントちゃん

HTTPリクエストとレスポンス

4月19日午前9時26分　HTTPリクエスト送信

1ヶ月半に渡るやりとりによって、サーバーちゃんとクライアントちゃんとの間で暗号通信を行う準備が整いました。もはや2 人の世界を妨げるものは何もありません。これで少々神経過敏なクライアントちゃんも安心してサーバーちゃんに質問を投げかけることができます。
HTTPは、原則としてクライアントがサーバーに対してリクエストを投げて、サーバーがそれに対する応答を返すという、先程までのTCPハンドシェイクやTLSと比べてシンプルな仕組みで動作します。ネットワークの中でもかなり高レイヤーなプロトコルなので、リクエストの内容やヘッダーはプレーンテキストで表現され、人間が見てそのまま理解しやすいようになっています。
今回はクライアントアプリケーションとしてcURLを用いたので、HTTPバージョン1.1のシンプルなGETリクエストでパケットを送信しました。
クライアントちゃんは勇気を振り絞って、年が明けてからずっと聞きたかったことを質問しました。その内容はヘッダも含めて4行、文字数に直すと99バイトですが、TLSで暗号化することによって130バイト、イーサネットフレーム全体では184バイトと、実際に転送される情報としては倍近くになりました。ハガキは裏面しか使えませんからね。

4月28日午前9時27分　HTTPリクエスト受信

クライアントちゃんから暗号化された秘密の手紙が届きました。サーバーちゃん側から見ても、最初にSYNパケットを受け取ってから2ヶ月という時間が経過しています。その間、Webサーバーとしての諸々の雑務をこなしながら、クライアントちゃんからの手紙を待ち続けていました。HTTPリクエストを受け取ったサーバーは、その内容を元にリクエストの解釈を行い、文脈に応じて何らかの適切な応答を返します。今回の測定ではデフォルトのApacheへのリクエストだったので、GETリクエストはシンプルにファイルの内容を取得するという処理となります。　手紙の内容を見て、さっそくサーバーちゃんは部屋の中(=ファイルシステム) から目的のデータを探し始めました。サーバーちゃんはファイルサーバーなので、探しものはお手のものです。

「アレでもない、コレでもない。どこいったの？！」

第2回　Ubuntuの導入（Ubuntu Serverのインストール）

投稿日：2017.09.8　｜　カテゴリー：　記事

まず、サーバーに利用するパソコンを用意します。Linuxサーバーを試すだけなら、高機能なものは必要ありません。メモリーが1Gバイト、ハードディスクドライブ（HDD）などの内蔵ストレージが100Gバイト程度搭載していればよいでしょう。なお、内蔵ストレージの中身が消えてしまっても構わないパソコンにしてください。
前回DVD-RやUSBメモリーで作成したインストールメディアを、用意したパソコンに挿入する前に、パソコンのファームウエアでDVD-Rの場合は光学ドライブから、USBメモリーの場合はUSBデバイスから優先的に起動するように設定しておきます。

Ubuntu Serverのインストール

パソコンにインストールメディアを挿入し、ネットワークケーブルを接続してインターネットにつなげられる状態にしたら、パソコンの電源を投入します。パソコンのファームウエアがBIOSとUEFIでは起動画面が異なります。BIOSの場合は、図1の言語選択画面になります。カーソルキーと［Enter］キーを使って「日本語」を選んでください。

図1　言語選択画面（BIOSの場合）

図2の画面で「Ubuntu Serverをインストール」を選択してインストーラーを起動します。

図2　インストーラーを起動する（BIOSの場合）

ITエンジニアのためのマーケティング入門　WEB掲載記事まとめ

投稿日：2017.09.5　｜　カテゴリー：　コード

ITエンジニアのためのマーケティング入門第13回

ITエンジニアのためのマーケティング入門第14回

ITエンジニアのためのマーケティング入門第16回

ITエンジニアのためのマーケティング入門第17回

ITエンジニアのためのマーケティング入門第18回

ITエンジニアのためのマーケティング入門第21回

ITエンジニアのためのマーケティング入門第22回

ITエンジニアのためのマーケティング入門第24回

ITエンジニアのためのマーケティング入門第25回

シェルスクリプトマガジンvol.47 Web掲載記事まとめ

投稿日：2017.09.5　｜　カテゴリー：　記事

シェルスクリプトマガジンvol.47のWeb掲載部分まとめです。

4 バーティカルバーの極意/飯尾淳　コード掲載
8 もしインターネットの１秒が１年だったら/hakatashi・Mine02C4　本文掲載
16 UNIXネイティブの電子工作塾 e-Badge篇/大野浩之
22 逆に、Tukubaiコマンドをシェルスクリプトで実装してみる/今泉光之　本文掲載
28 中小企業診断士が解説する、超実践的な会話術! 円滑コミュニケーションが世界を救う！/濱口誠一
30 中小企業手作りIT化奮戦記/菅雄一
36 アジャイル開発 Let’s Practice!/熊野憲辰
40 法林浩之のFIGHTING TALKS/法林浩之
42 それプロのエバンジェリストから愛をこめて/山本美穂
46 縁の木、育てよう/白羽玲子
50 スズラボ通信/すずきひろのぶ
53 姐のBENTO
54 ITエンジニアのためのマーケティング入門/水間丈博
57 lookup ～見上げる～/桑原滝弥
52 人間とコンピュータの可能性/大岩元
60 技術者哲学ピリカのつくりかた　本文掲載
66 ユニケージ開発手法コードレビュー/岡田健　コード掲載
74 香川大学SLPからお届け！/石井怜央（香川大学SLP）　コード掲載
78 漢のUNIX/後藤大地　コード掲載
92 40歳から始める、オレとRubyプログラミング/しょっさん　コード掲載
100 Tech数独
102 ソースとコード/シェル魔人

シェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

シェルスクリプトマガジンvol.48 Web掲載記事まとめ

投稿日：2017.09.5　｜　カテゴリー：　記事

シェルスクリプトマガジンvol.48のWeb掲載部分まとめです。

4 スズラボ通信/すずきひろのぶ
8 法林浩之のFIGHTING TALKS/法林浩之
10 UNIXネイティブの電子工作塾 e-Badge篇/大野浩之　コード掲載
17 ITエンジニアのためのマーケティング入門/水間丈博　本文掲載
20 逆に、Tukubaiコマンドをシェルスクリプトで実装してみる/今泉光之　本文掲載
28 アジャイル開発 Let’s Practice!/熊野憲辰
32 ユニケージ開発手法コードレビュー/新美勇一　コード掲載
42 姐のBENTO
44 それプロのエバンジェリストから愛をこめて/山本美穂
48 中小企業診断士が解説する、超実践的な会話術! 円滑コミュニケーションが世界を救う！/濱口誠一
50 漢のUNIX/後藤大地　コード掲載
58 香川大学SLPからお届け！/石井怜央（香川大学SLP）
62 40歳から始める、オレとRubyプログラミング/しょっさん　コード掲載
72 TechLION再録「エンジニアの生存戦略」
78 国際化と標準化/桑原滝弥・イケヤシロウ
80 もしインターネットの１秒が１年だったら/hakatashi・Mine02C4　本文掲載
88 バーティカルバーの極意/飯尾淳　コード掲載
94 中小企業手作りIT化奮戦記/菅雄一
100 人間とコンピュータの可能性/大岩元
102 Tech数独/gori.sh
104 ユニケージの目指すところ/シェル魔人

シェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

第1回　Ubuntuの導入（インストールメディアの作成）

投稿日：2017.09.1　｜　カテゴリー：　記事

Linuxには「ディストリビューション」と呼ばれる複数の種類があります。ディストリビューションによって操作方法が少し異なりますので、Linuxサーバーを構築する第一歩としてディストリビューションの選定から始めましょう。

サーバーに最適なディストリビューション

LinuxサーバーのOSとして利用するディストリビューションの場合、以下の四つを満足するものがよいでしょう。

これらのことから、Linuxでは人気が高いディストリビューション「Ubuntu」のサーバー版「Ubuntu Server」を選択します。このUbuntuは、インターネット上に存在するサーバーのOSとして多くのユーザーに利用されています。そのため、情報が豊富です。また、多くのアプリケーションが「パッケージ」と呼ばれる形式で用意されています。このパッケージなら導入も簡単です。
Ubuntuには、最初のリリースから5年間のサポートが付いた「LTS」（Long Term Support）というバージョンがあります。ここでいうサポートとは、主に不具合対処やセキュリティ対策用の更新ソフトウエアの提供のことです。2017年9月1日時点において、LTSの付いた最新Ubuntuのサーバー版は「Ubuntu Server 16.04.3 LTS」です。最初のリリースは2016年4月21日なので、2021年4月まで安心して使えます。
Ubuntu Serverは、サーバーOSとして動作させるために最低限必要なソフトだけを導入した状態でインストールできます。そのため、不要なアプリが導入されたり、必要のないサービスが動作していたりすることはほとんどありません。

Vol.49

投稿日：2017.08.31　｜　カテゴリー：　バックナンバー

いまや日本でも決して珍しい働き方ではなくなった「起業」。
初期投資の少なさやIT文化特有の独立自尊の精神からいっても、ソフトウェア開発者にとっては特に他人事ではありません。
今月の特集「ITエンジニアの起業時代」では、起業の道を選んだお二人のエンジニアにお話を伺います。
一人目は、様々な会社につとめた後、まさにいま起業の第一歩を踏み出した門脇明日香さん。数年前から珈琲屋を営むインタビュアー白羽さんが、「起業の先輩」ならではの視点から切り込みます。
二人目は、読者の皆様にもおなじみ、日本のITコミュニティ文化を支えるサービス”Doorkeeper”を運営するカナダ人のPaul McMahonさん。Doorkeeper開発の経緯や商売を軌道にのせるまでの奮励を惜しみなく語ってくれました!

さらに今月は新連載も! 「機械学習のココロ」では、研究の最前線で機械学習に長年取り組んできた現久留米大学の石井一夫先生が、現在の人工知能ブームの火付け役となったディープラーニングの「本当の価値」を伝授していきます。

その他にも、スーパーエンジニア後藤大地さんがお薦めのコマンド開発フレームワークを紹介する「漢のUNIX」や、擬人化によってネットワークの仕組みがラクラク掴める「もしインターネットの1秒が1年だったら」など、
ちょっとやそっとでは味わい尽くせない、今月も読み応え十分のシェルスクリプトマガジンvol.49。お見逃しなく!

連載　UbuntuではじめるLinuxサーバー

投稿日：2017.08.25　｜　カテゴリー：　コード

Linuxとパソコンを使って、本格的なサーバーを無料で構築しましょう。Linuxのインストール方法、リモートアクセス環境の構築、Samba、Apache、MariaDB、WordPress、Nextcloudといったサーバーソフトの導入・起動方法などを分かりやすく紹介します。

written by シェルスクリプトマガジン編集部

特集　無いものは作れTukubai 流コマンド自作文化（後半・本誌vol.7掲載)

投稿日：2017.08.22　｜　カテゴリー：　記事

各地でOpen usp Tukubai を紹介すると、多くの人にとても興味を引かれることがある。

それは、Unix コマンドを自ら作っていくと言う習慣だ。
コマンドを作るということは、他言語で考えればifやfor等の予約語を追加するようなものかもしれない。そう考えると確かに興味深い。
だが、Unix の世界ではそれが当初のやり方だった。
コマンドを自作する文化。
この素晴らしさを、改めて伝えたい。

written by USPマガジン編集部

本記事は、USP MAGAZINE vol.7(2013年冬号)掲載記事のWEB再録記事（後半部分)です。

記事前半はこちら！

本記事掲載のUSP MAGAZINE vol.7は以下リンク先でご購入できます。

第三章道具を夢見たコマンドたち

USP 研究所は、前時代を含めてこれまで2000 個にも及ぶコマンドを作ってきたという。多い日は1 日で10 個作ったこともあったのだとか。しかしそれら大半のコマンドが淘汰されていったことは、今のOpen usp Tukubai のコマンドの数を見れば容易に想像がつく。
「道具とは何たるか」などと偉そうなことを語っておきながらこれは一体どういうことか！とツッコミを入れたくなるところではあるが、そういう歴史があるからこそ道具の本質を見極め、そしてTukubai の思想を確立させられたのだろう。
そこでこの章では、そんな道具を夢見て生み出されながら淘汰されていったコマンドや、これから道具として活躍する可能性を秘めたコマンドなど、いくつか紹介していこう。

その１．yuniq コマンド

uniq コマンドの横方向版「横uniq」ということで登場したコマンドだ。その名のとおり、横方向にuniq がなされる。

> echo "aa bb bb bb bb bb1 cc" | yuniq
aa bb bb1 cc
> echo "aa bb bb bb cc bb" | yuniq
aa bb cc bb
>

1

2

3

4

5

> echo "aa bb bb bb bb bb1 cc" | yuniq

aa bb bb1 cc

> echo "aa bb bb bb cc bb" | yuniq

aa bb cc bb

>

スペース区切りで、同じ綴りの文字列が連続してるとそれを一つに集約する。ただし、連続せずに出現したものに関しては集約されない。このあたりの仕様はuniq コマンドと同様に作られている。

ソースコード

以下に全体を掲載する。勿論cc でコンパイル可能だ。

/* */
/* yuniq.c >>> Ｃ言語版ＹＵＮＩＱ */
/* */
/* Usage : yuniq < infile */
/* */
/* Written by N.Tounaka (usb-lab) */

#include <stdio.h>
#include <string.h>

#define BUFMAX 1024
char RECORD[BUFMAX],OUTBUF[BUFMAX];

void trim();
char *edit();

main(int argc,char **argv)
{
FILE *fp;

/* 入力ファイルの取得 */
if(1 != argc) {
if(NULL == (fp = fopen(argv[1],"r"))) {
fprintf(stderr,"Error : %s ファイルがオープンできません.\n",argv[1]);
exit(1);
}
}
else fp = stdin;

/* 各レコード処理 */
while(NULL != fgets(RECORD,BUFMAX,fp)) {
trim(RECORD); /* 要BOF対策! */
strcpy(OUTBUF,edit(RECORD));
printf("%s\n",OUTBUF);
}

/* 読み取りエラーチェック */
if(!feof(fp) || ferror(fp)) {
fprintf(stderr,"Error : 入力ファイル読み取りエラー.\n");
exit(1);
}

/* 終了 */
exit(0);
}


/* レコードのゴミを取る */
void trim(char *buf)
{

/* 行末の改行文字を削除 */
if('\n' == *(buf+strlen(buf)-1)) *(buf+strlen(buf)-1) = '\0';

/* 行末の空白を削除 */

/* 空白だけからなるデータへの対応が必要! */
while(' ' == *(buf+strlen(buf)-1)) *(buf+strlen(buf)-1) = '\0';
return;
}


/* yuniq 処理を行う */
char *edit(char *buf)
{
char wbuf[BUFMAX],rbuf[BUFMAX]; /* 要BOF対策! */
char old[100],new[100];
char *p,*q,*r;

/* 作業領域の初期化 */
p = wbuf; strcpy(p,buf);
r = rbuf; *r = '\0';
*old = *new = '\0';

/* 各フィールドを切り出す */
while(NULL != (q = strtok(p, " "))) {

/* 前後のフィールドの受渡し */
strcpy(old,new);
strcpy(new,q);

/* 前のフィールドと異なっていたら連結 */
if(NULL != strcmp(old,new)) {
strcat(r,new); strncat(r, " ",1);
}

p = NULL;
}

/* 最後の空白を削除する */
*(r+strlen(r)-1) = '\0';

return r;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

/* */

/* yuniq.c >>> Ｃ言語版ＹＵＮＩＱ */

/* */

/* Usage : yuniq < infile */

/* */

/* Written by N.Tounaka (usb-lab) */

#include <stdio.h>

#include <string.h>

#define BUFMAX 1024

char RECORD[BUFMAX],OUTBUF[BUFMAX];

void trim();

char *edit();

main(int argc,char **argv)

{

FILE *fp;

/* 入力ファイルの取得 */

if(1 != argc) {

if(NULL == (fp = fopen(argv[1],"r"))) {

fprintf(stderr,"Error : %s ファイルがオープンできません.\n",argv[1]);

exit(1);

}

else fp = stdin;

/* 各レコード処理 */

while(NULL != fgets(RECORD,BUFMAX,fp)) {

trim(RECORD); /* 要BOF対策! */

strcpy(OUTBUF,edit(RECORD));

printf("%s\n",OUTBUF);

}

/* 読み取りエラーチェック */

if(!feof(fp) || ferror(fp)) {

fprintf(stderr,"Error : 入力ファイル読み取りエラー.\n");

exit(1);

}

/* 終了 */

exit(0);

}

/* レコードのゴミを取る */

void trim(char *buf)

{

/* 行末の改行文字を削除 */

if('\n' == *(buf+strlen(buf)-1)) *(buf+strlen(buf)-1) = '\0';

/* 行末の空白を削除 */

/* 空白だけからなるデータへの対応が必要! */

while(' ' == *(buf+strlen(buf)-1)) *(buf+strlen(buf)-1) = '\0';

return;

}

/* yuniq 処理を行う */

char *edit(char *buf)

{

char wbuf[BUFMAX],rbuf[BUFMAX]; /* 要BOF対策! */

char old[100],new[100];

char *p,*q,*r;

/* 作業領域の初期化 */

p = wbuf; strcpy(p,buf);

r = rbuf; *r = '\0';

*old = *new = '\0';

/* 各フィールドを切り出す */

while(NULL != (q = strtok(p, " "))) {

/* 前後のフィールドの受渡し */

strcpy(old,new);

strcpy(new,q);

/* 前のフィールドと異なっていたら連結 */

if(NULL != strcmp(old,new)) {

strcat(r,new); strncat(r, " ",1);

}

p = NULL;

}

/* 最後の空白を削除する */

*(r+strlen(r)-1) = '\0';

return r;

}

道具になれなかった理由とは

yuniq 無しに横方向uniq をせよ、と言われたらどうやるだろうか。Tukubai コマンドを使えば次のように書ける。

> echo uniqしたい文字列 | tarr | uniq | yarr

1	> echo uniqしたい文字列 \| tarr \| uniq \| yarr

つまり、単語を一旦縦に並べてソートして、横に並べ直せばいいというわけだ。
横方向uniq の使用頻度がそう高くなかったために、ユニケージエンジニア達もこのコマンドを覚える機会がなかったうえ、たまに横方向uniq が必要になった時もtarr → uniq → yarr の組み合わせで事足りてしまったためにいつしか忘れ去られてしまった。

特集　無いものは作れTukubai 流コマンド自作文化（前半・本誌vol.7掲載)

投稿日：2017.08.8　｜　カテゴリー：　記事

各地でOpen usp Tukubai を紹介すると、多くの人にとても興味を引かれることがある。

それは、Unix コマンドを自ら作っていくと言う習慣だ。
コマンドを作るということは、他言語で考えればifやfor等の予約語を追加するようなものかもしれない。そう考えると確かに興味深い。
だが、Unix の世界ではそれが当初のやり方だった。
コマンドを自作する文化。
この素晴らしさを、改めて伝えたい。

written by USPマガジン編集部

本記事は、USP MAGAZINE vol.7(2013年冬号)掲載記事のWEB再録記事(前半部分)です。

後半部分はこちら

本記事掲載のUSP MAGAZINE vol.7は以下リンク先でご購入できます。

第一章共通部品でない、道具を作るということ

Open usp Tukubai は、何のために生まれたか

2012 年の今年、USP 研究所はOpen usp Tukubai と名付けたUnix シェル向け追加コマンドセット（通称Tukubai コマンド）をリリースした。

名称の一部となっている“Tukubai” は、このコマンドセットに付けた単なる名前ではない。オープンソースやオープンプラットフォームの「ソース」や「プラットフォーム」などと同様に、ある一つの概念を指し示す用語なのだ。この「ある一つの概念」を端的に言い表す用語というものが存在しなかったため、USP 研究所がコマンドセットのリリースに合わせて新たに定義したものなのである。
本誌もこれまでこの語を度々用いてきたが、ここで改めてTukubai の意味を記すことにする。

Tukubai とは

Unix 哲学や“Software Tools”（B.W.Kernighan、P.J.Plauger著）等の作法を忠実に受け継ぎ、進化させたシステム構築法。同音である蹲（蹲踞とも記す）という道具が用いられる茶道の精神に通じるものがあることからこの名を付けた。

“Software Tools” の邦訳版「ソフトウェア作法」（共立出版）。30 年以上発行され続けている名書である。

つまりTukubai は一種の思想であり、その源流は、Unix を生み出した先人たちの哲学にある。そしてこの哲学を受け継ぎ、進化させ、USP 研究所なりに具現化したものがOpen usp Tukubai なのだ。将来Tukubai という語が一般化し、Tukubai の思想に基づいてある人Xがコマンドセットをリリースするなら、それはOpen XTukubai と呼ぶべき存在になるかもしれない。
従ってTukubai コマンドは、実はその表面的な姿（書式や仕様、種類）が重要なのではない。重要なのは、コマンドセット全体としてどんな役割を果たしているかである。そしてTukubai コマンドが果たすべき役割とは、ソフトウェア開発における「道具」になることである。

「道具とは何か」を理解する

Tukubai が指し示す「道具」は、共通部品とは明確に区別される。では、共通部品ではない道具とは何なのか。まず道具が持ち合わせるべき三つの性質を記す。

一、単機能であって汎用性がある。
二、インターフェースが決まっているが、逆にそれさえ守っていれば他には一切の制約がない。
三、同じものを発明する気を起こさせない。

更に付け加えるなら、「作ってみればあって当たり前の存在」、「何処の誰もが使えるもの」などとも言いたいところだ。
これらの性質を満たしているものは、世の中の様々な分野において、作業を効率的に熟こなすうえで必要不可欠なものに成り得る。勿論、ソフトウェアの世界においても例外ではない。
身近にある道具と呼ばれるものを色々思い浮かべてもらいたい。それらがこの三つの性質を満たしているかどうか考えてみれば、ここで言わんとしている道具がどういうものであるかが見えてくるだろう。

身の回りにある例

例えば西洋料理を食す際に使うナイフやフォーク、スプーンの類。これは道具であろう。西洋料理を食す時は誰もが使うし、同種のものを発明する気も起らない。インターフェースについて考えてみても、どれも片手で持って使うようにできているし、皆棒状の形で大きさや重さ等も概ね揃えられている。もし違っていたら、揃えるべく、きっと誰かが同じ類のものを発明しているに違いない。
一方で共通部品的な物とは、複数の道具をくっつけてみたり、よくある道具の形をちょっとだけ変形してみたり、といった俗に言うアイデア商品の大部分のものではないだろうか。
それらは特定の作業には驚く程の利便性を発揮するが、汎用性が乏しいために歴史の一部となるほどには普及しない。そして似たようなものが再発明されたりもする。

ソフトウェアにおける例

そして、ソフトウェアにも道具的なものと共通部品的なものがある。ある程度汎用性があり、再利用可能なコードを集めたものとされるライブラリーは、その両方を持ち得る。例えば、Microsoft Visual C++ には通称MFC と呼ばれるクラスライブラリーがある。これはC++ によるWindows プログラミングを容易にするためのものであり、数百個ものクラスが用意されている。しかしそれらを全てを把握して使いこなしている人は恐らく少数だろう。その一方で、C 言語の文字列変数の扱いづらさを補完するCString のように、MFCを利用する人の大多数が利用するクラスもある。このような違いというのも、先に記した三つの性質の有無によるところが大きい。

ユーティリティー、アプリケーション

類似の用語に、ユーティリティー、アプリケーションといったものがあるが、これらもここで言う道具とは違う。ユーティリティーは例えば、バックアップソフトとかテキストエディターといった物を指すが、単機能とは限らないし、インターフェースも様々だし、同様のものが様々作られる。アプリケーションはさらに複合的な機能を有する物を指し、それ単体の使用で大きな目的を達成できる。これらも勿論有用なものだが、単体では目的を達成できない代わりに組み合わせ次第で如何なる目的にも対応できる道具とは方向性の違うものだ。
道具とは何か、ご理解いただけただろうか。これが道具であるかどうかという上記の例は、明確な基準に基づいたものではないため、あまり心地良いものではないかもしれない。
しかし確実に言えることは、三つの性質を満たしていると思える人が多くいるかどうかだ。多くの人が支持するからこそ物は道具になれる。逆に、それは見る立場によって判断が分かれ得るものであるから、特定の地域や時代、或いは特定の分野でのみ道具として認知されるものもある。

Unix における道具とは

既に述べたとおり、Tukubai コマンドは道具としての役割を果たすべく作られたものである。しかしそれ以前に、Unixシェルに用意されている標準コマンドには、先に記した三つの性質を満たす道具的なものが数多くある。
例えばテキストフィルターに分類されるAWK, grep, sed,tr などは道具的であると言えるだろう。一方で、パスワードを設定するpasswd コマンドやテキストエディターである
vi*1 といったコマンドは誰もが使うところであるが、使い方が既に決められていて汎用性は無く、インターフェースが決まっているかという性質に照らし合わせてみても当てはまり難い。これらはむしろユーティリティーと呼ぶべきものであろう。

*1 vi は好みが別れそうだが、何らかのテキストエディターは使うだろう。

このようにUnix のコマンドにおいても、道具的なものとユーティリティー・アプリケーション的なものがある。そして、道具的と呼ぶべきUnix コマンドは、どれも共通した下記の作法を概ね守っている。

◆データのやりとりに標準入出力を使う
◆入出力データをテキストデータとする

道具は、組み合わせて使うことで真価が発揮される。従って、組み合わせて使えるようにすべく、このような作法が生まれたのではないだろうか。Unix において偉大な発明の一つであるパイプ（パイプライン）も、そのような背景から生まれたに違いない。
そしてUnix シェルやシェルスクリプトも上記の作法を守るうえで実に適した仕様になっている。道具たるコマンドを予約語のような感覚で呼び出せ、組み合わせられる。時には“if [” などのように、予約語とコマンドが密接に結び付くこともある。
こういった仕様は、Unix 発明者達の思想の表れであって、「道具をもってして問題を解決するのがUnix シェル」ということを言わんとしているのではないだろうか。

道具に類する用語の整理。ユーティリティー、アプリケーションと呼ばれるものになるに従って、汎用的な用途から専門的な用途へと変化する。ライブラリーは部品であるが、汎用的なものもあれば専門的なものもある。

ITエンジニアのためのマーケティング入門第25回 (vol.49掲載)

投稿日：2017.08.1　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第25回デジタルマーケティング　その1

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、会社の後輩カンナちゃんと一緒に近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろ知識を吸収しています。これまでマーケティングの基本と実践方法を学んできました。今回から「デジタルマーケティング」がテーマです。

さて、今回から「デジタルマーケティング」の話に入っていこうかの。
「デジタルマーケティング」って最近よく聞くけど、今までのマーケティングとどう違うんだろう？
「デジタルマーケティング」とは、要するに「IT技術をマーケティングに取り入れること」じゃよ。
えーっ、それだけ？でも「デジタル」って言うけど、昔からあった電子メールとかもホントはデジタルだよね？
ハッハッハ、その通りじゃ。インターネットは、登場してすぐに広告で使われるようになったんじゃが、これまでは「オンラインマーケティング」とか「WEBマーケティング」と呼ばれていたものが、2013年ごろを境に「デジタルマーケティング」と呼ばれ出したんじゃ。
なぜ今さら「デジタル」って言い始めたのかしら？
それは一つには、スマホに代表されるデジタルデバイスの急激な普及と大いに関係がある。
スマホで、ネットショップでの注文とかクーポンが使えるようになったからかな？
そうじゃな、それは前からも使えたんじゃが、スマホの普及でますます便利になったのが大きい。2008年には世界で1億台以下だったスマホが今年15億台以上も出荷されると予測されておる。

もう一つ、アドテクノロジーの急激な発達がある。
アドテクノロジーって、オンラインで広告が出されることって聞いたことあるわ。
まぁそうなんじゃ、その仕組みも含めた言葉じゃの。これはちょっと前の状況なんじゃが、アドテクノロジーの全体概要図になるの。

Display Advertising Technology Landscape
出典：Jp chaosmap　Hiroshi Kondo
http://www.slideshare.net/HiroshiKondo/jp-chaosmap-20142015

ちょっと複雑だけど、よく見ると知ってる会社やよく使うサイトとかもありますね。
中央上の「DSP(Demand Side Platform）」というのがオンライン広告の広告主側のプラットフォーム群（サーバ）、右端の「SSP（Supply Side Platform)」は広告を配信するメディア側のプラットフォーム群、この間にある「RTB(Real Time Bitting)」はこの両者を取り持つオークション事業者の役割で、一番高値を付けた広告主が広告を配信できるという広告入札の仕組みなんじゃ。例えば、消費者がPCやらスマホで画面を開いた瞬間にどのような広告を掲示するか、オークションで決めておるんじゃな。この取引が成立して広告が視聴者に表示されて完結するまで、その間50ms(1/20秒）といわれておる。
へーっ！なんか難しい言葉が出てきたけど、ボクがポータルサイトを開いたときに出てくる広告を出す仕組みはこうなってるのか？
DSPの下にある「DMP(Data Management Platform)」というのが、広告を見る人のネットアクセス履歴や嗜好性などのデータベースで、「デモグラ」という世代や性別ごとの一般的な特徴も含まれておる。これを拠り所に、見ている人への最適な広告を選択するサポートをしているんじゃな。
だから、ボクがPS４を買った直後にゲームの広告が増えたりするのかー。
私がネットを見ていると「若い女性向け」の広告が目につくけど、これもDMPが活躍しているためなんですね。
そうじゃ。現在のオンライン広告はDisplay広告といって、そのほとんどが視聴者個人の特性に応じて出し分けられておるんじゃよ。これを「パーソナライズ」といったりするんじゃ。
ネットを見た履歴からその人の興味や関心が把握されてるってことなんですね。ちょっとコワイ気もするけど……
ここのところ静止画よりは動画が多くなったが、この仕組みは2008年のリーマンショックの後に、ウォール街の金融業界にいた大勢の優秀なエンジニアが広告業界に移って金融取引の仕組みを広告に応用した成果といわれておる。
そうなんだー。
この、いかにもITテクノロジーを駆使した画期的な仕組みが日本にも導入されて、あっという間に広まったんじゃ。今はスマホ向けだけで年間3000億円の市場規模があるとされているんじゃが、広告主と消費者（視聴者）の間に様々なプレイヤーがおって、それぞれITを駆使して役割分担しつつデータを複雑にやり取りしておるんじゃ。
ホント様々な事業者が見えないところで仕組みを支えてるんですね。
だからこの図は別名「混沌マップ（ChaosMap）」とも呼ばれておる。プレイヤーの参入や脱落が多いんで日々変わることから名付けられたんじゃよ。
新しい業界の特徴なのかもねー。
さて話が長くなったが、アドテクノロジーをはじめとして、ここ３?４年の間にIT技術を駆使してマーケティングに活用しようとする動きが大変活発になったんで「デジタルマーケティング」と言われるようになったんじゃ。
ナルホドね。
といったわけなので、「デジタルマーケティング」には適切な定義もないし、国によって認識も違う。米国では今でも「オンラインマーケティング」と呼ばれているし、イタリアでは「WEBマーケティング」と同義で使われているらしい。しかし最近「デジタルビジネス」とかも言われ始めているから流行り言葉ではあるな。
「デジタル」という本来の意味を超えて使われ始めた感じですねー。
デジタルマーケティングが発展してきた背景をここで整理しておこう。要するにマーケティングにIT技術が用いられ出したのには社会的背景の変化が大きく影響しているんじゃ。

①スマホ・タブレットなどのデジタルメディアの普及：
消費者がこれらの道具を常時持ち歩くようになったことで、メディアや企業と直接に繋がるようになった
②新たな顧客への情報到達手段：
企業にとっては従来型到達手段（４大メディア広告、PCへのメール、PC向けディスプレイ広告、動画広告）に加えて、新たにスマホ、タブレット向けの到達手段が増えた
③即時性の進化：
今までは、“TVを見ている時”（CM、通販番組など）やPCの前に座っている時だけ、情報伝達や消費者アクションが実行されたが、それが消費者側の意思でいつでも好きな時に可能になった
④消費者が発信する情報のマーケティング活用：
ネットの視聴履歴や購買履歴、ソーシャルネットワーク、GPS情報などが発信されることによって、個客の興味や嗜好に関するデータをマーケティングに活用できるようになった

「リアルタイム」というのがキーポイントになったよね。スマホで簡単に商品を比較して、その時一番安いお店で注文できちゃうから、お店の競争も大変になったんだろうな。
そうね、TVと違ってどこでも好きな時にネットショッピングできるようになったし、SNSで発信することもできるから、以前よりも格段に双方向性が増したという点も大きいんじゃないかしら。
そうじゃな。まとめると、消費者つまりお客さんを取り巻く「ネット社会・到達手段（消費者の武器）・リアルタイム性・消費者発信情報」の環境が変わったことに対する、サービス提供者側のマーケティング実行方法の変化が「デジタルマーケティング」を生み出したともいえるんじゃな。
そうか、お客さんの環境変化が必然的にデジタルマーケティングに向かわせているのかー。
現在は「リアル（店舗）」や４大広告メディアだけでは競合が多い世の中で戦っていけないからの。
最近はテレビを見ない人も増えたって言いますよねー。
そうじゃ、既に20代以下ではTVよりネット視聴時間の方が多くなっておる。
そう言えば、私も最近TVはドラマしか見てないかも。

シェルスクリプトマガジンvol.49 Web掲載記事まとめ

投稿日：2017.07.25　｜　カテゴリー：　記事

シェルスクリプトマガジンvol.49のWeb掲載部分まとめです。

現在、コード掲載記事のコード部分をshell-mag.comに掲載しています。

4 機械学習のココロ/石井一夫
8 縁の木、育てよう/白羽玲子　ゲスト：門脇明日香
12 Doorkeeper Paul McMahonに訊く、技術者哲学/シェルスクリプトマガジン編集部
18 中小企業手作りIT化奮戦記/菅雄一
24 人間とコンピュータの可能性/大岩元
26 香川大学SLPからお届け！/清水赳（香川大学SLP）　コード掲載
30 ユニケージ開発手法コードレビュー/大内智明　コード掲載
40 アジャイル開発 Let’s Practice!/熊野憲辰
44 漢のUNIX/後藤大地　コード掲載
52 もしインターネットの１秒が１年だったら/hakatashi・Mine02C4
60 バーティカルバーの極意/飯尾淳　コード掲載
68 スズラボ通信/すずきひろのぶ　コード掲載
72 法林浩之のFIGHTING TALKS/法林浩之
74 ITエンジニアのためのマーケティング入門/水間丈博　本文掲載
78 妹のBENTO
80 それプロのエバンジェリストから愛をこめて/山本美穂
84 中小企業診断士が解説する、超実践的な会話術！円滑コミュニケーションが世界を救う！/濱口誠一
86 40歳から始める、オレとRubyプログラミング/しょっさん　コード掲載
94 回帰テスト～regression testing～/桑原滝弥・イケヤシロウ
96 Tech数独/gori.sh
98 ユニケージの目指すところ/シェル魔人

シェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

スズラボ通信　３４　（本誌vol.49掲載）

投稿日：2017.07.25　｜　カテゴリー：　コード

著者：すずきひろのぶ

最近、設定ファイルの名前にファイル拡張子yml がついていることが多いことに気がつきます。これはYAML というフォーマットです。プログラムの設定ファイルのフォーマットとしては簡単に使えるますが、自分のプログラムで使おうとすると意外と参考になる情報は少ないことに気がつきます。
今回はこの話題を取り上げます。

記事本文掲載のシェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

#
# Simple Sample for How to use YAML.
# SUZULABO COMM, Shell Script Mag.
# Auther: Hironobu SUZUKI
# Date: 2017/06/12 
# License: GPLv3 or later.
#
import yaml
f = open("sample.yml", "r+")
data = yaml.load(f)
print data

1

2

3

4

5

6

7

8

9

10

11

#

# Simple Sample for How to use YAML.

# SUZULABO COMM, Shell Script Mag.

# Auther: Hironobu SUZUKI

# Date: 2017/06/12

# License: GPLv3 or later.

#

import yaml

f = open("sample.yml", "r+")

data = yaml.load(f)

print data

#
# Simple Sample for How to use YAML.
# SUZULABO COMM, Shell Script Mag.
# Auther: Hironobu SUZUKI
# Date: 2017/06/12 
# License: GPLv3 or later.
#

item:
  subitem1: "subitem string"
  subitem2: 999

1

2

3

4

5

6

7

8

9

10

11

#

# Simple Sample for How to use YAML.

# SUZULABO COMM, Shell Script Mag.

# Auther: Hironobu SUZUKI

# Date: 2017/06/12

# License: GPLv3 or later.

#

item:

subitem1: "subitem string"

subitem2: 999

#
# Simple Sample for How to use YAML.
# SUZULABO COMM, Shell Script Mag.
# Auther: Hironobu SUZUKI
# Date: 2017/06/12 
# License: GPLv3 or later.
#

network:
  port: 9989
  hostname: localhost
  server: example.com example.co.jp

1

2

3

4

5

6

7

8

9

10

11

12

#

# Simple Sample for How to use YAML.

# SUZULABO COMM, Shell Script Mag.

# Auther: Hironobu SUZUKI

# Date: 2017/06/12

# License: GPLv3 or later.

#

network:

port: 9989

hostname: localhost

server: example.com example.co.jp

#
# Simple Sample for How to use YAML.
# SUZULABO COMM, Shell Script Mag.
# Auther: Hironobu SUZUKI
# Date: 2017/06/12 
# License: GPLv3 or later.
#

issuedate: 2017/06/12
samples:
  - filename: sample.yml
    auther: hironobu
    description: how to described multi level dictionary.
    version: 1.1
  - filename: sample2.yml
    auther: hironobu
    description: sample of netrowk configuration.
    version: 1.1.1
  - filename: sample3.yml
    auther: hironobu
    desctiption: itself.
    version: 1.300

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

#

# Simple Sample for How to use YAML.

# SUZULABO COMM, Shell Script Mag.

# Auther: Hironobu SUZUKI

# Date: 2017/06/12

# License: GPLv3 or later.

#

issuedate: 2017/06/12

samples:

- filename: sample.yml

auther: hironobu

description: how to described multi level dictionary.

version: 1.1

- filename: sample2.yml

auther: hironobu

description: sample of netrowk configuration.

version: 1.1.1

- filename: sample3.yml

auther: hironobu

desctiption: itself.

version: 1.300

#
# Simple Sample for How to use YAML.
# SUZULABO COMM, Shell Script Mag.
# Auther: Hironobu SUZUKI
# Date: 2017/06/12 
# License: GPLv3 or later.
#

contact_info:
    hironobu: { voip:  28371289@te1.me, xmpp: hironobu@edujabber.jp }
    jun: {
      voip:  29387189@te1.me,
      xmpp: jun@edujabber.jp
      }
Description: >-
  Conntact Point of
  voip and xmpp.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

#

# Simple Sample for How to use YAML.

# SUZULABO COMM, Shell Script Mag.

# Auther: Hironobu SUZUKI

# Date: 2017/06/12

# License: GPLv3 or later.

#

contact_info:

hironobu: { voip: 28371289@te1.me, xmpp: hironobu@edujabber.jp }

jun: {

voip: 29387189@te1.me,

xmpp: jun@edujabber.jp

}

Description: >-

Conntact Point of

voip and xmpp.

#
# Simple Sample for How to use YAML.
# SUZULABO COMM, Shell Script Mag.
# Auther: Hironobu SUZUKI
# Date: 2017/06/12 
# License: GPLv3 or later.
#
require 'yaml'
file  = open("sample4.yml")
data = YAML.load(file.read())
p data

1

2

3

4

5

6

7

8

9

10

11

#

# Simple Sample for How to use YAML.

# SUZULABO COMM, Shell Script Mag.

# Auther: Hironobu SUZUKI

# Date: 2017/06/12

# License: GPLv3 or later.

#

require 'yaml'

file = open("sample4.yml")

data = YAML.load(file.read())

p data

バーティカルバーの極意第三回 (vol.49掲載)

投稿日：2017.07.25　｜　カテゴリー：　コード

著者：中央大学　教授　飯尾淳

今回は、いかにもデータ分析といった例題に取り組みます。題材は、簡単な自然言語処理。数十篇のコラム記事を対象として、記事の自動分類に挑戦します。対象とする記事群を、クラスタリングという処理で分類します。クラスタリングとは、特定の多次元空間にマップされたデータ群を、様々な方法でいくつかのまとまりに整理する方法です。
それぞれのデータは、「距離の近さに応じて」まとめられます。ここで計算される距離を、数学では絶対値の記号を用いて｜x｜と表します。ほら、バーティカルバーが出てきましたね。
また、近いデータを集めて樹形図としてまとめていく方法もよく用いられます。このようにして描く樹形図のことを、デンドログラムといいます。今回、描いてみようとするデンドログラムは図 1 のようなものです。ここにも多数の棒が描かれています。
今回のバーティカルバー劇場、役者は「距離」と「デンドログラム」の二人です。

記事本文掲載のシェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

#!/bin/bash

num=(`seq -w 1 99`)
i=0

echo ==== step 1 =============================================================
if [ ! -d HTM ]; then
  mkdir HTM;
  mkdir HTM/originals
fi
echo -n preparing config file "... "
while read line
do
  echo url = \"${line}\"
  echo output = \"HTM/originals/file${num[$i]}.html\"
  i=$(($i + 1))
done < links.txt > curl_config.txt
echo done

curl --config curl_config.txt

vim -es HTM/originals/file14.html +':norm 7GJ' +':wq'

echo ==== step 2 =============================================================
i=0
for f in HTM/originals/*
do
  echo -n processing `basename $f` "... "
  fname=`grep '<title>' $f |
    	   sed -e 's/<title>//' -e 's/ |.*//' \
	       -e 's/ /_/g' -e 's/\?/？/'`.html
  cp $f HTM/${num[$i]}_$fname
  i=$(($i + 1))
  echo done
done

echo ==== step 3 =============================================================
if [ ! -d TXT ]; then mkdir TXT; fi
for f in HTM/[0-9]*
do
  echo -n processing `basename $f` "... "
  output=TXT/`basename $f .html`.txt
  cat $f | \
    ruby -e 'require "nokogiri"; \
 		puts Nokogiri::HTML(STDIN) \
			.css(".entry")[0].content' | \
    awk '/本文中のリンク・関連リンク/ { exit } { print }' > $output
  echo done
done

echo ==== step 4 =============================================================
if [ ! -d MPA ]; then mkdir MPA; fi
for f in TXT/*
do
  echo -n processing `basename $f` "... "
  output=MPA/`basename $f .txt`.dat
  cat $f | juman | \
     grep -v '^@' | grep -v EOS | \
     grep -E '名詞|形容詞' | \
     grep -v -E '非自立|接尾辞|接頭辞|指示詞|形式名詞|固有名詞|数詞' > $output
  echo done
done

echo ==== step 5 =============================================================
if [ ! -d WRD ]; then mkdir WRD; fi
for f in MPA/*
do
  echo -n processing `basename $f` "... "
  output=WRD/`basename $f`
  cat $f | cut -f 1 -d ' ' | grep -v '^$' | sort > $output
  echo done
done

cat WRD/* | sort | uniq -c | sort -nr | \
  awk '($1 >= 5) { print $2; }' > freq_5.csv

echo ==== step 6 =============================================================
if [ ! -d DAT ]; then mkdir DAT; fi
for f in WRD/*
do
  echo -n processing `basename $f` "... "
  output=DAT/`basename $f .dat`.csv
  ./wrdvec.rb $f > $output
  echo done
done

cat DAT/* > all.csv

echo ==== step 7 =============================================================
R < mkgraph.R --no-save
convert -rotate 90 cluster.png cluster2.png

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

#!/bin/bash

num=(`seq -w 1 99`)

i=0

echo ==== step 1 =============================================================

if [ ! -d HTM ]; then

mkdir HTM;

mkdir HTM/originals

fi

echo -n preparing config file "... "

while read line

do

echo url = \"${line}\"

echo output = \"HTM/originals/file${num[$i]}.html\"

i=$(($i + 1))

done < links.txt > curl_config.txt

echo done

curl --config curl_config.txt

vim -es HTM/originals/file14.html +':norm 7GJ' +':wq'

echo ==== step 2 =============================================================

i=0

for f in HTM/originals/*

do

echo -n processing `basename $f` "... "

fname=`grep '<title>' $f |

sed -e 's/<title>//' -e 's/ |.*//' \

-e 's/ /_/g' -e 's/\?/？/'`.html

cp $f HTM/${num[$i]}_$fname

i=$(($i + 1))

echo done

done

echo ==== step 3 =============================================================

if [ ! -d TXT ]; then mkdir TXT; fi

for f in HTM/[0-9]*

do

echo -n processing `basename $f` "... "

output=TXT/`basename $f .html`.txt

cat $f | \

ruby -e 'require "nokogiri"; \

puts Nokogiri::HTML(STDIN) \

.css(".entry")[0].content' | \

awk '/本文中のリンク・関連リンク/ { exit } { print }' > $output

echo done

done

echo ==== step 4 =============================================================

if [ ! -d MPA ]; then mkdir MPA; fi

for f in TXT/*

do

echo -n processing `basename $f` "... "

output=MPA/`basename $f .txt`.dat

cat $f | juman | \

grep -v '^@' | grep -v EOS | \

grep -E '名詞|形容詞' | \

grep -v -E '非自立|接尾辞|接頭辞|指示詞|形式名詞|固有名詞|数詞' > $output

echo done

done

echo ==== step 5 =============================================================

if [ ! -d WRD ]; then mkdir WRD; fi

for f in MPA/*

do

echo -n processing `basename $f` "... "

output=WRD/`basename $f`

cat $f | cut -f 1 -d ' ' | grep -v '^$' | sort > $output

echo done

done

cat WRD/* | sort | uniq -c | sort -nr | \

awk '($1 >= 5) { print $2; }' > freq_5.csv

echo ==== step 6 =============================================================

if [ ! -d DAT ]; then mkdir DAT; fi

for f in WRD/*

do

echo -n processing `basename $f` "... "

output=DAT/`basename $f .dat`.csv

./wrdvec.rb $f > $output

echo done

done

cat DAT/* > all.csv

echo ==== step 7 =============================================================

R < mkgraph.R --no-save

convert -rotate 90 cluster.png cluster2.png

漢のUNIX　テストフレームワームKyua その1（vol.49掲載）

投稿日：2017.07.25　｜　カテゴリー：　コード

著者：後藤大地

　コマンドをたくさん作っていくと、いくつかのことに気がつくとおもう。
　たとえば作っていくうちにいろいろと思うところがでて、その都度プログラムの書き換えを実施していくと、コマンドの最初のころの動作と最近の動作が異なってしまうことがあるはずだ。こんな感じで互換性が損なわれることにはなにかと問題がある。少なくとも、業務で使おうとした場合には致命的な問題を引き起こしかねない。
　もうひとつは終端処理の確認というか、ちゃんとさまざまなケースで動作するのかの確認だ。自分で作るときは自分に都合のよいところしか動作チェックをしないものだ。想定していなかった処理をするとコアダンプが発生してコマンドが異常終了するとかはよくある話だ。こうした問題が発生しないように、ちゃんとテストを行うコードを書いて開発に組み込むというのは大切なことである。
　開発の最初の段階からテストフレームワークを入れておくというのはよいアイディアだ。こういうのは最初から導入して、テスト→実装→テスト→実装…　といった流れでの開発を常におこなうようにしておきたい。今回はこうしたテストを実施するためのフレームワークとして「Kyua」を紹介しようと思う。

記事本文掲載のシェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

# pkg install kyua
Updating FreeBSD repository catalogue...
FreeBSD repository is up to date.
All repositories are up to date.
The following 3 package(s) will be affected (of 0 checked):

New packages to be INSTALLED:
        kyua: 0.13_2,3
        lutok: 0.4_6
        atf: 0.21

Number of packages to be installed: 3

The process will require 34 MiB more space.
5 MiB to be downloaded.

Proceed with this action? [y/N]: y
[1/3] Fetching kyua-0.13_2,3.txz: 100%    4 MiB 835.0kB/s    00:05
[2/3] Fetching lutok-0.4_6.txz: 100%  216 KiB 221.2kB/s    00:01
[3/3] Fetching atf-0.21.txz: 100%  475 KiB 486.2kB/s    00:01
Checking integrity... done (0 conflicting)
[1/3] Installing atf-0.21...
[1/3] Extracting atf-0.21: 100%
[2/3] Installing lutok-0.4_6...
[2/3] Extracting lutok-0.4_6: 100%
[3/3] Installing kyua-0.13_2,3...
===> Creating users
Using existing user 'tests'.
Extracting kyua-0.13_2,3: 100%<Paste>
#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

# pkg install kyua

Updating FreeBSD repository catalogue...

FreeBSD repository is up to date.

All repositories are up to date.

The following 3 package(s) will be affected (of 0 checked):

New packages to be INSTALLED:

kyua: 0.13_2,3

lutok: 0.4_6

atf: 0.21

Number of packages to be installed: 3

The process will require 34 MiB more space.

5 MiB to be downloaded.

Proceed with this action? [y/N]: y

[1/3] Fetching kyua-0.13_2,3.txz: 100% 4 MiB 835.0kB/s 00:05

[2/3] Fetching lutok-0.4_6.txz: 100% 216 KiB 221.2kB/s 00:01

[3/3] Fetching atf-0.21.txz: 100% 475 KiB 486.2kB/s 00:01

Checking integrity... done (0 conflicting)

[1/3] Installing atf-0.21...

[1/3] Extracting atf-0.21: 100%

[2/3] Installing lutok-0.4_6...

[2/3] Extracting lutok-0.4_6: 100%

[3/3] Installing kyua-0.13_2,3...

===> Creating users

Using existing user 'tests'.

Extracting kyua-0.13_2,3: 100%<Paste>

#

$ brew install kyua
==> Installing dependencies for kyua: atf, lutok, readline, sqlite
==> Installing kyua dependency: atf
==> Downloading https://homebrew.bintray.com/bottles/atf-0.21.sierra.bottle.tar.
######################################################################## 100.0%
==> Pouring atf-0.21.sierra.bottle.tar.gz
==> Using the sandbox
🍺  /usr/local/Cellar/atf/0.21: 114 files, 2.8MB
==> Installing kyua dependency: lutok
==> Downloading https://homebrew.bintray.com/bottles/lutok-0.4.sierra.bottle.tar
######################################################################## 100.0%
==> Pouring lutok-0.4.sierra.bottle.tar.gz
🍺  /usr/local/Cellar/lutok/0.4: 232 files, 1005.5KB
==> Installing kyua dependency: readline
==> Downloading https://homebrew.bintray.com/bottles/readline-7.0.3_1.sierra.bot
######################################################################## 100.0%
==> Pouring readline-7.0.3_1.sierra.bottle.tar.gz
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local,
because macOS provides the BSD libedit library, which shadows libreadline.
In order to prevent conflicts when programs look for libreadline we are
defaulting this GNU Readline installation to keg-only..

For compilers to find this software you may need to set:
    LDFLAGS:  -L/usr/local/opt/readline/lib
    CPPFLAGS: -I/usr/local/opt/readline/include

==> Summary
🍺  /usr/local/Cellar/readline/7.0.3_1: 46 files, 1.5MB
==> Installing kyua dependency: sqlite
==> Downloading https://homebrew.bintray.com/bottles/sqlite-3.19.2.sierra.bottle
######################################################################## 100.0%
==> Pouring sqlite-3.19.2.sierra.bottle.tar.gz
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local,
because macOS provides an older sqlite3.

If you need to have this software first in your PATH run:
  echo 'export PATH="/usr/local/opt/sqlite/bin:$PATH"' >> ~/.bash_profile

For compilers to find this software you may need to set:
    LDFLAGS:  -L/usr/local/opt/sqlite/lib
    CPPFLAGS: -I/usr/local/opt/sqlite/include
For pkg-config to find this software you may need to set:
    PKG_CONFIG_PATH: /usr/local/opt/sqlite/lib/pkgconfig

==> Summary
🍺  /usr/local/Cellar/sqlite/3.19.2: 12 files, 2.9MB
==> Installing kyua
==> Downloading https://homebrew.bintray.com/bottles/kyua-0.13.sierra.bottle.tar
######################################################################## 100.0%
==> Pouring kyua-0.13.sierra.bottle.tar.gz
🍺  /usr/local/Cellar/kyua/0.13: 195 files, 39.3MB
$

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

$ brew install kyua

==> Installing dependencies for kyua: atf, lutok, readline, sqlite

==> Installing kyua dependency: atf

==> Downloading https://homebrew.bintray.com/bottles/atf-0.21.sierra.bottle.tar.

######################################################################## 100.0%

==> Pouring atf-0.21.sierra.bottle.tar.gz

==> Using the sandbox

🍺 /usr/local/Cellar/atf/0.21: 114 files, 2.8MB

==> Installing kyua dependency: lutok

==> Downloading https://homebrew.bintray.com/bottles/lutok-0.4.sierra.bottle.tar

######################################################################## 100.0%

==> Pouring lutok-0.4.sierra.bottle.tar.gz

🍺 /usr/local/Cellar/lutok/0.4: 232 files, 1005.5KB

==> Installing kyua dependency: readline

==> Downloading https://homebrew.bintray.com/bottles/readline-7.0.3_1.sierra.bot

######################################################################## 100.0%

==> Pouring readline-7.0.3_1.sierra.bottle.tar.gz

==> Caveats

This formula is keg-only, which means it was not symlinked into /usr/local,

because macOS provides the BSD libedit library, which shadows libreadline.

In order to prevent conflicts when programs look for libreadline we are

defaulting this GNU Readline installation to keg-only..

For compilers to find this software you may need to set:

LDFLAGS: -L/usr/local/opt/readline/lib

CPPFLAGS: -I/usr/local/opt/readline/include

==> Summary

🍺 /usr/local/Cellar/readline/7.0.3_1: 46 files, 1.5MB

==> Installing kyua dependency: sqlite

==> Downloading https://homebrew.bintray.com/bottles/sqlite-3.19.2.sierra.bottle

######################################################################## 100.0%

==> Pouring sqlite-3.19.2.sierra.bottle.tar.gz

==> Caveats

This formula is keg-only, which means it was not symlinked into /usr/local,

because macOS provides an older sqlite3.

If you need to have this software first in your PATH run:

echo 'export PATH="/usr/local/opt/sqlite/bin:$PATH"' >> ~/.bash_profile

For compilers to find this software you may need to set:

LDFLAGS: -L/usr/local/opt/sqlite/lib

CPPFLAGS: -I/usr/local/opt/sqlite/include

For pkg-config to find this software you may need to set:

PKG_CONFIG_PATH: /usr/local/opt/sqlite/lib/pkgconfig

==> Summary

🍺 /usr/local/Cellar/sqlite/3.19.2: 12 files, 2.9MB

==> Installing kyua

==> Downloading https://homebrew.bintray.com/bottles/kyua-0.13.sierra.bottle.tar

######################################################################## 100.0%

==> Pouring kyua-0.13.sierra.bottle.tar.gz

🍺 /usr/local/Cellar/kyua/0.13: 195 files, 39.3MB

$

# yum install kyua-cli

1	# yum install kyua-cli

% kyua help
kyua (Kyua) 0.13

Usage: kyua [general_options] command [command_options] [args]

Available general options:
  -c file, --config=file  Path to the configuration file; 'none' to disable
                          loading (default: ~/.kyua/kyua.conf or
                          /usr/local/etc/kyua/kyua.conf).
  -v K=V, --variable=K=V  Overrides a particular configuration variable.
  --loglevel=level        Level of the messages to log (default: info).
  --logfile=file          Path to the log file (default:
                          /Users/daichi/.kyua/logs/kyua.20170608-140505.log).

Generic commands:
  about                   Shows detailed authors and contributors; license;
                          and version information.
  config                  Inspects the values of configuration variables.
  db-exec                 Executes an arbitrary SQL statement in a results
                          file and prints the resulting table.
  db-migrate              Upgrades the schema of an existing results file
                          to the currently implemented version.  A backup
                          of the results file is created, but this
                          operation is not reversible.
  help                    Shows usage information.

Reporting commands:
  report                  Generates a report with the results of a test
                          suite run.
  report-html             Generates an HTML report with the result of a
                          test suite run.
  report-junit            Generates a JUnit report with the result of a
                          test suite run.

Workspace commands:
  debug                   Executes a single test case providing facilities
                          for debugging.
  list                    Lists test cases and their meta-data.
  test                    Run tests.

See kyua(1) for more details.
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

% kyua help

kyua (Kyua) 0.13

Usage: kyua [general_options] command [command_options] [args]

Available general options:

-c file, --config=file Path to the configuration file; 'none' to disable

loading (default: ~/.kyua/kyua.conf or

/usr/local/etc/kyua/kyua.conf).

-v K=V, --variable=K=V Overrides a particular configuration variable.

--loglevel=level Level of the messages to log (default: info).

--logfile=file Path to the log file (default:

/Users/daichi/.kyua/logs/kyua.20170608-140505.log).

Generic commands:

about Shows detailed authors and contributors; license;

and version information.

config Inspects the values of configuration variables.

db-exec Executes an arbitrary SQL statement in a results

file and prints the resulting table.

db-migrate Upgrades the schema of an existing results file

to the currently implemented version. A backup

of the results file is created, but this

operation is not reversible.

help Shows usage information.

Reporting commands:

report Generates a report with the results of a test

suite run.

report-html Generates an HTML report with the result of a

test suite run.

report-junit Generates a JUnit report with the result of a

test suite run.

Workspace commands:

debug Executes a single test case providing facilities

for debugging.

list Lists test cases and their meta-data.

test Run tests.

See kyua(1) for more details.

%

-- Kyuafileではハイフンをふたつ並べた部分からが
-- コメントとして扱われる。つまり、この説明が
-- 書いてある部分はkyua(1)によってコメントとして
-- 処理される。

-- シンタックスバージョンはかならず2を指定する
-- という決まりになっている。この指定はKyuafile
-- の最初にかならず記述することになっている。
syntax(2)

-- テストセットにはかならず名前をつける必要がある。
-- これは次のように定義する。
test_suite('suite2')

-- あとはATFで開発されたテストプログラムを指定。
-- ここではATFシェルで開発したテストコードを実行
-- したいので、それを指定してある。
atf_test_program{name='atf_tests1.sh'}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

-- Kyuafileではハイフンをふたつ並べた部分からが

-- コメントとして扱われる。つまり、この説明が

-- 書いてある部分はkyua(1)によってコメントとして

-- 処理される。

-- シンタックスバージョンはかならず2を指定する

-- という決まりになっている。この指定はKyuafile

-- の最初にかならず記述することになっている。

syntax(2)

-- テストセットにはかならず名前をつける必要がある。

-- これは次のように定義する。

test_suite('suite2')

-- あとはATFで開発されたテストプログラムを指定。

-- ここではATFシェルで開発したテストコードを実行

-- したいので、それを指定してある。

atf_test_program{name='atf_tests1.sh'}

#! /usr/bin/env atf-sh

# ATFシェル atf-sh はBourne Shell (/bin/sh)をベースに
# 機能を拡張したもので、これを使用する。atf-sh で使用
# できる拡張機能は libatf-sh.subr ファイルに記載されて
# いる。

# ATFテストケースは次の手順で定義される。
#
# 1. テストケース名を引数としてatf_test_case()を呼び出す
# 2. テストケース名_head()、テストケース名_body() を実装する
# 3. テストケース名_cleanup() を実装する(任意)
# 4. atf_init_test_cases() にテストケースを追加する
#
# 注意:
# ATFテストプログラムではexitやreturnを使うことは禁止され
# ている。exitやreturnのような処理が必要な場合はそれように
# 用意された atf_pass()、atf_fail()、atf_skip()、atf_check() を
# 使用する。これら関数を呼んだ後にはテストケースを終了する
# こと。

#
# テスト1
#
atf_test_case test1

test1_head()
{
    atf_set "descr" "テスト成功処理"
}

test1_body()
{
    if [ 1 -eq 1 ];
    then
        atf_pass
    else
        atf_fail "等価ではない"
    fi
}

#
# テスト2
#
atf_test_case test2
test2_head()
{
    atf_set "descr" "テスト失敗処理"
}
test2_body()
{
    rm /nonexistentfile
}

#
# テスト3
#
atf_test_case test3 cleanup
test3_head()
{
    atf_set "descr" "テスト失敗処理"
}
test3_body()
{
    rm /nonexistentfile
    if [ $? -ne 0 ]; then
        atf_fail "/nonexistentfileを削除できません"
    else
        atf_pass "/nonexistentfileを削除できません"
    fi 
}
test3_cleanup()
{
    echo "ここで何らかのクリーンナップ処理"
}

#
# テスト4
#
atf_test_case test4

test4_head()
{
    atf_set "descr" "スキップ処理"
}

test4_body()
{
    atf_skip "このテストをスキップ"
}

#
# 実行するテストケースはすべて atf_init_test_cases()
# に追加する。ここに指定されているテストケースが実行の
# 対象となる。
#
atf_init_test_cases()
{
    atf_add_test_case test1
    atf_add_test_case test2
    atf_add_test_case test3
    atf_add_test_case test4
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

#! /usr/bin/env atf-sh

# ATFシェル atf-sh はBourne Shell (/bin/sh)をベースに

# 機能を拡張したもので、これを使用する。atf-sh で使用

# できる拡張機能は libatf-sh.subr ファイルに記載されて

# いる。

# ATFテストケースは次の手順で定義される。

#

# 1. テストケース名を引数としてatf_test_case()を呼び出す

# 2. テストケース名_head()、テストケース名_body() を実装する

# 3. テストケース名_cleanup() を実装する(任意)

# 4. atf_init_test_cases() にテストケースを追加する

#

# 注意:

# ATFテストプログラムではexitやreturnを使うことは禁止され

# ている。exitやreturnのような処理が必要な場合はそれように

# 用意された atf_pass()、atf_fail()、atf_skip()、atf_check() を

# 使用する。これら関数を呼んだ後にはテストケースを終了する

# こと。

#

# テスト1

#

atf_test_case test1

test1_head()

{

atf_set "descr" "テスト成功処理"

}

test1_body()

{

if [ 1 -eq 1 ];

then

atf_pass

else

atf_fail "等価ではない"

fi

}

#

# テスト2

#

atf_test_case test2

test2_head()

{

atf_set "descr" "テスト失敗処理"

}

test2_body()

{

rm /nonexistentfile

}

#

# テスト3

#

atf_test_case test3 cleanup

test3_head()

{

atf_set "descr" "テスト失敗処理"

}

test3_body()

{

rm /nonexistentfile

if [ $? -ne 0 ]; then

atf_fail "/nonexistentfileを削除できません"

else

atf_pass "/nonexistentfileを削除できません"

fi

}

test3_cleanup()

{

echo "ここで何らかのクリーンナップ処理"

}

#

# テスト4

#

atf_test_case test4

test4_head()

{

atf_set "descr" "スキップ処理"

}

test4_body()

{

atf_skip "このテストをスキップ"

}

#

# 実行するテストケースはすべて atf_init_test_cases()

# に追加する。ここに指定されているテストケースが実行の

# 対象となる。

#

atf_init_test_cases()

{

atf_add_test_case test1

atf_add_test_case test2

atf_add_test_case test3

atf_add_test_case test4

}

% ls
atf_tests1.sh Kyuafile
% kyua list
atf_tests1.sh:test1
atf_tests1.sh:test2
atf_tests1.sh:test3
atf_tests1.sh:test4
%

1

2

3

4

5

6

7

8

9

10

% ls

atf_tests1.sh Kyuafile

% kyua list

atf_tests1.sh:test1

atf_tests1.sh:test2

atf_tests1.sh:test3

atf_tests1.sh:test4

%

% kyua test
atf_tests1.sh:test1  ->  passed  [0.008s]
atf_tests1.sh:test2  ->  failed: Test case body returned a non-ok exit code, but this is not allowed  [0.010s]
atf_tests1.sh:test3  ->  failed: /nonexistentfileを削除できません  [0.011s]
atf_tests1.sh:test4  ->  skipped: このテストをスキップ  [0.009s]

Results file id is Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141425-880883
Results saved to /Users/daichi/.kyua/store/results.Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141425-880883.db

2/4 passed (2 failed)
%

1

2

3

4

5

6

7

8

9

10

11

12

% kyua test

atf_tests1.sh:test1 -> passed [0.008s]

atf_tests1.sh:test2 -> failed: Test case body returned a non-ok exit code, but this is not allowed [0.010s]

atf_tests1.sh:test3 -> failed: /nonexistentfileを削除できません [0.011s]

atf_tests1.sh:test4 -> skipped: このテストをスキップ [0.009s]

Results file id is Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141425-880883

Results saved to /Users/daichi/.kyua/store/results.Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141425-880883.db

2/4 passed (2 failed)

%

% kyua test atf_tests1.sh:test3
atf_tests1.sh:test3  ->  failed: /nonexistentfileを削除できません  [0.009s]

Results file id is Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141633-969970
Results saved to /Users/daichi/.kyua/store/results.Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141633-969970.db

0/1 passed (1 failed)
%

1

2

3

4

5

6

7

8

9

% kyua test atf_tests1.sh:test3

atf_tests1.sh:test3 -> failed: /nonexistentfileを削除できません [0.009s]

Results file id is Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141633-969970

Results saved to /Users/daichi/.kyua/store/results.Users_daichi_Documents_shellmagazine_201708_sources_sample01.20170608-141633-969970.db

0/1 passed (1 failed)

%

% ./atf_tests1.sh test3
atf_tests1.sh: WARNING: Running test cases outside of kyua(1) is unsupported
atf_tests1.sh: WARNING: No isolation nor timeout control is being applied; you may get unexpected failures; see atf-test-case(4)
rm: /nonexistentfile: そのようなファイルまたはディレクトリはありません
failed: /nonexistentfileを削除できません
%

1

2

3

4

5

6

7

% ./atf_tests1.sh test3

atf_tests1.sh: WARNING: Running test cases outside of kyua(1) is unsupported

atf_tests1.sh: WARNING: No isolation nor timeout control is being applied; you may get unexpected failures; see atf-test-case(4)

rm: /nonexistentfile: そのようなファイルまたはディレクトリはありません

failed: /nonexistentfileを削除できません

%

% kyua report-html
Generating html/context.html
Generating html/atf_tests1.sh_test3.html
Generating html/report.css
Generating html/index.html
%  tree html
html
├── atf_tests1.sh_test3.html
├── context.html
├── index.html
└── report.css

0 directories, 4 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% kyua report-html

Generating html/context.html

Generating html/atf_tests1.sh_test3.html

Generating html/report.css

Generating html/index.html

% tree html

html

├── atf_tests1.sh_test3.html

├── context.html

├── index.html

└── report.css

0 directories, 4 files

%

ユニケージ開発手法　コードレビュー　vol.38（本誌vol.49掲載）

投稿日：2017.07.25　｜　カテゴリー：　コード

著者：大内智明

今回は、取得した固定長ファイルを元に、ユニケージ内で使用するフィールド形式ファイルに変換する方法について説明します。

記事本文掲載のシェルスクリプトマガジンvol.49以下リンク先でご購入できます。

#!/bin/ush -xve
#
#  ＜中略＞
#
#///////////////////////////////////////////////////////////////////////////////
# データ処理部
#///////////////////////////////////////////////////////////////////////////////

#----------------------------------------------------
# 受信セマフォ
#----------------------------------------------------
# ファイル日付
fnamedate=$(echo ${gday} | dayslash  yymmdd 1)
# セマフォ名称 納品訂正
semfname=SWHD0201

# HULFT受信ファイル
echo {rcvsemd}/${semfname}.*.${gday}??????.zip |
tarr                          |
ugrep -v '\?'                 |
# 1:ファイル名称
#
# ファイルを変換
while read rsemf ; do

  # セマフォファイル名から受信ファイル本体のフルパスを取得
  rcvf="${rcvd}/$(basename ${rsemf})"
  [ -e ${rcvf} ] || ERROR_EXIT
  # ファイル名称(拡張子なし)
  targetfilename="$(basename {rcvf} | sed  's/\.zip//g')"
  # ベースファイルの解凍
  unzip -p ${rcvf} > ${tmp}-filebase

  #
  # 納品訂正はファイル分割はデータ事
  #

  # 256で折り返し
  fold -w 256 ${tmp}-filebase |
  tr ' ' '_'                                                       |
  # 1:レコード区分  2:SEQ-NO        3:日付 4:伝票No.01 5:伝票No.02
  # 6:伝票No.01番号 7:伝票No.02番号 8:余白
  self 1.1.2 1.3.5 1.8.6 1.14.86 1.100.86 \
       1.186.9 1.195.9 1.204.53 	> ${tmp}-${targetfilename}_base

  ## 伝票に分ける
  # 伝票1
  self 1 2 4 6 3 ${tmp}-${targetfilename}_base |
  # 1:レコード区分 2:SEQ-NO 3:伝票No.01 4:伝票No.01番号 5:処理日付
  # -
  # データを区分け
  self 1 2 4 3.1.6 3.7.8 \
       3.15.2 3.17.6 3.23.2 3.25.6 3.31.2 \
       3.33.6 3.39.2 3.41.6 3.47.2 3.49.6 \
       3.55.2 3.57.6 3.63.2 3.65.6 3.71.2 \
       3.73.6 3.79.2 3.81.6 5 		|
  # 1:レコード区分 2:SEQ-NO    3:伝票番号  4:納品日１  5:伝票NO１
  # 6:行番号１     7:納品数１  8:行番号２  9:納品数２  10:行番号３
  # 11:納品数３    12:行番号４ 13:納品数４ 14:行番号５ 15:納品数５
  # 16:行番号６    17:納品数６ 18:行番号７ 19:納品数７ 20:行番号８
  # 21:納品数８    22:行番号９ 23:納品数９ 24:処理日付
  gawk '{print "1",$0}'                       > ${tmp}-${targetfilename}_denpyo
  # 1:データ区分 2:レコード区分 3:SEQ-NO    4:伝票番号  5:納品日１
  # 6:伝票NO１   7:行番号１     8:納品数１  9:行番号２  10:納品数２
  # 11:行番号３  12:納品数３    13:行番号４ 14:納品数４ 15:行番号５
  # 16:納品数５  17:行番号６    18:納品数６ 19:行番号７ 20:納品数７
  # 21:行番号８  22:納品数８    23:行番号９ 24:納品数９ 25:処理日付

  cat ${tmp}-${targetfilename}_denpyo       |
  # 「4:伝票番号」が空のレコードを除く
  gawk '$4!="000000000"'                    |
  tee ${tmp}-${targetfilename}_yuko_record  |
  # 合計するために、必要項目を取得
  self 4 7/24                               |
  #  1:伝票番号  2:行番号１  3:納品数１  4:行番号２  5:納品数２
  #  6:行番号３  7:納品数３  8:行番号４  9:納品数４  10:行番号５
  #  11:納品数５ 12:行番号６ 13:納品数６ 14:行番号７ 15:納品数７
  #  16:行番号８ 17:納品数８ 18:行番号９ 19:納品数９
  # 伝票番号・行番号でsm2 するために、縦に並び替える
  tarr -2 num=1                             |
  #  1:伝票番号 2:行番号 3:納品数
  # 行番号が「00」のレコードを除去する
  delr 2 "00"                               |
  # sm2 の為にソート
  msort key=1/2                             |
  # 伝票番号・行番号ごとに納品数を合計する
  sm2 1 2 3 3                               |
  # 「3:納品数」を前ゼロ
  maezero 3.6                               |
  # 伝票番号で横に展開
  yarr num=1                                |
  #  1:伝票番号  2:行番号１  3:納品数１  4:行番号２  5:納品数２
  #  6:行番号３  7:納品数３  8:行番号４  9:納品数４  10:行番号５
  #  11:納品数５ 12:行番号６ 13:納品数６ 14:行番号７ 15:納品数７
  #  16:行番号８ 17:納品数８ 18:行番号９ 19:納品数９
  # 有効列を取得
  self 1/19                                 > ${tmp}-${targetfilename}_gokei
  #  1:伝票番号  2:行番号１  3:納品数１  4:行番号２  5:納品数２
  #  6:行番号３  7:納品数３  8:行番号４  9:納品数４  10:行番号５
  #  11:納品数５ 12:行番号６ 13:納品数６ 14:行番号７ 15:納品数７
  #  16:行番号８ 17:納品数８ 18:行番号９ 19:納品数９

  cat ${tmp}-${targetfilename}_yuko_record  |
  # 合計したファイルに連結する項目を取得
  lineup 4 1 2 3 5 25                       |
  # 1:伝票番号 2:データ区分 3:レコード区分 4:SEQ-NO 5:納品日１
  # 6:処理日付

  # 念のため、getfirst
  getfirst key=1                            > ${tmp}-${targetfilename}_sonota
  # 納品数合計項目とその他の項目を連結する
  join1 key=1 ${tmp}-${targetfilename}_sonota ${tmp}-${targetfilename}_gokei  |
  #  1:伝票番号  2:データ区分 3:レコード区分 4:SEQ-NO    5:納品日１
  #  6:処理日付  7:行番号１   8:納品数１     9:行番号２  10:納品数２
  #  11:行番号３ 12:納品数３  13:行番号４    14:納品数４ 15:行番号５
  #  16:納品数５ 17:行番号６  18:納品数６    19:行番号７ 20:納品数７
  #  21:行番号８ 22:納品数８  23:行番号９    24:納品数９
  # ファイルの整形
  self 3 4 2 5 1 7/24 6                                                       |
  # 1:レコード区分 2:SEQ-NO    3:データ区分 4:納品日１  5:伝票番号
  # 6:行番号１     7:納品数１  8:行番号２   9:納品数２  10:行番号３
  # 11:納品数３    12:行番号４ 13:納品数４  14:行番号５ 15:納品数５
  # 16:行番号６    17:納品数６ 18:行番号７  19:納品数７ 20:行番号８
  # 21:納品数８    22:行番号９ 23:納品数９  24:処理日付
  gawk '{print $0,"'${sday}'","'${stime}'","_","1"}'                          |
  # 1:レコード区分  2:SEQ-NO          3:データ区分 4:納品日１  5:伝票番号
  # 6:行番号１      7:納品数１        8:行番号２   9:納品数２  10:行番号３
  # 11:納品数３     12:行番号４       13:納品数４  14:行番号５ 15:納品数５
  # 16:行番号６     17:納品数６       18:行番号７  19:納品数７ 20:行番号８
  # 21:納品数８     22:行番号９       23:納品数９  24:処理日付 25:受信日
  # 26:受信時間     27:データ更新日   28:更新ステータス
  self 1/23 25/NF 24                                                          |
  # 1:レコード区分  2:SEQ-NO          3:データ区分 4:納品日１  5:伝票番号
  # 6:行番号１      7:納品数１        8:行番号２   9:納品数２  10:行番号３
  # 11:納品数３     12:行番号４       13:納品数４  14:行番号５ 15:納品数５
  # 16:行番号６     17:納品数６       18:行番号７  19:納品数７ 20:行番号８
  # 21:納品数８     22:行番号９       23:納品数９  24:受信日   25:受信時間
  # 26:データ更新日 27:更新ステータス 28:処理日付
  self 1 24 0                                                                 > ${tmp}-${targetfilename}_sorting
  # 1:レコード区分 2:受信日    3:レコード区分  4:SEQ-NO          5:データ区分
  # 6:納品日１     7:伝票番号  8:行番号１      9:納品数１        10:行番号２
  # 11:納品数２    12:行番号３ 13:納品数３     14:行番号４       15:納品数４
  # 16:行番号５    17:納品数５ 18:行番号６     19:納品数６       20:行番号７
  # 21:納品数７    22:行番号８ 23:納品数８     24:行番号９       25:納品数９
  # 26:受信日      27:受信時間 28:データ更新日 29:更新ステータス 30:処理日付

  # LV2へ保存
  # ディレクトリ作成
  mkdir -p ${outd}
  # ファイルをレコード区分+受信日付で分割
  sorter -d ${outd}/${gday}/${targetfilename}.%1.%2 ${tmp}-${targetfilename}_sorting
  # セマフォを済みとする
  mv ${rsemf} ${rsemf}.SUMI
done

# 終了時刻の保存
#
#  ＜中略＞
#
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

#!/bin/ush -xve

#

# ＜中略＞

#

#///////////////////////////////////////////////////////////////////////////////

# データ処理部

#///////////////////////////////////////////////////////////////////////////////

#----------------------------------------------------

# 受信セマフォ

#----------------------------------------------------

# ファイル日付

fnamedate=$(echo ${gday} | dayslash yymmdd 1)

# セマフォ名称納品訂正

semfname=SWHD0201

# HULFT受信ファイル

echo {rcvsemd}/${semfname}.*.${gday}??????.zip |

tarr |

ugrep -v '\?' |

# 1:ファイル名称

#

# ファイルを変換

while read rsemf ; do

# セマフォファイル名から受信ファイル本体のフルパスを取得

rcvf="${rcvd}/$(basename ${rsemf})"

[ -e ${rcvf} ] || ERROR_EXIT

# ファイル名称(拡張子なし)

targetfilename="$(basename {rcvf} | sed 's/\.zip//g')"

# ベースファイルの解凍

unzip -p ${rcvf} > ${tmp}-filebase

#

# 納品訂正はファイル分割はデータ事

#

# 256で折り返し

fold -w 256 ${tmp}-filebase |

tr ' ' '_' |

# 1:レコード区分 2:SEQ-NO 3:日付 4:伝票No.01 5:伝票No.02

# 6:伝票No.01番号 7:伝票No.02番号 8:余白

self 1.1.2 1.3.5 1.8.6 1.14.86 1.100.86 \

1.186.9 1.195.9 1.204.53 > ${tmp}-${targetfilename}_base

## 伝票に分ける

# 伝票1

self 1 2 4 6 3 ${tmp}-${targetfilename}_base |

# 1:レコード区分 2:SEQ-NO 3:伝票No.01 4:伝票No.01番号 5:処理日付

# -

# データを区分け

self 1 2 4 3.1.6 3.7.8 \

3.15.2 3.17.6 3.23.2 3.25.6 3.31.2 \

3.33.6 3.39.2 3.41.6 3.47.2 3.49.6 \

3.55.2 3.57.6 3.63.2 3.65.6 3.71.2 \

3.73.6 3.79.2 3.81.6 5 |

# 1:レコード区分 2:SEQ-NO 3:伝票番号 4:納品日１ 5:伝票NO１

# 6:行番号１ 7:納品数１ 8:行番号２ 9:納品数２ 10:行番号３

# 11:納品数３ 12:行番号４ 13:納品数４ 14:行番号５ 15:納品数５

# 16:行番号６ 17:納品数６ 18:行番号７ 19:納品数７ 20:行番号８

# 21:納品数８ 22:行番号９ 23:納品数９ 24:処理日付

gawk '{print "1",$0}' > ${tmp}-${targetfilename}_denpyo

# 1:データ区分 2:レコード区分 3:SEQ-NO 4:伝票番号 5:納品日１

# 6:伝票NO１ 7:行番号１ 8:納品数１ 9:行番号２ 10:納品数２

# 11:行番号３ 12:納品数３ 13:行番号４ 14:納品数４ 15:行番号５

# 16:納品数５ 17:行番号６ 18:納品数６ 19:行番号７ 20:納品数７

# 21:行番号８ 22:納品数８ 23:行番号９ 24:納品数９ 25:処理日付

cat ${tmp}-${targetfilename}_denpyo |

# 「4:伝票番号」が空のレコードを除く

gawk '$4!="000000000"' |

tee ${tmp}-${targetfilename}_yuko_record |

# 合計するために、必要項目を取得

self 4 7/24 |

# 1:伝票番号 2:行番号１ 3:納品数１ 4:行番号２ 5:納品数２

# 6:行番号３ 7:納品数３ 8:行番号４ 9:納品数４ 10:行番号５

# 11:納品数５ 12:行番号６ 13:納品数６ 14:行番号７ 15:納品数７

# 16:行番号８ 17:納品数８ 18:行番号９ 19:納品数９

# 伝票番号・行番号でsm2 するために、縦に並び替える

tarr -2 num=1 |

# 1:伝票番号 2:行番号 3:納品数

# 行番号が「00」のレコードを除去する

delr 2 "00" |

# sm2 の為にソート

msort key=1/2 |

# 伝票番号・行番号ごとに納品数を合計する

sm2 1 2 3 3 |

# 「3:納品数」を前ゼロ

maezero 3.6 |

# 伝票番号で横に展開

yarr num=1 |

# 1:伝票番号 2:行番号１ 3:納品数１ 4:行番号２ 5:納品数２

# 6:行番号３ 7:納品数３ 8:行番号４ 9:納品数４ 10:行番号５

# 11:納品数５ 12:行番号６ 13:納品数６ 14:行番号７ 15:納品数７

# 16:行番号８ 17:納品数８ 18:行番号９ 19:納品数９

# 有効列を取得

self 1/19 > ${tmp}-${targetfilename}_gokei

# 1:伝票番号 2:行番号１ 3:納品数１ 4:行番号２ 5:納品数２

# 6:行番号３ 7:納品数３ 8:行番号４ 9:納品数４ 10:行番号５

# 11:納品数５ 12:行番号６ 13:納品数６ 14:行番号７ 15:納品数７

# 16:行番号８ 17:納品数８ 18:行番号９ 19:納品数９

cat ${tmp}-${targetfilename}_yuko_record |

# 合計したファイルに連結する項目を取得

lineup 4 1 2 3 5 25 |

# 1:伝票番号 2:データ区分 3:レコード区分 4:SEQ-NO 5:納品日１

# 6:処理日付

# 念のため、getfirst

getfirst key=1 > ${tmp}-${targetfilename}_sonota

# 納品数合計項目とその他の項目を連結する

join1 key=1 ${tmp}-${targetfilename}_sonota ${tmp}-${targetfilename}_gokei |

# 1:伝票番号 2:データ区分 3:レコード区分 4:SEQ-NO 5:納品日１

# 6:処理日付 7:行番号１ 8:納品数１ 9:行番号２ 10:納品数２

# 11:行番号３ 12:納品数３ 13:行番号４ 14:納品数４ 15:行番号５

# 16:納品数５ 17:行番号６ 18:納品数６ 19:行番号７ 20:納品数７

# 21:行番号８ 22:納品数８ 23:行番号９ 24:納品数９

# ファイルの整形

self 3 4 2 5 1 7/24 6 |

# 1:レコード区分 2:SEQ-NO 3:データ区分 4:納品日１ 5:伝票番号

# 6:行番号１ 7:納品数１ 8:行番号２ 9:納品数２ 10:行番号３

# 11:納品数３ 12:行番号４ 13:納品数４ 14:行番号５ 15:納品数５

# 16:行番号６ 17:納品数６ 18:行番号７ 19:納品数７ 20:行番号８

# 21:納品数８ 22:行番号９ 23:納品数９ 24:処理日付

gawk '{print $0,"'${sday}'","'${stime}'","_","1"}' |

# 1:レコード区分 2:SEQ-NO 3:データ区分 4:納品日１ 5:伝票番号

# 6:行番号１ 7:納品数１ 8:行番号２ 9:納品数２ 10:行番号３

# 11:納品数３ 12:行番号４ 13:納品数４ 14:行番号５ 15:納品数５

# 16:行番号６ 17:納品数６ 18:行番号７ 19:納品数７ 20:行番号８

# 21:納品数８ 22:行番号９ 23:納品数９ 24:処理日付 25:受信日

# 26:受信時間 27:データ更新日 28:更新ステータス

self 1/23 25/NF 24 |

# 1:レコード区分 2:SEQ-NO 3:データ区分 4:納品日１ 5:伝票番号

# 6:行番号１ 7:納品数１ 8:行番号２ 9:納品数２ 10:行番号３

# 11:納品数３ 12:行番号４ 13:納品数４ 14:行番号５ 15:納品数５

# 16:行番号６ 17:納品数６ 18:行番号７ 19:納品数７ 20:行番号８

# 21:納品数８ 22:行番号９ 23:納品数９ 24:受信日 25:受信時間

# 26:データ更新日 27:更新ステータス 28:処理日付

self 1 24 0 > ${tmp}-${targetfilename}_sorting

# 1:レコード区分 2:受信日 3:レコード区分 4:SEQ-NO 5:データ区分

# 6:納品日１ 7:伝票番号 8:行番号１ 9:納品数１ 10:行番号２

# 11:納品数２ 12:行番号３ 13:納品数３ 14:行番号４ 15:納品数４

# 16:行番号５ 17:納品数５ 18:行番号６ 19:納品数６ 20:行番号７

# 21:納品数７ 22:行番号８ 23:納品数８ 24:行番号９ 25:納品数９

# 26:受信日 27:受信時間 28:データ更新日 29:更新ステータス 30:処理日付

# LV2へ保存

# ディレクトリ作成

mkdir -p ${outd}

# ファイルをレコード区分+受信日付で分割

sorter -d ${outd}/${gday}/${targetfilename}.%1.%2 ${tmp}-${targetfilename}_sorting

# セマフォを済みとする

mv ${rsemf} ${rsemf}.SUMI

done

# 終了時刻の保存

#

# ＜中略＞

#

exit 0

香川大学SLPからお届け！（vol.49掲載）

投稿日：2017.07.25　｜　カテゴリー：　コード

著者：清水赳（香川大学SLP）

Elixir製のWebアプリケーションフレームワーク Phoenixを触ってみる前編

こんにちは。香川大学工学部学部3 年の清水です、はじめまして。

私は普段、Ruby やRailsで開発を行うことが多いのですが、サークルで「Erlang VM の上で動くRubyっぽい感じの言語があるらしいよ」と聞いて、Elixirと、Rails によく似たWebフレームワーク Phoenix を触ってみることにしました。
Elixir は、Ruby を使っている人にとって、とても馴染みやすい文法を持っています。更に特徴として、Erlangの強みである並列処理と耐障害性の機能をそのまま受け継いでいます。最近話題のチャットツールDiscordも、Elixir を採用しているそうです。
そこで、今回から次回にかけては、Elixir 製Web フレームワークであるPhoenix を紹介します。前半は，Phoenix に慣れるために簡単な掲示板アプリケーションを作ってみます。そして後半となる次回は、自宅の蔵書を管理できるようなアプリケーションを作っていきましょう。

記事本文掲載のシェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

defmodule Messageboard.PostController do 
  use Messageboard.Web, :controller

  def index(conn, _params) do 
    posts = Repo.all(Messageboard.Post)
    render conn, "index.html", posts: posts
  end
end

1

2

3

4

5

6

7

8

defmodule Messageboard.PostController do

use Messageboard.Web, :controller

def index(conn, _params) do

posts = Repo.all(Messageboard.Post)

render conn, "index.html", posts: posts

end

defmodule Messageboard.PostView do 
  use Messageboard.Web, :view
end

1

2

3

defmodule Messageboard.PostView do

use Messageboard.Web, :view

end

<table class="table">
  <tr>
    <th>ユーザ名</th>
    <th>投稿内容</th>
  </tr>
  <%= for post <- @posts do  %>
    <tr>
      <td><%= post.user_name %></td>
      <td><%= post.message   %></td>
    </tr>
  <% end %>
</table>

1

2

3

4

5

6

7

8

9

10

11

12

<tr>

</tr>

<%= for post <- @posts do %>

<tr>

</tr>

<% end %>

</table>

40歳から始める、オレとRubyプログラミング（vol.49掲載）

投稿日：2017.07.25　｜　カテゴリー：　コード

著者：しょっさん

梅雨の季節に入ってまいりました。この号が発売される頃には、梅雨もそろそろ明け、夏間近といったところでしょうか。

子供の頃は夏は朝から晩まで真っ黒になって遊び回ったものですが、大人になったら汗をかくだけで、色々やる気が削がれてしまいますね。とても不思議な気持ちではありますが、猛暑は家で落ち着いてプログラミング!

さぁ、今号もしまってまいりましょう!

記事本文掲載のシェルスクリプトマガジンvol.49は以下リンク先でご購入できます。

├── 40ruby.csv
├── bin
│ ├── console
│ ├── reins
│ └── setup
├── Gemfile
├── Gemfile.lock
├── lib
│ ├── reins
│ │ ├── auth_service.rb
│ │ ├── config.rb
│ │ ├── dispatcher.rb
│ │ ├── host_registry.rb
│ │ ├── task_control.rb
│ │ └── version.rb
│ └── reins.rb
├── LICENSE
├── Rakefile
├── README.md
├── reins.gemspec
└── spec
├── reins_spec.rb
└── spec_helper.rb

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

├── 40ruby.csv

├── bin

│ ├── console

│ ├── reins

│ └── setup

├── Gemfile

├── Gemfile.lock

├── lib

│ ├── reins

│ │ ├── auth_service.rb

│ │ ├── config.rb

│ │ ├── dispatcher.rb

│ │ ├── host_registry.rb

│ │ ├── task_control.rb

│ │ └── version.rb

│ └── reins.rb

├── LICENSE

├── Rakefile

├── README.md

├── reins.gemspec

└── spec

├── reins_spec.rb

└── spec_helper.rb

#!/usr/bin/env ruby
# coding: utf-8
# filename: bin/reins
require "reins"
Reins::start

1

2

3

4

5

#!/usr/bin/env ruby

# coding: utf-8

# filename: bin/reins

require "reins"

Reins::start

# coding: utf-8
# filename: lib/reins.rb

require "reins/version"
require "reins/dispatcher"
require "reins/auth_service"
require "reins/host_registry"
require "reins/task_control"
require "reins/config"

require "socket"

module Reins
  def start
    server = TCPServer.new(Reins::port)
    Reins::logger.info("Reins #{VERSION} を #{Reins::port} で起動しました")

    loop do
      begin
        Thread.start(server.accept) do |client|
          addr = client.peeraddr[3]
          keycode, command, options = client.gets.chomp.split

          if command == 'auth'
            Reins::logger.debug("#{addr} : 認証を行います")
            @keycode = Reins::auth_service.authenticate_key(keycode, addr)
            Reins::logger.debug("取得したキーコード : #{@keycode}")

            client.puts @keycode
          elsif Reins::auth_service.is_varid(keycode) == addr
            Reins::logger.debug("#{command} : 実行します")
            @host = Reins::Dispatch.new(addr, keycode)

            client.puts @host.command(command, options)
          else
            client.puts false
          end
        end

      rescue Interrupt => e
        p e
        Reins::regist_host.store
        server.close
        exit
      end
    end
  end

  module_function :start
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

# coding: utf-8

# filename: lib/reins.rb

require "reins/version"

require "reins/dispatcher"

require "reins/auth_service"

require "reins/host_registry"

require "reins/task_control"

require "reins/config"

require "socket"

module Reins

def start

server = TCPServer.new(Reins::port)

Reins::logger.info("Reins #{VERSION} を #{Reins::port} で起動しました")

loop do

begin

Thread.start(server.accept) do |client|

addr = client.peeraddr[3]

keycode, command, options = client.gets.chomp.split

if command == 'auth'

Reins::logger.debug("#{addr} : 認証を行います")

@keycode = Reins::auth_service.authenticate_key(keycode, addr)

Reins::logger.debug("取得したキーコード : #{@keycode}")

client.puts @keycode

elsif Reins::auth_service.is_varid(keycode) == addr

Reins::logger.debug("#{command} : 実行します")

@host = Reins::Dispatch.new(addr, keycode)

client.puts @host.command(command, options)

else

client.puts false

end

rescue Interrupt => e

p e

Reins::regist_host.store

server.close

exit

end

module_function :start

end

# coding: utf-8
# filename: config.rb
require 'logger'

module Reins
  class << self
    attr_accessor :logger, :auth_service, :regist_host, :port

    def configure
      yield self
    end
  end
end

Reins.configure do |config|
  config.logger       = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")
  config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")
  config.regist_host  = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")
  config.port         = ENV['REINS_PORT'] || 16383
end

Reins::logger.level = ENV['REINS_LOGLEVEL'] ? eval("Logger::#{ENV['REINS_LOGLEVEL']}") : Logger::WARN

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

# coding: utf-8

# filename: config.rb

require 'logger'

module Reins

class << self

attr_accessor :logger, :auth_service, :regist_host, :port

def configure

yield self

end

Reins.configure do |config|

config.logger = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")

config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")

config.regist_host = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")

config.port = ENV['REINS_PORT'] || 16383

end

Reins::logger.level = ENV['REINS_LOGLEVEL'] ? eval("Logger::#{ENV['REINS_LOGLEVEL']}") : Logger::WARN

 }
    let(:incorrect_hosts) { ['100','[100,100]','1:0:0:1','1/0/0/1','0.0.0.1','1.0.0.0','0.0.0.0','240.0.0.1','240.255.255.254','0.256.0.1','0.0.256.1','239.255.255.255','-1.0.0.0','0.-1.0.0','0.0.-1.0','0.0.0.-1'] }

    before do
      allow(regist_test).to receive(:store).and_return(true)
    end

    describe '#create' do
      subject {regist_test.create(localhost, test_key) }
      before do
        regist_test.create(localhost, test_key)
      end
      it  { is_expected.to eq(false) }
    end

    describe '#read_hosts' do
      subject {regist_test.read_hosts }
      context '正常に登録されている場合' do
        it { is_expected.to eq([]) }
        it 'localhost を1つ登録すると、[127.0.0.1]' do
          regist_test.create(localhost, test_key)
          is_expected.to eq([localhost])
        end
        it '複数のアドレスを登録した場合は、複数のアドレス' do
          correct_hosts.each   { |host|regist_test.create(host, test_key) }
          is_expected.to match_array(correct_hosts)
        end
      end
      context '不正なIPアドレスの場合' do
        it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do
          incorrect_hosts.each { |host|regist_test.create(host, test_key) }
          is_expected.to match_array([])
        end
      end
    end

    describe '#read_hostkeys' do
      it '登録しなければ、空' do
        expect(regist_test.hosts).to eq([])
        expect(regist_test.read_hostkeys).to eq({})
        expect(regist_test.read_hostkeys.size).to eq(0)
      end
      it 'ハッシュ化された接続キーの一覧' do
        correct_hosts.each   { |host|regist_test.create(host, test_key) }
        expect(regist_test.read_hostkeys.size).to eq(3)
      end
    end

    describe '#update' do
      before {regist_test.create(localhost, test_key) }
      context '正常に更新できる場合' do
        it '有効なIPアドレスへ変更すると host が変更' do
          before_host = localhost
          correct_hosts.each do |host|
            expect {regist_test.update(before_host, host) }.to change {regist_test.read_hosts }.from([before_host]).to([host])
            before_host  = host
          end
        end
      end
      context '更新できない場合' do
        it '有効範囲外のIPアドレスへ変更すると false' do
          incorrect_hosts.each do |host|
            expect(regist_test.update(localhost, host)).to eq(false)
          end
        end
        it '未登録のIPアドレスを指定すると false' do
          expect(regist_test.update('192.168.0.1','172.16.0.1')).to eq(false)
        end
        it 'すでに存在するIPアドレスへ変更すると false' do
          expect(regist_test.update('192.168.0.1',localhost)).to eq(false)
        end
      end
    end

    describe '#delete' do
      before {regist_test.create("192.168.0.1", test_key)}
      subject {regist_test.delete(localhost) }
      context '正常に削除できる場合' do
        it '登録済みのアドレスを削除すると、そのアドレス' do
          regist_test.create(localhost, test_key)
          is_expected.to eq(localhost)
        end
      end
      context '削除できない場合' do
        it { is_expected.to eq(nil) }
      end
    end
  end

  # TaskControl class のテスト
  describe 'TaskControl' do
    before { @server = TCPServer.new(24368) }
    after  { @server.close }
    let(:tasks) { Reins::TaskControl.new }

    describe '#connect' do
      context 'クライアントへ接続できる場合' do
        subject { tasks.connect }
        it 'モックを使って正常接続のコール' do
          allow(tasks).to receive(:connect).and_return(true)
          is_expected.to eq(true)
        end
      end

      context 'クライアントへ接続できない場合' do
        it '接続先が存在しないと Standard Error' do
          # TODO: 実際は Raise ではなく、成否を True/False でもらうこととする
          expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'
        end
        it 'クライアントが停止していたら false' do
          allow(tasks).to receive(:connect).and_return(false)
          expect(tasks.connect).to eq(false)
        end
      end
    end

    describe '#disconnect' do
      context '正常に切断できた場合' do
        subject { tasks.disconnect }
        it 'こちらから、クライアントとの接続を切断して、成功すると nil' do
          is_expected.to eq(nil)
        end
      end
    end
  end

  # Dispatcher class のテスト
  describe 'Dispatch' do
    let(:test_key)       { "TestKey" }
    let(:correct_host)   { Reins::Dispatch.new("192.168.0.10", test_key)}

    describe '#command' do
      context 'ホストを追加する場合' do
        it 'ホストを正常に登録' do
          allow(Reins::regist_host).to receive(:create).and_return(true)
          expect(correct_host.command("add", "")).to eq(true)
        end
      end
      context 'ホスト一覧を出力する場合' do
        it 'ホスト一覧が出力された' do
          allow(Reins::regist_host).to receive(:read_hosts).and_return([])
          expect(correct_host.command("list", "")).to eq([])
        end
      end
      context 'アドレスを更新する場合' do
        it '正常に移行先アドレスへ更新' do
          allow(Reins::regist_host).to receive(:update).and_return(true)
          expect(correct_host.command("update", "172.16.0.1")).to eq(true)
        end
      end
      context 'アドレスを削除する場合' do
        it 'アドレスを正常に削除' do
          allow(Reins::regist_host).to receive(:delete).and_return("192.168.0.10")
          expect(correct_host.command("delete","")).to eq("192.168.0.10")
        end
      end

    end
  end
end
</pre]

<pre class="toolbar:1 scroll:true lang:ruby decode:true" title="＜プログラム5 lib/reins/dispatcher.rb＞"># coding: utf-8
# filename: dispatcher.rb

module Reins
  class Dispatch
    # 対象となるクライアントのIPアドレスを保持
    # == パラメータ
    # ip:: 対象となるクライアントのIPアドレス
    # == 返り値
    # 特になし
    def initialize(ip, key)
      @ip_address = ip
      @keycode    = key
    end

    # コマンドを受け取って、対象の機能へ振り分ける
    # == パラメータ
    # comm:: クライアントからの要求コマンド
    # value:: コマンドの実行に必要な引数
    # == 返り値
    # exception:: 失敗した場合
    # exception以外:: コマンドの実行結果
    def command(comm, value)
      case comm
      when /^add/ then
        Reins::logger.info("#{@ip_address} を追加するよう指示がありました")
        Reins::regist_host.create(@ip_address, @key)

      when /^list/ then
        Reins::logger.info("一覧表示コマンドを受け付けました")
        Reins::regist_host.read_hosts

      when /^update/ then
        Reins::logger.info("IPアドレス更新依頼がありました")
        Reins::regist_host.update(@ip_address, value)

      when /^delete/ then
        Reins::logger.info("削除依頼が発生しました")
        Reins::regist_host.delete(@ip_address)
      end
    end

  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

}

let(:incorrect_hosts) { ['100','[100,100]','1:0:0:1','1/0/0/1','0.0.0.1','1.0.0.0','0.0.0.0','240.0.0.1','240.255.255.254','0.256.0.1','0.0.256.1','239.255.255.255','-1.0.0.0','0.-1.0.0','0.0.-1.0','0.0.0.-1'] }

before do

allow(regist_test).to receive(:store).and_return(true)

end

describe '#create' do

subject {regist_test.create(localhost, test_key) }

before do

regist_test.create(localhost, test_key)

end

it { is_expected.to eq(false) }

end

describe '#read_hosts' do

subject {regist_test.read_hosts }

context '正常に登録されている場合' do

it { is_expected.to eq([]) }

it 'localhost を1つ登録すると、[127.0.0.1]' do

regist_test.create(localhost, test_key)

is_expected.to eq([localhost])

end

it '複数のアドレスを登録した場合は、複数のアドレス' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array(correct_hosts)

end

context '不正なIPアドレスの場合' do

it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do

incorrect_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array([])

end

describe '#read_hostkeys' do

it '登録しなければ、空' do

expect(regist_test.hosts).to eq([])

expect(regist_test.read_hostkeys).to eq({})

expect(regist_test.read_hostkeys.size).to eq(0)

end

it 'ハッシュ化された接続キーの一覧' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

expect(regist_test.read_hostkeys.size).to eq(3)

end

describe '#update' do

before {regist_test.create(localhost, test_key) }

context '正常に更新できる場合' do

it '有効なIPアドレスへ変更すると host が変更' do

before_host = localhost

correct_hosts.each do |host|

expect {regist_test.update(before_host, host) }.to change {regist_test.read_hosts }.from([before_host]).to([host])

before_host = host

end

context '更新できない場合' do

it '有効範囲外のIPアドレスへ変更すると false' do

incorrect_hosts.each do |host|

expect(regist_test.update(localhost, host)).to eq(false)

end

it '未登録のIPアドレスを指定すると false' do

expect(regist_test.update('192.168.0.1','172.16.0.1')).to eq(false)

end

it 'すでに存在するIPアドレスへ変更すると false' do

expect(regist_test.update('192.168.0.1',localhost)).to eq(false)

end

describe '#delete' do

before {regist_test.create("192.168.0.1", test_key)}

subject {regist_test.delete(localhost) }

context '正常に削除できる場合' do

it '登録済みのアドレスを削除すると、そのアドレス' do

regist_test.create(localhost, test_key)

is_expected.to eq(localhost)

end

context '削除できない場合' do

it { is_expected.to eq(nil) }

end

# TaskControl class のテスト

describe 'TaskControl' do

before { @server = TCPServer.new(24368) }

after { @server.close }

let(:tasks) { Reins::TaskControl.new }

describe '#connect' do

context 'クライアントへ接続できる場合' do

subject { tasks.connect }

it 'モックを使って正常接続のコール' do

allow(tasks).to receive(:connect).and_return(true)

is_expected.to eq(true)

end

context 'クライアントへ接続できない場合' do

it '接続先が存在しないと Standard Error' do

# TODO: 実際は Raise ではなく、成否を True/False でもらうこととする

expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'

end

it 'クライアントが停止していたら false' do

allow(tasks).to receive(:connect).and_return(false)

expect(tasks.connect).to eq(false)

end

describe '#disconnect' do

context '正常に切断できた場合' do

subject { tasks.disconnect }

it 'こちらから、クライアントとの接続を切断して、成功すると nil' do

is_expected.to eq(nil)

end

# Dispatcher class のテスト

describe 'Dispatch' do

let(:test_key) { "TestKey" }

let(:correct_host) { Reins::Dispatch.new("192.168.0.10", test_key)}

describe '#command' do

context 'ホストを追加する場合' do

it 'ホストを正常に登録' do

allow(Reins::regist_host).to receive(:create).and_return(true)

expect(correct_host.command("add", "")).to eq(true)

end

context 'ホスト一覧を出力する場合' do

it 'ホスト一覧が出力された' do

allow(Reins::regist_host).to receive(:read_hosts).and_return([])

expect(correct_host.command("list", "")).to eq([])

end

context 'アドレスを更新する場合' do

it '正常に移行先アドレスへ更新' do

allow(Reins::regist_host).to receive(:update).and_return(true)

expect(correct_host.command("update", "172.16.0.1")).to eq(true)

end

context 'アドレスを削除する場合' do

it 'アドレスを正常に削除' do

allow(Reins::regist_host).to receive(:delete).and_return("192.168.0.10")

expect(correct_host.command("delete","")).to eq("192.168.0.10")

end

</pre]

<pre class="toolbar:1 scroll:true lang:ruby decode:true" title="＜プログラム5 lib/reins/dispatcher.rb＞"># coding: utf-8

# filename: dispatcher.rb

module Reins

class Dispatch

# 対象となるクライアントのIPアドレスを保持

# == パラメータ

# ip:: 対象となるクライアントのIPアドレス

# == 返り値

# 特になし

def initialize(ip, key)

@ip_address = ip

@keycode = key

end

# コマンドを受け取って、対象の機能へ振り分ける

# == パラメータ

# comm:: クライアントからの要求コマンド

# value:: コマンドの実行に必要な引数

# == 返り値

# exception:: 失敗した場合

# exception以外:: コマンドの実行結果

def command(comm, value)

case comm

when /^add/ then

Reins::logger.info("#{@ip_address} を追加するよう指示がありました")

Reins::regist_host.create(@ip_address, @key)

when /^list/ then

Reins::logger.info("一覧表示コマンドを受け付けました")

Reins::regist_host.read_hosts

when /^update/ then

Reins::logger.info("IPアドレス更新依頼がありました")

Reins::regist_host.update(@ip_address, value)

when /^delete/ then

Reins::logger.info("削除依頼が発生しました")

Reins::regist_host.delete(@ip_address)

end

$ nc kozue 16383
40ruby auth
cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca
^C
$ nc kozue 16383
cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca list
172.16.254.31
^C
$ nc kozue 16383
cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca delete
172.16.254.31

1

2

3

4

5

6

7

8

9

10

11

$ nc kozue 16383

40ruby auth

cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca

^C

$ nc kozue 16383

cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca list

172.16.254.31

^C

$ nc kozue 16383

cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca delete

172.16.254.31

I, [2017-xx-xxTxx:xx:20.245642 #528]  INFO -- : Reins 0.1.9 を 16383 で起動しました
D, [2017-xx-xxTxx:xx:26.445938 #528] DEBUG -- : 172.16.254.31 : 認証を行います
I, [2017-xx-xxTxx:xx:26.446158 #528]  INFO -- : 172.16.254.31 : 新たにホストを登録します
D, [2017-xx-xxTxx:xx:26.446249 #528] DEBUG -- : 172.16.254.31 : ホスト登録処理を行います
D, [2017-xx-xxTxx:xx:26.446329 #528] DEBUG -- : 172.16.254.31 : アドレスチェックを行います
D, [2017-xx-xxTxx:xx:26.446419 #528] DEBUG -- : 172.16.254.31 : アドレスに問題がありませんでした
I, [2017-xx-xxTxx:xx:26.446477 #528]  INFO -- : 172.16.254.31 を追加しました
D, [2017-xx-xxTxx:xx:26.446504 #528] DEBUG -- : ./40ruby.csv : ホスト一覧を保存します
D, [2017-xx-xxTxx:xx:26.448272 #528] DEBUG -- : 保管中... > ["172.16.254.31", "cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca", 2017-xx-xx xx:xx:26 +0900]
D, [2017-xx-xxTxx:xx:26.468891 #528] DEBUG -- : 取得したキーコード : cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca
D, [2017-xx-xxTxx:xx:35.041031 #528] DEBUG -- : cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca : クライアントの識別を行います
D, [2017-xx-xxTxx:xx:35.041207 #528] DEBUG -- : list : 実行します
I, [2017-xx-xxTxx:xx:35.041278 #528]  INFO -- : 一覧表示コマンドを受け付けました
D, [2017-xx-xxTxx:xx:45.886187 #528] DEBUG -- : cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca : クライアントの識別を行います
D, [2017-xx-xxTxx:xx:45.886376 #528] DEBUG -- : delete : 実行します
I, [2017-xx-xxTxx:xx:45.886518 #528]  INFO -- : 削除依頼が発生しました
I, [2017-xx-xxTxx:xx:45.886613 #528]  INFO -- : 172.16.254.31 を削除しました.
D, [2017-xx-xxTxx:xx:45.886645 #528] DEBUG -- : ./40ruby.csv : ホスト一覧を保存します

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

I, [2017-xx-xxTxx:xx:20.245642 #528] INFO -- : Reins 0.1.9 を 16383 で起動しました

D, [2017-xx-xxTxx:xx:26.445938 #528] DEBUG -- : 172.16.254.31 : 認証を行います

I, [2017-xx-xxTxx:xx:26.446158 #528] INFO -- : 172.16.254.31 : 新たにホストを登録します

D, [2017-xx-xxTxx:xx:26.446249 #528] DEBUG -- : 172.16.254.31 : ホスト登録処理を行います

D, [2017-xx-xxTxx:xx:26.446329 #528] DEBUG -- : 172.16.254.31 : アドレスチェックを行います

D, [2017-xx-xxTxx:xx:26.446419 #528] DEBUG -- : 172.16.254.31 : アドレスに問題がありませんでした

I, [2017-xx-xxTxx:xx:26.446477 #528] INFO -- : 172.16.254.31 を追加しました

D, [2017-xx-xxTxx:xx:26.446504 #528] DEBUG -- : ./40ruby.csv : ホスト一覧を保存します

D, [2017-xx-xxTxx:xx:26.448272 #528] DEBUG -- : 保管中... > ["172.16.254.31", "cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca", 2017-xx-xx xx:xx:26 +0900]

D, [2017-xx-xxTxx:xx:26.468891 #528] DEBUG -- : 取得したキーコード : cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca

D, [2017-xx-xxTxx:xx:35.041031 #528] DEBUG -- : cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca : クライアントの識別を行います

D, [2017-xx-xxTxx:xx:35.041207 #528] DEBUG -- : list : 実行します

I, [2017-xx-xxTxx:xx:35.041278 #528] INFO -- : 一覧表示コマンドを受け付けました

D, [2017-xx-xxTxx:xx:45.886187 #528] DEBUG -- : cf49cec2b1b099c8f551e4dc15694d1ea1fe3fea9e9c818a122797c4de0cdc0f8a0116d10267889c81294f069726ec9fee6dd2b599e02abc7b93580f8bb12dca : クライアントの識別を行います

D, [2017-xx-xxTxx:xx:45.886376 #528] DEBUG -- : delete : 実行します

I, [2017-xx-xxTxx:xx:45.886518 #528] INFO -- : 削除依頼が発生しました

I, [2017-xx-xxTxx:xx:45.886613 #528] INFO -- : 172.16.254.31 を削除しました.

D, [2017-xx-xxTxx:xx:45.886645 #528] DEBUG -- : ./40ruby.csv : ホスト一覧を保存します

もしインターネットの１秒が１年だったら第2回（vol.48掲載）

投稿日：2017.07.18　｜　カテゴリー：　記事

written by hakatashi・Mine02C4

編注：本記事は「SunPro 2016 技術書典」で発表された記事に説明・イラストを追加し、シェルマガvol.48に掲載したものです。
以下リンク先で、オリジナル版の全文が公開されています。
https://sunpro.io/techbookfest/

インターネットが日本中のあらゆる人間に行き渡るようになってから、すでに10年単位の時間が経過しています。今日においてインターネットを支えるネットワーク技術が重要であることは言うまでもありませんが、実際にネットワークでどのタイミングで何が起こり、どれくらいの時間が費やされるのかということを身を持って体感している人は、たとえネットワークに精通している人でも少ないのではないでしょうか？この記事では、1 秒というわずかな時間を1年にまで拡大し、ネットワーク上で何が起こっているかを人間スケールでざっくりと解説していきます。

はじめに

こんにちは。博多市(@hakatashi) です。前回に引き続き、2016年の技術書典にSunProとして発表した「インターネットの1秒がもし1年だったら」という記事を、シェルスクリプトマガジン向けに再構成してお届けします。この記事は、インターネット通信においてクライアントがサーバーとコミュニケーションする様子を、1秒を1年にというスケールに引き伸ばし、クライアントとサーバーをそれぞれ「クライアントちゃん」と「サーバーちゃん」として、人間スケールに置き換えて順に見ていこうという企画です。
前回の記事では、クライアントがサーバーと通信するための前段階として、サーバーの住所を調べる、つまりIPアドレスを問い合わせる名前解決までの処理を解説しました。3回のDNSリクエストの末にサーバーちゃんの住所をゲットしたクライアントちゃんは、いよいよサーバーちゃんとの直接の通信を行っていきます。果たしてサーバーちゃんとクライアントちゃんの文通の行方はどうなるのでしょうか。引き続きお楽しみください。

サーバーちゃん　　クライアントちゃん

TCP接続ハンドシェイク

2月19日午後3時27分　TCPハンドシェイク+SYNパケット送信

各地のネームサーバーの協力を得て、無事サーバーちゃんの住所を入手したクライアントちゃんですが、お淑やかなクライアントちゃんはいきなり本題の手紙を送りつけるような真似はしません。まずはサーバーちゃんにご挨拶をします。
　TCP上の通信では、データ伝送を行う前にコネクションの確立という処理を行う必要があります。これは、相手のサーバーが通信可能な状態であることを保証したり、以降のデータが正しい順序で到着することを保証するためのシーケンス番号を互いに交換したりするためです。
　シーケンス番号とは、現在のパケットが送信しているデータが、全体のデータのうちのどの部分に該当するのかを示す値であり、ハンドシェイクで最初にランダムな値にセットされ、以降データを送信するごとに増加していく値です。TCPは双方向通信なので、このシーケンス番号はサーバーとクライアントで別々の値を保持しています。
　クライアントちゃんはランダムに生成したシーケンス番号を端に添えて、サーバーちゃんに文通してよいかを問う内容の手紙を作りました。色よい返事が返ってくることを期待して、再びポストに投函しました。手紙はいよいよ石狩に向かいます。
　ところで、サーバーちゃんの住所が判明してから最初にサーバーちゃんにコンタクトをとるまで9日もかかっています。
きっとバのつくイベントで忙しかったのでしょう。妬ましい。

*1　実際の理由はおそらくローカルホストのDNSサーバーからアプリケーション(curl)にDNS情報を受け渡す際にオーバーヘッドが発生するためです。

2月27日午後6時30分　TCPハンドシェイク+SYNパケット受信

北海道――新千歳空港から車で50分の石狩の大地に、目的のデータセンターは存在します。冬の北海道の空気は冷たく厳しく、この時期の気温は昼間でも0度を上回ることはありません。この冷涼な外気がサーバールームから効率的に排熱するのです。
すぐ脇を通る道は国道337号線です。地元ではかつて天売島に住んでいた鳥の名前からとって「オロロンライン」と呼ばれるこの道は、眼前に手稲山を望むゆったりとした広い道路です。小樽からこの道を進んで左手側、空港のターミナルを髣髴とさせる白い横長な建物が石狩データセンターです。
この場所でサーバーちゃんは他のサーバーと肩を並べて*2、静かに443番ポートを開けて待ち続けています。　　今回キャプチャしたパケットの中で最も数が多かったのはARPのパケットでした。512台*3近い数のサーバーがARPで常に囁きあい、互いの居場所を確認しあっている状態といえるかもしれません。
そんな退屈な生活の中で、サーバーちゃんはクライアントちゃんからの手紙を受け取りました。
クライアントちゃんが手紙を投函してから８日目のことです。伝送には22ミリ秒かかりました。
冒頭では東京と石狩の物理的な片道時間は5.９ミリ秒と述べましたが、当然これは理想的な通信のことであり、実際には無線通信やルーティングなどにおけるオーバーヘッドによってそれ以上の時間がかかります。
受け取った手紙は一般的なTCPハンドシェイクでした。手紙にはシーケンス番号が添えられています。クライアントちゃんからの久しぶりの手紙に喜んだサーバーちゃんは、喜んで通信を受け入れました。

*2　もちろんVPSなので物理的なサーバーマシンとして存在しているわけではありませんが。
*3　今回使用したサーバーはサブネットマスク23ビットという中途半端な値のネットワークに繋がっていました。今回も、クライアントちゃんとサーバーちゃんの通信の始まりです。

2月27日午後8時11分　TCPハンドシェイクSYN+ACKパケット送信

サーバーはTCPによる通信を受け入れた証として、クライアントからのSYNパケットに対する応答を返します。サーバーはクライアントから受け取ったシーケンス番号を認識し、これに1を加えた値を返答パケットに記して送ります。シーケンス番号は送信するデータの先頭バイトを表すので、本来はデータを送信しない段階では加算しないのですが、ハンドシェイクにおいてはパケットを正しく受け取った印として特別に1を加算します。

同時に、サーバー側でもシーケンス番号を生成して返信用のパケットに記します。これでサーバーとクライアントの間で一対のランダムなシーケンス番号が初期化されます。

サーバーちゃんはクライアントちゃんに向けて通信可能な旨を記した手紙を書きました。クライアントちゃんからの手紙と同じく、隅っこにシーケンス番号を記しておきます。このパケットはSYNとACKのフラグが立てられているため、SYN+ACKパケットなどと呼ばれます。

3月9日午前3時43分　TCPハンドシェイクSYN+ACKパケット受信

今度は石狩から東京へと手紙が運ばれます。配達にはふたたび10日近い時間を要しました。
クライアントちゃんにとってはサーバーちゃんからの初めての手紙です。だいぶ非常識な時間に配達された手紙ですが、クライアントちゃんは飛び起きて、サーバーちゃんからの手紙をじっくり読み、さっそく返事に取りかかりました。
クライアントは、サーバーからのハンドシェイクを受け取ると、先ほど説明したシーケンス番号の他に、Window Size ValueやMaximum Segment SizeなどのTCP通信に必要な値を確認し、記録しておきます。

3月 9日午前4時5分　TCPハンドシェイクSYN+ACKパケット送信

サーバーちゃんからの手紙で、サーバーちゃんが手紙を出せる状態であることを確認したクライアントちゃんは、その手紙に問題がないことを伝えるため、ハンドシェイクを完了させる手紙を送ります。
クライアントもサーバーと同じく、シーケンス番号を認識した証として、サーバーから送られたシーケンス番号に1を加えて返答します。このパケットにより両者の間でそれぞれのシーケンス番号が共有され、お互いにデータを送り合う事ができるようになります。

3月16日午後3時21分　TCPハンドシェイクSYN+ACKパケット受信

ふたたび手紙は東京から石狩へ。サーバーちゃんはクライアントちゃんからちゃんと返事が届いたことにほっと安心しました。これで、いつでも通信を受け入れることができます。
このように、TCPのハンドシェイクでは通信路を3 回通る必要があるため、3ウェイ・ハンドシェイクとも呼ばれます。

TSLハンドシェイク

TLSハンドシェイクが終わって、クライアントちゃんとサーバーちゃんは無事通信が開始できるようになりました。クライアントちゃんはさっそく本題の質問を投げかけようと思ったのですが、ここでふと思ったことがあります。
クライアントちゃんとサーバーちゃんは、ハガキを使って互いにやり取りをしています。ハガキには特に何も細工をしていないので、書いている内容は周りの人には丸見えです。クライアントちゃんがポストに投函しに行くまではいいとしても、そこから先、ルーターから先のことに関しては何も保証できません。実はポストの中に盗撮カメラが仕掛けてあるかもしれませんし、郵便局員がハガキの内容をチラ見するかもしれませんし、サーバーちゃんの上司に内容を検閲されているかもしれません。
これは困ります。花も恥じらう乙女であるところのクライアントちゃんは、サーバーちゃん以外の誰にも手紙の内容を知られたくありません。クライアントちゃんはサーバーちゃんとのやり取りを暗号化するため、TLS（Transport Layer Security）を使用することにしました。
TLSは、TCPのようなコネクションの上で暗号技術を使って通信の機密性や完全性を確保するための仕組みです。公開鍵暗号を用いて安全に交換した鍵を使って共通鍵暗号を行い、暗号化されたコネクションをアプリケーションに提供します。
この記事は暗号理論の説明はいたしません。ちょこちょこ出てくる用語の説明はほとんどしていません。なので、やり取りする情報のさらなる意味を知りたい方は、ぜひ他の専門書を参照してください。

ぼくらがシェルで生きる理由 (Web版独自記事)

投稿日：2017.07.11　｜　カテゴリー：　記事

written by 松浦智之(シェルスクリプトマガジン編集部)

シェルスクリプトは何に使う言語なのか？残念ながら、作業の自動化やサーバー管理に使うものだと捉えている方が多い。私が、「いや、システム開発のためにこそ使うものだ」といっても、冗談あるいは曲芸の類にしか見てもらえないことが多い現状は、シェルスクリプトマガジン編集者としては悔しいものだ。
大手雑誌でシェルスクリプトが特集されることはあっても、データ管理術を手解きする特集で使われている道具はMySQL……。そこでもやはりシェルスクリプトが利用されるまでに、世の中のイメージを変えたい、というのが私の夢である。

そこで今回の記事では、私が実装したシェルスクリプト製「郵便番号から住所を補完するボタン」を紹介する。これを通じて、シェルスクリプトの実力、そして我々シェルプログラマーの愉しみを見てもらいたい。
なお、実際にシェルスクリプトによる業務システム開発を行っているUSP研究所では有償コマンド（usp Tukubai）を用いていて、「それがあるから実用的なものが作れるんでしょ？」と思うかもしれないが、そんなことはない。誰でも入手できるごくありふれたUNIXコマンドだけでここまでできる！ということが、今回の記事を通じてわかってもらえればと思う。

実は「速い！」「色々できる！」シェルスクリプト

世間では未だに「シェルスクリプトなんて遅くて使えない」という偏見が根強い。いやいや「ちょっと待ったー！」と言いたい。

シェルスクリプトはグルー言語。シェルスクリプト自身でこなそうとせずに、コマンドを呼んでそれらに任せればいいのだ。コマンドを呼べば、シェルスクリプトはそのコマンドの終了を待つだけになる。UNIX標準コマンドたちはC言語で書かれているため、この仕組みを理解した上で組まれたシェルスクリプトなら、殆どCプログラムの速さで動くことになる。

また、データが100万行、1000万行におよんでも、データの持たせ方の工夫次第で処理速度は改善できる。例えば後述の郵便番号の例なら、前3桁ごとにファイル分割して持てばいいのだ。頭の3桁の検索は、OSがファイルシステムのハッシュテーブルを使って高速に行ってくれるので、わざわざ自力で高速検索アルゴリズムを組む必要は無い。

シェルスクリプトには他の言語みたいに豊富なライブラリーもないからたいしたことができない、という意見も根強いが、これも工夫次第で想像以上にいろんなことができる。

例えば今回紹介するデモでは、CSVやJSON、XMLテキストの解析をさせている。たしかにそんなことをしてくれるコマンドは無かったが、シェルスクリプトとsedやAWKやgrep、trなど、どれも見慣れた構文やコマンドでできている。 難しいことも、簡単なことの組み合わせで実現できるのがシェルスクリプトの強み であり（マイクガンカーズのUNIX哲学定理6,7あたり）　、シェルプログラミングの愉しみはこのような「工夫」にこそあるはずだ。

「じゃあ、Webアクセスは？」

……それもデモで示すとおり、curlやwgetコマンドを使えばOK。

「メールは？」

……それは/usr/sbin/sendmailを使えば大丈夫、受信ならfetchmailコマンドとか。

「でも、本格的なRDB操作はさすがに無理でしょ」

……いやいや、 POSIX標準コマンドでjoinってのがあって これやsort、AWKなど使えば、テキストファイルでも相当本格的な操作が可能。

このようにUNIX標準コマンドには、様々な用途に利用できる必要十分なコマンドがそろっている。あとは我々シェルプログラマーがこれらをどう使うか、だ。

ネット通販によくあるアレくらい、/bin/shでだって作れるもん！

というわけで、シェルスクリプトの実力を示すべく、ネット通販の注文画面なんかでよく見かける 「郵便番号から住所を補完するボタン」 をシェルスクリプトで実装してみた。

香川大学SLPからお届け！（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：辻健人（香川大学SLP）

年末なので設定ファイルやスクリプトを大掃除する

早いことにもう年の瀬、大掃除の季節です。そこで、今回のテーマは「大掃除」。部屋だけではなく設定ファイルである.zshrcや.bashrc、普段使っているスクリプトの掃除もしてしまいたい！ということで、設定ファイルの掃除方法を紹介していきたいと思います

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

$ echo $PATH | tr ':' '\n' | sort | \
uniq > /tmp/a.txt && echo $PATH | tr ':' '\n' | \
sort > /tmp/b.txt && diff /tmp/a.txt /tmp/b.txt

1

2

3

$ echo $PATH | tr ':' '\n' | sort | \

uniq > /tmp/a.txt && echo $PATH | tr ':' '\n' | \

sort > /tmp/b.txt && diff /tmp/a.txt /tmp/b.txt

export PATH="${HOME}/local/bin:$PATH"
export PATH="${HOME}/path/to/example/bin:$PATH"

1 2	export PATH="${HOME}/local/bin:$PATH" export PATH="${HOME}/path/to/example/bin:$PATH"

expath() {
  : ${1:?}
  export PATH=${1}:${PATH}
}

1

2

3

4

expath() {

: ${1:?}

export PATH=${1}:${PATH}

}

expath ${HOME}/local/bin
expath ${HOME}/path/to/example/bin

1 2	expath ${HOME}/local/bin expath ${HOME}/path/to/example/bin

#従来
if [ ${sample} -ge 0 ]; then
  # do something
fi

#より読みやすいと筆者が感じる書き方
if (( ${sample} >= 0 )); then
  # do something
fi

1

2

3

4

5

6

7

8

9

#従来

if [ ${sample} -ge 0 ]; then

# do something

fi

#より読みやすいと筆者が感じる書き方

if (( ${sample} >= 0 )); then

# do something

fi

#従来
if [ ${sample} = 'sample' ]; then
  # do something
fi

#より読みやすいと筆者が感じる書き方
if [[ ${sample} == 'sample' ]]; then
  # do something
fi

1

2

3

4

5

6

7

8

9

#従来

if [ ${sample} = 'sample' ]; then

# do something

fi

#より読みやすいと筆者が感じる書き方

if [[ ${sample} == 'sample' ]]; then

# do something

fi

#従来
if (( ${sample} == 0 )); then
  echo 'sample is zero'
else
  echo 'sample is not zero'
fi
if [[ ${sample} =~ 'true' ]]; then
  echo 'true'
else
  echo 'false'
fi

#三項演算子のように書き換える
(( $sample == 0 )) && echo 'sample is zero' || echo 's
ample is not zero'
[[ $sample =~ 'true' ]] && echo 'true' || echo 'false'

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

#従来

if (( ${sample} == 0 )); then

echo 'sample is zero'

else

echo 'sample is not zero'

fi

if [[ ${sample} =~ 'true' ]]; then

echo 'true'

else

echo 'false'

fi

#三項演算子のように書き換える

(( $sample == 0 )) && echo 'sample is zero' || echo 's

ample is not zero'

[[ $sample =~ 'true' ]] && echo 'true' || echo 'false'

40歳から始める、オレとRubyプログラミング（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：しょっさん

1月号ではありますが、この号が出る頃はちょうどクリスマス。一息ついて、年末の忙しい時期に入っていく頃でしょうか。年末は大晦日まで大掃除に明け暮れて、正月の三が日はこれ以上ないほどにゆっくり過ごすことが、我が家の慣例です。年初からお仕事のないみなさまは、場所はちがえど、三が日の過ごし方は同じようなものでしょう。お雑煮とおせちをいただきながら、2017年に想いをはせつ
つ、さぁプログラミングしましょう!!

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

#!/usr/bin/env ruby
# coding: utf-8

# filename: logger.rb
require 'logger'

# ログを出力するだけのクラス
class TestLog
  LOGLEVEL = {}
  LOGLEVEL[Logger::UNKNOWN] = 'UNKNOWN'
  LOGLEVEL[Logger::FATAL]   = 'FATAL'
  LOGLEVEL[Logger::ERROR]   = 'ERROR'
  LOGLEVEL[Logger::WARN]    = 'WARNING'
  LOGLEVEL[Logger::INFO]    = 'INFORMATION'
  LOGLEVEL[Logger::DEBUG]   = 'DEBUG'

# Logger::xxxx は、DEBUG=0、UNKNOWN=5 の数値なので次のように配列でも書き換えられます
#  LOGLEVEL = ["DEBUG", "INFORMATION", "WARNING", "ERROR", "FATAL", "UNKNOWN"]

# 初期化時にログファイルを宣誓させる
  def initialize(logfile = '/tmp/log')
    @log = Logger.new(logfile)
  end

  def PutLog(loglevel)
    # Logger::level で出力するログレベルを、その都度変更できます
    @log.level = loglevel

    @log.unknown("Loglevel #{LOGLEVEL[loglevel]} の場合")
    @log.fatal('fatal')
    @log.error('error')
    @log.warn('warning')
    @log.info('infomation')
    @log.debug('debug message')
  end
end

["/tmp/log", STDOUT, STDERR].each do |out|
  puts "出力先 > #{out}"
  log = TestLog.new(out)

  [Logger::UNKNOWN, Logger::FATAL, Logger::ERROR, Logger::WARN, Logger::INFO, Logger::DEBUG].each do |lv|
    log.PutLog(lv)
  end

# 上記同様 Logger::xxxx は整数値なので、次のように記述することもできます。
# 5.step(0, -1) do |lv|
# 0.step(5) でも同様の動きですが、逆順になります
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

#!/usr/bin/env ruby

# coding: utf-8

# filename: logger.rb

require 'logger'

# ログを出力するだけのクラス

class TestLog

LOGLEVEL = {}

LOGLEVEL[Logger::UNKNOWN] = 'UNKNOWN'

LOGLEVEL[Logger::FATAL] = 'FATAL'

LOGLEVEL[Logger::ERROR] = 'ERROR'

LOGLEVEL[Logger::WARN] = 'WARNING'

LOGLEVEL[Logger::INFO] = 'INFORMATION'

LOGLEVEL[Logger::DEBUG] = 'DEBUG'

# Logger::xxxx は、DEBUG=0、UNKNOWN=5 の数値なので次のように配列でも書き換えられます

# LOGLEVEL = ["DEBUG", "INFORMATION", "WARNING", "ERROR", "FATAL", "UNKNOWN"]

# 初期化時にログファイルを宣誓させる

def initialize(logfile = '/tmp/log')

@log = Logger.new(logfile)

end

def PutLog(loglevel)

# Logger::level で出力するログレベルを、その都度変更できます

@log.level = loglevel

@log.unknown("Loglevel #{LOGLEVEL[loglevel]} の場合")

@log.fatal('fatal')

@log.error('error')

@log.warn('warning')

@log.info('infomation')

@log.debug('debug message')

end

["/tmp/log", STDOUT, STDERR].each do |out|

puts "出力先 > #{out}"

log = TestLog.new(out)

[Logger::UNKNOWN, Logger::FATAL, Logger::ERROR, Logger::WARN, Logger::INFO, Logger::DEBUG].each do |lv|

log.PutLog(lv)

end

# 上記同様 Logger::xxxx は整数値なので、次のように記述することもできます。

# 5.step(0, -1) do |lv|

# 0.step(5) でも同様の動きですが、逆順になります

end

$ ./logger.rb
出力先 > /tmp/log
出力先 > #<IO:0x007fbe620c6520>
A, [2016-xx-xxTxx:xx:xx.xxxxx #51744]   ANY -- : Logle
vel UNKNOWN の場合
A, [2016-xx-xxTxx:xx:xx.xxxxx #51744]   ANY -- : Logle
vel FATAL の場合
F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal
A, [2016-xx-xxTxx:xx:xx.xxxxx #51744]   ANY -- : Logle
vel ERROR の場合
F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal
E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error
A, [2016-xx-xxTxx:xx:xx.xxxxx #51744]   ANY -- : Logle
vel WARNING の場合
F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal
E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error
W, [2016-xx-xxTxx:xx:xx.xxxxx #51744]  WARN -- : warni
ng
A, [2016-xx-xxTxx:xx:xx.xxxxx #51744]   ANY -- : Logle
vel INFORMATION の場合
F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal
E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error
W, [2016-xx-xxTxx:xx:xx.xxxxx #51744]  WARN -- : warni
ng
I, [2016-xx-xxTxx:xx:xx.xxxxx #51744]  INFO -- : infom
ation
A, [2016-xx-xxTxx:xx:xx.xxxxx #51744]   ANY -- : Logle
vel DEBUG の場合
F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal
E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error
W, [2016-xx-xxTxx:xx:xx.xxxxx #51744]  WARN -- : warni
ng
I, [2016-xx-xxTxx:xx:xx.xxxxx #51744]  INFO -- : infom
ation
D, [2016-xx-xxTxx:xx:xx.xxxxx #51744] DEBUG -- : debu
g message
出力先 > #<IO:0x007fbe620c64a8>
＜後略 (上記と同じ)＞

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

$ ./logger.rb

出力先 > /tmp/log

出力先 > #<IO:0x007fbe620c6520>

A, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ANY -- : Logle

vel UNKNOWN の場合

A, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ANY -- : Logle

vel FATAL の場合

F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal

A, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ANY -- : Logle

vel ERROR の場合

F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal

E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error

A, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ANY -- : Logle

vel WARNING の場合

F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal

E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error

W, [2016-xx-xxTxx:xx:xx.xxxxx #51744] WARN -- : warni

ng

A, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ANY -- : Logle

vel INFORMATION の場合

F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal

E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error

W, [2016-xx-xxTxx:xx:xx.xxxxx #51744] WARN -- : warni

ng

I, [2016-xx-xxTxx:xx:xx.xxxxx #51744] INFO -- : infom

ation

A, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ANY -- : Logle

vel DEBUG の場合

F, [2016-xx-xxTxx:xx:xx.xxxxx #51744] FATAL -- : fatal

E, [2016-xx-xxTxx:xx:xx.xxxxx #51744] ERROR -- : error

W, [2016-xx-xxTxx:xx:xx.xxxxx #51744] WARN -- : warni

ng

I, [2016-xx-xxTxx:xx:xx.xxxxx #51744] INFO -- : infom

ation

D, [2016-xx-xxTxx:xx:xx.xxxxx #51744] DEBUG -- : debu

g message

出力先 > #<IO:0x007fbe620c64a8>

＜後略 (上記と同じ)＞

#filename: auth_spec.rb
require_relative '../auth'

describe "Authクラス" do
  describe "#authenticate メソッド" do
    context "正常に認証された場合" do
      it '標準で登録されている認証コードでコール' do
        a = Auth.new
        expect(a.authenticate('DEMO', '192.168.0.10')).not_to eq(false)
      end
      it '変更された認証コードでコール' do
        a = Auth.new('6996e0d11d644910e921ecc240f3cea8')
        expect(a.authenticate('40ruby', '192.168.0.10')).to eq('067745a1ca5c03b681e5935bb2f87ab7')
      end
    end

    context "異なる認証キーでコール" do
      it '標準で登録されている認証コード以外でコール' do
        a = Auth.new
        expect(a.authenticate('TEST', '192.168.0.10')).to eq(false)
      end
      it '変更された認証コードに対し、標準コードでコール' do
        a = Auth.new('6996e0d11d644910e921ecc240f3cea8')
        expect(a.authenticate('DEMO', '192.168.0.10')).to eq(false)
      end

    end
  end

  describe "#varid メソッド" do
    before do
      @a   = Auth.new
      @key = []
      0.step(10) do |num|
        @key[num] = @a.authenticate('DEMO', "192.168.0.#{num}")
      end
    end
    context "正常に登録されている場合" do
      it 'IPアドレスと登録されているコードがマッチしている' do
        0.step(10) do |num|
          expect(@a.varid(@key[num])).to eq("192.168.0.#{num}")
        end
      end
    end
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

#filename: auth_spec.rb

require_relative '../auth'

describe "Authクラス" do

describe "#authenticate メソッド" do

context "正常に認証された場合" do

it '標準で登録されている認証コードでコール' do

a = Auth.new

expect(a.authenticate('DEMO', '192.168.0.10')).not_to eq(false)

end

it '変更された認証コードでコール' do

a = Auth.new('6996e0d11d644910e921ecc240f3cea8')

expect(a.authenticate('40ruby', '192.168.0.10')).to eq('067745a1ca5c03b681e5935bb2f87ab7')

end

context "異なる認証キーでコール" do

it '標準で登録されている認証コード以外でコール' do

a = Auth.new

expect(a.authenticate('TEST', '192.168.0.10')).to eq(false)

end

it '変更された認証コードに対し、標準コードでコール' do

a = Auth.new('6996e0d11d644910e921ecc240f3cea8')

expect(a.authenticate('DEMO', '192.168.0.10')).to eq(false)

end

describe "#varid メソッド" do

before do

@a = Auth.new

@key = []

0.step(10) do |num|

@key[num] = @a.authenticate('DEMO', "192.168.0.#{num}")

end

context "正常に登録されている場合" do

it 'IPアドレスと登録されているコードがマッチしている' do

0.step(10) do |num|

expect(@a.varid(@key[num])).to eq("192.168.0.#{num}")

end

# filename: auth.rb
require "digest/md5"

class Auth
  # サーバの認証キーを定義する
  # == パラメータ
  # auth_code:: MD5 でハッシュ化されたキーを指定する
  # == 返り値
  # 特になし。@key_list 配列を初期化
  def initialize(auth_code = 'bd6dbd063f5ab7394879e3c08781cd72')
    @auth_code = auth_code
    @key_list  = {}
  end

  # クライアント認証を行う
  # 接続元が要求してきたキーが、サーバ側で設定されているハッシュ値と比較する
  # == パラメータ
  # key:: ハッシュ化される前のキー
  # ip:: 接続元のIPアドレス
  # == 返り値
  # 認証:: ハッシュ化されたクライアント固有の識別キー
  # 否認:: false
  def authenticate(key, ip)
    auth_key   = Digest::MD5.hexdigest(key)
    return false unless @auth_code == auth_key

    client_key = Digest::MD5.hexdigest(auth_key+ip)
    @key_list[client_key] = ip
    return client_key
  end

  # クライアントの識別を行う
  # 要求されたクライアント固有の識別キーが登録されているものか判断する
  # == パラメータ
  # key:: クライアント固有の識別キー
  # == 返り値
  # 識別された場合:: 登録されているIPアドレス
  # 否認された場合:: false
  def proof(key)
    return @key_list[key] if @key_list.has_key?(key)
    return false
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

# filename: auth.rb

require "digest/md5"

class Auth

# サーバの認証キーを定義する

# == パラメータ

# auth_code:: MD5 でハッシュ化されたキーを指定する

# == 返り値

# 特になし。@key_list 配列を初期化

def initialize(auth_code = 'bd6dbd063f5ab7394879e3c08781cd72')

@auth_code = auth_code

@key_list = {}

end

# クライアント認証を行う

# 接続元が要求してきたキーが、サーバ側で設定されているハッシュ値と比較する

# == パラメータ

# key:: ハッシュ化される前のキー

# ip:: 接続元のIPアドレス

# == 返り値

# 認証:: ハッシュ化されたクライアント固有の識別キー

# 否認:: false

def authenticate(key, ip)

auth_key = Digest::MD5.hexdigest(key)

return false unless @auth_code == auth_key

client_key = Digest::MD5.hexdigest(auth_key+ip)

@key_list[client_key] = ip

return client_key

end

# クライアントの識別を行う

# 要求されたクライアント固有の識別キーが登録されているものか判断する

# == パラメータ

# key:: クライアント固有の識別キー

# == 返り値

# 識別された場合:: 登録されているIPアドレス

# 否認された場合:: false

def proof(key)

return @key_list[key] if @key_list.has_key?(key)

return false

end

ユニケージ開発手法　コードレビュー　vol.34（本誌vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：大内智明

今回は、マスタの中でも重要な店舗商品マスタについて説明します。

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

#!/bin/bash ?vx
# tensho-tenkai >>> 店舗商品マスタ展開出力
# Usage : tensho-tenkai -d <yyyymmdd> -g <MD業務グループ> \
#         -s <商品コード>/-S <商品リスト> [ -t <店舗コード> / -T <店舗リスト> ] [-i]

＜中略＞
#/////////////////////////////////////////////////////////////////////////
#
# ステップ１：適用日の売価項目マスタのトランと、個店売価項目マスタのトランから、
#             店舗商品売価項目のトランを生成する
#
# ステップ２：適用日の原価マスタのトランから、店舗商品原価項目のトランを生成する
#
# ステップ３：店舗商品売価項目のトランと店舗商品原価項目のトランを連結する
#
#/////////////////////////////////////////////////////////////////////////

#/////////////////////////////////////////////////////////////////////////
# ステップ２：予約のある適用日毎に原価マスタのトランから、店舗商品原価項目のトランを生成する
#/////////////////////////////////////////////////////////////////////////
＜中略＞
# 発注項目マスタ 予約ファイル
#
# 個店
     echo ${hacd}/TBL/SABUN/HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU.??????????????      |
#  1:商品コード* 2:店舗グループコード*("_"固定) 3:店舗コード*  4:予約コード   
#  5:基本フラグ  6:発注先コード                 7:原価（税抜） 8:原価（税込） 
#  9:発注単位数  10:最大発注数                  11:発注開始日  12:返品不可区分
#  13:発注終了日 14:発注停止理由                15:備考        16:登録日      
#  17:更新フラグ 18:適用日                      19:ユーザID    20:入力日時    
     ugrep -v '\?'                                                                 |
     xargs cat                                                                     |
     cjoin0 key=1 $tmp-shohin -                                                    |
     cjoin0 key=3 $tmp-ten -                                                       |
     gawk '$18<="'$sday'"'					                |
     msort key=1/3@18@20@17		                                     > $tmp-hachukoten.m${mdg}.input

     join0 key=1 $tmp-shohin ${hacd}/TBL/SABUN/HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU  |
     cjoin0 key=3 $tmp-ten -                                                       |
     gawk '$18<="'$sday'"'                                                         |
     up3 key=1/3@18@20@17 - $tmp-hachukoten.m${mdg}.input                          |
     join0 key=1 $tmp-shohin -                                                     |
     underlay num=3                                                                |
     self 1/NF			                                     > $tmp-HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU
     
     yoyaku_genka_koten=$tmp-HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU


# 発注項目マスタ 個店設定
if [ -s ${hacd}/TBL/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI ]; then


  if [ -s $tmp-shohin ] ; then
    if [ "$(gyo $tmp-ten)" -ge 300 -a "$(gyo $tmp-shohin)" -ge 5000 ] ; then
       # 商品数・店舗数がともに多い場合は一括ファイルを使用する
       join0 key=1 $tmp-shohin ${hacd}/TBL/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI |
       cjoin0 key=3 $tmp-ten -

    else
      # 店舗コードのリストをだす
      lineup 1 $tmp-ten                  > $tmp-ten.list
      # 商品下3桁コードのリストをだす
      self 1.10.4 $tmp-shohin | lineup 1 > $tmp-jan.list

      # 対象商品から該当するファイルを集める
      #
      # 店舗コード指定があるなしでLV3個店マスタの参照先が異なる。
      # ==> 店舗コード指定があると店舗別LV3を参照
      # ==> 店舗コード指定がなしと商品別LV3を参照
      #
      # 店舗数が商品数より少ない場合
      if [ "$(gyo $tmp-ten)" -lt 80 -a "$(gyo $tmp-shohin | calc '$1*2' 1 | self 2)" -ge "$(gyo $tmp-ten)" ] ; then
        for tencd in $(cat $tmp-ten.list); do
          [ ! -s ${hacd}/TBL/TENPO/$tencd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI ] && continue
          echo "${hacd}/TBL/TENPO/$tencd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI"
        done > ${tmp}-hachu_koten_list

      # 商品数が店舗数より少ない場合
      else

        for jancd in $(cat $tmp-jan.list); do
          [ ! -s ${hacd}/TBL/SHOHN/$jancd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI ] && continue
          echo "${hacd}/TBL/SHOHN/$jancd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI"
        done > ${tmp}-hachu_koten_list

      fi

      # 並列数
      paranum=2
      for fl in $(cat ${tmp}-hachu_koten_list) ;do
        [ ! -s ${fl} ] && continue
        echo ${fl}
      done                          |
      eval distribute ${tmp}-script.{1..$paranum}

      for n in $(seq $paranum); do
      echo "echo $(tateyoko ${tmp}-script.$n)  | xargs cat | cjoin0 key=1 $tmp-shohin - | cjoin0 key=3 $tmp-ten - > $tmp-scr.out.$n" | ush -e &
      done
      wait

      echo $tmp-scr.out.*           |
      xargs cat                     |
      cjoin0 key=1 $tmp-shohin -    |
      cjoin0 key=3 $tmp-ten -       |
      msort key=1/3@18@20@17 -
    fi
  else
    cat /dev/null
  fi                                |
  if [ -s ${yoyaku_genka_koten} ]; then
# ---underlay対応---

    #gawk '$(NF-2)<="'${sday}'"' > $tmp-hachu_koten_rireki
    cat > $tmp-hachu_koten_rireki
    up3 key=1/3@18@20@17 $tmp-hachu_koten_rireki ${yoyaku_genka_koten}	|
    underlay num=3 -					|
    self 1/NF		> $tmp-hachu_koten_yoyaku.all

    up3 key=1/3@18@20@17 $tmp-hachu_koten_rireki $tmp-hachu_koten_yoyaku.all

# ---underlay対応---
  else
    cat -
  fi					|
  cjoin0 key=3 $tmp-ten			|
  uawk '$(NF-2)<="'${sday}'"'                  |
   getlast key=1/3                              |
   '$(NF-3)!=8'                                 > $tmp-kotengenka
   #  1:商品コード* 2:店舗グループコード* 3:店舗コード*  4:予約コード
   #  5:基本フラグ  6:発注先コード        7:原価(税抜) 8:原価（税込)
   #  9:発注単位数  10:最大発注数         11:発注開始日  12:返品不可区分
   #  13:発注終了日 14:発注停止理由       15:備考        16:登録日
   #  17:更新フラグ 18:適用日             19:入力者    20:入力日時
fi
itouch '_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _' $tmp-kotengenka

# 個店設定の店展開
# $tmp-kotengenka
#  1:商品コード* 2:店舗グループコード* 3:店舗コード*  4:予約コード
#  5:基本フラグ  6:発注先コード        7:原価(税抜) 8:原価（税込)
#  9:発注単位数  10:最大発注数         11:発注開始日  12:返品不可区分
#  13:発注終了日 14:発注停止理由       15:備考        16:登録日
#  17:更新フラグ 18:適用日             19:入力者    20:入力日時
self 1 3 7 8 6 11 13 14 9 10 12 15 17 18 19 20 $tmp-kotengenka	> $tmp-kotengenka-data
# 1:商品コード*  2:店舗コード* 3:原価(税抜)  4:原価（税込) 
# 5:発注先コード 6:発注開始日  7:発注終了日    8:発注停止理由
# 9:発注単位数   10:最大発注数 11:返品不可区分 12:備考 
# 13:更新フラグ  14:適用日     15:入力者     16:入力日時

#/////////////////////////////////////////////////////////////////////////
# ステップ３：店舗商品売価項目の未来履歴トランと店舗商品原価項目の未来履歴トランを連結する
#/////////////////////////////////////////////////////////////////////////
＜中略＞

#/////////////////////////////////////////////////////////////////////////
# 終了処理
#/////////////////////////////////////////////////////////////////////////
rm -rf $TMPD &
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

#!/bin/bash ?vx

# tensho-tenkai >>> 店舗商品マスタ展開出力

# Usage : tensho-tenkai -d <yyyymmdd> -g <MD業務グループ> \

# -s <商品コード>/-S <商品リスト> [ -t <店舗コード> / -T <店舗リスト> ] [-i]

＜中略＞

#/////////////////////////////////////////////////////////////////////////

#

# ステップ１：適用日の売価項目マスタのトランと、個店売価項目マスタのトランから、

# 店舗商品売価項目のトランを生成する

#

# ステップ２：適用日の原価マスタのトランから、店舗商品原価項目のトランを生成する

#

# ステップ３：店舗商品売価項目のトランと店舗商品原価項目のトランを連結する

#

#/////////////////////////////////////////////////////////////////////////

# ステップ２：予約のある適用日毎に原価マスタのトランから、店舗商品原価項目のトランを生成する

#/////////////////////////////////////////////////////////////////////////

＜中略＞

# 発注項目マスタ予約ファイル

#

# 個店

echo ${hacd}/TBL/SABUN/HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU.?????????????? |

# 1:商品コード* 2:店舗グループコード*("_"固定) 3:店舗コード* 4:予約コード

# 5:基本フラグ 6:発注先コード 7:原価（税抜） 8:原価（税込）

# 9:発注単位数 10:最大発注数 11:発注開始日 12:返品不可区分

# 13:発注終了日 14:発注停止理由 15:備考 16:登録日

# 17:更新フラグ 18:適用日 19:ユーザID 20:入力日時

ugrep -v '\?' |

xargs cat |

cjoin0 key=1 $tmp-shohin - |

cjoin0 key=3 $tmp-ten - |

gawk '$18<="'$sday'"' |

msort key=1/3@18@20@17 > $tmp-hachukoten.m${mdg}.input

join0 key=1 $tmp-shohin ${hacd}/TBL/SABUN/HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU |

cjoin0 key=3 $tmp-ten - |

gawk '$18<="'$sday'"' |

up3 key=1/3@18@20@17 - $tmp-hachukoten.m${mdg}.input |

join0 key=1 $tmp-shohin - |

underlay num=3 |

self 1/NF > $tmp-HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU

yoyaku_genka_koten=$tmp-HACHU_KOUMOKU_KOTEN.M${mdg}.YOYAKU

# 発注項目マスタ個店設定

if [ -s ${hacd}/TBL/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI ]; then

if [ -s $tmp-shohin ] ; then

if [ "$(gyo $tmp-ten)" -ge 300 -a "$(gyo $tmp-shohin)" -ge 5000 ] ; then

# 商品数・店舗数がともに多い場合は一括ファイルを使用する

join0 key=1 $tmp-shohin ${hacd}/TBL/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI |

cjoin0 key=3 $tmp-ten -

else

# 店舗コードのリストをだす

lineup 1 $tmp-ten > $tmp-ten.list

# 商品下3桁コードのリストをだす

self 1.10.4 $tmp-shohin | lineup 1 > $tmp-jan.list

# 対象商品から該当するファイルを集める

#

# 店舗コード指定があるなしでLV3個店マスタの参照先が異なる。

# ==> 店舗コード指定があると店舗別LV3を参照

# ==> 店舗コード指定がなしと商品別LV3を参照

#

# 店舗数が商品数より少ない場合

if [ "$(gyo $tmp-ten)" -lt 80 -a "$(gyo $tmp-shohin | calc '$1*2' 1 | self 2)" -ge "$(gyo $tmp-ten)" ] ; then

for tencd in $(cat $tmp-ten.list); do

[ ! -s ${hacd}/TBL/TENPO/$tencd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI ] && continue

echo "${hacd}/TBL/TENPO/$tencd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI"

done > ${tmp}-hachu_koten_list

# 商品数が店舗数より少ない場合

else

for jancd in $(cat $tmp-jan.list); do

[ ! -s ${hacd}/TBL/SHOHN/$jancd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI ] && continue

echo "${hacd}/TBL/SHOHN/$jancd/HACHU_KOUMOKU_KOTEN.M${mdg}.RIREKI"

done > ${tmp}-hachu_koten_list

fi

# 並列数

paranum=2

for fl in $(cat ${tmp}-hachu_koten_list) ;do

[ ! -s ${fl} ] && continue

echo ${fl}

done |

eval distribute ${tmp}-script.{1..$paranum}

for n in $(seq $paranum); do

echo "echo $(tateyoko ${tmp}-script.$n) | xargs cat | cjoin0 key=1 $tmp-shohin - | cjoin0 key=3 $tmp-ten - > $tmp-scr.out.$n" | ush -e &

done

wait

echo $tmp-scr.out.* |

xargs cat |

cjoin0 key=1 $tmp-shohin - |

cjoin0 key=3 $tmp-ten - |

msort key=1/3@18@20@17 -

fi

else

cat /dev/null

fi |

if [ -s ${yoyaku_genka_koten} ]; then

# ---underlay対応---

#gawk '$(NF-2)<="'${sday}'"' > $tmp-hachu_koten_rireki

cat > $tmp-hachu_koten_rireki

up3 key=1/3@18@20@17 $tmp-hachu_koten_rireki ${yoyaku_genka_koten} |

underlay num=3 - |

self 1/NF > $tmp-hachu_koten_yoyaku.all

up3 key=1/3@18@20@17 $tmp-hachu_koten_rireki $tmp-hachu_koten_yoyaku.all

# ---underlay対応---

else

cat -

fi |

cjoin0 key=3 $tmp-ten |

uawk '$(NF-2)<="'${sday}'"' |

getlast key=1/3 |

'$(NF-3)!=8' > $tmp-kotengenka

# 1:商品コード* 2:店舗グループコード* 3:店舗コード* 4:予約コード

# 5:基本フラグ 6:発注先コード 7:原価(税抜) 8:原価（税込)

# 9:発注単位数 10:最大発注数 11:発注開始日 12:返品不可区分

# 13:発注終了日 14:発注停止理由 15:備考 16:登録日

# 17:更新フラグ 18:適用日 19:入力者 20:入力日時

fi

itouch '_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _' $tmp-kotengenka

# 個店設定の店展開

# $tmp-kotengenka

# 1:商品コード* 2:店舗グループコード* 3:店舗コード* 4:予約コード

# 5:基本フラグ 6:発注先コード 7:原価(税抜) 8:原価（税込)

# 9:発注単位数 10:最大発注数 11:発注開始日 12:返品不可区分

# 13:発注終了日 14:発注停止理由 15:備考 16:登録日

# 17:更新フラグ 18:適用日 19:入力者 20:入力日時

self 1 3 7 8 6 11 13 14 9 10 12 15 17 18 19 20 $tmp-kotengenka > $tmp-kotengenka-data

# 1:商品コード* 2:店舗コード* 3:原価(税抜) 4:原価（税込)

# 5:発注先コード 6:発注開始日 7:発注終了日 8:発注停止理由

# 9:発注単位数 10:最大発注数 11:返品不可区分 12:備考

# 13:更新フラグ 14:適用日 15:入力者 16:入力日時

#/////////////////////////////////////////////////////////////////////////

# ステップ３：店舗商品売価項目の未来履歴トランと店舗商品原価項目の未来履歴トランを連結する

#/////////////////////////////////////////////////////////////////////////

＜中略＞

#/////////////////////////////////////////////////////////////////////////

# 終了処理

#/////////////////////////////////////////////////////////////////////////

rm -rf $TMPD &

exit 0

POSIX原理主義の一時的書類（テンポラリーファイル）（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：シェルスクリプトマガジン編集部　松浦智之

会議室にはホワイトボードがあり、机の傍らにはメモ用紙がある。人はそこに、図や文字を書いたり消したりを繰り返すことで、考えを整理する。なぜなら人は、短期記憶の領域が狭いため、考察対象となる物事はホワイトボードや紙等に書き出しておかないと処理しきれないからだ。
そこは、人が創り出したコンピューターも似ている。一定以上の情報はCPU上に置いておけないため、メモリに変数という形で書き出し、それより大きいものはディスクにファイルという形で書き出しながら処理をする。特にUNIX では、ファイルを活用すると上手くいくようにデザインされている。
ところが、POSIX にはその、ホワイトボードやメモ用紙に相当する一時ファイル（テンポラリーファイル）を作るコマンドがない。何も考えずもちろん作るだけなら簡単なのだが、セキュリティーを確保しながら作るには一工夫がいる。今回は、一時ファイル作成時に必要なセキュリティーについて学び、これをPOSIXで実現する。

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

dir=${TMPDIR:-}
[ -d "${TMPDIR:-}" ] || dir='/tmp'

1 2	dir=${TMPDIR:-} [ -d "${TMPDIR:-}" ] \|\| dir='/tmp'

file=$(cat /dev/urandom            |
       dd count=1 bs=8 2>/dev/null |
       od -A n -t x1               |
       tr -d ' '                   )

1

2

3

4

file=$(cat /dev/urandom |

dd count=1 bs=8 2>/dev/null |

od -A n -t x1 |

tr -d ' ' )

# ディレクトリー名を決める
dir=${TMPDIR:-}
[ -d "${TMPDIR:-}" ] || dir='/tmp'
dir=${dir%/}

# 一時ファイル生成ループ（最大3 回試行）
retry=2
while [ $retry -ge 0 ]; do
  # ファイル名を決める
  file=$(cat /dev/urandom            |
         dd count=1 bs=8 2>/dev/null |
         od -A n -t x1               |
         tr -d ' '                   )
  # 安全に配慮して生成してみる
  (set -C          ;
   umask 177       ;
   : > "$dir/$file") 2>/dev/null

  # 成功していたらループ脱出
  case $? in 0) break;; esac

  # 失敗していたファイル名を消して再試行
  file=''
  retry=$((retry-1))
done

# 成功時→ファイル名表示 失敗時→エラー終了
case "$file" in
  '') echo 'Failed' 1>&2; exit 1;;
  *) echo "$dir/$file"          ;;
esac

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

# ディレクトリー名を決める

dir=${TMPDIR:-}

[ -d "${TMPDIR:-}" ] || dir='/tmp'

dir=${dir%/}

# 一時ファイル生成ループ（最大3 回試行）

retry=2

while [ $retry -ge 0 ]; do

# ファイル名を決める

file=$(cat /dev/urandom |

dd count=1 bs=8 2>/dev/null |

od -A n -t x1 |

tr -d ' ' )

# 安全に配慮して生成してみる

(set -C ;

umask 177 ;

: > "$dir/$file") 2>/dev/null

# 成功していたらループ脱出

case $? in 0) break;; esac

# 失敗していたファイル名を消して再試行

file=''

retry=$((retry-1))

done

# 成功時→ファイル名表示失敗時→エラー終了

case "$file" in

'') echo 'Failed' 1>&2; exit 1;;

*) echo "$dir/$file" ;;

esac

mktempコマンドをPOSIX原理主義で書き直したものを作りました。
https://github.com/ShellShoccar-jpn/misc-tools/blob/master/mktemp

#! /bin/sh

#############################################
# 初期設定
#############################################
# 始めに、一時ディレクトリーを安全に作る
tmp=`mktemp -d -t "${0##*/}.XXXXXXXXXXXX"` || exit 1
# 各種ディレクトリー設定
datd=/home/URIAGE_KANRI/DATA
# 本日日付
today=$(date '+%Y%m%d')

#############################################
# 商品マスターから価格マスターを作る
#############################################
cat $datd/SHOHIN_MASTER.TXT   |
# 1:商品ID 2:商品名3:価格
self 1 3                      |
sort -k 1,1                   > $tmp-kakakumst

#############################################
# 今日の総売り上げ計算する
#############################################
cat $datd/URIAGE_$today.TXT  |
# 1:時刻2:所品ID 3:売れ数
self 2 3                     |
# 1:所品ID 2:売れ数
sort -k 1,1                  |
join1 key=1 $tmp-kakakumst   |
# 1:所品ID 2:価格3:売れ数
lcalc '$2 * $3'              |
# 1:商品毎の小計             |
sm2 0 0 1 1                  > $datd/TOTAL_$today.TXT

#############################################
# 終了
#############################################
rm -rf "$tmp"
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

#! /bin/sh

#############################################

# 初期設定

#############################################

# 始めに、一時ディレクトリーを安全に作る

tmp=`mktemp -d -t "${0##*/}.XXXXXXXXXXXX"` || exit 1

# 各種ディレクトリー設定

datd=/home/URIAGE_KANRI/DATA

# 本日日付

today=$(date '+%Y%m%d')

#############################################

# 商品マスターから価格マスターを作る

#############################################

cat $datd/SHOHIN_MASTER.TXT |

# 1:商品ID 2:商品名3:価格

self 1 3 |

sort -k 1,1 > $tmp-kakakumst

#############################################

# 今日の総売り上げ計算する

#############################################

cat $datd/URIAGE_$today.TXT |

# 1:時刻2:所品ID 3:売れ数

self 2 3 |

# 1:所品ID 2:売れ数

sort -k 1,1 |

join1 key=1 $tmp-kakakumst |

# 1:所品ID 2:価格3:売れ数

lcalc '$2 * $3' |

# 1:商品毎の小計 |

sm2 0 0 1 1 > $datd/TOTAL_$today.TXT

#############################################

# 終了

#############################################

rm -rf "$tmp"

exit 0

機械学習で石川啄木を蘇らせる（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

written by 高橋光輝

本連載のもとになった同人誌の内容は、以下のURLから閲覧が可能です。（編集部）
https://sunpro.io/c89/pub/hakatashi/introduction

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

all: tanka-dummy-vectors.txt tanka-takuboku-vectors.txt

tanka-takuboku-vectors.txt: infer_takuboku_vectors.py tanka-tokenized.csv $(AOZORA2VEC_MODELS)
    $(PYTHON) infer_takuboku_vectors.py < tanka-tokenized.csv > "$@"

tanka-dummy-vectors.txt: infer_dummy_vectors.py dummy-tan
ka.txt $(AOZORA2VEC_MODELS)
    $(PYTHON) infer_dummy_vectors.py < dummy-tanka.txt > "$@"

dummy-tanka.txt: marcov-dict.json generate_dummy_tanka.py
    $(PYTHON) generate_dummy_tanka.py < marcov-dict.json > "$@"

1

2

3

4

5

6

7

8

9

10

11

all: tanka-dummy-vectors.txt tanka-takuboku-vectors.txt

tanka-takuboku-vectors.txt: infer_takuboku_vectors.py tanka-tokenized.csv $(AOZORA2VEC_MODELS)

$(PYTHON) infer_takuboku_vectors.py < tanka-tokenized.csv > "$@"

tanka-dummy-vectors.txt: infer_dummy_vectors.py dummy-tan

ka.txt $(AOZORA2VEC_MODELS)

$(PYTHON) infer_dummy_vectors.py < dummy-tanka.txt > "$@"

dummy-tanka.txt: marcov-dict.json generate_dummy_tanka.py

$(PYTHON) generate_dummy_tanka.py < marcov-dict.json > "$@"

# -*- coding: utf-8 -*-

import sys
import json
import random

# 標準入力から単語データを読み取る
marcov_json = sys.stdin.read()
marcov = json.loads(marcov_json)

token_dict = marcov['token_dict']
tokens = list(token_dict.keys())

# 1000個のダミーデータを生成する
for i in range(1000):
    # 1データに含まれる単語の数は12個から23個
    token_count = random.randint(12, 23)
    base_forms = []

    # 単語をランダムに選択
    for j in range(token_count):
        token = random.choice(tokens)
        base_form = token_dict[token][3]
        base_forms.append(base_form)

    # 出力
    print(' '.join(base_forms))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

# -*- coding: utf-8 -*-

import sys

import json

import random

# 標準入力から単語データを読み取る

marcov_json = sys.stdin.read()

marcov = json.loads(marcov_json)

token_dict = marcov['token_dict']

tokens = list(token_dict.keys())

# 1000個のダミーデータを生成する

for i in range(1000):

# 1データに含まれる単語の数は12個から23個

token_count = random.randint(12, 23)

base_forms = []

# 単語をランダムに選択

for j in range(token_count):

token = random.choice(tokens)

base_form = token_dict[token][3]

base_forms.append(base_form)

# 出力

print(' '.join(base_forms))

$ make dummy-tanka.txt 
python3 generate_dummy_tanka.py < marcov-dict.json > "dummy-tanka.txt"
$ head dummy-tanka.txt 
過つ 聞く 置く 覚える 帽 せる 温かい 情け 泊まる 痛む 優しい 共産 板 帰り来る 焼く 迫る 切り通し 晴れやか 其 恋人 目
働く 消す ひょっと 来し方 逸早い 皿 埋もれる 等 毟る 過ぎ行く 知る 付く 一日 出す 働く 宗教
山間 襟 乾き 悪 盗み聞く 沈む 英語 獣 真似 砂山 彼の 喞筒
列車 矛 紅 句 左 餅 扠 ふと 霙 叱る 青い 得る
満足 怖い 煩い 屑 好く 眺める 冷や冷や 霜 降る 温かい 平復 ちょう 肌 涼しい さ迷う 遂げる 刀 束ね 弟 躍り出でる 演習
見す 淡雪 き 書く 火事 鳴く 会う 呼吸 遊船 残る 見える 羨ましい 隠れる 赤ん坊 喉 水面 好く 猶 羽子 安 閉じる 空く 踊る
博学 邦人 長い 大方 平気 浸す 夜昼 隣り 森林 持つ 襟 かほど 得る 乱れる 送る 頭 買う
術 褒める 求める 訳 珍しい 痺れ 居る 一途 飛び去る 生命 小児 揺籃 吸う 覚える 快い 青い 休む 浮かぶ たり 処する 無くなる 時雨
浸る 初夜 寒い 向かう 降る 砂 嫁 二 唱える 易者 空地 の 三 砲兵 ふやける 我が 眠り 悲しみ 次 よ 罵る
来たる 謀反 甲斐 張り替える 思い出 世渡り 日光 我が 膨れる 乗る 殴る 幾 抜く 怒る

1

2

3

4

5

6

7

8

9

10

11

12

13

$ make dummy-tanka.txt

python3 generate_dummy_tanka.py < marcov-dict.json > "dummy-tanka.txt"

$ head dummy-tanka.txt

過つ聞く置く覚える帽せる温かい情け泊まる痛む優しい共産板帰り来る焼く迫る切り通し晴れやか其恋人目

働く消すひょっと来し方逸早い皿埋もれる等毟る過ぎ行く知る付く一日出す働く宗教

山間襟乾き悪盗み聞く沈む英語獣真似砂山彼の喞筒

列車矛紅句左餅扠ふと霙叱る青い得る

満足怖い煩い屑好く眺める冷や冷や霜降る温かい平復ちょう肌涼しいさ迷う遂げる刀束ね弟躍り出でる演習

見す淡雪き書く火事鳴く会う呼吸遊船残る見える羨ましい隠れる赤ん坊喉水面好く猶羽子安閉じる空く踊る

博学邦人長い大方平気浸す夜昼隣り森林持つ襟かほど得る乱れる送る頭買う

術褒める求める訳珍しい痺れ居る一途飛び去る生命小児揺籃吸う覚える快い青い休む浮かぶたり処する無くなる時雨

浸る初夜寒い向かう降る砂嫁二唱える易者空地の三砲兵ふやける我が眠り悲しみ次よ罵る

来たる謀反甲斐張り替える思い出世渡り日光我が膨れる乗る殴る幾抜く怒る

# -*- coding: utf-8 -*-

import csv
import sys
import gensim

# doc2vecのモデルを読み込む
model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力から空白区切りのテキストを読み取る
for tokens in csv.reader(iter(sys.stdin.readline, ''), delimiter=' '):
    # doc2vecを用いて特徴ベクトルを推定する
    vector = model.infer_vector(tokens)

    # 出力
    print(' '.join(list(map(str, vector))))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

# -*- coding: utf-8 -*-

import csv

import sys

import gensim

# doc2vecのモデルを読み込む

model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力から空白区切りのテキストを読み取る

for tokens in csv.reader(iter(sys.stdin.readline, ''), delimiter=' '):

# doc2vecを用いて特徴ベクトルを推定する

vector = model.infer_vector(tokens)

# 出力

print(' '.join(list(map(str, vector))))

# -*- coding: utf-8 -*-

import sys
import csv
import json
import gensim

# doc2vecのモデルを読み込む
model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力からCSVを読み取る
for row in csv.reader(iter(sys.stdin.readline, '')):
    [tanka, tokens_json] = row
    tokens = list(map(lambda l:l[3], json.loads(tokens_json)))

    # doc2vecを用いて特徴ベクトルを推定する
    vector = model.infer_vector(tokens)

    # 出力
    print(' '.join(list(map(str, vector))))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

# -*- coding: utf-8 -*-

import sys

import csv

import json

import gensim

# doc2vecのモデルを読み込む

model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力からCSVを読み取る

for row in csv.reader(iter(sys.stdin.readline, '')):

[tanka, tokens_json] = row

tokens = list(map(lambda l:l[3], json.loads(tokens_json)))

# doc2vecを用いて特徴ベクトルを推定する

vector = model.infer_vector(tokens)

# 出力

print(' '.join(list(map(str, vector))))

漢のUNIX　ライブラリをつくってみよう！　#その2（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：後藤大地

C言語は、その誕生以来長きにわたって使われ続けているプログラミング言語だ。Javaが登場してからは第1人気をJavaに譲っているものの、それでも登場から今日までの長きに渡って使われ、さらにこれほど人気を保ち続けているプログラミング言語は他にない。
記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

%?tree
.
|--?Makefile
|--?ore.c
|--?ore.h
|--?usage.c
`--?version.c

0?directories,?5?files
%?

1

2

3

4

5

6

7

8

9

10

11

%?tree

.

|--?Makefile

|--?ore.c

|--?ore.h

|--?usage.c

`--?version.c

0?directories,?5?files

%?

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

int
usage()
{
        fprintf(stderr, "usage: something\n");
        
        exit (EX_USAGE);
}

1

2

3

4

5

6

7

8

9

10

11

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

int

usage()

{

fprintf(stderr, "usage: something\n");

exit (EX_USAGE);

}

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

int
version()
{
        fprintf(stderr, "version: 0.0\n");
        
        exit (EX_USAGE);

1

2

3

4

5

6

7

8

9

10

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

int

version()

{

fprintf(stderr, "version: 0.0\n");

exit (EX_USAGE);

#include <stdlib.h>
#include <sysexits.h>

#include "ore.h"

int
main(int argc, char *argv[])
{
        if (1 == argc)
                usage();
        if (2 == argc)
                version();

        exit(EX_OK);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

#include <stdlib.h>

#include <sysexits.h>

#include "ore.h"

int

main(int argc, char *argv[])

{

if (1 == argc)

usage();

if (2 == argc)

version();

exit(EX_OK);

}

int usage();
int version();

1 2	int usage(); int version();

OUT=            ore
SRCS!=          ls *.c
OBJS=           ${SRCS:S/.c$/.o/}

.SUFFIXES:      .o .c

.c.o:
        cc -c $< -o $@

objs: ${OBJS}

1

2

3

4

5

6

7

8

9

10

OUT= ore

SRCS!= ls *.c

OBJS= ${SRCS:S/.c$/.o/}

.SUFFIXES: .o .c

.c.o:

cc -c $< -o $@

objs: ${OBJS}

% ls
Makefile  ore.c    ore.h    usage.c  version.c
% make objs
cc -c ore.c -o ore.o
cc -c usage.c -o usage.o
cc -c version.c -o version.o
% ls
Makefile  ore.c    ore.h    ore.o    usage.c   usage.o   version.c version.o
%

1

2

3

4

5

6

7

8

9

10

11

12

% ls

Makefile ore.c ore.h usage.c version.c

% make objs

cc -c ore.c -o ore.o

cc -c usage.c -o usage.o

cc -c version.c -o version.o

% ls

Makefile ore.c ore.h ore.o usage.c usage.o version.c version.o

%

cc -c ore.c -o ore.o
cc -c usage.c -o usage.o
cc -c version.c -o version.o

1

2

3

cc -c ore.c -o ore.o

cc -c usage.c -o usage.o

cc -c version.c -o version.o

OUT=            ore
SRCS!=          ls *.c
OBJS=           ${SRCS:S/.c$/.o/}

combine:
        cc -o ${OUT} ${OBJS}

1

2

3

4

5

6

OUT= ore

SRCS!= ls *.c

OBJS= ${SRCS:S/.c$/.o/}

combine:

cc -o ${OUT} ${OBJS}

% make combine
cc -o ore ore.o usage.o version.o
% ls
Makefile  ore.c     ore.o     usage.o   version.o
ore       ore.h     usage.c   version.c
%

1

2

3

4

5

6

7

8

% make combine

cc -o ore ore.o usage.o version.o

% ls

Makefile ore.c ore.o usage.o version.o

ore ore.h usage.c version.c

%

cc -o ore ore.o usage.o version.o

1	cc -o ore ore.o usage.o version.o

$ ./ore
usage: something
$ echo $?
64
$ ./ore 1
version: 0.0
$ echo $?
64
$ ./ore 1 2
$ echo $?
0
$

1

2

3

4

5

6

7

8

9

10

11

12

$ ./ore

usage: something

$ echo $?

64

$ ./ore 1

version: 0.0

$ echo $?

64

$ ./ore 1 2

$ echo $?

0

$

OUT=            ore
SRCS!=          ls *.c
OBJS=           ${SRCS:S/.c$/.o/}

.SUFFIXES:      .o .c

.c.o:
        cc -c $< -o $@

objs: ${OBJS}

combine: objs
        cc -o ${OUT} ${OBJS}

clean:
        rm -f ${OUT} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

OUT= ore

SRCS!= ls *.c

OBJS= ${SRCS:S/.c$/.o/}

.SUFFIXES: .o .c

.c.o:

cc -c $< -o $@

objs: ${OBJS}

combine: objs

cc -o ${OUT} ${OBJS}

clean:

rm -f ${OUT} ${OBJS}

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

static char *buf = "usage: something";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int
usage()
{
        MESSAGE(buf);

        exit (EX_USAGE);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

static char *buf = "usage: something";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int

usage()

{

MESSAGE(buf);

exit (EX_USAGE);

}

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

static char *buf = "version: 0.0";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int
version()
{
        MESSAGE(buf);
        
        exit (EX_USAGE);

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

static char *buf = "version: 0.0";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int

version()

{

MESSAGE(buf);

exit (EX_USAGE);

ITエンジニアのためのマーケティング入門第22回 (vol.45掲載)

投稿日：2017.06.13　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第22回　マーケティングの実践 – その10-

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろ知識を吸収しています。マーケティングの基本について一通り学び終え、これから会社の後輩カンナちゃんと一緒にマーケティングの実践方法を学んで行こうと考えています。今回は「顧客経験価値マーケティング」のお話が始まります。

今日は「顧客経験価値マーケティング」の話をしてみよう。
「顧客経験価値」って、ときどき聞くけどどういうモノなの？
顧客経験価値は英語の「カスタマー・エクスペリエンス（Customer Experience）」という言葉を使う方が多いの。最近は略して…。
「CX」ですねっ！
おぉ、カンナちゃんさすがじゃな。その通り！とりわけIT業界は何でも略すのが得意じゃからのー。顧客経験価値マーケティングは「CXM」とかいわれておる。さてこのCX、定義が正確には固まっていないんじゃが、「製品やサービスそのものの持つ物質的・金銭的な価値ではなく、その利用経験を通じて得られる効果や感動、満足感といった心理的・感覚的な価値」と説明されておる※1。

※1　出典：「マーケティング用語集」SPI　http://www.spi-consultants.com/ja/terms/archives/customer-experience.php

商品やサービスを売って「ありがとう」でおしまいじゃなくて、それで本当に満足してもらっているかってところに着目してるんだね？
そうなんじゃ。顧客が購買するモノやサービスに対しては、「製品自体の機能や性能、顧客が期待する利便性に対する対価（価値）」と長い間考えられてきたわけなんじゃが、よく引合いに出される「東京ディズニーランド／ディズニーシー」や北海道「旭山動物園」などの大成功にマーケティング関係者が触発されたこともあり、「製品・サービスを通じて顧客が得る“経験的ベネフィット”や心地良さを含めた価値こそが“トータルな価値”であり、競合から抜きんでる理由である」とする考え方が広まってきたんじゃよ。
感動の体験は「おカネに代えられない」って言いますからね。
それそれっ！“Priceless”とか“お金で買えない価値がある。買えるものはマスターカードで”というCMがヒットしたクレジットカードのMasterCardは、これでかなりシェアを挽回したんじゃよ。「経験価値マーケティング」が注目され始めたのは、ちょうどこのCMが流れ始めたころなんじゃ。
そのCM憶えてる！そんなに古い話じゃないんだね？
そうなんじゃ。「顧客経験価値」の考え方を広めたのは、アメリカの経営学者バーンド・H・シュミットが1999年に著した「顧客経験価値マーケティング」が最初と言われておる※2。

※2　“Experiential Marketing : How to Get Customers to Sense, Feel, Think, Act, and Relate to Your Company and Brands”（邦訳版：『顧客経験価値マーケティング』ダイヤモンド社 2004年）

どうして「顧客経験のマーケティング」に思い至ったのかしら？
1980年代に登場した、顧客とのインタラクションに着目した「リレーションシップ・マーケティング」に源流があるんじゃ。これをITで支援しようとしたものが「CRM（顧客関係管理）」なんじゃよ。
CRMパッケージは今でも使っている会社があるよね？
アメリカでCRMが登場した1990年代後半当時には、一人一人の顧客である「個客」に焦点を当てた「One to One マーケティング」が全盛だったこともあって、CRMは大流行したんじゃ。
そうだったんだー。
しかし、当初のCRMは、マーケティング支援ではなく「顧客情報管理」の延長上にあったために「カスタマーセンター」「ダイレクトコール（電話勧誘）」「ダイレクトメール」など「個々の顧客に到達し販売機会を増やすこと」に重点が置かれ過ぎてしまい、急速に廃れてしまったんじゃ。「データベース・マーケティング」とかもそうじゃな。しかし、現在の基礎を形作ったともいえるんじゃよ。
結局「押し売り」になっちゃったんだね？
カード会社などが「新規顧客獲得コストよりも既存顧客維持コストの方が圧倒的に安い！」なんて発表したものだから、既存顧客向けに顧客満足度を上げようとする動きが度を越したんじゃな。
そういえば最近ダイレクトメールがめっきり少なくなったよね？
そうした動きを見たシュミット先生は「CRMはけしからん！」と怒ってこの本を書いたわけじゃな。
「販売志向」から抜け出せていないってことなんですね？
そうじゃ。「顧客経験価値（CXM）」の考え方は何もコンシューマの世界だけではなくて、BtoBの世界でも重要じゃから、覚えておくと良いじゃろ。BtoBでも、製品やサービスを選ぶのはあくまで個人や個人の集合じゃからの。
そう！ウチの部長は感情的な価値偏重だよねー！？
フッフッ。そうよね、「好きか嫌いか」でしか判断しないのよね！
そういった選好性は「情緒的価値」になるんじゃろうな。それでまず、シュミット先生は「経験価値」を5つに分類してみたんじゃ。
どんなふうにですか？
感覚的経験、情緒的経験、認知的経験、行動的経験そして社会的経験の５つじゃ。整理するとこんな内容なんじゃよ（表1）。想像しやすいように具体例を入れてみたんじゃが、なんとなくでもよいから理解してもらえるかの？
ナルホド、あるあるだねー。ところで、この「AMEXセンチュリオンカード」って何？
通称「ブラックカード」のことじゃよ。
知ってます！世界のセレブしか持てないっていうカードですね。

表1：顧客経験価値５つの分類

事例39：AMEXセンチュリオンカード

米国カード会社「アメリカン・エクスプレス　センチュリオンカード（American Express Centurion Card）」の黒色はカードとしては独特だ（現在は他社も追随している）。顧客はチタン製のカードを選ぶこともできるという。AMEXでは以前から富裕層をターゲットとした「ゴールド・カード」が存在し、高度なサービスを求める顧客から好評を博しビジネスとして成功を収めていた。しかし、競合他社が相次いで「ゴールドカード」を発行するに及び、そのステータスの高さを維持することが困難になっていった。そこでAMEXは1984年に更に上位の「プラチナカード」を発行する。しかしこれも他社に追随されていく。ステータスの高い富裕層を強力に囲い込むため、1999年に「センチュリオン・カード」を発行、高額の年会費で他社を振り切る戦略に出た。通称「ブラックカード」と呼ばれるこのカードは、一切宣伝広告をせず、選ばれた最重要顧客だけが密かに「招待キット」を受け取る。そのサービスは群を抜いており、専任コンシェルジュに世界中からコレクトコールで電話が可能、誕生日にプレゼントが届く、ブランドショップの閉店後に特別にプライベートショッピングが可能など、そのステータスに見合ったサービスが受けられる。現在日本では入会金54万円、年会費は37.8万円といわれている。
出典：Wikipedia「アメリカン・エキスプレス・センチュリオン・カード」
会費37万円？！
格差社会の象徴のようで、ちょっと引いちゃうわね。
ワシも想像はつかんぞな…昔はゴールドカードに憧れていた時期もあったんじゃがのー、ハッハ。
　「行動的経験（ACT）」といえば、「嵐」のコンサートチケットがヤフオクで高額で取引されてるってニュースで見たわね。
最近音楽CDが売れなくなっているといわれておるが、逆にライブはここ６～７年の間に売上も入場者数も急激に増えておるんじゃよ。2015年はMr.Childrenが約112万人を動員してトップ、2016年はまだ統計が出ていないが、今のところ韓流のBIGBANGがトップらしい※3。

※3　出典：「１位はミスチル　コンサート動員力ランキング」日経エンターテイメント　
http://style.nikkei.com/article/DGXMZO94721470T01C15A2000000?channel=DF280120166614

図2：ライブ入場者数推移表※4

※4　出典：「一般社団法人コンサートプロモーターズ協会」　http://www.acpc.or.jp/marketing/transition/

CDよりもやっぱりライブがサイコーだよねー！
タケシさん、そういえば「ももクロ」のライブはどうだったの？
えーっ！なんで知ってんのーっ？！
おっと、その「ももいろクローバーZ」は2016年上半期では2位だったらしいぞな。惜しかったのう！
しらんわ！
フフッ！
経験価値の重要性はもう体験済みなわけじゃな。さて、本題に戻るぞな。この５つの経験価値はもちろん相互に排他的なものではなくて、複数の経験価値を同時に満たしているような場合もあるから、そう厳密に考える必要はないんじゃよ。例えばこんなイメージじゃな。

図3：シュミットの５つの経験価値
そういえば、東京ディズニーシーは絶叫に近いアトラクションもあるし、年間パスを持ってると友達に自慢できるから、「Feel」、「Act」、「Relate」を同時に満たしているかもしれないよね？
そうなんじゃ、タケシ。珍しくサエておるなー。
またまたっ、それ止めてよ！
シュミット先生は「顧客経験価値マーケティング」で顧客経験価値を体系的に分析し、次の著作の「経験価値マネジメント」の中で経験価値をマネジメントすることに挑んでおる。これを略して「CEM（Customer Experience Management）」と呼んでおるんじゃが、その中で「３つの間違ったアプローチ」として「マーケティング・コンセプト」、「顧客満足」、「CRM」を挙げておるんじゃ。
３つの間違い、ですか？
それぞれについて次のように断罪しておるんじゃ。

１．「マーケティング・コンセプト」：
顧客指向と言いながら製品中心の見方から脱しきれていない。
２．「顧客満足」：
消費者の製品やサービスにまつわるすべての経験まで考慮されていない。
３．「CRM」：
取引に焦点があてられ、顧客との情緒的つながりが無視されている。
なんか、今まで“追求することが良いこと”って教えられてきたモノのような気もするわね？
その通り！「マーケティング・コンセプト」の提唱者で、以前に紹介したこともあるマーケティングの大家、P.コトラー先生を暗に批判しておるんじゃな。
へーっ、そうなのか。いろいろあるんだねー。
次回は「経験価値マネジメント」のフレームワークという話をしてみようかの。
面白くなってきましたね！
（つづく）

ITエンジニアのためのマーケティング入門第18回 (vol.41掲載)

投稿日：2017.06.13　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.41は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第18回　マーケティングの実践 – その6-

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろ知識を吸収しています。マーケティングの基本について一通り学び終え、これから会社の後輩カンナちゃんと一緒にマーケティングの実践方法を学んで行こうと考えています。今回は「グローバル・マーケティング」のお話です。

今日はグローバルマーケティングの話をするかの。
グローバルってことは、海外でマーケティングをするってことだね?
進出先の言葉や文化を知らなくてはいけないから、国内よりはハードルが高くなるわね。
そうなんじゃ。国内市場の規模が十分にあれば、わざわざ国外に出ていく必要はないんじゃ。例えば次のようなリスクが大きいからなんじゃな。
うーん、最低限英語ができないといけないしボクには無理だなー。
そんな根性なしではいかんぞな。今やいつ海外に行くことになるかもわからん！次に挙げたような理由から、日本企業も海外進出の必要性が高まっているんじゃぞ！

・人口減で国内市場が飽和または縮小傾向にある

・経済が低成長で大きな利益をあげることが難しい

・低コストで国内製造することが難しい

・取引先や親会社が海外に進出する
でも日本の良い製品を歓迎してくれる世界の人も多いから、世界に出るって良いことなんじゃないかしら。
そうじゃな。海外に企業が出て稼いでもらわないと日本も外貨が獲得できん。じゃが、海外進出するからには、当然しっかりとしたマーケティング戦略をもって進出することが望ましい。
３C（競合、顧客、自社）とか、４P（製品、価格、流通、販促）を海外に置き換えて考えてみるだけでもスゴク難しそうだね。
その通りじゃ。「グローバルマーケティング」という概念は1990年代になって生まれたといわれていて、実は大変新しい言葉なんじゃ。それまでは多国籍企業で実施されているマーケティングが「国際マーケティング」と呼ばれていて、国境を越えて存立させた海外子会社（R&D、生産、物流、販売会社など）を組織化して、原材料の調達と生産のコスト低減、効率的な物流、大量消費地などを勘案して実施されていたのが手本だったんじゃな。
少しずつ海外に製品を持って行って、経験を蓄積してきたんですね。
ただ、初期のグローバルマーケティングは失敗も多かったんじゃ。これを見てみるがよい。

事例30：初期グローバルマーケティングの失敗例

以下の失敗例の原因は何だったか想像してみよう。
①コカコーラは、スペイン市場に「２リットルボトル」を導入したが、当初失敗に終わった。
②プロクター＆ギャンブル（P&G)は、歯磨き粉「クレスト」をメキシコ市場に投入したがあまり売れず失敗した。
③S.C.ジョンソンは、日本に床磨き用ワックスを導入したが、当初まったく売れなかった。

出典 ?『マーケティング・マネジメント』
ミレニアム版　フィリップ・コトラー著
ピアソン・エデュケーション

コカコーラの2リットルボトルって、今でもあるよね？なんでだろ。重いものを持ちたくなかったのかな？
歯磨き粉は…甘くて受けなかったのかしら？床用ワックスは…日本の気候に合わなかったとか？
正解はこれじゃ。

＜正解＞
①2リットルのボトルが入るほど大きな冷蔵庫を持っているスペイン人がほとんどいなかった。
②メキシコ人はそれほど虫歯予防に気を使っておらず科学的な説明をされてもあまり理解しなかった。
③日本人は家の中で靴を履かないことを見落としていた。

えーっ？！こんな理由なの？
フフフッ。これ可笑しいわね！
ハハハ。おもしろいのう。しかしこうした昔の失敗からもいろいろ教訓を得ることはできるじゃろ。それぞれ直接的には①ボトルの保冷手段②国民の保健意識③居住空間の違い、に思いが行き届かなかったのが失敗の要因だったわけじゃが、それは進出国の生活習慣やライフスタイルをかなり深く探る必要性があるということなんじゃ。今でこそネットを使って海外事情を入手することは容易になってはいるが、特にコンシューマ製品の場合は気を付けなければならん。これには宗教的な要因なども大きいんじゃ。
自国では定評ある商品でも、外国ではどんな落とし穴があるかわからないよね。
日本でも古くから海外進出した企業はあるんじゃ。例えば誰もが知る味の素やキッコーマンはかなり以前から海外に進出して根付いておるんじゃが※1、失敗した例も数多くある。M&A（買収）の代表的な例を見てみようかの。
※1　「味の素」は1910年、当時日本領だった台湾に進出した。「キッコーマン」は1905年には朝鮮半島に工場を設立していたが、本格的なグローバル進出は1967年米国で生産開始したのが最初。

事例31：海外M&Aの失敗例

①NTTコミュニケーションズのベリオ社買収
NTTコミュニケーションズは、2000年に50億ドル（当時）の現金で米国ISP大手ベリオ社を買収した。ベリオ社はコロラド州で創業した小企業だったが、米国及びヨーロッパの小規模ISPを次々と買収し急激に成長していた。しかし買収直後、ネットバブル崩壊もあって急激に業績が悪化、わずか1年後には5000億円の減損損失を計上するに至った。
②第一三共のインド・ランバクシー買収
第一三共は2008年、インド製薬メーカー、ランバクシー社の株式を4900億円で買収した。しかし、その後米国FDA（食品医薬品局）から安全基準に疑義がかけられランバクシー製品が輸入禁止になってしまった。その結果2009年には3500億円の評価損を計上したほか、品質問題で巨額の米政府への和解金も発生した。経営陣を送り込むなど多大な人的投資を傾注したものの、その後主だった医薬品開発成果を上げられないまま、2015年にインド後発医薬品メーカーに3800億円で売却し終止符を打った。損失額よりも6年間におよぶ組織の疲弊と時間を失った代償の方が大きいといわれている。
③キリンホールディングスのスキンカリオール買収
キリンホールディングスは、2011年、ブラジル2位のビール会社スキンカリオールを3000億円で買収した。しかしその後創業者一族による経営権争いに巻き込まれたほか、圧倒的なシェア第１位のアンハインザー・ブッシュ・インベブ社に価格競争で敗れて低迷、ブラジル経済失速によるレアル下落もあって、1140億円もの特損を計上して上場以来初の最終赤字に陥ってしまった。スキンカリオール社の経営権争いは以前から業界内では有名で、同業他社が「意思決定に時間がかかる」と諦めていた現実を甘く見過ぎた失敗とみられている。
出典：『失敗？成功？巨額損失を計上したM&A10選』
M&A Online?https://maonline.jp/articles/kyogaku0066
『キリンが海外戦略で誤算、ブラジルのビール大手買収で泥沼』東洋経済Online?http://toyokeizai.net/articles/-/7937
いやー。難しいんだね！
ちょっとアンラッキーな面もあるけど、内部の調査が不十分なまま海外に巨額の投資をするのは怖いって思っちゃうわね。
確かに日頃厳しく経費を査定するのに、こうした大型案件に数千億円もポンと金を出すのは矛盾しておるのじゃが、それでも成功している企業も多いんじゃ。次回は成功の条件と事例を見ていくことにするかの。
（つづく）

【今回の用語まとめ】

グローバル・マーケティング：

世界全体を市場と捉え、国境を越えて言語、文化など様々な違いを吸収し事業を展開するためのマーケティングをいう。世界の市場へ適応するための「現地適合化」と「標準化」がキーポイントといわれる。世界市場を細分化した場合、個々の市場ニーズに応えるための人と組織、原材料調達、生産体制を最適化し、最も生産性やコストの有利な地域で生産し、販売可能な地域へ流通させるための経営戦略と密接に関係する。近年は世界的な規制緩和や様々な経済圏を通じて商品と情報のグローバル化が進み国際的M&Aが増加したことなどから、グローバル・マーケティングの重要性が高くなっている。

「グローバル・マーケティング」Wiki(英語版） https://en.wikipedia.org/wiki/Global_marketing

ITエンジニアのためのマーケティング入門第21回 (vol.44掲載)

投稿日：2017.06.13　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.44は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第21回　マーケティングの実践 – その9-

前回までのあらすじ

社長からマーケティングを学ぶように言われたエンジニアのタケシは、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろな知識を吸収しています。マーケティングの基本について一通り学び終え、会社の後輩カンナちゃんと一緒にこれからマーケティングの実践方法を学んで行こうと考えています。前回は「ブランド・マーケティング」のお話でした。今回はその続き「ブランド構築」のお話です。

前回までの話でブランドの意味とか効果とかは理解できたけど、実際にはどうすれば「ブランド構築」ができるのかな？
時間が掛かるにしても、適切な方法って何かあるのかしら？
ハハハ、今回のテーマはまさしくそこなんじゃ。ブランド構築には「正しいステップ」があるのじゃよ。
正しいステップ？
いろいろな考え方があるんじゃが、代表的なものを一つ紹介しよう。これはアメリカのK.ケラーという先生が提唱している「戦略的なブランドマネジメントのプロセス」というものじゃ（図1）。順に説明しよう。

図１　戦略的なブランドマネジメントのプロセス

STEP1 「ブランドポジショニングと価値」の定義と確立

ただ商品名やロゴ、シンボルを決めただけではブランドにはならんな？
そりゃそうだよね、誰も知らないんじゃブランドになんかならないもの。
お客さんが良いイメージを持ってくれて、はじめてブランドなんじゃないかしら？
そのとおり。「ブランドポジショニング」とは、お客さんが持つイメージぴったりに自社のブランドを正確に位置付けることなんじゃよ。これは他社との差別化要素を明確にすることにもなる。じゃから、そのために「市場における自社ブランドの価値と存在意義」を再確認する必要があるんじゃ。
ナルホド、それで「ポジショニング」なわけだ。
それができるのは誰じゃろ？
創業者や社長さんとかかしら？
そのとおり！じゃから、トップの責任で長期的な展望を決めないと、ブランド戦略は成立しないんじゃよ。マーケティング部門や広報部門だけではできない話じゃ。

STEP2 「ブランドマーケティングプログラム」の計画と実行

これは、ブランドの価値を広く市場やお客さんに、自信をもって伝えていく具体的な作業になる。
ここは、マーケティングの広報や宣伝の役割だよね？
まぁそうなんじゃが、前に言ったように“広告でブランドは作れない”。そこは忘れんようにな。
そうだったね、思い出した。
この作業には、お客さんにメッセージを伝えるキャッチフレーズやロゴの制作なども含まれる。それに、開発した商品の製品特性やバリエーションが、定義したブランド価値に合致しているのかを常にチェックすることも忘れてはいかんのじゃ。
お客さんに持ってもらうブランドイメージを損なわないように、注意するってことなのね。
さらに、社内にブランド価値を浸透させるための社員教育や組織作りもここに含まれるんじゃよ。
ブランド構築を実践していく中心は社員だから、全員がその価値を理解していることが必要なのね。
そして優れたブランドには３つの「一貫性」があるといわれておる。
３つの一貫性、ですか？
それは「時間経過に対する一貫性」、「商品相互間の一貫性」、「マーケティングミックスの一貫性」の３つじゃ。
３つもあるのか……ブランド構築って、やっぱり大変なんだな。
去年出した製品とまるで違うコンセプトの製品を同じブランドから出したら離反する客も出てくるじゃろ。それに、長く使い続けても大丈夫という安心感を裏切ってもいかん。それが「時間経過に対する一貫性」じゃ。
長く続く安心感か。そうか、うちの母さんも昔から変わらず虎屋のようかんと栄太郎飴が好きだからなぁ……。
爺：「商品相互間の一貫性」は、違う商品でもブランド価値が同じであること、「マーケティングミックス」の一貫性は、商品、価格、販売チャネル、プロモーション全般にわたってブランド価値を矛盾なく体現させることなんじゃ。
そういえば、ポケモンGOのキャラクターって、どれもみんな可愛いよね！
オマエはそこか！

STEP3 「ブランドパフォーマンス」の測定と評価

これは、思い描いていた通りにブランドが市場やお客さんに受け止められているかをモニターするステップになるの。例えば、お客さんの声や評価を「お客様相談室」やネット上の評判で調べることができるな。
口コミだね？
クレーム対応で炎上したりしないよう気を遣うところね？
そういうことじゃな。ここで問題や課題が発見されたら、STEP1やSTEP2に戻って微調整するんじゃ。

STEP4 「ブランドエクイティ」の育成と維持

聞き慣れない言葉じゃが、「ブランドエクイティ」とは「ブランドの資産価値」という意味なんじゃ。ブランドが発展すること、すなわち支持してくれるお客さんが増えれば増えるほど、この資産価値が高まるわけじゃ。
資産価値って、お金に換算できるの？
そうじゃよ。前回もいくつか例を紹介したじゃろ。ブランド価値とは、要するに「のれん代」のことなんじゃ。
のれん代って言葉は、M&Aの時や海外企業買収で失敗した時なんかに出てくるよね？
それは「のれん償却」のことね？
そうじゃ、高いブランド価値をもつ企業は、その高い評価がM&Aの際の買収金額に反映されるんじゃよ。
そうだったのねー。
さて、自社のブランド構築のステップは見たが、今度はお客さんの視点から見たブランド発展の段階を見ていこう（図2）。

図２　ブランド・レゾナンス・ピラミッド
これまた、なんか難しい用語が出てきてるね！
これはケラー先生の「ブランド・エクイティ・ピラミッド」または「ブランド・レゾナンス・ピラミッド」という有名な図なんじゃが、「ブランド・レゾナンス」とは、お客さんが強烈にそのブランドを信奉していて、「絶対これ！」といったこだわりを持った状態のことを言うんじゃ。お客さんとブランドが同調している状態を「反響、余韻、共鳴」という意味のレゾナンスという言葉で表しているんじゃの。
うちのチームのヒロシくんは、家ではアップルのPC以外は買ったことないって言ってたなー。そういうヤツのことかー。
図の左の「ブランド開発のステージ」は、お客さんとブランドの関係がだんだん進化していく段階を示しているのね。
右側の「ブランディングの目標段階」は、お客さんのブランドに対するイメージの深さの段階なんだな。
そういうことじゃ。ではブランド構築の成功事例を見ることにしよう。

事例37　生活者視点から始まった無印良品のものづくり

無印良品は1980年に西友の一事業部門としてスタートした。当初から大切にしていたアイデンティティは「生活者視点に徹する」こと。既存メーカーの製品を並べて販売するのではなく、生活者視点で独自の商品を生み出そうという「逆転の発想：マーケットイン」のコンセプトが当初から「無印」には込められていた。そこから生まれた新商品の一つが真っ白な「生成りのふとん」。布団には様々な色・柄があるのが普通だが、実際使用する際にはカバーをかけることが多い。そこで中身の絵柄をつけずに消費者の好みやライフスタイルに合わせてカバーを選んでもらおうと製作した。これにより大幅なコスト削減が実現し、安く提供できるようになったが、当初はメーカーから反発された。デフォルトでは泥除けやライトが付いていない「パーツを選べる自転車」を発売した時もそうだった。無印良品はその後も姿勢を変えず、さらに徹底して顧客の意見を商品開発に反映させるため、2009年「くらしの良品研究所」を立ち上げた。
出典：「デジタル時代のブランド育成方法、無印良品が進める絆づくりとは？」Markezine 2014.7.11　http://markezine.jp/article/detail/20386

参考：「シェルスクリプトマガジン VOL.35」（2016年3月号)
当連載第12回[事例19]

そうか、当初のコンセプトを変えずに徹底する！っていう姿勢がブランド構築に繋がるのか。
無印良品は以前にも取り上げたことがあるのう。ブランドというと「古くからある」というイメージじゃが、ここはブランドとしては比較的新しいんじゃ。それでも国内312店舗、海外344店舗を持つ大チェーン店ネットワークに育っておる。
海外でも「MUJI」ブランドで有名なのよね。シンガポールやオーストラリアに行った時にも見つけたことある※3。
多少の反対や事件では「ぶれない」ということが肝心なんじゃの。もう一つ「ブランド・レゾナンス」を示したともいうべき著名な事例をあげておこう。

※3　出典：㈱良品計画　企業情報（2016年2月期）http://ryohin-keikaku.jp/corporate/

事例38：「サービスを超える瞬間」ザ・リッツ・カールトン

1997年に日本進出した「ザ・リッツ・カールトン」は世界のホテルランキングでも上位を維持している。その卓越したサービスが「感動」を産んだエピソードは数多い。“彼女に結婚を申し込むつもりでホテルスタッフに「ビーチチェアを用意しておいて下さい」と頼んだら、椅子の前に男性が膝をついても汚れないようにタオルを敷き、白いテーブルクロスを敷いたテーブルの上に花束とシャンパンを置き、タキシードを着てお客様を待っていた”とか、“宿泊予定で荷物も送っていた老夫婦の自宅に強盗が入りそうになり、宿泊を急遽キャンセル。幸い問題は無かったが、その夜リッツから夫婦に荷物が届き、中を開けてみると焼きたてのクッキーとグラス、シャンパンと共にバスローブが二枚……「結婚三十周年おめでとうございます。お二人の力になればと思い、お祝いをお届けします。」とメッセージが添えられていた”とか。
「サービスを超える瞬間」を著した元日本支社長の高野登氏は、「サービスによって満足は伝わるが“感動”は伝わらない」と語る。その“感動を伝える”従業員はサービスの基本精神が書かれている「クレド（credo）」というカードを常に携帯している。また、従業員自らの判断で1日2,000米ドルまでの決裁権が認められている。
従業員を採用する際にも、ザ・リッツ・カールトン独自の人材採用システムを用いている。経歴や経験ではなく素質を重視した面接を行うため、採用までに長期に渡って時間をかける。これは、ザ・リッツ・カールトンの社風などをきちんと理解できた人が入社するというメリットがある反面、アルバイト・契約社員を採用する際も同じ面接を行うのでコストが掛かりすぎるデメリットもある。リッツ・カールトンは自らを取り巻く社会を３つの層で捉えている。「社員とその家族」が最も重要で、次に「パートナーとその家族」、最後に「お客様」なのだ。高野氏はこう語る。「「ザ・リッツ・カールトンは、お客様にわくわく感動してもらいたいと常に願っています。ただ、お客様の感動というものは、社員が働く中で抱く感動を超えることはないと考えています。そのため、このような優先順位となっているのです。」

出典：「リッツ・カールトンが大切にするサービスを超える瞬間」高野登著　かんき出版

出典：「サービスを超える瞬間」の実現──ザ・リッツ・カールトンの経営理念と哲学」ITmediaエグゼクティブ (2011.2.8)

これ、なんかナットクしちゃうなー。「感動して働ける社員だけが感動を届けられる」って話だね。
爺：「お客様第一」を掲げる会社は多いが、実際はそうでないことが多いからのう。従業員を第一に考えた上で“顧客への感動を届ける”を徹底して実践している姿勢は見事じゃの。
もしかして、“従業員が満足していなければブランドは構築できない”ってことなのかしら？
カンナちゃん、そのとおりなんじゃよ。ブランドを継続的に育成するためには社員が誇りを持って働ける環境づくりが重要なんじゃ。ブラック企業にブランドは定着せん。例えば、次のようなミッションを行動規範として全社員や関係者に徹底させると良いのじゃ※4。このような行動規範を明示すると同時に、従業員の待遇を改善しパートナーと捉えることによって、業務遂行の意欲を向上させることが、ブランド育成には有効なんじゃよ。

１．社員は互いに尊敬し合う。
２. 多様性を受け容れる
３. 最高のレベルを目指す
４．顧客が心から満足する製品を提供する
５．地域と環境を守る
６．利益を上げることは社会に貢献することでもある

難しそうだけど、大切なことだよね。
ブランド構築の奥深さが理解できました！
そうか、それは良かった。では、次回はブランドと関係のある「顧客経験価値マーケティング」に進んでいくかの。
またまた楽しみにしてるよ！

※4　出典：「ビジネスQ&A J-Net21　http://j-net21.smrj.go.jp/well/qa/entry/314.html
（つづく）

※図1, 図2　出典：Keller, Kevin Lane（2013）, Strategic Brand Management: Building, Measuring, and Managing Brand Equity. 4th ed. Upper Saddle River, NJ: Pearson /Prentice Hall.（翻訳：筆者）

ITエンジニアのためのマーケティング入門第16回 (vol.39掲載)

投稿日：2017.06.6　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.39は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第16回　マーケティングの実践 – その4 –

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろ知識を吸収しています。マーケティングの基本について一通り学び終え、これから会社の後輩カンナちゃんと一緒にマーケティングの実践方法を学んでいこうと考えています。前回は「ファネルマーケティング」の話でしたが、今回は「競合優位追求型マーケティング」のお話です。

今日は「競合優位のマーケティング」の話をするかの。
競合優位って、ライバルがたくさんいる中で抜きんでることだよね。
その競合優位ってなんじゃろか？
ライバルの品物より品質が良い、価格が安い、性能が良いとかでしょ？
そんなふうに誰もが思っている場合にシェアが大きくなって競合優位になるんじゃないの？
カンナちゃん、それは良いところに気付いたの。“だれもが思っている”というところが肝心なんじゃ。競合優位性を簡単な絵にすると、このようになる（図１）。

図１

1つはコスト優位性じゃ。コストが低ければ安く市場に供給できる。安さは誰でも魅力じゃからの。もう1つは差別化優位性じゃ。「差別化」と括ってしまったが、この中にはいろいろある。
性能や品質とかデザインとかだよね。４Pの時に習ったよー。
そうじゃ。おいそれとライバルが真似しにくい特性を数多く持つことが肝心なんじゃ。
時間をかけて技術を磨いてきた企業が結局競合優位になりえる、って聞いたことがあるわ。
そうじゃ。ではまず競争戦略の基本をおさらいしてみるか。
マーケティングじゃなくて戦略の話なの？
タケシや。マーケティングを考えるときに登場する主体は何じゃった？
えーと、市場のお客さんと、自社と競合の３Cだったよね？
そうじゃ。競争戦略に登場するのも実はいっしょじゃ。じゃから競争戦略はマーケティング戦略に包含されるともいえるんじゃ！
えーっ？それ反対じゃないの？
それはどちらでも良いのじゃ！
マーケティングはマネジメントそのものっていう意味なのかしら？
カンナちゃん、ビンゴじゃ！マーケティングの大家、Ｐ.コトラーは、“競争優位という概念はM.ポーターが提唱した。しかし、マーケティングは昔から競争を意識してきた。顧客を獲得する、顧客を維持するというのは、競争するという事と同じ意味だ。競争を優勢に進めるためには、必然的に他との違いを強調する。つまり競争優位を実現し演出する。”といっておるぞよ※1。

※1　出典：「コトラーのマーケティング戦略最強の顧客満足経営をキーワードで読み解く」多田正行 PHP。?https://www.php.co.jp/books/detail.php?isbn=4-569-63636-5

お客さんを獲得し続けることが会社を発展させるためには必要ってことね？
これが米国のポーターという経営学の大先生が提示した競争基本戦略の絵じゃ（図２）。どこかで見たことがあるじゃろ。表1は図２の意味じゃ。

図２

表1　出典：M.E.ポーター『競争の戦略』ダイヤモンド社

なるほど、集中戦略が低コストと特異性の両方をカバーしているっていう意味がわかったよ。
②と③は大きな市場シェアを狙いに行かない（シェアを諦める）代わりに非価格競争に持ち込める、という点が大きなメリットであることを見逃さぬようにな。
勝算の不確かな低コストの追求ではなくて、特徴を磨くことで活路を見出しているのね。
そういうことじゃ。これは今でも通用する基本的な原則といえるんじゃが、かなり前の文献じゃから、現実に合わなくなってきた面もあるんじゃ。さて、日本の実態はどうなっておるかの？表2に整理してみたが、日本はやはり「集中化戦略」の得意な企業が多いようじゃの。

表2　日本企業の競争基本戦略

トヨタやホンダはわかるけど、そんなに世界的な企業が多いの？
バカもん！これを見てみよ！

事例26：世界シェアトップの日本企業まとめ

日本には世界シェアトップの企業が数多く存在する。ソニー（ビデオカメラ）、ミネベア（小型ベアリング）、日亜化学（白色LED）、JUKI（工業用ミシン）、日本精機（2輪車用計器）、日東電工（液晶用光学フィルム）、日立金属（高機能ネオジム磁石）、ホンダ（自動二輪）、ナブテスコ（産業用精密減速機）、日本セラミック（赤外線センサー）、SHOEI（高級ヘルメット）、マブチモーター（小型モーター）、任天堂（ゲーム機）、ワコム（ペンタブ）、ディスコ（半導体切削機）、シマノ（自転車部品）、村田製作所（セラミックコンデンサ）、浜松ホトニクス（光電子増倍管）、ファナック（工作機械用NC）、日本電産（精密小型モーター）、信越化学工業（半導体シリコンウエハ）、日本ガイシ（碍子）…
以上すべて世界シェア一位企業である。トヨタも２０１５年生産台数世界一に返り咲いた。
このように産業用素材や加工機械、計測機器などが多く、細かくて精密な分野は日本人の気質にマッチしているらしい。ホンダや任天堂などコンシューマ企業もあるが、その多くは歴史あるBtoB企業という点も興味深い。
出典「国内／世界シェア1位企業」NAVERまとめ　http://matome.naver.jp/odai/2133603554882742001
参考「隠れた日本企業のチカラ」Nikkei　http://vdata.nikkei.com/prj2/ft-jpglobal-c

こちらも世界シェア1位企業一覧。ニッチの宝庫。大多数の企業は大企業ではなく、一般的知名度も高くない。しかし定評ある日本の工業製品力はこうした企業が支えている。

へーっ！結構たくさんあるんだね。知らない会社ばかりだけど、ボクが乗ってるロードバイクの変速機はシマノ製だよ！確かに世界中のスポーツ車の変速機はだいたいシマノのパーツがついてるんだよなぁ。やっぱ、世界一なのか…。
お得意の自転車の話じゃな？ハッハ。
そう言えば、ノーベル物理学賞を受賞した小柴先生や梶田先生のニュートリノの業績も、スーパーカミオカンデに設置されている浜松ホトニクスの光電管が貢献しているってニュースで見たことあるわ。
この例で挙げた以外にもまだまだたくさんあるんじゃ。さて、こうした世界的なシェアを確保した企業は、ニッチではあるがその分野のリーダー企業なんじゃ。じゃから、こうした企業のマーケティングは自然と2つの方向に向かうことになる。
２つの方向？
1つはシェアの維持と拡大、もう1つは市場の拡大じゃ。
やっぱりそうなるんだよね、簡単ではなさそうだけど。
その通りじゃ。かなり有名な事例じゃが、格好の題材があるぞよ。

事例27：ゼロからのスタートでシェア20%

格安海外航空券で一世を風靡し、今や国内外旅行会社の大手となったH.I.S。創業は1980年で運輸大臣の認可を受けられたのはその翌年だった。H.I.Sの取締役だった大野尚氏が入社したのは1984年、福岡営業所だった。社員はたった二人、机が一つしか無く、「やむを得ず自分の机や椅子・電話回線等までも持ってきた。しかし社長の澤田さんは”世界一になるよ、航空会社も作るよ。”と言っていた。最初は“ホラ吹きだなぁ。”とか“騙された”と感じたが、彼のオーラに引きこまれた。仕事は毎日チラシ配りだけだった。しかし諦めず目の前のできることを続けた結果、福岡市内で一番綺麗なオフィスと良い挨拶でお客さまを迎えられる旅行会社になった。」と語る。
H.I.Sは現在年商5,374億円（平成27年10月期）の大企業となり、2016年2月には国内主要49社でシェア19.6％(売上高比）を達成している。ハウステンボスを傘下に収めたほか、今後訪日外国人向けのインバウンド市場拡大のために海外店舗を増やしており、既に200店舗を超えている。

出典　ベンチャー企業HISの成功方法「ゼロからの挑戦」FUKUOKA成長塾　http://www.fukuokajuku.jp/archive/past8.html
H.I.S　IR情報ほか　http://his.co.jp/ir/

H.I.Sって、ウワサでは聞いたことあるけどホント急成長したんだね。スゴイなー。
旅行業界は古い業者さんが数多くいるらしいから、並大抵の努力ではなかったでしょうね。
ワシも若い頃に街で単色刷りの粗末なチラシを何度ももらったことがあるが、その航空券の激安ぶりには驚いたのー。それで何度か使わせてもらったんじゃ。
おか婆さんと海外旅行に行ったんでしょ？
バカモーン！ノーコメントじゃ！

ITエンジニアのためのマーケティング入門第17回 (vol.40掲載)

【今回の用語まとめ】

ポーターの競争戦略

米国の競争戦略論の大家、M.E.ポーター（Michael Eugene Porter）が発表した経営戦略論。多くの戦略に関する著作があるが、代表作『競争の戦略』は経営戦略論の古典として今日でも多くの経営者や、経営学を学ぶ学生の間で利用されている。「3つの競争基本戦略」のほか、「5つの競争要因」という“顧客の価格引き下げ圧力、新規参入者の脅威、代替品出現の脅威、供給事業者の価格交渉力、競合者間の敵対関係の5要素のうち、どれか1つでも強くなると競争環境が変わる”とする5フォース分析やバリュー・チェーンなどの考え方を広めた。
その後多くのポーター理論への批判があり、

1. 顧客の視点がほとんど含まれていないこと
2. 自社対競合などの、自社以外の存在との関係性を重視するが、企業自身の内部的特性や潜在的強み（後にコア・コンピータンス理論に繋がる）が考慮されないこと

などが批判の対象となった。「できるだけ競争しないのが競争戦略」と揶揄されたが、名著の誉は今日でも揺るぎなく、MBA学生や経営者の必読書となっている。

ITエンジニアのためのマーケティング入門第14回 (vol.37掲載)

投稿日：2017.06.6　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.37は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第14回　マーケティングの実践 – その2 –

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろ知識を吸収しています。マーケティングの基本について一通り学び終え、前回からは会社の後輩カンナちゃんも一緒にマーケティングの実践方法を学んでいこうと考えています。

さて、普通の会社にとって最も重要な目的はなんじゃろ？
うーん、良い商品やサービスを出し続けて利益を上げることかな？
お客さまをできるだけ多く集めてファンになってもらうことじゃないかしら？
タケシ、イマイチじゃな。カンナちゃんが正解じゃ！
わーいっ！
でも、お客さんを集めただけじゃ利益がでるかわからないよね？
タケシや、お客さんが大勢いるのにつぶれた会社はないんじゃ。たいてい、お客さんが減って立ち行かなくなって会社を維持できなくなるんじゃ。
確かに最近そうした例が多いかもね。
前に紹介したことのあるドラッカー先生の話では、「企業の目的は一つしかない。それは“顧客の創造”であり、さらに“企業=営利組織ではない”として、“企業とは何か”を決めるのは顧客以外には存在せず、だから基本的な企業の機能は“マーケティングとイノベーションだけである”。」と説いているんじゃよ※１。

※1　ドラッカーは第１章「企業の成果」の冒頭で“企業=営利組織ではない”とし、古典派経済学への批判とともに、利益は大切だが利益動機なるものは無意味であり存在することさえ怪しい、と指摘している。
出典：『エッセンシャル版　マネジメント　基本と原則』P.F.ドラッカー著　上田惇生編訳　ダイヤモンド社

そうか。企業は「利益目標」を達成することが使命のように思っていたけどなぁ。
それは企業の存在意義を考えてみれば目的にはならんことがすぐわかるじゃろ。確かに利益も必要ではあるが、それは“目的ではなく条件”なんじゃ。さて、カンナちゃん、会社ではどうやってお客さんを見つけるのかな？
昔は雑誌広告が多かったらしいんですけど、あまり効果がないらしくて。今はホームページと展示会がメインみたいです。時々セミナーも開催しているようです。
なるほど。BtoB企業が普通によくやる手段じゃな。
新しいお客さんを見つけるのが、やっぱり会社でも課題になっているみたいだよー。
そうじゃろ。ま、BtoBの話は後回しにして、まずはファネルマーケティングの話からするかの。
ファネルマーケティング?
要するに“じょうご（漏斗）”のようなものじゃよ。
元が広くて先が細いあのじょうご?
お客さんと何か関係があるのかしら？
図1をみてみぃ。ある商品に、まずは大勢の潜在的なお客さんが気付く（Attention）、次に気付いたお客さんの中で興味を持った人たち（Interest）が“欲しいなー”と考える（Desire）、次にこれが意識の中に記憶され（Memory）、最後に購買行動に出る（Action）、そしてお客さんになる…。

図１　Purchase Funnel
AIDMA（アイドマ）っていうのかしら？
そうじゃ。今から100年近く前にアメリカの広告研究家が発案して世界に広まったんじゃな。海外ではPurchase Funnelと呼ばれておる。一つ一つ関門を突破してくれた潜在顧客が最終的に購買に至るという意味があるんじゃ。
へーっ。商品を知らない人がお客さんになるまでのプロセスを示してるんだね？
その通りじゃ。これは消費者購買モデルとして古くから研究されておるから、調べてみるとよい。では、事例を一つ見てみようかの。これは誰もが知る事例かもしれん。

事例23：アマゾン「ワン・クリック」の発明

1997年、J.ベゾスは二人の若いエンジニアと一緒にランチをとっていた時、「できる限り簡単に買い物ができるようにしたい」とつぶやいた。この願いを叶えたのが、あらかじめ顧客住所とカード情報をデータベースに登録しておき、サインインした顧客がボタンを一回クリックするだけで注文が完了するシステム「ワン・クリック」の仕組みだった。顧客の買い物の手間を少しでも減らせば売上が増え、競合相手を出し抜けると考えたのだ。
今でこそ、なんの変哲もないシステムだが、当時としては新しく、「通信ネットワーク経由で購入注文を実現する方法とシステム」として特許出願され商標登録も行った。これはビジネスモデル特許のさきがけになった。
『ジェフ・ベゾス果てなき野望』?ブラッド・ストーン著井口耕二訳　日経BP社ほか https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=201443070

ふーん、確かにこれ便利だよね。
一度利用すると、IDが登録されて次回からワンクリックでオーダーできるのね。
すると、次回も使おうという事になる。さらにプライム客には基本送料無料にしたからリピートされる。これがインターネットの隆盛とタイミングが一致したので、爆発的に客が増えたとも考えられるんじゃ。これをAIDMAに沿って説明したのが表1じゃ。

表１

なるほど、あるある！
実は、この最後の「Action＝購入する」という関門が「最後のひと押し」といって一番難儀なんじゃよ。「カゴ落ち」といって、カートに入れたまま注文されない商品が結構あるんじゃ。これを「ワン・クリック」という技で敷居を極限まで低くしたところがミソなんじゃ。
価格が安めに設定されているし送料も無料で早く届くから、衝動買いもしやすくなっているのよね。
次のもあることがきっかけで売上を大きく伸ばした事例じゃ。

事例24：機能性表示で大復活したカゴメトマトジュース

カゴメの定番商品「トマトジュース」が“血中コレステロールが気になる方に”という表示を2016年2月2日に開始した結果、前年対比出荷実績が328％に達したと発表。これは2015年4月から消費者庁による「機能性表示食品制度」が開始され、従来の「特定保健用食品（トクホ）」と「栄養機能食品」に加え、新たに科学的根拠に基づく有効性を表示できる「機能性表示食品」というカテゴリーが加えられたことに対応したもの。
カゴメは、新しい価値“リコピンが血中HDL（善玉）コレステロールを増やす”という効果が受け入れられた、と自己評価している。
実は2014年夏、カゴメはトマトなどの原材料費高騰や消費税引き上げに伴う需要減で国内飲料事業が15%も落ち込み、2014年12月期業績予想を下方修正していたのだ。制度変更を上手に捉えた製品戦略で大きく復活した好事例となった。トクホの指定を受けるよりもハードルが低いため、現在カゴメ以外に200以上の商品が指定を受けている。
参考：「機能性表示食品カゴメトマトジュース売上好調のお知らせ出荷前年比328%を達成」カゴメニュースリリース　2016年2月22日　http://www.kagome.co.jp/company/news/2016/02/002602.html

「機能性表示食品制度がはじまります」消費者庁　平成27年4月 http://www.caa.go.jp/foods/pdf/syokuhin1443.pdf

前年比3倍以上の伸びって、スゴクない？
私も特にコレステロールが高いわけではないけれど、“体に良い”という安心感が無意識に働いちゃったのか、買ったことあるわ。
日本では心疾患や脳血管疾患が原因で亡くなる人の割合が25%以上と言われており※2、その原因の一つが悪玉コレステロールによる動脈硬化だという常識が広まっているから、潜在顧客層は膨大な数になるじゃろ。そこにコレステロール低下に効果があるといった表示をしたんで一挙に注意（Attention）、関心（Interest）を飛び越えてAction（購買）に結びついたお客さんが多かったんじゃな。
※2　出典：「病気の知識」シオノギ製薬　http://www.shionogi.co.jp/wellness/diseases/dyslipidemia.html

値段も手ごろだし食塩無添加の商品も分かりやすくなっているから、つい買っちゃうのかも。
これは肝心の中身は何も変わってないのに、表示を変えただけで売上が大きく伸びたというところが面白いのう。
これがマーケティングの威力なのか…。
ハッハッハ。そう捉えてもよかろう。重要なことは、Attention→Interest→Desire→Memory→Actionのそれぞれの関門の間際でお客さんをできるだけ逃がさない工夫をし続けることなんじゃ。
逃さない工夫って？
それはメッセージだったり、印象的な画像だったり、オトクなキャンペーンだったり、メールニュースだったり、手段やタイミングはいろいろ考えられるじゃろ。
お客さんが興味を持ってくれたら、それが薄れないうちに背中を押してあげるようなアクションをとるべきなのね。
そういうことじゃ。では次回はBtoBについて考えてみるかの。

【今回の用語まとめ】

消費者購買モデル

消費者が商品やサービスを初めて認知してから購買するまでのプロセスを説明するモデル。購買意思決定プロセスともいう。様々な考え方が存在し、最近はSNS拡大を意識した購買後の情報シェアまで考慮に入れたものも存在する。特に大手広告代理店の電通が提唱し登録商標にもなっているAISAS（アイサス）が有名。
【保存版】「消費者購買行動モデル」まとめ NAVERまとめ　http://matome.naver.jp/odai/2132383210009786701

カゴ落ち

ECサイトなどで、いったんカートに入れた商品を結局買わずに放置する（される）こと。カート離脱率（放棄率）として認識され、平均60-70%が放棄されているといわれる。これはEC先進国米国をはじめ世界的な傾向でもあり、大きな課題になっている。カート放棄の原因は、購買までの手続きが複雑、入力すべき個人情報が多すぎる、決済手段の選択肢が限られる、配送料が高い、返品やキャンセルなどの情報がわかりにくい、などがあるとされる。

ITエンジニアのためのマーケティング入門第13回 (vol.36掲載)

投稿日：2017.06.6　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.36は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第13回　マーケティングの実践 – その1 –

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについて学んでいます。前回までマーケティングの基本的知識「STP」や「４P＋４C」などを一通り学びました。これからはマーケティングの実践方法を学んで行こうと考えています。今回、おか爺の話を聞いて興味を持った後輩のカンナちゃんを連れてきました。

こんにちはー、おか爺。今日はお客さんを連れてきたよ！
初めまして、カンナといいます。タケシ先輩からおか爺さんの話を聞いて、私も聞きたくなって連れてきてもらいました！
それは、熱心なことじゃのう。これからタケシと遠慮なく遊びにおいで。それで今はどんな仕事を？
広報部に配属されたんですけど、入ったばかりでまだ仕事がよくわからなくて…。
広報部か？それは良かったのう。タケシにも参考になる経験がこれからたくさんできるじゃろ。ワシも少しは役に立てればよいがの。
はいっ！いろいろ教えてくださいね！
ところで、広報部は一般的にPRをやる部署なんじゃが、タケシ、PRの意味は分かっているかの？
PRって、文字通りプロパガンダ（PRopagada＝宣伝）のことでしょ？…まてよ、プロモーション（PRomotion）のことだったかな？
プレスリリース（Press Release）の略なんじゃないかしら？
とほほ…残念ながら、二人とも間違いじゃ！PRはパブリック・リレーションズ（Public Relations）のことなんじゃよ。
パブリック・リレーションズ？なんか初めて聞いたなぁ…。
それも止むを得ん。世の中、「宣伝＝PR」と認識している人が大部分じゃからの。その道の専門家でもこのように考えている輩がおる。これは勘違いなんじゃ。
そうだったのー!?
PRは20世紀のはじめ頃からアメリカで発展した考え方なんじゃが、「企業などの組織とその利害関係者（個人や集団、社会）と望ましい関係を構築するためのもの」というのが基本理念なんじゃ。ところが、日本に戦後導入された際に、民間企業で“PR”と略されたんで宣伝とほとんど同じ意味でしか使われなかったという経緯があるんじゃな。
広告会社をPR会社と言うのも、そういう事情だったのね。
PRで一般的に使われるのが「プレスリリース」で、これは新聞社など報道機関向けに記事にしてもらうことを期待して情報を配信するんじゃが、なかなか記事にしてもらえないのが実態じゃった。ところが、最近はWEBが発達したから、企業が「プレスリリース」と同時に「ニュースリリース」といった形で自社サイトで公式に発表することが多くなったのう。何より新しい商品を知る場としての報道機関の重要性が低下してしまったからの。
記者室向けに発表するなんて、まぁ時代遅れかもしれないよねー。

※1 パブリックリレーションズ（PR）広報と訳される。「組織体とその存続を左右するパブリックとの間に、相互に利益をもたらす関係性を構築し、維持するマネジメント機能（米国PRの教科書『Effective Public Relations』（邦訳名『体系パブリック・リレーションズ』カトリップ、センター、ブルーム3氏による）」と定義されている。さらに日本PR協会では、「企業、行政、学校、ＮＰＯなどあらゆる組織体が、それを取り巻く多様な人々（今日ではその組織となんらかの利害関係がある人々をステークホルダーと呼ぶ）との間に継続的な“信頼関係”を築いていくための思考・行動である」と補足されている。
公益社団法人日本パブリックリレーションズ協会　http://prsj.or.jp/shiraberu/aboutpr

最近の企業の「ニュースリリース」はかなり充実しておる。次のは、いい例かもしれん。

事例２１：マツダのニュースリリースサイト

マツダの「ニュースリリース」サイトでは、2008年からニュース毎に写真のアイコンを入れ始め、最新ニュースへの誘因を促すアイキャッチとしている。ブランドサイトとしての一貫性が図られ、通常IR情報（株主や投資家向け情報）に属する情報へもこのページから直接アクセスできるように工夫している。

参考：http://www2.mazda.com/ja/publicity/release/2016/index.html

広報のページって堅苦しいイメージがあるけど、これはなんかカッコいいね。
綺麗にまとめられていて、思わずクリックしたくなる作りなのね。
北米で先に販売する新車のニュースが載っておるの。このページを訪れれば、たいていの最新情報にすぐにアクセスできるから、訪問者にとっては使いやすいサイトといえるじゃろ。では、“広報と広告の違い”はわかるかな？
うーん、広告はお金をかけるけど、広報はお金をかけないってことなんじゃないかな？
宣伝目的が広告、正確なニュースを周知するのが広報なんじゃないかしら？
うーん、まぁどちらも正解でよいじゃろ。PRの機能については?社会との共生、?企業の社会的認知の促進、?社会からの要望の採取、?自社を取り巻く社会環境の把握、?企業文化の構築と改革、といったものがあるんじゃが※１、分かりやすいように、広告とPRの違いを簡単にまとめておいた。参考になればよいがの。

表1：広告とPRの違い

なるほど。広告の浸透力が弱いっていうのは、すぐに忘れられやすいってことなのかしら？
そうじゃ。世の中広告があふれているからの。その一方でPRには信用度と客観性があるから、いったん注目されると印象に残りやすい面があるんじゃ。
たしかにそんな気もするよね。
さて、もう一つ事例を見てみようかの。

事例２２：積極的なニュースリリースで過去最高の志願者数を獲得した近畿大学

近畿大学は2015年3月、「平成27年度一般入試志願者数確定過去最高の11万3,704人」というニュースをリリースした。これがプレスリリース配信サービス「News2u」社の月間ベストネットPR賞を受賞した。この背景には、「近大マグロの研究成果」をはじめ「完全ネット出願」、「教科書販売をAmazonと提携」、「初の女子応援部団長誕生」などメディアの興味を喚起するニュースリリースを配信し続けている地道な努力があった。時間をかけた継続的なニュース配信が過去最高の志願者数という成果につながった。その数は2015年度約３６０本。決め手は平成27年度入学式を近畿大OB、つんく♂がプロデュースしたことだった。その後入学式における「つんく♂無言の理由」が明らかになり、これも大きなニュースになった。平成28年度の入学式も“つんく♂プロデュース”が予定されている。

参考：月間ベストネットPR賞。2015年3月は「価値あるニュースを作り出し、オンラインで発信を続ける」近畿大学のネットPR事例が受賞！担当者からの受賞コメントを公開http://netpr.jp/netpr/models/17123/

これ、大学の入学式の案内？華やかで楽しそうだねー。
女子志願者も３万人を超えて過去最高になったのね。
ボクの大学生活は暗かったな…。
はっはっはっ！女子の前で何を言うとる！これから明るくしていけば遅くはないぞよ、タケシ！
うーん、そうだね。
さて、PRの話を見たところで、これからマーケティングをどう実践していくかといった話をしていこうかの。マーケティングの考え方を応用する方法には様々な考え方がある。いくつか代表的なものを事例とともに見ていくことにしよう。
それは勉強になります。楽しみっ！
「マーケティングの始め方」で習ったことが出てくるわけだね？
そうじゃな。新しい用語も出てくるじゃろ。前回までの話を縦糸とすれば、実践方法は横糸といったところかの。
ボクも楽しみにしてるよ！

ITエンジニアのためのマーケティング入門第14回 (vol.37掲載)

ITエンジニアのためのマーケティング入門第17回 (vol.40掲載)

投稿日：2017.06.6　｜　カテゴリー：　記事

Written by 水間丈博

本記事掲載のシェルスクリプトマガジンvol.40は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第17回　マーケティングの実践 – その5-

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろ知識を吸収しています。マーケティングの基本について一通り学び終え、これから会社の後輩カンナちゃんと一緒にマーケティングの実践方法を学んで行こうと考えています。前回からは「競合優位追求型マーケティング」のお話で、今回はその後編です。

この前はポーター先生の３つの競争戦略（①低コスト戦略②差別化戦略③集中化戦略）からマーケティングを考えながら、日本の隠れた世界的企業を見てきたが、どうじゃったかな？
世界で活躍する日本の機械屋さんが数多くあって驚いたね。
日本の製造業は衰えたって聞くけど、まだまだ力強い会社が多くて層の厚さを感じたわね。
それでは一つ問題じゃ。この例はどの戦略をとったんじゃろか？

事例28：世界最大のEMS鴻海精密工業

鴻海精密工業（鴻海科技集団：ホンハイ）は1874年台湾で創業した世界最大のEMS（電子機器受託生産:Electronics Manufacturing Service)企業、フォックスコン・テクノロジー・グループ(Foxconn Technology Group)の中核会社。当初は白黒テレビ用のプラスチック部品を下請けで製造する従業員10名だけの小企業だった。1981年にコンピュータ用コネクタ製造を開始し、創業者郭氏（現会長）の熱心な米国営業行脚が功を奏してインテル社などのPCのマザーボート用コネクターに採用されて急拡大、1993年には中国に最初の製造ラインを設置した。1990年代末にはPC本体製造も手掛ける。当時DellやHPがPC製造をBTO(Build to Order)方式に移行したのに伴い更に急成長し、中国本土の工場を拡大していった。米国にも営業拠点やR&Dセンターを設立、欧州にも進出した。その頃には液晶パネルやDVDなどパソコンの重要部品のほとんどを自社で製造できるようになった。2000年以降は携帯電話モジュールの製造に着手、その後iPod,iPhoneの世界拡大に歩調を合わせ、年商の4割がApple向けに。数々のM&Aを手掛けてきたが2016年3月にシャープを買収、かつての下請企業が注文主企業を併呑するにいたった。
現在世界14か国に製造拠点を設け、グループ売上高約14兆円（2014)、従業員130万人（2015）の巨大企業グループとなった。

出典 http://www.foxconn.com/

さて、この事例を見ると、ホンハイは当初TV用プラスチック部品という狭い分野からスタートし、次にコンピュータのコネクターという地味なパーツを手掛けた（集中化）。さらに中国大陸に進出して低労働コストを生かしてPC部品を大量かつ廉価に供給できるようになり（低コスト）、やがてスマートフォンの大量受託、迅速な納品ができるようになったので（差別化）世界的にシェアを伸ばした、といったように見えるのう。
なかなか競争戦略のどれかの枠にはまりそうもないわね。
企業が成長すると共に採りえる戦略が違うってことなのかなー。
まぁそう無理に当てはめる必要もないぞな。
自社の製造能力と世界の顧客の動向を見て、いち早く有利な分野の技術と生産能力を磨いたのかも…。
おお、かんなちゃん、相変わらず目の付け所が良いな。そういうことなんじゃ。それではもう一つ別の戦略を紹介しておこう。アメリカのJ.バーニーという経営学者の唱えた企業戦略論における「リソース・ベースト・ビュー理論」、略してRBV理論じゃ。
RBV？RPGと紛らわしいよね？
バカモン！ちっとも紛らわしくないわ！
フフッ。おか爺さん、タケシさんは今“ドラゴンプロジェクト”ゲームにハマってるんですよー。
どうせ、そんなところじゃろうて。良いか？前回、ポーター先生の競争戦略論が“自社以外の存在との関係性を重視し、内部の特性や潜在的強みが考慮されない”と学んだところじゃが、バーニー先生のRBVはポーター理論に真っ向から反論して、企業競争力の優位性を企業内部の経営資源に求めた考え方なんじゃ。この考え方のフレームワークを通称「VRIOフレームワーク」というんじゃよ。
ヴリオ？またそれ何の略？
表1の４つの項目を自身に問うてみるのじゃ。

表1　VRIOフレームワーク

外の競合企業とか、お客さんとかではなくて、まずは企業自身で内的に競合優位性を検証してみるってことなのね？
そうじゃ。競合優位は外部環境による影響ももちろん大きんじゃが、何よりも企業内部で蓄積した価値を持続的に発揮できるかどうかにかかっているというわけじゃ。
言われてみれば当然のような気もするよねー。
順番に問うてみた結果、判明する競合優位性を絵にするとこんなふうになる（図1）。

図1：VRIO分析図※1

※1　出典：「《ミドルのための実践的戦略思考》ジェイ・Ｂ・バーニーの『企業戦略論　競争優位の構築と持続』で読み解く金属製品メーカーの人事課長・岩岡の悩み」東洋経済ONLINE 2012年5月11日 http://toyokeizai.net/articles/-/9120
バーニー先生は最後（④のところ）で、実は“持続可能性(Sustainability)”が重要だと説いているんじゃ。競合優位性を、企業の価値を軽視した一過性の施策で獲得できるようなものではないと言うとるんじゃな。
希少性があるだけでは優位性も一時的になってしまう可能性があるのね。
そうなんじゃ。では、ホンハイの事例に戻って考えてみようかの。こうまとめられるじゃろ。

表2　ホンハイのVRIOフレームワーク

ふーん、一応今は持続的競争優位ではあるけれど、最大限ではないってところなのか。競合優位ってやっぱりすぐにできるものじゃないってことがよくわかったよ。
Wikiで調べたら、ソフトバンクのPepperくんを作っているのもホンハイなのね。
実はこのRBVはポーター戦略に対抗した理論として有名で、さらにRBVの中でも経営学の大論争になっていて、決着がついておらんのじゃ。このほかにもマーケティングと切ってもきれない経営戦略の理論はたくさんあるから、勉強してみると面白いぞよ。
はいっ！勉強してみます！
マーケティングを学ぶのに経営学も必要なのかー。ヤレヤレ…。
では、最後に“戦略なくして競合優位を築いた事例”があるから見てみようかの。
戦略が無いのに競合優位？
そうじゃよ。実は、世の中そんな例の方が多いんじゃよ。“戦略ありき”で成功した事例は少ないのじゃ。成功企業は何かしらの戦略があった風な成功譚になりがちじゃからの。これもMBA教育の“悪しき影響”かもしれんなー。

事例29:新市場を開拓し生産台数世界一　HONDAスーパーカブ

ホンダが戦後原動機付自転車を開発し、1949年の1200台から1959年28万台へ販売量を増やし、国内に確固とした地位を確立した。次に目指したのはアメリカだった。しかし当時の北米バイク市場規模は年間6万台たらず。大型で馬力のあるBMWやハーレーなどの独壇場だった。すでに自動車社会だったのだ。ここにホンダは自ら市場を開拓しようと、250ccの“ドリーム”を持ち込んだ。しかし、ほとんどのバイク・ディーラーに敗戦国の小型バイクは見向きもされず、初年度売上はたった170台だった。ホンダの駐在社員は気晴らしに休日、日本から持ち込んだ仕事用のスーパーカブでロサンゼルス郊外のダートを走り回っていた。ところが、現地の人々から「その小さなバイクはどこで買えるのか？」と尋ねられ、日本に特別注文する羽目になった。その後この小さなバイクでダートを走る人々が増え、まったく新しい市場を予感する。結局大型バイクの販売をいったん諦め、スーパーカブに注力することにした。販売店はディーラーではなくスポーツショップだった。UCLAの学生が“You meet the nicest people on a Honda”というコピーを広告代理店に持ち込んだところ、採用され人気に火をつけた（この広告はやがて広告賞を受賞する）。このホンダの50ccバイクは米国にとっては破壊的技術だった。スーパーカブは世界で累計8,700万台(2014年）も売れる商品となった。

出典『イノベーションのジレンマ』クレイトン・クリステンセン　翔泳社?http://www.shoeisha.co.jp/book/detail/9784798100234

結局、最初は失敗だったってこと？
そうじゃな。クレイトン先生も「ホンダが北米やヨーロッパ市場を支配したのは、“明確な戦略的思考と積極的で首尾一貫した実行力が成しえた生産戦略と見事な広告戦略の勝利”と語られるが、現実はまったく違っていた」と記しているぞよ。
それでも市場では高名なBMWやハーレー・ダビッドソンに勝っちゃったのね？
実は、この後ハーレーも小型バイク市場に参入したのじゃよ。しかし、それは完全な失敗に終わってしまったんじゃ。
えっ？！どうして？
ディーラーが反対したからじゃ。大型バイクを扱い慣れたディーラーにしてみれば、小型バイクは利幅も薄いし手間がかかる。それに既存顧客が持つブランドイメージを壊してしまうと考えたのじゃ。
ナルホドねー。
それで高級バイク路線で生き残っておる。燃費は悪そうじゃがな。
へーっ、そんな歴史があるんだね。
やはり、いったん大きなものを手掛けて成功すると、小さなことに情熱が持てなくなるのかしら？
ハッハッハ。それが“ジレンマ”なんじゃ！さて、競合優位のマーケティングと題したが、マーケティングだけで競合優位を確立する方法はなく、組織全体として常にお客さんの顔を見ながら拡大のチャンスを耽々と狙い、チャンスがあったら素早く行動する、という活動を地道に続けるしか無いんじゃな。
マーケティングと経営が切り離せないってそういうことかー。
少しは理解したかの？ドラゴンちゃん！
ちょっちょっと、やめてよっ！

【今回の用語まとめ】

バーニーの企業戦略論

米国オハイオ州立大学の経営学者J.B.バーニー（J.B.Barney)が1996年に発表した「企業戦略論」で論じた企業の戦略優位性を企業内部のリソース（資源）に求めた理論。M.E.ポーターの経営戦略論では、競争優位性を市場と競合環境の綿密な分析により最も有利な位置を取ることによって生み出すと考える、いわゆるポジショニング理論であった。これに対し、企業内部の経営資源（リソース）にその源泉を求め、競争優位の要因は業界の特徴にあるのではなく、その企業自身が持つケイパビリティ（能力）にあるとした。VRIO分析で示される4つの条件を満たす企業が持続的な競合優位性を獲得できるとした。
参考：「Firm Resources and Sustained Competitive Advantage」 Jay Barney　Journal of Management Vol.17 1996
http://www.business.illinois.edu/josephm/BA545_Fall%202015/Barney%20(1991).pdf
参考：「世界の経営学者はいま何を考えているのか」　入山章栄（英治出版, 2012年）
参考：「はじめての経営学」　野中郁治郎, 楠木健（東洋経済新報社, 2013年）

ITエンジニアのためのマーケティング入門第24回 (vol.48掲載)

投稿日：2017.06.6　｜　カテゴリー：　記事

Written by 水間丈博

本記事は、「ITエンジニアのためのマーケティング入門　マーケティングの実践編」のまとめ記事です。

関連する過去の連載記事も公開しています。以下のリンクからご参照ください。

ITエンジニアのためのマーケティング入門第13回 (vol.36掲載)

ITエンジニアのためのマーケティング入門第14回 (vol.37掲載)

ITエンジニアのためのマーケティング入門第16回 (vol.39掲載)

ITエンジニアのためのマーケティング入門第17回 (vol.40掲載)

ITエンジニアのためのマーケティング入門第18回 (vol.41掲載)

ITエンジニアのためのマーケティング入門第21回 (vol.44掲載)

ITエンジニアのためのマーケティング入門第22回 (vol.45掲載)

本記事掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

おか爺：昔システム会社の役員をやっていたらしい。好奇心旺盛で意外とモノ知り。趣味は音楽（クラシックからJPOPまで！）と囲碁（有段者）。ちょっとした丘の上に住んでいるので「おか爺」と呼ばれている。やや奇怪な老人。

タケシ：工業大学でITを学び、小さなIT会社に就職したITエンジニアの卵。社長に「マーケティングを学んでおけ」と言われている。近くにある母方の祖父、おか爺の家に時々遊びに行く。趣味はサイクリング。まだ彼女はいない。

カンナ：タケシの後輩。大学では文学部で日本史を学ぶ。会社では広報部に配属された。

第24回マーケティングの実践その12

前回までのあらすじ

エンジニアのタケシは、社長からマーケティングを学ぶように言われ、近くに住む祖父「おか爺」の家に通い、マーケティングについていろいろな知識を吸収しています。マーケティングの基本について一通り学び終えた後は、会社の後輩カンナちゃんと一緒にマーケティングの実践方法を学んできました。今回は2016年４月から始まった「マーケティングの実践」のまとめです。

さて、第13回から前回の第23回まで11回にわたって「マーケティングの実践」というテーマで様々な考え方や事例を見てきたわけじゃが、どうじゃったかの？
いろいろな事例が出てきて面白かったですねー。
なんだか盛りだくさんで、ちょっと難しかったなー。
そうじゃろな。では今回は、復習と補足を兼ねてこれまで学んだことをまとめてみることにしよう。
取り上げたテーマはこのような流れじゃった。

①「PR」は広告宣伝ではない
②企業の目的は顧客の創造
③競合優位とマーケティング戦略
④グローバル・マーケティング
⑤ブランディング
⑥顧客経験価値マーケティング

それでは順に振り返ってみるかの。

①「PRは広告宣伝ではない」

詳しくは→?ITエンジニアのためのマーケティング入門第13回 (vol.36掲載)

PRとは元来「Public Relations」の略語で、一般的には「広報」と訳されておるが、「組織体とその存続を左右するパブリックとの間に、相互に利益をもたらす関係性を構築・維持するマネジメント機能」という定義じゃった。
「パブリック」というのは市場のお客さんのことだから、ここでは企業とお客さんが対等の関係で理解を促進することが目的なんだね。
私も誤解していましたけど、「PR」にはまったく「売り込む」といった概念はないんですね。
その通り。「Public Relations」は宣伝や広告のニオイがしないのが正しいんじゃ。様々な製品やサービスを提供する側（企業）と、それを受け止めて利用する人々（顧客）の間に関係を作り出し、「相互に利益（顧客にとっては便益、企業にとっては売上）が存在すること」を認識させる機能が、PRの本来の意味なんじゃった。この定義は米国版PRの教科書を翻訳したものなんじゃが、「組織体の存続を左右する」とさりげなく入っているコワイ言葉が、「顧客を創造し続けなければ企業は存続が不可能になる」ことを明示しておるんじゃな。なんで実は大変重要な機能なんじゃ。それで「企業の目的」に繋がっていくんだの。

②企業の目的は顧客の創造

詳しくは→?ITエンジニアのためのマーケティング入門第14回 (vol.37掲載)

「企業の目的は顧客の創造」って言い切っているところが、スゴク分かりやすいかもね。
「企業とは何か、を決めるのは顧客のみである」のところと、「企業の基本的機能＝マーケティングとイノベーションだけである」は忘れないようにしますね。
それは良い心掛けじゃの。
「顧客を創り出す」ってことで、「アイドマ（AIDMA理論）」なんだね。

図１　Purchase Funnel（第14回より再掲）
「ファネルマーケティング」という表現を使ったが、とにかく新たなお客さんを探し出すことに知恵を絞らないといかん。多くの潜在顧客の中から、自社の特徴を一番理解し魅力を感じてくれるお客さんを見つけ出すのがファネルマーケティングじゃ。B2CでもB2Bでも世の中の顧客獲得手段はほとんどこの考え方でできておるんで、是非覚えてほしかったんじゃ。
今、流行っている「マーケティング・オートメーション」もこの考え方を応用しているんでしたね。

③競合優位とマーケティング戦略

詳しくは→?ITエンジニアのためのマーケティング入門第16回 (vol.39掲載)?ITエンジニアのためのマーケティング入門第16回 (vol.40掲載)

ここでは著名なM.ポーター先生の「企業戦略論」とJ.バーニー先生の「RBV（リソースベーストビュー）理論」とを対比し、競合優位を勝ち取る幾つかの方法と、競争力には企業内部の経営資源（リソース）と持続性が重要である、という考え方に触れてみたんじゃが、難しかったかの？
ここ難しかったなー。２つの理論が対立しているって言うけど、結局どちらが適切なんだろう？
以前話した「３Ｃ（自社：Company　市場の顧客：Customer 競合：Competitor)」を思い出してみるとよかろう（シェルマガvol.34掲載の第11回にて解説）。

図２　マーケティングの検討要素（3C） (第11回より再掲)

それぞれを分析するのはマーケティングの基本じゃった。これらの環境の中で自分が最も有利な立ち位置を選んで戦うことが競合優位に繋がる、という考え方がポーター先生の経営戦略理論で、だから「ポジショニング理論」と言われておったんじゃ。しかし、ここには従業員の創意工夫とか切磋琢磨、努力して熟達度や能力を上げるといった概念が存在しない。そこでバーニー先生の企業戦略論では、競争優位の源泉はこうした業界環境やポジショニングではなくて、企業内部の「ケイパビリティ（能力）」に着目したところが画期的だったわけじゃ。

それなら内部の能力を向上させようとする意識が芽生えてきますよね。
そうなんじゃが、ポーター先生の戦略論は「外部的な要因に注目」していて、バーニー先生の戦略論は「内部的な要因に注目」している。ということで両者補完関係にある、と考えておくのがオススメなんじゃな。

④グローバル・マーケティング

詳しくは→?ITエンジニアのためのマーケティング入門第18回 (vol.41掲載)

ここでは企業がグローバルに進出する背景と、幾つかの成功例、失敗例に触れて海外で成功するポイントを考えてみたわけじゃ。海外では著名グローバルブランド（コカ・コーラやP&Gなど古くから世界的に事業展開している企業）が先行し、歴史の浅い日本ではこれらの企業を規範として手探りで海外展開してきた企業が多いんじゃ。
でも海外でもトップシェアの会社も多かったよね。
確かに、それこそ他社が簡単に追随できない技術で高いシェアを獲得した企業が多いことに触れたわけじゃが、その半面失敗例もあるから、「①訴求ある独自製品」、「②価値とコンセプトを伝える」、「③技術信仰の打破」、「④販売志向からの脱却」、「⑤ブランディング」の５つを成功のポイントとして挙げたの。
この５つを実践しながら、米国のIT企業のように起業時点から海外展開を当然と考えられれば、成功する可能性が高まるのかもしれませんね。
そうじゃのー。じゃが、日本企業もゆっくり海外展開していられない状況になってきたのかもしれん。
なんで？
中国の「BAT（百度 Baidu,阿里巴巴 Alibaba,騰訊 Tengxun)」と呼ばれる三大ネット企業が米国の先進スタートアップ企業を爆買いしておるというんじゃ。＊１

＊１：出典：「中国の３大ネット企業が米ハイテク企業を爆買い」週間東洋経済 2017年4月8日号
中国の「BAT（百度 Baidu,阿里巴巴 Alibaba,騰訊 Tengxun)」に通販大手の京東集団を加えた４社が過去２年間米国ハイテクベンチャーへ投資した額は56億ドルに達し、シリコンバレーを含むカリフォルニア州では総額の４分の３以上を占めた。投資先はAR(仮想現実）、SNS、サービス、モバイルセキュリティなど多岐にわたり、米テスラにも18億ドルを投資。中国で成功した企業がイノベーションを吸収し、いずれ先進国企業を追い抜くかもしれないと予想する専門家もいるという。

今度は米国で企業を爆買いかー。お金持ちなんだなー。
M&Aで技術と人材を一手にする戦略ですね？
中国にも起業時点で世界を視野に置いている会社が多くなっておるようじゃの。多額の投資が奏功するかはわからんが、たしかにグローバル化のスピードも早くなっておるようじゃ。

⑤ブランディング

詳しくは→?ITエンジニアのためのマーケティング入門第21回 (vol.44掲載)

ここでは「ブランド」を確立するとどんな効果があるのか、さらに「ブランド構築のプロセス」にはどんな考え方があるのかを紹介したの。ブランド価値を、顧客だけでなく関係する従業員にも浸透させることの重要性にも触れてみた。
「①ブランドポジショニング」、「②ブランドマーケティングプログラム」、「③ブランドパフォーマンス測定」、「④ブランド・エクイティの育成と維持」の４段階で進めるのでしたね。

図３　ブランド構築のプロセス（第２１回より再掲）
ここで最も大切なことは「ブランディングは、トップが強い意思と長期的な展望を持って実行すること」なんじゃよ。
「市場における自社ブランドの価値と存在意義をしっかり提示する」のが社長の役割でしたね？
ところが、ほとんどの日本企業ではこの大切な仕事を、マーケティング部門や広報部門などの一部の部門に任せてしまっているのが、残念ながら現実なんじゃな。
ブランド価値を社員に浸透させる教育や組織づくりも考えないといけないんだったね。

⑥顧客経験価値マーケティング

詳しくは→?ITエンジニアのためのマーケティング入門第22回 (vol.45掲載)

現在盛んに言われ始めた「顧客経験価値（CX)」がなぜ重視されているのか、顧客経験価値はどのように分類できるのか、さらにマーケティングに顧客経験価値を取り入れる方法について事例とともに紹介してみたの。タケシ、なぜ顧客の経験価値が重視され始めたのか理解したかな？
「モノより感動体験」でしょ！？
ハッハッ、一言でいえばそうなるわな。
前回やったばかりだからね！
以前にも触れたが今は「モノ余り時代」と言われてからかなり経つし、特に最近の若い者は物欲が乏しいとも言われておる。これも経験的ベネフィットが注目される背景になっておるようじゃ。
今「断捨離」する人も多いっていいますしね。
ボクなんか欲しいモノたくさんあるけどなー。
そして経験価値マネジメントのフレームワークを紹介したぞな。
「①顧客の経験価値世界を分析」、「②経験価値プラットフォーム構築」、「③ブランド経験価値のデザイン」、「④顧客インタフェースの構築」、「⑤継続的イノベーションに取り組む」、この５つのステップでしたね。
事例は興味深かったけど、「問題発見力」を養うことと、常日頃から「深く考える」習慣が必要なんだよねー。ボクはあまり得意じゃないなー。
バカモン！両方なければIT技術者として生き残れんぞなー。
フッフ、おか爺さん大丈夫ですよ、この前の新人歓迎会の余興はタケシさんがリーダーですごく考えて大好評だったんですよー！
ハッハッハ、それはイノベーティブだったんじゃの！良かったのー。
カンナちゃん、それは内緒！
さて、日本では一般的に「イノベーション」は「技術開発」と同等のもの、と誤解されていることが多いことは知っておるの。もちろん技術開発の結果がイノベーションに繋がることもあるんじゃが、イコールではない。そして「イノベーション」は企業の内部から生み出すものではなくて、顧客が意識しているしていないを問わず、「顧客の問題を解決した結果」がイノベーション、ということを忘れないように。
「マーケティングもイノベーションも顧客が起点」でしたね！
そうじゃ、カンナちゃんだけ合格！
ちょ、それはないでしょ！
次回からは「デジタル・マーケティング」について様々な
トピックを紹介していく予定です。お楽しみに！

バーティカル・マイスターの修行時代　その１

投稿日：2017.05.30　｜　カテゴリー：　記事

written by シェルスクリプトマガジン編集部

この記事は、シェルマガvol.48掲載「バーティカルバーの極意」第二回の、いわゆる「やってみた記事」です。
シェルマガ本誌と一緒にご覧頂けると、よりお楽しみいただけます。

はじめに

よちよち歩きで運用を開始した、Web版シェルスクリプトマガジン shell-mag.com 。

更新のたびにFacebookやTwitterなどのSNSに投稿をしてお知らせしていますが、当然お知らせがどれだけの人に届いたか、気になるものです。

たとえばこちらの投稿。

「さて、この投稿のリーチ（投稿が見られた数）は……ええー、たったの70？（しょんぼり）」

たとえばFacebookでは、これまでにリーチが1000近くまで伸びた投稿もあるので、100以下はちょっと堪えます。

まだまだ記事数こそ少ないですが、面白おかしく役に立つ記事を揃えていると自負していますから、せっかく更新した記事が人の目にも触れないと、こちらとしては面白くありません。
なんとかFBでもリーチ数を稼がねば。

Facebookのアルゴリズムではリアクションが多くついた投稿ほど頻繁に表示されるらしいので、リーチを伸ばす正攻法は、まずはキャッチーな、「いいね」をもらいやすい投稿をすることです。
とはいえ、「いいね」をもらえるかどうかはなかなか水物です。なんとか確実にリーチ数を稼ぐ方法はないものか。

そこで、わたくし考えました。

シェルマガの読者さんは皆さま品行方正でしょうから、わたくし編集Kみたいに昼間からSNSに入り浸ったりはせずに、仕事に疲れ、傷つき、リラックスしたい時間だけSNSにアクセスしているはず。
だとすれば、多くの人が休憩をとる、リーチが伸びやすい時間帯があるはずです。

その時間を狙って更新情報を投稿するように心がければ

→自動的にshell-mag.comの利用が増える

→満足した読者さんの口コミでサイトの知名度が上がる

→シェルマガ本誌も売上が伸びる

→編集Kの給料も上がる

と、おお、これはいいことづくめだ！すぐにでも解析をせねば。

……と考えていたところに、前号から始まった、飯尾淳先生による「バーティカルバーの極意」第2回の原稿が届きます。早速確認してみると、おあつらえ向きに「Facebookの投稿をヒストグラムで分析する」内容ではないですか。

「これは使えるぞ！」と、ピーンと来た編集K。
記事のコードチェックも兼ねて、Facebookへの投稿の解析を試みることにしたのでした。

シェルマガvol.48に掲載された「バーティカルバーの極意」第二回では、どの時間帯に飯尾先生がFacebookに投稿しているのか、ヒストグラムで可視化をしていましたが、私の目的である「どの時間帯に投稿すればリーチが伸びるのか」を分析するためには、ヒストグラムよりも散布図のほうが役に立つはずです。

理想的には、例えば下の図のように、「昼休みに入る12時前後と定時の18時前後の投稿は、他の時間帯に比べてリーチ数が伸びやすい」のような傾向が見て取れるはず。

（Excelでちまちまつくりました）

善は急げ。早速Facebookからデータを取得して、解析してみましょう！

苦闘の記録

手元には飯尾先生のお手本があるから、今回の解析は簡単にできるはず……との目論見は、初っ端から崩れます。ビジネスアカウントでは、投稿情報の取得の際に、なんと28日しか遡れないのです。その間の投稿数は10程度。とても、議論ができるサンプル数ではありません。

しょうがないので、投稿日時とリーチ数が表示されるページから、マウスで選択してコピペする原始的な方法でテキストデータを引っ張ってきます。

原始的な方法でデータを取得するの図。ビーッと引っ張ってきます。

さて、取得したデータをテキストにペーストしてみると……

……あれ？

飯尾先生の記事では「データがすべて横に並んでいたので改行コードを挿入して扱いやすいデータにする」というストーリーでしたが、私が取得したデータは、逆にすべて縦に並んでいます。これは困ったなぁ。

困ったときは相談だ。というわけで、隣の席のエンジニアに助け舟を出してもらいます。

編集K「ねぇねぇ、この全部縦に連なったデータを、常識的な並び方に直すにはどうしたらいいかねぇ」
エンジニア「そりゃ、一度全部横にしてから、適当な改行コードを入れるしかないでしょ（編：だよねぇ～）。そういうときはyarrコマンドを使ったらいいんだよ」

yarr（横アレイ）！！ここでまさかのTukubaiコマンド登場です。そりゃまぁ、Tukubaiコマンドを使っていかに楽をしてシステムを組み立てるかを日夜考えている、うちのエンジニアに聞いたら当然そういう答えが返ってきますよね。
注：Tukubaiコマンドは、シェルマガの発行元USP研究所が開発しているUNIXコマンド群。シェルマガ著者の今泉光之さん曰く「便利すぎて考えなくて済むから、エンジニアが馬鹿になる」とのこと。個人用Tukubaiのご購入はこちら。

オーケーオーケー。他のサイトならまだしも、ここはshell-mag.com 。ユニケージの広報サイトでユニケージのために開発されたコマンドを使って何が悪い。ちょっとズルいですが、Tukubaiコマンドを使っちゃいましょう。
yarrは、縦に並んだデータを横に並び替えるコマンドです。こんなこともあろうかと優しい誰かが作ってくれていたのでしょう。
sedで半角スペースを適当な文字列に変換してから、yarrコマンドでデータの縦横を入れ替えます。

$ sed ‘s/ /_/g’ FBdata.txt | yarr > FBdata2.txt

1	$ sed ‘s/ /_/g’ FBdata.txt \| yarr > FBdata2.txt

2017年5月31日追記：飯尾先生から「標準的なコマンドだけでも、pasteを使えば同じことができるよ」とご指摘をいただきました。yarrをpasteに置き換え、以下のようにオプションを使えば同じ出力が得られます。

$ sed ‘s/ /_/g’ FBdata.txt | paste -d ' ' -s - > FBdata2.txt

1	$ sed ‘s/ /_/g’ FBdata.txt \| paste -d ' ' -s - > FBdata2.txt

で、こいつをcatで開いてみると……

あれ、縦のまんまだ？どういうことよ。（注：pasteコマンドを使っても結果は同じです）

Vimで開いてみると

おお、紫でハイライトされている^Mの改行コードが残っているんですな。こいつもsedで取ってやりましょう。

$ sed ‘s/^M//g’ FBdata2.txt > FBdata3.txt

1	$ sed ‘s/^M//g’ FBdata2.txt > FBdata3.txt

ただし、この制御コードの^Mは、素直に「はっと・えむ」とキーを打ってもsedで認識してくれません。キー入力としては、Ctrl-v Ctrl-mと入力すると制御コードの^Mと認識されるので、入力の際には

$ sed ‘s/ Ctrl-v Ctrl-m //g’ FBdata2.txt > FBdata3.txt

1	$ sed ‘s/ Ctrl-v Ctrl-m //g’ FBdata2.txt > FBdata3.txt

とタイプしてください。さらっと流しましたが、これを調べるのに20分かかりました。

さて、無事にデータが横一行に並んだので、飯尾先生の教えの通り、sedを使って特定のテキストを改行コードに置き換え、データを扱いやすい形に整えます。今回は、各投稿の最後に「投稿の広告を出す」という一文が必ず入っているので、これを改行コードに書き換えました。

$ LF=$'\\\x0A'
$ cat timeline.htm | sed -e 's/"投稿の広告を出す"/'"${LF}"'/g' > FBdata4.txt

1 2	$ LF=$'\\\x0A' $ cat timeline.htm \| sed -e 's/"投稿の広告を出す"/'"${LF}"'/g' > FBdata4.txt

ここもさらっと流していますが、編集Kの使っているMacのOSのバージョンが古かったのか、改行コードを改行コードとして認識してもらえませんでした。再度隣席のエンジニアに頼み、彼のMacで同じコマンドを打ってもらったところ、想定通り改行されましたので、読者の皆さまは安心して記事のコードを使ってください。

さて、こうやって加工したデータですが、まだ行頭に空白があったり、最終行に空行が入っていたりと、まだ形を整える必要があります。AWKとかを使うのがめんどくさいので、再度Tukubaiコマンドを使って加工します。末尾の行を削って、余分な空白をとって、日付と時間とリーチのフィールドを取り出します。

$ cat FBdata4.txt | ctail 1 | self 1/N | self 1 2 8 > FBdata5.txt

1	$ cat FBdata4.txt \| ctail 1 \| self 1/N \| self 1 2 8 > FBdata5.txt

ctail :ファイルの末尾指定行を削って出力

self : 指定したフィールドのデータを取り出す。連続した空白をひとつに削ることができる。

こうやって、弊社のプロダクトを自然にステマしながら加工したデータがこちらになります。

おお、綺麗になった。でもリーチ（第３フィールド）に3桁ごとのカンマが残ってますね。これもsedで消してしまいましょう。ついでにhourとminuteの間のコロンを空白に変えて、それぞれを独立したフィールドにしてしまいます。で、minuteの方を60進法から10進法に直して、hourと合計を出します。

$ cat FBdata5.txt | sed –e ‘s/,//g’ | sed –e ‘s/:/ /g’ | awk ‘{print $2+($3)/60,$4}’ > FBdata6.txt

1	$ cat FBdata5.txt \| sed –e ‘s/,//g’ \| sed –e ‘s/:/ /g’ \| awk ‘{print $2+($3)/60,$4}’ > FBdata6.txt

これで、プロットする元データが加工できました。第１フィールドが時刻、第２フィールドがリーチ数です。

さて、元記事に倣って、これをRでグラフにしてみます。

$ R -q -e 'x<-read.table("/user/FBdata6.txt", header=F); plot(x$V1,x$V2, xlim =c(6, 24), ylim = c(0, 1000), xlab = "Time", ylab = "Reach")'

1	$ R -q -e 'x<-read.table("/user/FBdata6.txt", header=F); plot(x$V1,x$V2, xlim =c(6, 24), ylim = c(0, 1000), xlab = "Time", ylab = "Reach")'

飯尾先生の記事ではhist関数を使っていますが、今回つくるのはヒストグラムではなく散布図なので、plot関数を使います。最初に横軸と縦軸を指定します。$V1、$V2は、それぞれ何フィールド目かを表します。小室哲哉とYOSHIKIが組んだユニットではありませんし、宮内洋も出てきません。何の話だ。グラフの範囲をxlim、ylimで指定、xlab、ylabでそれぞれ軸のラベルを指定します。

完成！

で、ここまで３時間ほど苦闘した末、完成した散布図がこちらになります。

（縦軸がリーチ数、横軸が投稿時刻になります）

お、おう……。

正直、傾向はよくわかりませんな。当初は12時と18時前後に投稿するとリーチが増えるんじゃないかと考えていましたが、別段そんなこともない。強いて言えば、15時頃はリーチが安定して見えますが、これもサンプル数が少なくて確実とはいえんなぁ……。

とりあえずの結論としては
「投稿の時間帯だけでリーチ数をコントロールしようとするのは無理がある」
ということですね。やはり正攻法で、キャッチーな投稿を心がけねば。

というわけで、皆さまもどうぞシェルマガの記事を自分なりに試して楽しんでくださいね！
当サイト掲載のコードもコピペなどにどうぞご利用ください。

今回の記事の元ネタ「バーティカルバーの極意　第二回」のコードはこちら。コピペなどにご利用ください。
解説はシェルマガ本誌をご参照くださいませ。

（次回、「バーティカル・マイスターの遍歴時代」に続く……のか？）

Vol.48

投稿日：2017.05.24　｜　カテゴリー：　バックナンバー

金沢大学・大野先生が、シェルスクリプトを活用した電子工作を伝授する「電子工作塾」。
今回は「回路を設計するより前に」、世界の電気街として名を轟かせる深センにマイ基盤を発注してしまいます。

すずきひろのぶ氏による人気連載「スズラボ通信」では、IFTTTを利用して「ボタンを押せばLINEにメッセージが届くIoTなアレ」をつくる方法を紹介します。

その他にも、業界を代表するスターエンジニア、伊藤直也さんと柄沢聡太郎さんが「エンジニアの生存戦略」を熱く語ったトークライブイベント「TechLION vol.29」の再録記事や、
UMLによる設計記述と導入として、ロバストネス分析とシーケンス図の利用法を紹介した「オレとRubyプログラミング」など、

強くしなやかなITエンジニアを今月も全力で応援するシェルスクリプトマガジン vol.48。
お見逃しなく! !

漢のUNIX　ライブラリをつくってみよう！　#その5（vol.48掲載）

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：後藤大地
前回は静的ライブラリを作る方法を取り上げた。.cのファイルを.oのファイルへコンパイルし、それらをまとめて静的ライブラリとする。静的ライブラリはいわば部品の集まりで、コンパイル時にこの静的ライブラリから必要な部品を持ってきて利用することになる。コンパイルごとに静的ライブラリから部品がコピーされ、生成されるバイナリファイルへ含まれることになる。

ライブラリにはもうひとつ「共有ライブラリ」というものがある。動的ライブラリと呼ばれることもある。共有ライブラリの方はバイナリファイル生成時に指定はするものの、ここから部品をコピーしてバイナリに組み込むといったことはしない。生成したバイナリを実行するときにリアルタイムに共有ライブラリを見に行って、そのときに使われる。

記事本文掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

% ldd /bin/cat
/bin/cat:
       libc.so.7 => /lib/libc.so.7 (0x800823000)
%

1

2

3

4

5

% ldd /bin/cat

/bin/cat:

libc.so.7 => /lib/libc.so.7 (0x800823000)

%

%  file /lib/libc.so.7
/lib/libc.so.7: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, 
stripped
%

1

2

3

4

5

% file /lib/libc.so.7

/lib/libc.so.7: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked,

stripped

%

% nm --dynamic /bin/cat
00000000006037f0 B _CurrentRuneLocale
0000000000602720 B _DefaultRuneLocale
                w _Jv_RegisterClasses
                U _ThreadRuneLocale
                U __error
00000000006037a0 B __isthreaded
0000000000602718 B __mb_sb_limit
00000000006026d8 D __progname
                U __srget
                U __stack_chk_fail
00000000006037b0 B __stack_chk_guard
00000000006037f8 B __stderrp
0000000000602710 B __stdinp
0000000000602700 B __stdoutp
                U __swbuf
0000000000603828 A _end
                U _init_tls
                U atexit
                U clearerr
                U close
                U connect
0000000000603820 B environ
                U err
                U exit
                U fclose
                U fcntl
                U fdopen
                U feof
                U ferror
                U fileno
                U fprintf
                U freeaddrinfo
                U fstat
                U fwrite
                U gai_strerror
                U getaddrinfo
                U getc
                U getopt
                U malloc
                U open
0000000000602708 B optind
                U putc
                U read
                U realpath
                U setbuf
                U setlocale
                U shutdown
                U socket
                U strcmp
                U sysconf
                U warn
                U write
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

% nm --dynamic /bin/cat

00000000006037f0 B _CurrentRuneLocale

0000000000602720 B _DefaultRuneLocale

w _Jv_RegisterClasses

U _ThreadRuneLocale

U __error

00000000006037a0 B __isthreaded

0000000000602718 B __mb_sb_limit

00000000006026d8 D __progname

U __srget

U __stack_chk_fail

00000000006037b0 B __stack_chk_guard

00000000006037f8 B __stderrp

0000000000602710 B __stdinp

0000000000602700 B __stdoutp

U __swbuf

0000000000603828 A _end

U _init_tls

U atexit

U clearerr

U close

U connect

0000000000603820 B environ

U err

U exit

U fclose

U fcntl

U fdopen

U feof

U ferror

U fileno

U fprintf

U freeaddrinfo

U fstat

U fwrite

U gai_strerror

U getaddrinfo

U getc

U getopt

U malloc

U open

0000000000602708 B optind

U putc

U read

U realpath

U setbuf

U setlocale

U shutdown

U socket

U strcmp

U sysconf

U warn

U write

%

% tree
.
|-- include
|   `-- ore.h
|-- lib
`-- libore
   |-- Makefile
   |-- indent.c
   |-- ore.c
   |-- setmsg.c
   |-- usage.c
   `-- version.c
 
3 directories, 7 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% tree

.

|-- include

| `-- ore.h

|-- lib

`-- libore

|-- Makefile

|-- indent.c

|-- ore.c

|-- setmsg.c

|-- usage.c

`-- version.c

3 directories, 7 files

%

#ifndef _ORE_H_
#define _ORE_H_
 
#define BUFFER_SIZE     4096
#define USAGE_OUT       stderr
#define VERSION_OUT     stdout
 
#define ESC_SEQ_NORM    "\x1b[0m"
#define ESC_SEQ_BOLD    "\x1b[1m"
#define ESC_SEQ_GRAY    "\x1b[2m"
#define ESC_SEQ_UBAR    "\x1b[4m"
 
#define ES_BOLD(X)      ESC_SEQ_BOLD X ESC_SEQ_NORM
#define ES_LIGHT(X)     ESC_SEQ_GRAY X ESC_SEQ_NORM
#define ES_UBAR(X)      ESC_SEQ_UBAR X ESC_SEQ_NORM
 
char *_usage_msg;
char *_version_msg;
 
char *indent(char *);
int setmsg(char *, char *);
void usage(void);
void version(void);
 
#endif

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#ifndef _ORE_H_

#define _ORE_H_

#define BUFFER_SIZE 4096

#define USAGE_OUT stderr

#define VERSION_OUT stdout

#define ESC_SEQ_NORM "\x1b[0m"

#define ESC_SEQ_BOLD "\x1b[1m"

#define ESC_SEQ_GRAY "\x1b[2m"

#define ESC_SEQ_UBAR "\x1b[4m"

#define ES_BOLD(X) ESC_SEQ_BOLD X ESC_SEQ_NORM

#define ES_LIGHT(X) ESC_SEQ_GRAY X ESC_SEQ_NORM

#define ES_UBAR(X) ESC_SEQ_UBAR X ESC_SEQ_NORM

char *_usage_msg;

char *_version_msg;

char *indent(char *);

int setmsg(char *, char *);

void usage(void);

void version(void);

#endif

#include "ore.h"
 
char *
indent(char *t)
{
       static char buf[BUFFER_SIZE];
       char *p;
 
       int i = 0;
       p = t;
       buf[i++] = '\t';
       for (; i < BUFFER_SIZE - 1; i++, p++) {
               buf[i] = *p;
               if ('\n' == *p)
                       buf[++i] = '\t';
               if ('\0' == *p)
                       break;
       }
       if ('\0' != buf[i])
               buf[i] = '\0';
 
       return buf;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#include "ore.h"

char *

indent(char *t)

{

static char buf[BUFFER_SIZE];

char *p;

int i = 0;

p = t;

buf[i++] = '\t';

for (; i < BUFFER_SIZE - 1; i++, p++) {

buf[i] = *p;

if ('\n' == *p)

buf[++i] = '\t';

if ('\0' == *p)

break;

}

if ('\0' != buf[i])

buf[i] = '\0';

return buf;

}

#include "ore.h"

1	#include "ore.h"

#include 
#include 
 
#include "ore.h"
 
int
setmsg(char *key, char *value)
{
       if (0 == strcmp("usage", key)) {
               _usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));
               strncpy(_usage_msg, value, BUFFER_SI
ZE);
               _usage_msg[BUFFER_SIZE - 1] = '\0';
       }
       else if (0 == strcmp("version", key)) {
               _version_msg = calloc(1, BUFFER_SIZE * sizeof(char));
               strncpy(_version_msg, value, BUFFER_
SIZE);
               _version_msg[BUFFER_SIZE - 1] = '\0';
       }
       else
               return (-1);
 
       return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#include

#include "ore.h"

int

setmsg(char *key, char *value)

{

if (0 == strcmp("usage", key)) {

_usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_usage_msg, value, BUFFER_SI

ZE);

_usage_msg[BUFFER_SIZE - 1] = '\0';

}

else if (0 == strcmp("version", key)) {

_version_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_version_msg, value, BUFFER_

SIZE);

_version_msg[BUFFER_SIZE - 1] = '\0';

}

else

return (-1);

return 0;

}

#include 
 
#include "ore.h"
 
void
usage(void)
{
       fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s
\n",
               indent(_usage_msg));
}

1

2

3

4

5

6

7

8

9

10

11

#include

#include "ore.h"

void

usage(void)

{

fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s

\n",

indent(_usage_msg));

}

#include 
 
#include "ore.h"
 
void
version(void)
{
       fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n",
               _version_msg);
}

1

2

3

4

5

6

7

8

9

10

#include

#include "ore.h"

void

version(void)

{

fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n",

_version_msg);

}

CFLAGS=         -I. -I./../include/ -O2 -pipe -fPIC
 
LIBSO=          ./../lib/libore.so
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | s
ed 's/.c$$/.o/g'
 
.SUFFIXES:      .o .c
 
.c.o:
       cc ${CFLAGS} -c $< -o $@
 
all: ${OBJS}
       cc -shared -o ${LIBSO} ${OBJS}
       objcopy --strip-unneeded ${LIBSO}
 
clean:
       rm -f ${LIBSO} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

CFLAGS= -I. -I./../include/ -O2 -pipe -fPIC

LIBSO= ./../lib/libore.so

OBJS!= ls | grep '[.]c$$' 2> /dev/null | s

ed 's/.c$$/.o/g'

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

cc -shared -o ${LIBSO} ${OBJS}

objcopy --strip-unneeded ${LIBSO}

clean:

rm -f ${LIBSO} ${OBJS}

% cd libore
% make
cc -I. -I./../include/ -O2 -pipe -fPIC -c indent.c -o indent.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c ore.c -o ore.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c setmsg.c-o setmsg.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c usage.c-o usage.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c version.c -o version.o
cc -shared -o ./../lib/libore.so indent.o ore.o  setmsg.o usage.o version.o  
objcopy --strip-unneeded ./../lib/libore.so
%

1

2

3

4

5

6

7

8

9

10

11

12

% cd libore

% make

cc -I. -I./../include/ -O2 -pipe -fPIC -c indent.c -o indent.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c ore.c -o ore.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c setmsg.c-o setmsg.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c usage.c-o usage.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c version.c -o version.o

cc -shared -o ./../lib/libore.so indent.o ore.o setmsg.o usage.o version.o

objcopy --strip-unneeded ./../lib/libore.so

%

% cd ../lib
% file libore.so
libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped
%

1

2

3

4

5

6

% cd ../lib

% file libore.so

libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped

%

% file libore.a
libore.a: current ar archive
% ls -al libore.a
-rw-r--r--  1 daichi  wheel  7824 Apr  5 17:51 libore.a
%

1

2

3

4

5

6

7

% file libore.a

libore.a: current ar archive

% ls -al libore.a

-rw-r--r-- 1 daichi wheel 7824 Apr 5 17:51 libore.a

%

% file libore.so
libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped
% ls -al libore.so
-rwxr-xr-x  1 daichi  wheel  5304 Apr  5 17:44 libore.so
%

1

2

3

4

5

6

7

% file libore.so

libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped

% ls -al libore.so

-rwxr-xr-x 1 daichi wheel 5304 Apr 5 17:44 libore.so

%

% tree
.
|-- bin
|-- include
|   `-- ore.h
|-- lib
|   `-- libore.so
|-- libore
|   |-- Makefile
|   |-- indent.c
|   |-- ore.c
|   |-- setmsg.c
|   |-- usage.c
|   `-- version.c
`-- src
   `-- bin
       `-- oreapp
           |-- Makefile
           `-- oreapp.c
 
7 directories, 10 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

% tree

.

|-- bin

|-- include

| `-- ore.h

|-- lib

| `-- libore.so

|-- libore

| |-- Makefile

| |-- indent.c

| |-- ore.c

| |-- setmsg.c

| |-- usage.c

| `-- version.c

`-- src

`-- bin

`-- oreapp

|-- Makefile

`-- oreapp.c

7 directories, 10 files

%

#include 
#include 
#include 
#include 
 
#include "ore.h"
 
int
main(int argc, char *argv[])
{
       setmsg("usage", "oreapp [-v] [-h] string...");
       setmsg("version", "1.0");
 
       int ch;
       while ((ch = getopt(argc, argv, "hv")) != -1
) {
               switch (ch) {
               case 'v':
                       version();
                       exit(EX_USAGE);
                       break;
               case '?':
               case 'h':
                       usage();
                       exit(EX_USAGE);
                       break;
               default:
                       usage();
                       exit(EX_USAGE);
                       break;
               }
       }
       argc -= optind;
       argv += optind;
 
       for (int i = 0; i < argc; i++)  
               printf("%06d %s\n", 1+i, argv[i]);
 
       return(EX_OK);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

#include

#include "ore.h"

int

main(int argc, char *argv[])

{

setmsg("usage", "oreapp [-v] [-h] string...");

setmsg("version", "1.0");

int ch;

while ((ch = getopt(argc, argv, "hv")) != -1

) {

switch (ch) {

case 'v':

version();

exit(EX_USAGE);

break;

case '?':

case 'h':

usage();

exit(EX_USAGE);

break;

default:

usage();

exit(EX_USAGE);

break;

}

argc -= optind;

argv += optind;

for (int i = 0; i < argc; i++)

printf("%06d %s\n", 1+i, argv[i]);

return(EX_OK);

}

BIN=            ./../../../bin/oreapp
LIBDIR=         ./../../../lib/
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'
 
CFLAGS=         -I. -I./../../../include/ -O2 -pipe
 
.SUFFIXES:      .o .c
 
.c.o:
       cc ${CFLAGS} -c $< -o $@
 
all: ${OBJS}
       cc ${CFLAGS} -o ${BIN} ${OBJS} -L${LIBDIR} -
lore
       objcopy --strip-unneeded ${BIN}
 
clean:
       rm -f ${BIN} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

BIN= ./../../../bin/oreapp

LIBDIR= ./../../../lib/

OBJS!= ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

CFLAGS= -I. -I./../../../include/ -O2 -pipe

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

cc ${CFLAGS} -o ${BIN} ${OBJS} -L${LIBDIR} -

lore

objcopy --strip-unneeded ${BIN}

clean:

rm -f ${BIN} ${OBJS}

% make
cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c-o oreapp.o
cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore
objcopy --strip-unneeded ./../../../bin/oreapp
%

1

2

3

4

5

6

% make

cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c-o oreapp.o

cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore

objcopy --strip-unneeded ./../../../bin/oreapp

%

% cd ../../../bin/
% file oreapp
oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped
%

1

2

3

4

5

6

% cd ../../../bin/

% file oreapp

oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped

%

% ldd oreapp
oreapp:
       libore.so => not found (0)
       libc.so.7 => /lib/libc.so.7 (0x800821000)
%

1

2

3

4

5

6

% ldd oreapp

oreapp:

libore.so => not found (0)

libc.so.7 => /lib/libc.so.7 (0x800821000)

%

% env LD_LIBRARY_PATH=../lib ldd oreapp
oreapp:
       libore.so => ../lib/libore.so (0x800821000)
       libc.so.7 => /lib/libc.so.7 (0x800a23000)
%

1

2

3

4

5

6

% env LD_LIBRARY_PATH=../lib ldd oreapp

oreapp:

libore.so => ../lib/libore.so (0x800821000)

libc.so.7 => /lib/libc.so.7 (0x800a23000)

%

% file oreapp
oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped
% ls -l oreapp
-rwxr-xr-x  1 daichi  wheel  6440 Apr  5 18:10 orea
pp
% nm --dynamic oreapp
                w _Jv_RegisterClasses
0000000000600f98 D __progname
0000000000600fc8 B __stderrp
0000000000601fe8 A _end
                U _init_tls
                U atexit
                U calloc
0000000000601fd0 B environ
                U exit
                U fprintf
                U getopt
0000000000600fc0 B optind
                U printf
                U strcmp
                U strncpy
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

% file oreapp

oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped

% ls -l oreapp

-rwxr-xr-x 1 daichi wheel 6440 Apr 5 18:10 orea

pp

% nm --dynamic oreapp

w _Jv_RegisterClasses

0000000000600f98 D __progname

0000000000600fc8 B __stderrp

0000000000601fe8 A _end

U _init_tls

U atexit

U calloc

0000000000601fd0 B environ

U exit

U fprintf

U getopt

0000000000600fc0 B optind

U printf

U strcmp

U strncpy

%

% file oreapp
oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped
% ls -l oreapp
-rwxr-xr-x  1 daichi  wheel  6000 Apr  5 18:05 orea
pp
% nm --dynamic oreapp
                w _Jv_RegisterClasses
0000000000600df9 A __bss_start
0000000000600de0 D __progname
0000000000600df9 A _edata
0000000000600e28 A _end
                U _init_tls
0000000000600e10 B _usage_msg
0000000000600e20 B _version_msg
                U atexit
0000000000600e08 B environ
                U exit
                U getopt
0000000000600e00 B optind
                U printf
                U setmsg
                U usage
                U version
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

% file oreapp

oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped

% ls -l oreapp

-rwxr-xr-x 1 daichi wheel 6000 Apr 5 18:05 orea

pp

% nm --dynamic oreapp

w _Jv_RegisterClasses

0000000000600df9 A __bss_start

0000000000600de0 D __progname

0000000000600df9 A _edata

0000000000600e28 A _end

U _init_tls

0000000000600e10 B _usage_msg

0000000000600e20 B _version_msg

U atexit

0000000000600e08 B environ

U exit

U getopt

0000000000600e00 B optind

U printf

U setmsg

U usage

U version

%

% ./oreapp
Shared object "libore.so" not found, required by "oreapp"
%

1

2

3

4

% ./oreapp

Shared object "libore.so" not found, required by "oreapp"

%

% env LD_LIBRARY_PATH=../lib ./oreapp -v
バージョン: 1.0
% env LD_LIBRARY_PATH=../lib ./oreapp -h
使い方:
       oreapp [-v] [-h] string...
% env LD_LIBRARY_PATH=../lib ./oreapp a b c d
000001 a
000002 b
000003 c
000004 d
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

% env LD_LIBRARY_PATH=../lib ./oreapp -v

バージョン: 1.0

% env LD_LIBRARY_PATH=../lib ./oreapp -h

使い方:

oreapp [-v] [-h] string...

% env LD_LIBRARY_PATH=../lib ./oreapp a b c d

000001 a

000002 b

000003 c

000004 d

%

40歳から始める、オレとRubyプログラミング（vol.48掲載）

投稿日：2017.05.23　｜　カテゴリー：　未分類,記事

著者：しょっさん

　前回、ページ数が増えたことに増長して、ソースコードをたくさん載せたはいいのですが、それを説明する余白がありませんでした。今回は、前回掲載したソースコードについて、新しく使いはじめた部分を中心に説明します。
　その前に、連載を通じて少しずつではありますが、プログラムが拡張してきましたので、プログラム全体がどのような構成になっているかを、一度立ち返って見直してみます。ある程度の開発規模になってくると、設計図なく開発をすることは困難になってきます。今後のさらなる拡張と改良もふまえて、設計図を作って開発を進めていきます。

記事本文掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

 describe "#let" do
     let(:foo) { 1 + 1 }
     before { @foo = 1 + 1 }
     it "testing let" do
       expect(foo).to be 2
     end
     it "testing before" do
       expect(@foo).to be 2
     end
   end

1

2

3

4

5

6

7

8

9

10

describe "#let" do

let(:foo) { 1 + 1 }

before { @foo = 1 + 1 }

it "testing let" do

expect(foo).to be 2

end

it "testing before" do

expect(@foo).to be 2

end

     let(:normal) { Reins::AuthService.new }
     let(:other)  { Reins::AuthService.new(sha512) }
     context "正常に認証された場合" do
       it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }
       it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }
     end

1

2

3

4

5

6

let(:normal) { Reins::AuthService.new }

let(:other) { Reins::AuthService.new(sha512) }

context "正常に認証された場合" do

it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }

it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }

end

 describe '#read_hosts' do
     subject {regist_test.read_hosts }
     context '正常に登録されている場合' do
       it '未登録時に呼び出すと、空の配列' do
         is_expected.to eq([])
       end
       it 'localhost を1つ登録すると、[127.0.0.1]' do
         regist_test.create(localhost, test_key)
         is_expected.to eq([localhost])
       end
       it '複数のアドレスを登録した場合は、複数のアドレス' do
         correct_hosts.each   { |host|regist_test.create(host, test_key) }
         is_expected.to match_array(correct_hosts)
       end
     end
     context '不正なIPアドレスの場合' do
       it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do
         incorrect_hosts.each { |host|regist_test.create(host, test_key) }
         is_expected.to match_array([])
       end
     end
   end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

describe '#read_hosts' do

subject {regist_test.read_hosts }

context '正常に登録されている場合' do

it '未登録時に呼び出すと、空の配列' do

is_expected.to eq([])

end

it 'localhost を1つ登録すると、[127.0.0.1]' do

regist_test.create(localhost, test_key)

is_expected.to eq([localhost])

end

it '複数のアドレスを登録した場合は、複数のアドレス' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array(correct_hosts)

end

context '不正なIPアドレスの場合' do

it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do

incorrect_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array([])

end

 describe 'TaskControl' do
   before { @server = TCPServer.new(24368) }
   after  { @server.close }
   let(:tasks) { Reins::TaskControl.new }
  describe '#connect' do
     context 'クライアントへ接続できる場合' do
       subject { tasks.connect }
       it 'モックを使って正常接続のコール' do
         allow(tasks).to receive(:connect).and_return(true)
         is_expected.to eq(true)
       end
     end
     context 'クライアントへ接続できない場合' do
       it '接続先が存在しないと Standard Error' do
         # TODO: 実際は Raise ではなく、成否を True/False でもらうこととする
         expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'
       end
       it 'クライアントが停止していたら false' do
         allow(tasks).to receive(:connect).and_return(false)
         expect(tasks.connect).to eq(false)
       end
     end
   end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

describe 'TaskControl' do

before { @server = TCPServer.new(24368) }

after { @server.close }

let(:tasks) { Reins::TaskControl.new }

describe '#connect' do

context 'クライアントへ接続できる場合' do

subject { tasks.connect }

it 'モックを使って正常接続のコール' do

allow(tasks).to receive(:connect).and_return(true)

is_expected.to eq(true)

end

context 'クライアントへ接続できない場合' do

it '接続先が存在しないと Standard Error' do

# TODO: 実際は Raise ではなく、成否を True/False でもらうこととする

expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'

end

it 'クライアントが停止していたら false' do

allow(tasks).to receive(:connect).and_return(false)

expect(tasks.connect).to eq(false)

end

      it 'こちらから、クライアントとの接続を切断して、成功すると nil' do
         is_expected.to eq(nil)
      end

1

2

3

it 'こちらから、クライアントとの接続を切断して、成功すると nil' do

is_expected.to eq(nil)

end

it { is_expected.to eq(nil) }

1	it { is_expected.to eq(nil) }

module "A"
 class "Composer"
:
 class "Deployment"

1

2

3

4

module "A"

class "Composer"

:

class "Deployment"

module "B"
 class "Composer"
:
 class "Deployment"

1

2

3

4

module "B"

class "Composer"

:

class "Deployment"

module Reins
 class << self
   attr_accessor :logger, :auth_service, :regist_host
   def configure
     yield self
   end
 end
end
Reins.configure do |config|
 config.logger       = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")
 config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")
 config.regist_host  = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")
end

1

2

3

4

5

6

7

8

9

10

11

12

13

module Reins

class << self

attr_accessor :logger, :auth_service, :regist_host

def configure

yield self

end

Reins.configure do |config|

config.logger = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")

config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")

config.regist_host = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")

end

UNIXネイティブの電子工作塾 vol.48掲載

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：金沢大学　教授　大野浩之

さて、UNIXネイティブの電子工作塾 e-Badge編第２回ですが、少しだけ回り道をすることにました。今回は e-Badge（電子名札）のためのプリント基板（PCB）作りに着手する予定でしたが、その前にお話しておくべきことがありました。まず、PCB設計に用いるソフトウェア “Fritzing” の特徴をお伝えしたいと思います。それから、Fritzing で作成したPCBデータがどのようなもので、これをどこにどうやって発注するのか、といったノウハウもお伝えしたいと思います。
そこで今回は、e-Badge の製作をはじめる前に、よりシンプルで汎用的な基板を作ることにしました。

本記事掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

$ mkdir ~/tmp/VCM; cd ~/tmp/VCM; mkdir src
# srcディレクリに必要なスケッチを用意する
$ platformio init --board=uno
$ echo upload_port=/dev/cu.usbmodem1234 >> platformio.ini

1

2

3

4

$ mkdir ~/tmp/VCM; cd ~/tmp/VCM; mkdir src

# srcディレクリに必要なスケッチを用意する

$ platformio init --board=uno

$ echo upload_port=/dev/cu.usbmodem1234 >> platformio.ini

$ platformio run　
$ platformio run --target=upload

1 2	$ platformio run　 $ platformio run --target=upload

$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

1	$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

$ git clone https://github.com/shmag/gc4unix.git

1	$ git clone https://github.com/shmag/gc4unix.git

$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

1	$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

$ sudo cu -s 57600 -l /dev/cu.usbmodem1411 
| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}' 
| tee -a /tmp/test001.txt

1

2

3

$ sudo cu -s 57600 -l /dev/cu.usbmodem1411

| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}'

| tee -a /tmp/test001.txt

$ tail -f /tmp/test001.log
| awk '{printf "%d,%d,%d,\r\n",($4=="ON")?255:0,($8=="ON")?255:0,($12=="ON")?255:0;fflush()}'
| sudo cu -s 57600 -l /dev/cu.usbmodem1411 \
| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}'
| tee -a /tmp/test001.log

1

2

3

4

5

$ tail -f /tmp/test001.log

| awk '{printf "%d,%d,%d,\r\n",($4=="ON")?255:0,($8=="ON")?255:0,($12=="ON")?255:0;fflush()}'

| sudo cu -s 57600 -l /dev/cu.usbmodem1411 \

| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}'

| tee -a /tmp/test001.log

ユニケージ開発手法　コードレビュー　vol.37（本誌vol.48掲載）

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：USP研究所技術研究員　新美勇一

今回は、業務システムの処理に見立てた簡単な例題で２つ実装例を挙げ、レビューを行いたいと思います。

本記事掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

#!/bin/bash
export PATH=/home/UTL:/home/TOOL:${PATH}
export LANG=ja_JP.UTF-8
tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S)            # 一時ファイル
 
# エラー処理
ERROR_EXIT() {
 echo "ERROR!!"
 exit 1
}
 
#----------------------------------------------
# 更新データの読み込み
#----------------------------------------------
 
# 更新データは、適用日時点の全カラムが担保されているとする
# また、１社員コードに対し複数の適用日の変更データは発生しないとする
cat input_file1                      |
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
#
# キーと、更新対象のカラム住所のみを取り出す
self 1 3 7                           > $tmp-input_data
#  1:社員コード 2:住所 3:適用日
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#----------------------------------------------
# 更新データより未来の社員情報を取得
#----------------------------------------------
 
# 社員情報
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
# より対象のレコードを取得する
# (更新データの適用日より未来のもの)
cat SHAIN_JOHO                       |
join1 key=1 $tmp-input_data -        |
#  1:社員コード 2:更新.住所 3:更新.適用日 4:社員名 5:住所
#  6:電話番号   7:生年月日  8:交通費      9:適用日
#
# 更新.適用日 < 社員情報.適用日
awk '$3<$9'                          |
#
# 更新データの住所を反映する
#
awk '{ $5=$2; print; }'              |
#
# 移送済の付与情報（更新データ部分）を削除
delf 2 3                             > $tmp-shain_joho_mirai
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#----------------------------------------------
# 更新データと未来の社員情報（今回の更新反映）
# を社員情報ファイルへ反映
#----------------------------------------------

# 更新データ(適用日の社員情報）＋未来の社員情報（今回の更新反映）
upl key=1@7 input_file1 $tmp-shain_joho_mirai  |
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
#
# 更新情報を優先して社員情報ファイルの内容とマージ
upl key=1@7 SHAIN_JOHO -                       > $tmp-shain_joho.upd
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#TODO
mv $tmp-shain_joho.upd SHAIN_JOHO
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#'
rm -f $tmp-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

#!/bin/bash

export PATH=/home/UTL:/home/TOOL:${PATH}

export LANG=ja_JP.UTF-8

tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S) # 一時ファイル

# エラー処理

ERROR_EXIT() {

echo "ERROR!!"

exit 1

}

#----------------------------------------------

# 更新データの読み込み

#----------------------------------------------

# 更新データは、適用日時点の全カラムが担保されているとする

# また、１社員コードに対し複数の適用日の変更データは発生しないとする

cat input_file1 |

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

#

# キーと、更新対象のカラム住所のみを取り出す

self 1 3 7 > $tmp-input_data

# 1:社員コード 2:住所 3:適用日

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#----------------------------------------------

# 更新データより未来の社員情報を取得

#----------------------------------------------

# 社員情報

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

# より対象のレコードを取得する

# (更新データの適用日より未来のもの)

cat SHAIN_JOHO |

join1 key=1 $tmp-input_data - |

# 1:社員コード 2:更新.住所 3:更新.適用日 4:社員名 5:住所

# 6:電話番号 7:生年月日 8:交通費 9:適用日

#

# 更新.適用日 < 社員情報.適用日

awk '$3<$9' |

#

# 更新データの住所を反映する

#

awk '{ $5=$2; print; }' |

#

# 移送済の付与情報（更新データ部分）を削除

delf 2 3 > $tmp-shain_joho_mirai

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#----------------------------------------------

# 更新データと未来の社員情報（今回の更新反映）

# を社員情報ファイルへ反映

#----------------------------------------------

# 更新データ(適用日の社員情報）＋未来の社員情報（今回の更新反映）

upl key=1@7 input_file1 $tmp-shain_joho_mirai |

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

#

# 更新情報を優先して社員情報ファイルの内容とマージ

upl key=1@7 SHAIN_JOHO - > $tmp-shain_joho.upd

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#TODO

mv $tmp-shain_joho.upd SHAIN_JOHO

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#'

rm -f $tmp-*

exit 0

# 更新前の状態
$ cat SHAIN_JOHO
001 山田太郎 住所１ 123-4567-8901 19900707 10000 20010101
001 山田太郎 住所１ 123-4567-8901 19900707 12000 20150101
001 山田太郎 住所１ 123-4567-8901 19900707 20000 20170228
 
 
# 2017年1月15日付の更新データのファイル
$ cat input_file1
001 山田太郎 住所２ 123-4567-8901 19900707 12000 20170115
 
# シェルスクリプト実行
$ ./sample1
#
$ cat SHAIN_JOHO
001 山田太郎 住所１ 123-4567-8901 19900707 10000 20010101
001 山田太郎 住所１ 123-4567-8901 19900707 12000 20150101
001 山田太郎 住所２ 123-4567-8901 19900707 12000 20170115
001 山田太郎 住所２ 123-4567-8901 19900707 20000 20170228
 
 
 # 基準日＝2017/3/31時点の情報を取得する
$ gawk '$1==1&&$7<=20170331'  SHAIN_JOHO   |
getlast key=1 
001 山田太郎 住所２ 123-4567-8901 19900707 20000 20170228

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

# 更新前の状態

$ cat SHAIN_JOHO

001 山田太郎住所１ 123-4567-8901 19900707 10000 20010101

001 山田太郎住所１ 123-4567-8901 19900707 12000 20150101

001 山田太郎住所１ 123-4567-8901 19900707 20000 20170228

# 2017年1月15日付の更新データのファイル

$ cat input_file1

001 山田太郎住所２ 123-4567-8901 19900707 12000 20170115

# シェルスクリプト実行

$ ./sample1

#

$ cat SHAIN_JOHO

001 山田太郎住所１ 123-4567-8901 19900707 10000 20010101

001 山田太郎住所１ 123-4567-8901 19900707 12000 20150101

001 山田太郎住所２ 123-4567-8901 19900707 12000 20170115

001 山田太郎住所２ 123-4567-8901 19900707 20000 20170228

# 基準日＝2017/3/31時点の情報を取得する

$ gawk '$1==1&&$7<=20170331' SHAIN_JOHO |

getlast key=1

001 山田太郎住所２ 123-4567-8901 19900707 20000 20170228

#!/bin/bash
export PATH=/home/UTL:/home/TOOL:${PATH}
export LANG=ja_JP.UTF-8
tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S)            # 一時ファイル
# エラー処理
ERROR_EXIT() {
 echo "ERROR!!"
 exit 1
}
#----------------------------------------------
# 更新データの読み込み
# 社員情報ファイルへ反映
#----------------------------------------------
# 更新データは、キーと変更カラム以外、「@」が設定されているとする
# また、１社員コードに対し複数の適用日の変更データは発生しないとする
cat input_file2                      |
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
#
# 更新情報を優先して社員情報ファイルの内容とマージ
upl key=1@7 SHAIN_JOHO2 -            > $tmp-shain_joho.upd
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
#TODO
mv $tmp-shain_joho.upd SHAIN_JOHO2
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
#'
rm -f $tmp-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

#!/bin/bash

export PATH=/home/UTL:/home/TOOL:${PATH}

export LANG=ja_JP.UTF-8

tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S) # 一時ファイル

# エラー処理

ERROR_EXIT() {

echo "ERROR!!"

exit 1

}

#----------------------------------------------

# 更新データの読み込み

# 社員情報ファイルへ反映

#----------------------------------------------

# 更新データは、キーと変更カラム以外、「@」が設定されているとする

# また、１社員コードに対し複数の適用日の変更データは発生しないとする

cat input_file2 |

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

#

# 更新情報を優先して社員情報ファイルの内容とマージ

upl key=1@7 SHAIN_JOHO2 - > $tmp-shain_joho.upd

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#TODO

mv $tmp-shain_joho.upd SHAIN_JOHO2

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#'

rm -f $tmp-*

exit 0

$ cat SHAIN_JOHO2 | keta --
001 山田太郎 住所1 123-4567-8901 19900707 10000 20010101
001 @        @      @             @        12000 20150101
001 @        @      @             @        20000 20170228

# 最新の状態を取得する
$ cat SHAIN_JOHO2             |
gawk '$1==1&&$7<=20170331'   |
underlay num=1
001 山田太郎 住所1 123-4567-8901 19900707 20000 20170228

# 更新ファイル
$ cat input_file2
001 @ 住所2 @ @ @ 20170115

# シェルスクリプト実行
$ ./sample2
$ cat SHAIN_JOHO2 | keta --
001 山田太郎 住所1 123-4567-8901 19900707 10000 20010101
001 @        @      @             @        12000 20150101
001 @        住所2 @             @        @     20170115
001 @        @      @             @        20000 20170228

# 再度、最新の状態を取得する
# 住所と交通費が最新の状態になっている
$ cat SHAIN_JOHO2             |
gawk '$1==1&&$7<=20170331'   |
underlay num=1
001 山田太郎 住所2 123-4567-8901 19900707 20000 20170228

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

$ cat SHAIN_JOHO2 | keta --

001 山田太郎住所1 123-4567-8901 19900707 10000 20010101

001 @ @ @ @ 12000 20150101

001 @ @ @ @ 20000 20170228

# 最新の状態を取得する

$ cat SHAIN_JOHO2 |

gawk '$1==1&&$7<=20170331' |

underlay num=1

001 山田太郎住所1 123-4567-8901 19900707 20000 20170228

# 更新ファイル

$ cat input_file2

001 @ 住所2 @ @ @ 20170115

# シェルスクリプト実行

$ ./sample2

$ cat SHAIN_JOHO2 | keta --

001 山田太郎住所1 123-4567-8901 19900707 10000 20010101

001 @ @ @ @ 12000 20150101

001 @ 住所2 @ @ @ 20170115

001 @ @ @ @ 20000 20170228

# 再度、最新の状態を取得する

# 住所と交通費が最新の状態になっている

$ cat SHAIN_JOHO2 |

gawk '$1==1&&$7<=20170331' |

underlay num=1

001 山田太郎住所2 123-4567-8901 19900707 20000 20170228

バーティカルバーの極意第二回 (vol.48掲載)

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：中央大学　教授　飯尾淳

　バーティカルバーの極意、連載2回めの今回は、対象とするバーティカルバーとして「棒グラフ」を取り上げます。より正確にいえば、棒グラフのなかでも、ヒストグラムとよばれる種類の棒グラフです。ヒストグラムを柱状グラフと呼ぶこともあります。一般的に、柱はまっすぐ垂直に立てられるものです。この名称ひとつとっても、ヒストグラムをバーティカルバーの一族と考えてかまわないでしょう。

記事本文掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

$ cat timeline.htm | sed -e 's/<div class="meta">/'"\n"'/g'</div>

1	$ cat timeline.htm \| sed -e 's/<div class="meta">/'"\n"'/g'</div>

$ LF=$'\\\x0A'
$ cat timeline.htm | sed -e 's/<div class="meta">/'"${LF}"'/g'</div>

1 2	$ LF=$'\\\x0A' $ cat timeline.htm \| sed -e 's/<div class="meta">/'"${LF}"'/g'</div>

$ cat timeline.htm | sed -e 's/<div class="meta">/'"${LF}"'/g' | \ > grep '^20[01][0-9]年' | grep UTC | sed -e 's/<.*//' 2017年3月29日 19:01 UTC+09 2017年3月29日 18:53 UTC+09 2017年3月29日 18:30 UTC+09 2017年3月29日 18:03 UTC+09 2017年3月29日 11:31 UTC+09 2017年3月29日 10:04 UTC+09</div>

1	$ cat timeline.htm \| sed -e 's/<div class="meta">/'"${LF}"'/g' \| \ > grep '^20[01][0-9]年' \| grep UTC \| sed -e 's/<.*//' 2017年3月29日 19:01 UTC+09 2017年3月29日 18:53 UTC+09 2017年3月29日 18:30 UTC+09 2017年3月29日 18:03 UTC+09 2017年3月29日 11:31 UTC+09 2017年3月29日 10:04 UTC+09</div>

$ cat timeline.htm | \
> sed -e 's/<div class="meta">/'"${LF}"'/g' | \ > grep '^20[01][0-9]年' | grep UTC | \ > sed -e 's/<.*//' | cut -f 2 -d ' ' | \ > cut -f 1 -d : > /tmp/fbdata_0.txt</div>

1 2	$ cat timeline.htm \| \ > sed -e 's/<div class="meta">/'"${LF}"'/g' \| \ > grep '^20[01][0-9]年' \| grep UTC \| \ > sed -e 's/<.*//' \| cut -f 2 -d ' ' \| \ > cut -f 1 -d : > /tmp/fbdata_0.txt</div>

$ while read line; do echo ${line}.5; done \
> < /tmp/fbdata_0.txt > /tmp/fbdata.txt

1 2	$ while read line; do echo ${line}.5; done \ > < /tmp/fbdata_0.txt > /tmp/fbdata.txt

$ head -5 /tmp/fbdata.txt
19.5
18.5
18.5
18.5
11.5
$

1

2

3

4

5

6

7

$ head -5 /tmp/fbdata.txt

19.5

18.5

11.5

$

$ R -q -e 'x<-read.table("/tmp/fbdata.dat", header=F); \ hist(x$V1, breaks=24, col="#4488FF", \ main="Histogram of FB activities", xlab="Time")' > x<-read.table("/tmp/fbdata.dat", header=F); hist(x$V1, breaks=24, col="#4488FF", main="Histogram of FB activities", xlab="Time") >
> 
$

1

2

3

$ R -q -e 'x<-read.table("/tmp/fbdata.dat", header=F); \ hist(x$V1, breaks=24, col="#4488FF", \ main="Histogram of FB activities", xlab="Time")' > x<-read.table("/tmp/fbdata.dat", header=F); hist(x$V1, breaks=24, col="#4488FF", main="Histogram of FB activities", xlab="Time") >

>

$

$ cat timeline.htm | \
> sed -e 's/

1 2	$ cat timeline.htm \| \ > sed -e 's/

/'”${LF}”‘/g’ | \ > grep ‘^20[01][0-9]年’ | grep UTC | \ > grep ‘日 [234]:’ | less

逆に、Tukubaiコマンドをシェルスクリプトで実装してみる　後編 (vol.48掲載)

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：今泉光之 (Twitter: @bsdhack)

Open usp Tukubai は Python により実装されているので Python が動作する環境であればインストール可能です。
公式の配布サイトからソースを取得して展開し make install するだけで Open usp Tukubai は利用可能となります。
ここでは Open usp Tukubai のコマンドを解説します。
ただし以下のように Open usp Tukubai だけでも 55 コマンドも提供されており、その全てを解説するのは無理なので、
特に有用で興味深いコマンドを厳選して紹介します。

$ ls -1 /opt/local/tukubai/bin | wc -l
55

1 2	$ ls -1 /opt/local/tukubai/bin \| wc -l 55

前回紹介したcalclock、comma、getlast、ketaに続き、今回はmojihame、self、sm2の3つのコマンドを紹介し、シェルスクリプトでの再現を試みます。
但し今回は紙面と時間の都合で一部の機能やオプションなど実装できていない部分も多いです。
また、動作の把握とメイン処理の実装のみに絞ったので、エラー処理などはまったく実施していません。
そのために実際の業務などには殆ど利用できない実験的なスクリプトとなっています。

mojihame

mojihameとは

テンプレート中に埋め込まれたキーワードをデータに置換して出力します。
キーワードは %数字の形式で指定し、データ中に出現した順番にテンプレート中の %1、%2 …と置換されます。
データ中の @ はヌル文字として扱われ空文字列に置換されますが -d オプションで @ を別の文字に変更できます。
データ中の _ はスペースに変換して出力されます。_ を出力したい場合は \_ の様に指定します。

$ cat < template
1st=%1
2nd=%2
3rd=%3 4th=%4
EOF
$ cat <

1

2

3

4

5

6

$ cat < template

1st=%1

2nd=%2

3rd=%3 4th=%4

EOF

$ cat <

-l オプションは行単位での置換処理が実施されます。
入力データは行単位に読み込まれ、入力データの次の行が読み込まれるとテンプレートは先頭から再利用されます。

$ cat < template
1st=%1 2nd=%2
3rd=%3 4th=%4
EOF
$ cat <

1

2

3

4

5

$ cat < template

1st=%1 2nd=%2

3rd=%3 4th=%4

EOF

$ cat <

-l オプションではラベルを指定することができます。
ラベルが指定された場合、テンプレート中でラベルの間に書かれたキーワードのみが置換の対象となります。なおラベルはテンプレート中で2回 (開始と終了) しか書くことができません。
(-h による階層構造に関しては説明が複雑なのでここでは省略します)

mojihameを作ってみよう

#!/bin/sh
if [ "$1" = "-l" ]
then
	  awk 'BEGIN{
		# テンプレート読み込み
		while(getline < "'$2'" > 0)
			template[++l] = $0
	  }
	  {
		# データ処理
		l = 1
		str = template[l]
		for(i=1; i<=NF; i++){
			# _ をスペースに変換
			gsub("\([^\\\\]\)_", "\1 ", $i)
			gsub("\\\\_", "_", $i)
			while(1){
				if(index(str, "%" i)){
					# テンプレートに置換ラベルがある場合は置換して次のデータに
					gsub("%" i, $i, str)
					break
				}
				else {
					# テンプレートに置換ラベルがない場合は置換済みのテンプレート出力
					printf("%s\n", str)
					str = template[++l]
				}
			}
		}
		# テンプレート出力
		printf("%s\n", str)
	  }' $3
else
	  awk 'BEGIN{
		# データ読み込み
		while(getline < "'$2'" > 0)
			for(i=1; i<=NF; i++){
				data[++cnt] = $i
				# _ をスペースに変換
				gsub("\([^\\\\]\)_", "\1 ", data[cnt])
				gsub("\\\\_", "_", data[cnt])
			}
	  }
	  {
		# テンプレート処理
		for(i=1; i<=NF; i++){
			str = $i
			# テンプレートに置換ラベルがある間ループ
			while(match(str, /%[0-9]*/)){
				# 置換
				n = substr(str, RSTART+1, RLENGTH-1)
				gsub("%" n, data[n], str)
			}
			printf("%s ", str)
		}
		printf("\n")
	  }' $1
fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

#!/bin/sh

if [ "$1" = "-l" ]

then

awk 'BEGIN{

# テンプレート読み込み

while(getline < "'$2'" > 0)

template[++l] = $0

}

{

# データ処理

l = 1

str = template[l]

for(i=1; i<=NF; i++){

# _ をスペースに変換

gsub("$[^\\\\]$_", "\1 ", $i)

gsub("\\\\_", "_", $i)

while(1){

if(index(str, "%" i)){

# テンプレートに置換ラベルがある場合は置換して次のデータに

gsub("%" i, $i, str)

break

}

else {

# テンプレートに置換ラベルがない場合は置換済みのテンプレート出力

printf("%s\n", str)

str = template[++l]

}

# テンプレート出力

printf("%s\n", str)

}' $3

else

awk 'BEGIN{

# データ読み込み

while(getline < "'$2'" > 0)

for(i=1; i<=NF; i++){

data[++cnt] = $i

# _ をスペースに変換

gsub("$[^\\\\]$_", "\1 ", data[cnt])

gsub("\\\\_", "_", data[cnt])

}

{

# テンプレート処理

for(i=1; i<=NF; i++){

str = $i

# テンプレートに置換ラベルがある間ループ

while(match(str, /%[0-9]*/)){

# 置換

n = substr(str, RSTART+1, RLENGTH-1)

gsub("%" n, data[n], str)

}

printf("%s ", str)

}

printf("\n")

}' $1

fi

基本的な機能は全て awk(1) の組み込み関数で実装しました。
通常モードでは、 awk(1) の BEGIN 処理でデータを全て読み込み配列 data に格納した後で _ の置換処理を行っています。
メイン処理ではテンプレートファイルを読み込み、 match 関数を利用して %数字のラベルを探して gsub 関数で置換しています。

行モードでは、 BEGIN 処理でテンプレートを全て読み込みハッシュ template に格納しています。
メイン処理では、データを読み込み index 関数を利用して %数字のラベルが存在する間テンプレートを置換します。
テンプレートに数字のラベルが見付からない場合は、テンプレートの次の行をハッシュ template から取得して処理を続けます。

今回紹介した Tukubai コマンドの中では、これが一番多機能なコマンドでした。非常に複雑で多機能なので、通常モードと行モードの基本的なテンプレート置換機能しか実装しておらず、-l オプションのラベル指定、-h オプションによる階層構造テンプレートなどは実装していません。

self

selfとは

入力データ(ファイルや標準出力)の指定されたフィールドのみを出力します。

$ cat << EOF | self 4 5 2 
01 埼玉県 01 さいたま市 RomaSaitama
01 埼玉県 02 川越市 RomaKawagoe
01 埼玉県 03 熊谷市 RomaKumagaya
02 東京都 04 新宿区 RomaShinjuku
02 東京都 06 港区 RomaMinato
04 神奈川県 13 横浜市 RomaYokohama
EOF
さいたま市 RomaSaitama 埼玉県
川越市 RomaKawagoe 埼玉県
熊谷市 RomaKumagaya 埼玉県
新宿区 RomaShinjuku 東京都
港区 RomaMinato 東京都
横浜市 RomaYokohama 神奈川県

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ cat << EOF | self 4 5 2

01 埼玉県 01 さいたま市 RomaSaitama

01 埼玉県 02 川越市 RomaKawagoe

01 埼玉県 03 熊谷市 RomaKumagaya

02 東京都 04 新宿区 RomaShinjuku

02 東京都 06 港区 RomaMinato

04 神奈川県 13 横浜市 RomaYokohama

EOF

さいたま市 RomaSaitama 埼玉県

川越市 RomaKawagoe 埼玉県

熊谷市 RomaKumagaya 埼玉県

新宿区 RomaShinjuku 東京都

港区 RomaMinato 東京都

横浜市 RomaYokohama 神奈川県

フィールドの指定時のオプションで、開始文字と文字列長が指定できます。
例えば 4.3 とした場合は第 4 フィールドの 3 文字目から出力され、5.5.4 とした場合は第 5 フィールドの 5 文字目から 2 文字が出力されます。
マルチバイトの文字の場合、開始文字と文字列長はそれぞれ 1 文字を 2 として計算する必要があり、
マルチバイト文字を文字の中間で分割する様な指定された場合はエラーとなります。

$ cat << EOF | self 4.3 5.5.4 2 
01 埼玉県 01 さいたま市 RomaSaitama
01 埼玉県 02 川越市 RomaKawagoe
01 埼玉県 03 熊谷市 RomaKumagaya
02 東京都 04 新宿区 RomaShinjuku
02 東京都 06 港区 RomaMinato
04 神奈川県 13 横浜市 RomaYokohama
EOF
いたま市 Sait 埼玉県
越市 Kawa 埼玉県
谷市 Kuma 埼玉県
宿区 Shin 東京都
区 Mina 東京都
浜市 Yoko 神奈川県

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ cat << EOF | self 4.3 5.5.4 2

01 埼玉県 01 さいたま市 RomaSaitama

01 埼玉県 02 川越市 RomaKawagoe

01 埼玉県 03 熊谷市 RomaKumagaya

02 東京都 04 新宿区 RomaShinjuku

02 東京都 06 港区 RomaMinato

04 神奈川県 13 横浜市 RomaYokohama

EOF

いたま市 Sait 埼玉県

越市 Kawa 埼玉県

谷市 Kuma 埼玉県

宿区 Shin 東京都

区 Mina 東京都

浜市 Yoko 神奈川県

フィールド指定の 0 は全フィールドを表します。
フィールド指定で n/m (n と m はそれぞれ整数) とすることで n 番目から m 番目のフィールドを出力できます。
フィールド指定の NF は現在行のフィールド数に置き換えられ NF-3 (最後から3番目のフィールド) や 2/NF などの利用が可能です。

-d オプションは引数で指定した文字列を区切ることができます。

$ self -d 1.2.3 "123456789"
234

1 2	$ self -d 1.2.3 "123456789" 234

selfを作ってみよう

#!/bin/sh
awk -v "args=$*" '
 	 BEGIN{
		# フィールド指定を配列に格納
		num = split(args, field)
 	 }
	 {
		# 指定されたフィールド数だけループ
		for(i=1; i<=num; i++){
			# フィールド指定を取得
			f = field[i]
			# NF をフィールド数に置換
			sub(/NF/, NF, f)
			# NF-n 形式
			if(match(f, /-/)){
				split(f, e, "-")
				printf("%s ", $(e[1] - e[2]))
			}
			# m/n 形式
			else if(match(f, /\//)){
				n = split(f, e, "/")
				for(j=e[1]; j<=e[2]; j++)
					printf("%s ", $j)
			}
			# m.n.p 形式
			else if(match(f, /\..*\./)){
				split(f, e, ".")
				printf("%s ", substr($e[1], e[2], e[3]))
			}
			# m.n 形式
			else if(match(f, /\./)){
				split(f, e, ".")
				printf("%s ", substr($e[1], e[2]))
			}
			else
				printf("%s ", $f)
		}
		printf("\n")
	 }'

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

#!/bin/sh

awk -v "args=$*" '

BEGIN{

# フィールド指定を配列に格納

num = split(args, field)

}

{

# 指定されたフィールド数だけループ

for(i=1; i<=num; i++){

# フィールド指定を取得

f = field[i]

# NF をフィールド数に置換

sub(/NF/, NF, f)

# NF-n 形式

if(match(f, /-/)){

split(f, e, "-")

printf("%s ", $(e[1] - e[2]))

}

# m/n 形式

else if(match(f, /\//)){

n = split(f, e, "/")

for(j=e[1]; j<=e[2]; j++)

printf("%s ", $j)

}

# m.n.p 形式

else if(match(f, /\..*\./)){

split(f, e, ".")

printf("%s ", substr($e[1], e[2], e[3]))

}

# m.n 形式

else if(match(f, /\./)){

split(f, e, ".")

printf("%s ", substr($e[1], e[2]))

}

else

printf("%s ", $f)

}

printf("\n")

}'

self コマンド自体が awk(1) と似ているので、多少冗長になってしまいましたが awk(1) の機能だけで殆ど実装できました。フィールド指定、NF による相対的なフィールド指定、NF からの相対位置による指定、n/m 指定などが動作しています。
ただし OS X 標準の awk(1) はマルチバイト文字には対応していないのでマルチバイト文字を扱うことができません。
Linux で標準的に利用されている GNU awk の場合はマルチバイト文字に対応していますので、今回作成した self コマンドも正しく動作しています。

（次ページに続く）

もしインターネットの１秒が１年だったら第1回（vol.47掲載）

投稿日：2017.05.16　｜　カテゴリー：　記事

written by hakatashi・Mine02C4

編注：本記事は「SunPro 2016 技術書典」で発表された記事に説明・イラストを追加し、シェルマガvol.47に掲載したものです。
以下リンク先で、オリジナル版の全文が公開されています。
https://sunpro.io/techbookfest/

インターネットが日本中のあらゆる人間に行き渡るようになってから、すでに10年単位の時間が経過しています。今日においてインターネットを支えるネットワーク技術が重要であることは言うまでもありませんが、実際にネットワークでどのタイミングで何が起こり、どれくらいの時間が費やされるのかということを身を持って体感している人は、たとえネットワークに精通している人でも少ないのではないでしょうか？この記事では、1 秒というわずかな時間を1年にまで拡大し、ネットワーク上で何が起こっているかを人間スケールでざっくりと解説していきます。

はじめに

こんにちは。先号まで石川啄木を蘇らせようとしていた博多市(@hakatashi) です。今回から、2016年の技術書典にSunProとして発表した「インターネットの1秒がもし1年だったら」というだいぶ抽象的で怪しい記事を、シェルスクリプトマガジン向けに再構成してお届けします。
インターネットというのは光の速さを身をもって感じることができるメディアです。先日、Hiraku Nakanoさんの「composerの遅さをまじめに考える」というスライド^*1を拝見したのですが、そこではPHPのパッケージマネージャーであるcomposerが遅い原因として、「光の速さが遅すぎる」という理由が挙げられていました。
ユニークな考え方ですが言われてればたしかに道理で、日本からアメリカのサーバーまでハンドシェイクで何度も往復していると、確かに光といえど100ミリ秒単位で時間を浪費しています。
サーバーが近ければ通信は早いというのは誰もが知っていることですが、光の速度のせいだと言われるとなにやら圧倒されるものがあります。
この記事では、そんなネットワークの微視的な時間スケールについて徹底的に解剖します。一回の通信を解析し、それぞれ時系列順に細かく分解し、それぞれの操作でどれくらいの時間が費やされ、どんなイベントがいつ発生するのかを逐一追っていきたいと思います。
とはいえ、ネットワーク通信における時間経過はミリ秒単位で数えられます。今回は、そんな微細な時間の移り変わりをなるべくわかりやすくするため、通信上の1秒という時間を1年にまで引き伸ばし、約3000万倍の時間スケールでネットワークのイベントを追跡してみます。

*1　http://www.slideshare.net/hinakano/composer-phpstudy

共著者について

本記事の筆頭筆者はhakatashiですが、今回の記事を書くにあたり、同じSunProメンバーでありネットワークスペシャリスト取得者のMine02C4^*2から、企画段階からの多大な協力と大幅な加筆を得ることができました。
ネットワーク知識不足のhakatashiにパケット解析を指南し、本記事では特にTLS 関連の項目の執筆、および全体のレビューを担当しています。共著者として名を連ねていますが、彼の協力なしでは本記事は恐ろしくクオリティの低いものになったであろうことは疑いようがなく、その貢献度に関しては計り知れません。どうぞお見知り置きください。

*2　HP: http://mine02c4.nagoya/, Twitter: @mine_studio

シチュエーション

今回解剖する対象の通信として、HTTPSによる通信をメインに解析しました。ふだん我々がブラウザから毎日使っているプロトコルなのは言うまでもなく、SSL/TLSの処理を挟むので、それなりに面白い結果になるのではないでしょうか。
また、HTTPS通信を行う際に必要となるARPやDNS通信についても述べていきます。さらに、通信を行うサーバーとクライアントの場所ですが、今回は、技術書典の会場でもある東京のインターネット環境から、さくらインターネットが誇る、北海道の石狩データセンターまでの通信を行います。
Googleマップによると、東京から、石狩データセンターがある石狩市新港中央までは1177.3km。光ファイバーに用いられる石英ガラスの屈折率は1.50程度^*3なので、光は約20万km/sでこの距離を移動します。つまり、東京から石狩までの物理的な片道時間は約5.9ミリ秒となります。瞬く間もないほどの時間ですが、時間スケールを1年に引き伸ばすと2日と3時間半もかかります。往復で4日と7時間。石狩までぶらり旅といった感じですね。

*3　光学ガラス材料- シグマ光機株式会社

1秒 → 1年

1秒が1年になった世界の様子をもう少し見てみましょう。
真空中の光は時速34kmで移動します。先ほど出てきた光ファイバー中の光速は時速23km程度になるので、自転車か、休憩しながらのドライブ旅程度の速さになります。ちなみに男子マラソンの世界記録は時速20.6kmです。^*4*5
3GHzのCPUは、こんな世界でも1秒間に95回という高橋名人の6倍のクロックを刻みます。PC3-12800のメモリーの転送速度は、もはやダイアルアップ接続よりも遥かにナローバンドですが、最大で1秒間に3200ビットの情報を読み出すことができます。

*4　2014年ベルリンマラソンのデニス・キメット選手の記録、2時間2分57秒より。
*5　ただし、この速度で走行するとこの世界では体重が26% 増えるのでオススメしない。

制約など

今回パケットを解析する上で、話を簡便化するためにいくつかの制約を加えています。
● DNSのシステムを明確に示すため、ローカルホストにDNSサーバーを置き、そこからリクエストのたびにルートDNSサーバーからアドレスを引いています。
● 複雑かつ時間がかかりすぎるため、ネームサーバーでのDNSSECの検証処理は無効化しています。
● SSL/TLSの証明書検証処理は無効化しています。

測定環境

測定には、ラップトップマシン上のUbuntuの仮想環境を使用しました。一回の測定ごとにDNSキャッシュとARPキャッシュをクリアし、なるべくクリーンな状態で測定を行いました。
また、先程も述べたとおりDNSサーバーはローカルホストに設置し、そこから外部に向けてアドレスを引くようにしました。
サーバーは先ほど述べたさくらの石狩データセンターへのアクセスを確実に測定するため、今回の記事のためにさくらVPSの石狩リージョンのサーバーを調達しました。OSはさくらVPSの初期OSであるCentOS 6.8で、デフォルトのApache 2.2.15をほとんどそのまま使用しました。SSL は自己署名証明書で通信し、証明書の検証は無効化してあります。
クライアントは、Windows上の仮想マシンのUbuntu 14.04.4を用いました。クライアントアプリケーションはcURLを用いています。ネームサーバーはローカルホストにBIND 9.9.5を立て、キャッシュを無効化した上でルートサーバーからアドレスを引くよう設定してあります。
通信内容は、100KB(102400 バイト)のバイナリファイルをGETリクエストで取得するもので、HTTPパラメータはほぼcURLのデフォルトを使用しています。
パケットキャプチャはクライアント側とサーバー側で同時に行い、tcpdumpで同じ通信を2度キャプチャして解析しています。時刻に関しては毎度NTPで時刻補正しましたが精度が得られなかったのでサーバー側とクライアント側の測定値を見て適当に補正を行いました。
今回記事中で使用した数字は、以上の条件のもとに行った10回の測定結果の平均値をもとにしています。

サーバーちゃんとクライアントちゃん

サーバーちゃん　　クライアントちゃん

今回、せっかく時間軸を人間スケールで語るので、通信処理の登場人物も人間という体で解説していきます。
この話の主人公は「クライアントちゃん」と「サーバーちゃん」です。クライアントちゃんは東京で悠々とした生活を送っている普通の女の子であり、趣味は暗号と文通です。一方サーバーちゃんは石狩のデータセンターで、ひしめき合うたくさんのサーバーとともに、Webサーバーとして多忙な毎日を送っています。
こんな対称的な2人が、今回は年明けと同時に通信を開始します。さらに、通信は手紙のやり取り、IPアドレスは住所、ルーターは郵便ポスト……というように、適宜シチュエーションに合わせた読み替えを行っていきます。あくまで例えですので、あまり正確ではないかもしれませんが、今回の目的はあくまで通信処理の全貌をふわっと理解することなので、あまり厳密に考えず、空っぽの頭で読んでください。
また、今回解説する通信処理の概略を、簡単なシーケンスダイアグラムで示します。通信処理の主役は情報をやり取りするサーバーちゃんとクライアントちゃんなのですが、第1回は2人の通信が開始するまでの準備作業が主となり、サーバーちゃんはまだ登場しません。インターネット通信において目的のサーバーのアドレスを見つけるためにどのような処理が行われているのかを一段階ずつ検証していきます。

それでは、クライアントちゃんとサーバーちゃんの通信の始まりです。

ルーターのアドレス解決

1月1日午前0時0分　ARPリクエスト送信

あけましておめでとうございます。NHKの「ゆく年くる年」を見ながらインターネットの年が明けます。
この瞬間、東京でまったりと紅白歌合戦を見ていたクライアントちゃんは、石狩にいるサーバーちゃんに聞きたいことがあるのを思い出しました。長い長い通信の始まりです。
さっそくクライアントちゃんはサーバーちゃんに手紙を書くことにしました。
クライアントちゃんは何もわかりません。郵便ポスト(ルーター) の場所も、サーバーちゃんの住所(IPアドレス) も、いつも使っていた住所録(DNSサーバー) の場所も覚えていません。
キャッシュを削除したクライアントちゃんは記憶を失ってしまったのです。
覚えているのは、ただ石狩にいるはずのサーバーちゃんのことだけ……。
困ったクライアントちゃんは、まずは郵便ポスト(ルーター) を探すことにしました。家の中や向こう三軒両隣のことならともかく、遠く石狩に住むサーバーちゃんに手紙を届けるには、何よりポストがなければ話が始まりません。
クライアントちゃんはもうネットワークに接続しているので、ルーターのIPアドレスはすでに分かっています。しかし実際にルーターと通信するには、ルーターのMACアドレスが必要です。これを引くために、ARP（Address Resolution Protocol）と呼ばれるプロトコルを用います。
ARPリクエストはIPアドレスに対応するMACアドレスを検索するリクエストです。MACアドレスのプロードキャストアドレス(FF:FF:FF:FF:FF:FF) に向けて発信することで、同一ネットワーク内のすべての機器にこのリクエストを送信することができます。クライアントちゃんは街中に響く声でポストの場所を尋ねました。

「郵便ポストはどこですかぁぁぁぁ？？！！」

1月1日午前3時26分　ARPレスポンス受信

いったい今何時だと思っているんでしょうか。クライアントちゃんの声は街中に響き渡り、近隣住民からたいへん大目玉を食らいましたが、努力の甲斐あって、3時間半後に親切な人がポストの場所を教えてくれました。
ARPは、ブロードキャストでネットワーク全体に配信されたイーサネットフレームに対して、尋ねられているIPアドレスが自分のものであればMACアドレスを応答するというシンプルな仕組みで動作します。
今回は事前にARPキャッシュを削除してから通信を行ったので、通信前に必ずARPの問い合わせが走るようにして計測したのですが、そもそもARPは頻繁にキャッシュを消去します。^*6クライアントちゃんはとても忘れっぽいのです。

*6　Ubuntu の場合、キャッシュの有効時間は15 分程度。

DNS解決

1月1日午前5時7分 DNSクエリ送信 1回目

親切なおじさんのおかげで、クライアントちゃんは郵便ポストの場所を知ることができました。
またすぐ忘れてしまうのですが、この世界では約900年後のことなので、特に気にすることはありません。
となると次にクライアントちゃんが知るべきはサーバーちゃんの住所(=IPアドレス) です。郵便ポストを見つけても相手の住所がわからないと手紙は送れません。サーバーちゃんの住所を知るために、クライアントちゃんはルートサーバーに住所を問い合わせることにしました。
電話番号に電話番号問い合わせサービスがあるように、ネットワークの世界にも、ドメイン名から相手のアドレスを問い合わせるためのDNS（Domain Name Service）があります。
電話番号の場合は104番という番号を知っていれば他の番号を問い合わせることができます。
インターネットにおける“104”は、世界に13個存在するルートサーバーのアドレスです。今回は、13個の中で唯一日本の団体が管理している、Mルートサーバーに問い合わせるようにルートサーバーの設定を変更しています。^*7
サーバーちゃんの住所を一秒でも早く正確に知りたいクライアントちゃんは、世界中に数あるDNSサーバーの中でも最も権威あるルートサーバーに一筆したためることにしました。あらゆるキャッシュを削除したクライアントちゃんも、一番大事なルートサーバーの住所は覚えています。
あれこれ悩んで手紙を書き、ようやく完成したのはそれから1時間半後のことでした。早朝の冷たい冬風が骨身に染みます。クライアントちゃんはコートを厚めに羽織ってポストに手紙を投函しに行きました。
一刻も早く返事が帰ってくることを願って……。

「うぅっ、さぶっ。早くお返事来るといいなぁ」

*7　もっとも、ルートサーバーはクラスタ構成になっており国単位で分散しているため、必ずしも問い合わせたマシンが日本に存在するかどうかは保証されないのですが…。

1月14日午前3時57分 DNSレスポンス受信 1回目

最初に手紙を送ってから2週間が経過しました。冬休みも終わって正月気分もようやく抜けてくる頃です。もうこの時点で直接会いに行ったほうが手っ取り早いんじゃないかという気がしますが、石狩は遠いのです。そんな気軽に会いに行けないのです。たぶん。

ともあれ、ルートサーバーからようやく返事が帰ってきました。郵便局が怠慢なのかルートサーバーがお役所仕事をしてるのか知りませんが、とにかくこれでサーバーちゃんの住所を知ることができた……というわけではありません。
ルートサーバーは世界中のすべてのマシンのIPアドレスを記録しているわけではありません。
ドメイン名を問い合わせられたDNSサーバーは、自らが委任するDNSゾーンのネームサーバーの情報を返します。今回問い合わせたドメイン名はさくらのVPSサーバーにデフォルトで割り当てられたドメイン^*8なので、ルートサーバーはjpサブドメイン^*9のネームサーバー^*10を返してきました。つまりjpドメインのことはjpドメインの担当者に聞けということです。

「えー……」

*8　.vs.sakura.ne.jp で終わるドメイン名
*9　.jp はTLD(Top Level Domain) なのでサブドメインと呼んでいいか微妙ですが……
*10　a.dns.jp, b.dns.jp, c.dns.jp, d.dns.jp, e.dns.jp, f.dns.jp, g.dns.jp の7 つ

1月14日午前9時52分　DNSクエリ送信 2回目

jp ドメインの担当者というのは要はJPRS（日本レジストリサービス）のことです。サーバーちゃんの住所を聞き出す手がかりを得たクライアントちゃんは、夜が明けるのを待ってから今度はJPRSのDNSサーバーに対して手紙を書きました。
実を言うと、jpドメインのネームサーバーを管理しているのはJPRSその人ですが、実際の運用は、JPRSを含めた5つの独立した組織によって行われています。これはルートサーバーが世界に13個あるのと同じく、ネームサーバーがダウンした際のリスクを可能な限り最小限に抑えるためです。
2 回目のDNSレイヤーの内容は、トランザクションIDを除いて前回ルートサーバーに対して送ったのと全く同じ内容です。DNSはなるべく高速に動作するように簡明に設計されているため、このようにパケットの内容を容易に再利用できるようになっています。決してクライアントちゃんがサボっているわけではありません。

1月27日午後2時30分 DNSレスポンス受信 2回目

ふたたび待つこと2週間。すでに1月が終わりに近づいてきました。
クライアントちゃんの元にJPRSからの返信が届きました。サーバーちゃんの住所はまだわかりません。今度はsakura.ne.jpの権威サーバーである、さくらインターネットのネームサーバー^*11の情報が返ってきました。

「……またかよ」

ここに来てようやくさくらインターネットの影に辿り着きました。サーバーちゃんの住所ゲットまであと一息です。

*11 　ns1.dns.ne.jp, ns2.dns.ne.jp

1月27日午後6時56分　DNSクエリ送信3回目

同じやり取りも3回繰り返すと飽きてしまいますね。けれどクライアントちゃんはサーバーちゃんに手紙を届けるために、めげずにDNSのパケットを送り続けます。今度は先ほど入手したさくらインターネットのネームサーバーの住所に対して、みたびサーバーちゃんの住所を尋ねる手紙を出します。
ところで、先ほどからクライアントちゃんは気軽にあちこちにDNSパケットを送ったり受け取ったりしていますが、これはDNSがUDPプロトコルの上で動作しているからです^*12。UDPは、後ほど解説するTCPと異なり、相手のマシンとの接続を確立する必要がないため、気軽に任意のアドレスにいきなりデータを送りつけることができます。
逆に言うと、TCPのような再送要求やエラー訂正などの機能を持たないため、伝送経路のどこかでパケットが損失した場合、クライアントちゃんは返事を待ちぼうけということになってしまいます。
もっとも、それもタイムアウトするまでですが。

*12　DNS自体はTCP上でも動作することが義務付けられています。

2月10日午前9時35分 DNSレスポンス受信 3回目

2月に突入しました。幸い3度目のクエリも待って待って待ちぼうけという事にはならず、ポストに投函してから2週間経って再び返事が帰ってきました。そこには待ち望んでいたサーバーちゃんの住所がくっきりと書かれています。
これにて名前解決完了。ようやくサーバーちゃんに対してパケットを送りつけることができるようになります。もうあちこちのネームサーバーとパケットをやりとりする必要はありません。年が明けてから41日間、実時間にして110ミリ秒が経過しました。この調子で年内にサーバーちゃんとの通信を終えることができるのでしょうか。クライアントちゃんの通信はまだまだこれからです。

「この続きはシェルマガvol.48、またはオリジナル版掲載サイトを見てねっ！」

本記事掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

漢のUNIX　ライブラリをつくってみよう！　#その3（vol.46掲載）

投稿日：2017.05.9　｜　カテゴリー：　記事

著者：後藤大地

今回は分割したファイルが実際にどのように処理され、最終的にバイナリ形式の実装ファイルに変換されるのかといった過程を、もうちょっと詳しく紹介していこうと思う。実際にどのように処理が進むのか知ることで、コーディング中の頭の中にどのように処理されるのか地図が浮かんでくるようになり、より効率が良く見通しの良いソースコードを記述できるようになる。その内側を調べていこう。

記事本文掲載のシェルスクリプトマガジンvol.46は以下リンク先でご購入できます。

% tree
.
|--?Makefile
|--?func.c
`--?main.c

0 directories, 3 files
%

1

2

3

4

5

6

7

8

9

% tree

.

|--?Makefile

|--?func.c

`--?main.c

0 directories, 3 files

%

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

int
main(int argc, char *argv[])
{
        return EX_OK;
}

1

2

3

4

5

6

7

8

9

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

int

main(int argc, char *argv[])

{

return EX_OK;

}

#include <stdio.h>

int
func()
{
        printf("func is called.\n");
        
        return 0;
}

1

2

3

4

5

6

7

8

9

#include <stdio.h>

int

func()

{

printf("func is called.\n");

return 0;

}

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    cc -o main.o -c main.c

clean:
    rm -f func.o main.o

1

2

3

4

5

6

7

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

cc -o main.o -c main.c

clean:

rm -f func.o main.o

% make
cc -o func.o -c func.c
cc -o main.o -c main.c
% ls -l
total 20
-rw-r--r--  1 daichi  staff    82 Dec 14 16:48 Makefile
-rw-r--r--  1 daichi  staff    78 Dec 14 16:32 func.c
-rw-r--r--  1 daichi  staff  1224 Dec 14 16:49 func.o
-rw-r--r--  1 daichi  staff   114 Dec 14 16:30 main.c
-rw-r--r--  1 daichi  staff   944 Dec 14 16:49 main.o
% file func.o
func.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped
% file main.o
main.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

% make

cc -o func.o -c func.c

cc -o main.o -c main.c

% ls -l

total 20

-rw-r--r-- 1 daichi staff 82 Dec 14 16:48 Makefile

-rw-r--r-- 1 daichi staff 78 Dec 14 16:32 func.c

-rw-r--r-- 1 daichi staff 1224 Dec 14 16:49 func.o

-rw-r--r-- 1 daichi staff 114 Dec 14 16:30 main.c

-rw-r--r-- 1 daichi staff 944 Dec 14 16:49 main.o

% file func.o

func.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped

% file main.o

main.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped

%

% readelf -r -s func.o

Relocation section with addend (.rela.text):
r_offset     r_info       r_type              st_value         st_name + r_addend
00000000000a 000300000001 R_X86_64_64         0000000000000000 .rodata.str1.1 + 0
000000000015 000500000002 R_X86_64_PC32       0000000000000000 printf + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 6 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS func.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000     0 SECTION LOCAL  DEFAULT    4
     4: 0000000000000000    38 FUNC    GLOBAL DEFAULT    2 func
     5: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND printf
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

% readelf -r -s func.o

Relocation section with addend (.rela.text):

r_offset r_info r_type st_value st_name + r_addend

00000000000a 000300000001 R_X86_64_64 0000000000000000 .rodata.str1.1 + 0

000000000015 000500000002 R_X86_64_PC32 0000000000000000 printf + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 6 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS func.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 0 SECTION LOCAL DEFAULT 4

4: 0000000000000000 38 FUNC GLOBAL DEFAULT 2 func

5: 0000000000000000 0 NOTYPE GLOBAL DEFAULT UND printf

%

% readelf -r -s main.o

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 4 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000    22 FUNC    GLOBAL DEFAULT    2 main
%

1

2

3

4

5

6

7

8

9

10

11

12

13

% readelf -r -s main.o

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 4 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 22 FUNC GLOBAL DEFAULT 2 main

%

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

int
main(int argc, char *argv[])
{
        func(); /* ← この行を追加 */

        return EX_OK;
}

1

2

3

4

5

6

7

8

9

10

11

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

int

main(int argc, char *argv[])

{

func(); /* ← この行を追加 */

return EX_OK;

}

% make
cc -o func.o -c func.c
cc -o main.o -c main.c
main.c:8:2: warning: implicit declaration of function 'func' is invalid in C99
      [-Wimplicit-function-declaration]
        func();
        ^
1 warning generated.
%

1

2

3

4

5

6

7

8

9

10

% make

cc -o func.o -c func.c

cc -o main.o -c main.c

main.c:8:2: warning: implicit declaration of function 'func' is invalid in C99

[-Wimplicit-function-declaration]

func();

^

1 warning generated.

%

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    # 定義が見つからない関数は無視してコンパイル
    cc -Wno-implicit-function-declaration \
       -o main.o -c main.c

clean:
    rm -f func.o main.o

1

2

3

4

5

6

7

8

9

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

# 定義が見つからない関数は無視してコンパイル

cc -Wno-implicit-function-declaration \

-o main.o -c main.c

clean:

rm -f func.o main.o

% make
cc -o func.o -c func.c
cc -Wno-implicit-function-declaration  -o main.o -c main.c
%

1

2

3

4

5

% make

cc -o func.o -c func.c

cc -Wno-implicit-function-declaration -o main.o -c main.c

%

% readelf -r -s main.o

Relocation section with addend (.rela.text):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000019 000300000002 R_X86_64_PC32       0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 5 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND func
     4: 0000000000000000    42 FUNC    GLOBAL DEFAULT    2 main
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

% readelf -r -s main.o

Relocation section with addend (.rela.text):

r_offset r_info r_type st_value st_name + r_addend

000000000019 000300000002 R_X86_64_PC32 0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 5 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 0 NOTYPE GLOBAL DEFAULT UND func

4: 0000000000000000 42 FUNC GLOBAL DEFAULT 2 main

%

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    # 定義が見つからない関数は無視してコンパイル
    cc -Wno-implicit-function-declaration \
       -o main.o -c main.c
    # ライブラリ等をリンクして実行ファイルを生成
    cc -o a.out main.o func.o

clean:
    rm -f a.out func.o main.o

1

2

3

4

5

6

7

8

9

10

11

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

# 定義が見つからない関数は無視してコンパイル

cc -Wno-implicit-function-declaration \

-o main.o -c main.c

# ライブラリ等をリンクして実行ファイルを生成

cc -o a.out main.o func.o

clean:

rm -f a.out func.o main.o

% make
cc -o func.o -c func.c
cc -Wno-implicit-function-declaration  -o main.o -c main.c
cc -o a.out main.o func.o
% ls
Makefile a.out    func.c   func.o   main.c   main.o
% file a.out
a.out: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked,interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, not stripped
% ./a.out
func is called.
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

% make

cc -o func.o -c func.c

cc -Wno-implicit-function-declaration -o main.o -c main.c

cc -o a.out main.o func.o

% ls

Makefile a.out func.c func.o main.c main.o

% file a.out

a.out: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked,interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, not stripped

% ./a.out

func is called.

%

% ldd main.o
ldd: main.o: not a dynamic ELF executable
% ldd func.o
ldd: func.o: not a dynamic ELF executable
% ldd a.out
a.out:
        libc.so.7 => /lib/libc.so.7 (0x800821000)
%

1

2

3

4

5

6

7

8

9

10

11

% ldd main.o

ldd: main.o: not a dynamic ELF executable

% ldd func.o

ldd: func.o: not a dynamic ELF executable

% ldd a.out

a.out:

libc.so.7 => /lib/libc.so.7 (0x800821000)

%

% readelf -s -r a.out

Relocation section with addend (.rela.plt):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000600a80 000200000007 R_X86_64_JUMP_SLOT  0000000000000000 printf + 0
000000600a88 000300000007 R_X86_64_JUMP_SLOT  0000000000000000 atexit + 0
000000600a90 000400000007 R_X86_64_JUMP_SLOT  0000000000000000 _init_tls + 0
000000600a98 000500000007 R_X86_64_JUMP_SLOT  0000000000000000 exit + 0
Symbol table (.dynsym) contains 9 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
     2: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@FBSD_1.0 (2)
     3: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@FBSD_1.0 (2)
     4: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@FBSD_1.0 (2)
     5: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@FBSD_1.0 (2)
     6: 0000000000600ac0     8 OBJECT  GLOBAL DEFAULT   23 environ
     7: 0000000000600ac8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
     8: 0000000000600aa0     8 OBJECT  GLOBAL DEFAULT   22 __progname
Symbol table (.symtab) contains 69 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000400200     0 SECTION LOCAL  DEFAULT    1
     2: 0000000000400218     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000400248     0 SECTION LOCAL  DEFAULT    3
     4: 0000000000400280     0 SECTION LOCAL  DEFAULT    4
     5: 00000000004002b0     0 SECTION LOCAL  DEFAULT    5
     6: 0000000000400388     0 SECTION LOCAL  DEFAULT    6
     7: 00000000004003e0     0 SECTION LOCAL  DEFAULT    7
     8: 00000000004003f8     0 SECTION LOCAL  DEFAULT    8
     9: 0000000000400418     0 SECTION LOCAL  DEFAULT    9
    10: 0000000000400478     0 SECTION LOCAL  DEFAULT   10
    11: 000000000040048c     0 SECTION LOCAL  DEFAULT   11
    12: 00000000004004e0     0 SECTION LOCAL  DEFAULT   12
    13: 00000000004007d8     0 SECTION LOCAL  DEFAULT   13
    14: 00000000004007e6     0 SECTION LOCAL  DEFAULT   14
    15: 00000000004007f8     0 SECTION LOCAL  DEFAULT   15
    16: 0000000000400828     0 SECTION LOCAL  DEFAULT   16
    17: 00000000006008d0     0 SECTION LOCAL  DEFAULT   17
    18: 00000000006008e0     0 SECTION LOCAL  DEFAULT   18
    19: 00000000006008f0     0 SECTION LOCAL  DEFAULT   19
    20: 00000000006008f8     0 SECTION LOCAL  DEFAULT   20
    21: 0000000000600a68     0 SECTION LOCAL  DEFAULT   21
    22: 0000000000600aa0     0 SECTION LOCAL  DEFAULT   22
    23: 0000000000600ac0     0 SECTION LOCAL  DEFAULT   23
    24: 0000000000000000     0 SECTION LOCAL  DEFAULT   24
    25: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/lib/csu/amd64/crt1.c
    26: 0000000000400218    24 OBJECT  LOCAL  DEFAULT    2 abitag
    27: 0000000000400230    24 OBJECT  LOCAL  DEFAULT    2 crt_noinit_tag
    28: 0000000000400670    83 FUNC    LOCAL  DEFAULT   12 finalizer
    29: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    30: 00000000006008d0     8 OBJECT  LOCAL  DEFAULT   17 __CTOR_LIST__
    31: 00000000006008e0     8 OBJECT  LOCAL  DEFAULT   18 __DTOR_LIST__
    32: 00000000006008f0     0 OBJECT  LOCAL  DEFAULT   19 __JCR_LIST__
    33: 00000000004006d0    53 FUNC    LOCAL  DEFAULT   12 __do_global_dtors_aux
    34: 0000000000600ab8     1 OBJECT  LOCAL  DEFAULT   22 __do_global_dtors_aux.completed
    35: 0000000000600ab0     8 OBJECT  LOCAL  DEFAULT   22 __do_global_dtors_aux.p
    36: 0000000000400710    34 FUNC    LOCAL  DEFAULT   12 frame_dummy
    37: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    38: 00000000006008d8     8 OBJECT  LOCAL  DEFAULT   17 __CTOR_END__
    39: 00000000006008e8     8 OBJECT  LOCAL  DEFAULT   18 __DTOR_END__
    40: 00000000004008c8     4 OBJECT  LOCAL  DEFAULT   16 __FRAME_END__
    41: 00000000006008f0     8 OBJECT  LOCAL  DEFAULT   19 __JCR_END__
    42: 00000000004007a0    54 FUNC    LOCAL  DEFAULT   12 __do_global_ctors_aux
    43: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
    44: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS func.c
    45: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __preinit_array_start
    46: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __fini_array_end
    47: 0000000000600a68     0 OBJECT  LOCAL  HIDDEN    21 _GLOBAL_OFFSET_TABLE_
    48: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __preinit_array_end
    49: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __fini_array_start
    50: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __init_array_end
    51: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __init_array_start
    52: 00000000006008f8     0 OBJECT  LOCAL  HIDDEN    20 _DYNAMIC
    53: 00000000004004e0   390 FUNC    GLOBAL DEFAULT   12 _start
    54: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
    55: 0000000000600aa0     8 OBJECT  GLOBAL DEFAULT   22 __progname
    56: 00000000004007d8     0 FUNC    GLOBAL HIDDEN    13 _fini
    57: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@@FBSD_1.0
    58: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@@FBSD_1.0
    59: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@@FBSD_1.0
    60: 0000000000400770    38 FUNC    GLOBAL DEFAULT   12 func
    61: 0000000000600aa8     8 OBJECT  GLOBAL HIDDEN    22 __dso_handle
    62: 0000000000600ab9     0 NOTYPE  GLOBAL DEFAULT  ABS __bss_start
    63: 0000000000600ac0     8 OBJECT  GLOBAL DEFAULT   23 environ
    64: 0000000000600ac8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
    65: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@@FBSD_1.0
    66: 0000000000600ab9     0 NOTYPE  GLOBAL DEFAULT  ABS _edata
    67: 0000000000400740    42 FUNC    GLOBAL DEFAULT   12 main
    68: 0000000000400478     0 FUNC    GLOBAL HIDDEN    10 _init
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

% readelf -s -r a.out

Relocation section with addend (.rela.plt):

r_offset r_info r_type st_value st_name + r_addend

000000600a80 000200000007 R_X86_64_JUMP_SLOT 0000000000000000 printf + 0

000000600a88 000300000007 R_X86_64_JUMP_SLOT 0000000000000000 atexit + 0

000000600a90 000400000007 R_X86_64_JUMP_SLOT 0000000000000000 _init_tls + 0

000000600a98 000500000007 R_X86_64_JUMP_SLOT 0000000000000000 exit + 0

Symbol table (.dynsym) contains 9 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

2: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@FBSD_1.0 (2)

3: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@FBSD_1.0 (2)

4: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@FBSD_1.0 (2)

5: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@FBSD_1.0 (2)

6: 0000000000600ac0 8 OBJECT GLOBAL DEFAULT 23 environ

7: 0000000000600ac8 0 NOTYPE GLOBAL DEFAULT ABS _end

8: 0000000000600aa0 8 OBJECT GLOBAL DEFAULT 22 __progname

Symbol table (.symtab) contains 69 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000400200 0 SECTION LOCAL DEFAULT 1

2: 0000000000400218 0 SECTION LOCAL DEFAULT 2

3: 0000000000400248 0 SECTION LOCAL DEFAULT 3

4: 0000000000400280 0 SECTION LOCAL DEFAULT 4

5: 00000000004002b0 0 SECTION LOCAL DEFAULT 5

6: 0000000000400388 0 SECTION LOCAL DEFAULT 6

7: 00000000004003e0 0 SECTION LOCAL DEFAULT 7

8: 00000000004003f8 0 SECTION LOCAL DEFAULT 8

9: 0000000000400418 0 SECTION LOCAL DEFAULT 9

10: 0000000000400478 0 SECTION LOCAL DEFAULT 10

11: 000000000040048c 0 SECTION LOCAL DEFAULT 11

12: 00000000004004e0 0 SECTION LOCAL DEFAULT 12

13: 00000000004007d8 0 SECTION LOCAL DEFAULT 13

14: 00000000004007e6 0 SECTION LOCAL DEFAULT 14

15: 00000000004007f8 0 SECTION LOCAL DEFAULT 15

16: 0000000000400828 0 SECTION LOCAL DEFAULT 16

17: 00000000006008d0 0 SECTION LOCAL DEFAULT 17

18: 00000000006008e0 0 SECTION LOCAL DEFAULT 18

19: 00000000006008f0 0 SECTION LOCAL DEFAULT 19

20: 00000000006008f8 0 SECTION LOCAL DEFAULT 20

21: 0000000000600a68 0 SECTION LOCAL DEFAULT 21

22: 0000000000600aa0 0 SECTION LOCAL DEFAULT 22

23: 0000000000600ac0 0 SECTION LOCAL DEFAULT 23

24: 0000000000000000 0 SECTION LOCAL DEFAULT 24

25: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/lib/csu/amd64/crt1.c

26: 0000000000400218 24 OBJECT LOCAL DEFAULT 2 abitag

27: 0000000000400230 24 OBJECT LOCAL DEFAULT 2 crt_noinit_tag

28: 0000000000400670 83 FUNC LOCAL DEFAULT 12 finalizer

29: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

30: 00000000006008d0 8 OBJECT LOCAL DEFAULT 17 __CTOR_LIST__

31: 00000000006008e0 8 OBJECT LOCAL DEFAULT 18 __DTOR_LIST__

32: 00000000006008f0 0 OBJECT LOCAL DEFAULT 19 __JCR_LIST__

33: 00000000004006d0 53 FUNC LOCAL DEFAULT 12 __do_global_dtors_aux

34: 0000000000600ab8 1 OBJECT LOCAL DEFAULT 22 __do_global_dtors_aux.completed

35: 0000000000600ab0 8 OBJECT LOCAL DEFAULT 22 __do_global_dtors_aux.p

36: 0000000000400710 34 FUNC LOCAL DEFAULT 12 frame_dummy

37: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

38: 00000000006008d8 8 OBJECT LOCAL DEFAULT 17 __CTOR_END__

39: 00000000006008e8 8 OBJECT LOCAL DEFAULT 18 __DTOR_END__

40: 00000000004008c8 4 OBJECT LOCAL DEFAULT 16 __FRAME_END__

41: 00000000006008f0 8 OBJECT LOCAL DEFAULT 19 __JCR_END__

42: 00000000004007a0 54 FUNC LOCAL DEFAULT 12 __do_global_ctors_aux

43: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

44: 0000000000000000 0 FILE LOCAL DEFAULT ABS func.c

45: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __preinit_array_start

46: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __fini_array_end

47: 0000000000600a68 0 OBJECT LOCAL HIDDEN 21 _GLOBAL_OFFSET_TABLE_

48: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __preinit_array_end

49: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __fini_array_start

50: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __init_array_end

51: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __init_array_start

52: 00000000006008f8 0 OBJECT LOCAL HIDDEN 20 _DYNAMIC

53: 00000000004004e0 390 FUNC GLOBAL DEFAULT 12 _start

54: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

55: 0000000000600aa0 8 OBJECT GLOBAL DEFAULT 22 __progname

56: 00000000004007d8 0 FUNC GLOBAL HIDDEN 13 _fini

57: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@@FBSD_1.0

58: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@@FBSD_1.0

59: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@@FBSD_1.0

60: 0000000000400770 38 FUNC GLOBAL DEFAULT 12 func

61: 0000000000600aa8 8 OBJECT GLOBAL HIDDEN 22 __dso_handle

62: 0000000000600ab9 0 NOTYPE GLOBAL DEFAULT ABS __bss_start

63: 0000000000600ac0 8 OBJECT GLOBAL DEFAULT 23 environ

64: 0000000000600ac8 0 NOTYPE GLOBAL DEFAULT ABS _end

65: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@@FBSD_1.0

66: 0000000000600ab9 0 NOTYPE GLOBAL DEFAULT ABS _edata

67: 0000000000400740 42 FUNC GLOBAL DEFAULT 12 main

68: 0000000000400478 0 FUNC GLOBAL HIDDEN 10 _init

%

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

int func();  /* ← この行が宣言として追加された行 */

int
main(int argc, char *argv[])
{
        func();

        return EX_OK;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

int func(); /* ← この行が宣言として追加された行 */

int

main(int argc, char *argv[])

{

func();

return EX_OK;

}

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    cc -o main.o -c main.c
    # ライブラリ等をリンクして実行ファイルを生成
    cc -o a.out main.o func.o

clean:
    rm -f a.out func.o main.o

1

2

3

4

5

6

7

8

9

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

cc -o main.o -c main.c

# ライブラリ等をリンクして実行ファイルを生成

cc -o a.out main.o func.o

clean:

rm -f a.out func.o main.o

% make
cc -o func.o -c func.c
cc -o main.o -c main.c
cc -o a.out main.o func.o
% ./a.out
func is called.
%

1

2

3

4

5

6

7

8

9

% make

cc -o func.o -c func.c

cc -o main.o -c main.c

cc -o a.out main.o func.o

% ./a.out

func is called.

%

% readelf -r -s main.o

Relocation section with addend (.rela.text):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000019 000300000002 R_X86_64_PC32       0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 5 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND func
     4: 0000000000000000    42 FUNC    GLOBAL DEFAULT    2 main
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

% readelf -r -s main.o

Relocation section with addend (.rela.text):

r_offset r_info r_type st_value st_name + r_addend

000000000019 000300000002 R_X86_64_PC32 0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 5 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 0 NOTYPE GLOBAL DEFAULT UND func

4: 0000000000000000 42 FUNC GLOBAL DEFAULT 2 main

%

int func();  /* この関数を使うよ、という宣言をヘッダファイルへ移動 */

1	int func(); /* この関数を使うよ、という宣言をヘッダファイルへ移動 */

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

#include "tools.h" /* 作成したヘッダファイルを読み込む */

int
main(int argc, char *argv[])
{
        func();

        return EX_OK;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

#include "tools.h" /* 作成したヘッダファイルを読み込む */

int

main(int argc, char *argv[])

{

func();

return EX_OK;

}

#include <stdio.h>

int
func()
{
        printf("func is called.\n");
        
        return 0;
}

1

2

3

4

5

6

7

8

9

#include <stdio.h>

int

func()

{

printf("func is called.\n");

return 0;

}

% tree .
.
|-- Makefile
|-- func.c
|-- main.c
`-- tools.h

0 directories, 4 files
%

1

2

3

4

5

6

7

8

9

10

% tree .

.

|-- Makefile

|-- func.c

|-- main.c

`-- tools.h

0 directories, 4 files

%

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    cc -o main.o -c main.c
    # ライブラリ等をリンクして実行ファイルを生成
    cc -o a.out main.o func.o

clean:
    rm -f a.out func.o main.o

1

2

3

4

5

6

7

8

9

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

cc -o main.o -c main.c

# ライブラリ等をリンクして実行ファイルを生成

cc -o a.out main.o func.o

clean:

rm -f a.out func.o main.o

typedef signed char __int8_t;
...略...
typedef __va_list va_list;
struct __sbuf {
 unsigned char *_base;
 int _size;
};
...略...
extern FILE *__stdinp;
extern FILE *__stdoutp;
extern FILE *__stderrp;
...略...
int printf(const char * restrict, ...);
...略...

int
func()
{
 printf("func is called.\n");

 return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

typedef signed char __int8_t;

...略...

typedef __va_list va_list;

struct __sbuf {

unsigned char *_base;

int _size;

};

...略...

extern FILE *__stdinp;

extern FILE *__stdoutp;

extern FILE *__stderrp;

...略...

int printf(const char * restrict, ...);

...略...

int

func()

{

printf("func is called.\n");

return 0;

}

typedef signed char __int8_t;
...略...
struct pthread;
...略...
__bitcount16(__uint16_t _x)
{
 _x = (_x & 0x5555) + ((_x & 0xaaaa) >> 1);
 _x = (_x & 0x3333) + ((_x & 0xcccc) >> 2);
 _x = (_x + (_x >> 4)) & 0x0f0f;
 _x = (_x + (_x >> 8)) & 0x00ff;
 return (_x);
}
...略...
extern FILE *__stdinp;
extern FILE *__stdoutp;
extern FILE *__stderrp;
...略...

int func();

int
main(int argc, char *argv[])
{
 func();

 return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

typedef signed char __int8_t;

...略...

struct pthread;

...略...

__bitcount16(__uint16_t _x)

{

_x = (_x & 0x5555) + ((_x & 0xaaaa) >> 1);

_x = (_x & 0x3333) + ((_x & 0xcccc) >> 2);

_x = (_x + (_x >> 4)) & 0x0f0f;

_x = (_x + (_x >> 8)) & 0x00ff;

return (_x);

}

...略...

extern FILE *__stdinp;

extern FILE *__stdoutp;

extern FILE *__stderrp;

...略...

int func();

int

main(int argc, char *argv[])

{

func();

return 0;

}

        .text
        .file   "func.c"
        .globl  func
        .align  16, 0x90
        .type   func,@function
func:                                   # @func
        .cfi_startproc
# BB#0:
        pushq   %rbp
.Ltmp0:
        .cfi_def_cfa_offset 16
.Ltmp1:
        .cfi_offset %rbp, -16
        movq    %rsp, %rbp
.Ltmp2:
        .cfi_def_cfa_register %rbp
        subq    $16, %rsp
        movabsq $.L.str, %rdi
        movb    $0, %al
        callq   printf
        xorl    %ecx, %ecx
        movl    %eax, -4(%rbp)          # 4-byte Spill
        movl    %ecx, %eax
        addq    $16, %rsp
        popq    %rbp
        retq
.Lfunc_end0:
        .size   func, .Lfunc_end0-func
        .cfi_endproc

        .type   .L.str,@object          # @.str
        .section        .rodata.str1.1,"aMS",@progbits,1
.L.str:
        .asciz  "func is called.\n"
        .size   .L.str, 17


        .ident  "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"
        .section        ".note.GNU-stack","",@progbits

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

.text

.file "func.c"

.globl func

.align 16, 0x90

.type func,@function

func: # @func

.cfi_startproc

# BB#0:

pushq %rbp

.Ltmp0:

.cfi_def_cfa_offset 16

.Ltmp1:

.cfi_offset %rbp, -16

movq %rsp, %rbp

.Ltmp2:

.cfi_def_cfa_register %rbp

subq $16, %rsp

movabsq $.L.str, %rdi

movb $0, %al

callq printf

xorl %ecx, %ecx

movl %eax, -4(%rbp) # 4-byte Spill

movl %ecx, %eax

addq $16, %rsp

popq %rbp

retq

.Lfunc_end0:

.size func, .Lfunc_end0-func

.cfi_endproc

.type .L.str,@object # @.str

.section .rodata.str1.1,"aMS",@progbits,1

.L.str:

.asciz "func is called.\n"

.size .L.str, 17

.ident "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"

.section ".note.GNU-stack","",@progbits

        .text
        .file   "main.c"
        .globl  main
        .align  16, 0x90
        .type   main,@function
main:                                   # @main
        .cfi_startproc
# BB#0:
        pushq   %rbp
.Ltmp0:
        .cfi_def_cfa_offset 16
.Ltmp1:
        .cfi_offset %rbp, -16
        movq    %rsp, %rbp
.Ltmp2:
        .cfi_def_cfa_register %rbp
        subq    $32, %rsp
        movl    $0, -4(%rbp)
        movl    %edi, -8(%rbp)
        movq    %rsi, -16(%rbp)
        movb    $0, %al
        callq   func
        xorl    %edi, %edi
        movl    %eax, -20(%rbp)         # 4-byte Spill
        movl    %edi, %eax
        addq    $32, %rsp
        popq    %rbp
        retq
.Lfunc_end0:
        .size   main, .Lfunc_end0-main
        .cfi_endproc


        .ident  "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"
        .section        ".note.GNU-stack","",@progbits

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

.text

.file "main.c"

.globl main

.align 16, 0x90

.type main,@function

main: # @main

.cfi_startproc

# BB#0:

pushq %rbp

.Ltmp0:

.cfi_def_cfa_offset 16

.Ltmp1:

.cfi_offset %rbp, -16

movq %rsp, %rbp

.Ltmp2:

.cfi_def_cfa_register %rbp

subq $32, %rsp

movl $0, -4(%rbp)

movl %edi, -8(%rbp)

movq %rsi, -16(%rbp)

movb $0, %al

callq func

xorl %edi, %edi

movl %eax, -20(%rbp) # 4-byte Spill

movl %edi, %eax

addq $32, %rsp

popq %rbp

retq

.Lfunc_end0:

.size main, .Lfunc_end0-main

.cfi_endproc

.ident "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"

.section ".note.GNU-stack","",@progbits

00000000  7f 45 4c 46 02 01 01 09  00 00 00 00 00 00 00 00  |.ELF............|
00000010  01 00 3e 00 01 00 00 00  00 00 00 00 00 00 00 00  |..>.............|
00000020  00 00 00 00 00 00 00 00  70 01 00 00 00 00 00 00  |........p.......|
00000030  00 00 00 00 40 00 00 00  00 00 40 00 0d 00 0a 00  |....@.....@.....|
00000040  55 48 89 e5 48 83 ec 10  48 bf 00 00 00 00 00 00  |UH..H...H.......|
00000050  00 00 b0 00 e8 00 00 00  00 31 c9 89 45 fc 89 c8  |.........1..E...|
00000060  48 83 c4 10 5d c3 00 00  66 75 6e 63 20 69 73 20  |H...]...func is |
00000070  63 61 6c 6c 65 64 2e 0a  00 00 46 72 65 65 42 53  |called....FreeBS|
00000080  44 20 63 6c 61 6e 67 20  76 65 72 73 69 6f 6e 20  |D clang version |
00000090  33 2e 38 2e 30 20 28 74  61 67 73 2f 52 45 4c 45  |3.8.0 (tags/RELE|
000000a0  41 53 45 5f 33 38 30 2f  66 69 6e 61 6c 20 32 36  |ASE_380/final 26|
000000b0  32 35 36 34 29 20 28 62  61 73 65 64 20 6f 6e 20  |2564) (based on |
000000c0  4c 4c 56 4d 20 33 2e 38  2e 30 29 00 00 00 00 00  |LLVM 3.8.0).....|
000000d0  14 00 00 00 00 00 00 00  01 7a 52 00 01 78 10 01  |.........zR..x..|
000000e0  1b 0c 07 08 90 01 00 00  1c 00 00 00 1c 00 00 00  |................|
000000f0  00 00 00 00 26 00 00 00  00 41 0e 10 86 02 43 0d  |....&....A....C.|
00000100  06 00 00 00 00 00 00 00  00 2e 73 79 6d 74 61 62  |..........symtab|
00000110  00 2e 73 74 72 74 61 62  00 2e 73 68 73 74 72 74  |..strtab..shstrt|
00000120  61 62 00 2e 72 65 6c 61  2e 74 65 78 74 00 2e 64  |ab..rela.text..d|
...略...
000005b0  00 00 00 00 00 00 00 00  00 66 75 6e 63 2e 63 00  |.........func.c.|
000005c0  66 75 6e 63 00 70 72 69  6e 74 66 00 00 00 00 00  |func.printf.....|
000005d0  0a 00 00 00 00 00 00 00  01 00 00 00 05 00 00 00  |................|
000005e0  00 00 00 00 00 00 00 00  15 00 00 00 00 00 00 00  |................|
000005f0  02 00 00 00 0a 00 00 00  fc ff ff ff ff ff ff ff  |................|
00000600  20 00 00 00 00 00 00 00  02 00 00 00 02 00 00 00  | ...............|
00000610  00 00 00 00 00 00 00 00                           |........|
00000618

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

00000000 7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00 |.ELF............|

00000010 01 00 3e 00 01 00 00 00 00 00 00 00 00 00 00 00 |..>.............|

00000020 00 00 00 00 00 00 00 00 70 01 00 00 00 00 00 00 |........p.......|

00000030 00 00 00 00 40 00 00 00 00 00 40 00 0d 00 0a 00 |....@.....@.....|

00000040 55 48 89 e5 48 83 ec 10 48 bf 00 00 00 00 00 00 |UH..H...H.......|

00000050 00 00 b0 00 e8 00 00 00 00 31 c9 89 45 fc 89 c8 |.........1..E...|

00000060 48 83 c4 10 5d c3 00 00 66 75 6e 63 20 69 73 20 |H...]...func is |

00000070 63 61 6c 6c 65 64 2e 0a 00 00 46 72 65 65 42 53 |called....FreeBS|

00000080 44 20 63 6c 61 6e 67 20 76 65 72 73 69 6f 6e 20 |D clang version |

00000090 33 2e 38 2e 30 20 28 74 61 67 73 2f 52 45 4c 45 |3.8.0 (tags/RELE|

000000a0 41 53 45 5f 33 38 30 2f 66 69 6e 61 6c 20 32 36 |ASE_380/final 26|

000000b0 32 35 36 34 29 20 28 62 61 73 65 64 20 6f 6e 20 |2564) (based on |

000000c0 4c 4c 56 4d 20 33 2e 38 2e 30 29 00 00 00 00 00 |LLVM 3.8.0).....|

000000d0 14 00 00 00 00 00 00 00 01 7a 52 00 01 78 10 01 |.........zR..x..|

000000e0 1b 0c 07 08 90 01 00 00 1c 00 00 00 1c 00 00 00 |................|

000000f0 00 00 00 00 26 00 00 00 00 41 0e 10 86 02 43 0d |....&....A....C.|

00000100 06 00 00 00 00 00 00 00 00 2e 73 79 6d 74 61 62 |..........symtab|

00000110 00 2e 73 74 72 74 61 62 00 2e 73 68 73 74 72 74 |..strtab..shstrt|

00000120 61 62 00 2e 72 65 6c 61 2e 74 65 78 74 00 2e 64 |ab..rela.text..d|

...略...

000005b0 00 00 00 00 00 00 00 00 00 66 75 6e 63 2e 63 00 |.........func.c.|

000005c0 66 75 6e 63 00 70 72 69 6e 74 66 00 00 00 00 00 |func.printf.....|

000005d0 0a 00 00 00 00 00 00 00 01 00 00 00 05 00 00 00 |................|

000005e0 00 00 00 00 00 00 00 00 15 00 00 00 00 00 00 00 |................|

000005f0 02 00 00 00 0a 00 00 00 fc ff ff ff ff ff ff ff |................|

00000600 20 00 00 00 00 00 00 00 02 00 00 00 02 00 00 00 | ...............|

00000610 00 00 00 00 00 00 00 00 |........|

00000618

00000000  7f 45 4c 46 02 01 01 09  00 00 00 00 00 00 00 00  |.ELF............|
00000010  01 00 3e 00 01 00 00 00  00 00 00 00 00 00 00 00  |..>.............|
00000020  00 00 00 00 00 00 00 00  58 01 00 00 00 00 00 00  |........X.......|
00000030  00 00 00 00 40 00 00 00  00 00 40 00 0c 00 09 00  |....@.....@.....|
00000040  55 48 89 e5 48 83 ec 20  c7 45 fc 00 00 00 00 89  |UH..H.. .E......|
00000050  7d f8 48 89 75 f0 b0 00  e8 00 00 00 00 31 ff 89  |}.H.u........1..|
00000060  45 ec 89 f8 48 83 c4 20  5d c3 00 00 00 46 72 65  |E...H.. ]....Fre|
00000070  65 42 53 44 20 63 6c 61  6e 67 20 76 65 72 73 69  |eBSD clang versi|
00000080  6f 6e 20 33 2e 38 2e 30  20 28 74 61 67 73 2f 52  |on 3.8.0 (tags/R|
00000090  45 4c 45 41 53 45 5f 33  38 30 2f 66 69 6e 61 6c  |ELEASE_380/final|
000000a0  20 32 36 32 35 36 34 29  20 28 62 61 73 65 64 20  | 262564) (based |
000000b0  6f 6e 20 4c 4c 56 4d 20  33 2e 38 2e 30 29 00 00  |on LLVM 3.8.0)..|
000000c0  14 00 00 00 00 00 00 00  01 7a 52 00 01 78 10 01  |.........zR..x..|
000000d0  1b 0c 07 08 90 01 00 00  1c 00 00 00 1c 00 00 00  |................|
000000e0  00 00 00 00 2a 00 00 00  00 41 0e 10 86 02 43 0d  |....*....A....C.|
000000f0  06 00 00 00 00 00 00 00  00 2e 73 79 6d 74 61 62  |..........symtab|
00000100  00 2e 73 74 72 74 61 62  00 2e 73 68 73 74 72 74  |..strtab..shstrt|
00000110  61 62 00 2e 72 65 6c 61  2e 74 65 78 74 00 2e 64  |ab..rela.text..d|
00000120  61 74 61 00 2e 62 73 73  00 2e 63 6f 6d 6d 65 6e  |ata..bss..commen|
...略...
00000540  00 00 00 00 00 00 00 00  00 6d 61 69 6e 2e 63 00  |.........main.c.|
00000550  6d 61 69 6e 00 66 75 6e  63 00 00 00 00 00 00 00  |main.func.......|
00000560  19 00 00 00 00 00 00 00  02 00 00 00 09 00 00 00  |................|
00000570  fc ff ff ff ff ff ff ff  20 00 00 00 00 00 00 00  |........ .......|
00000580  02 00 00 00 02 00 00 00  00 00 00 00 00 00 00 00  |................|
00000590

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

00000000 7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00 |.ELF............|

00000010 01 00 3e 00 01 00 00 00 00 00 00 00 00 00 00 00 |..>.............|

00000020 00 00 00 00 00 00 00 00 58 01 00 00 00 00 00 00 |........X.......|

00000030 00 00 00 00 40 00 00 00 00 00 40 00 0c 00 09 00 |....@.....@.....|

00000040 55 48 89 e5 48 83 ec 20 c7 45 fc 00 00 00 00 89 |UH..H.. .E......|

00000050 7d f8 48 89 75 f0 b0 00 e8 00 00 00 00 31 ff 89 |}.H.u........1..|

00000060 45 ec 89 f8 48 83 c4 20 5d c3 00 00 00 46 72 65 |E...H.. ]....Fre|

00000070 65 42 53 44 20 63 6c 61 6e 67 20 76 65 72 73 69 |eBSD clang versi|

00000080 6f 6e 20 33 2e 38 2e 30 20 28 74 61 67 73 2f 52 |on 3.8.0 (tags/R|

00000090 45 4c 45 41 53 45 5f 33 38 30 2f 66 69 6e 61 6c |ELEASE_380/final|

000000a0 20 32 36 32 35 36 34 29 20 28 62 61 73 65 64 20 | 262564) (based |

000000b0 6f 6e 20 4c 4c 56 4d 20 33 2e 38 2e 30 29 00 00 |on LLVM 3.8.0)..|

000000c0 14 00 00 00 00 00 00 00 01 7a 52 00 01 78 10 01 |.........zR..x..|

000000d0 1b 0c 07 08 90 01 00 00 1c 00 00 00 1c 00 00 00 |................|

000000e0 00 00 00 00 2a 00 00 00 00 41 0e 10 86 02 43 0d |....*....A....C.|

000000f0 06 00 00 00 00 00 00 00 00 2e 73 79 6d 74 61 62 |..........symtab|

00000100 00 2e 73 74 72 74 61 62 00 2e 73 68 73 74 72 74 |..strtab..shstrt|

00000110 61 62 00 2e 72 65 6c 61 2e 74 65 78 74 00 2e 64 |ab..rela.text..d|

00000120 61 74 61 00 2e 62 73 73 00 2e 63 6f 6d 6d 65 6e |ata..bss..commen|

...略...

00000540 00 00 00 00 00 00 00 00 00 6d 61 69 6e 2e 63 00 |.........main.c.|

00000550 6d 61 69 6e 00 66 75 6e 63 00 00 00 00 00 00 00 |main.func.......|

00000560 19 00 00 00 00 00 00 00 02 00 00 00 09 00 00 00 |................|

00000570 fc ff ff ff ff ff ff ff 20 00 00 00 00 00 00 00 |........ .......|

00000580 02 00 00 00 02 00 00 00 00 00 00 00 00 00 00 00 |................|

00000590

ユニケージ開発手法　コードレビュー　vol.35（vol.46掲載）

投稿日：2017.05.9　｜　カテゴリー：　記事

著者：USP研究所技術研究員青木剛理

今回は、無意識にシェルを書くと計算誤りが発生しやすい、ゼロとヌルの違いについて説明します。

本記事掲載のシェルスクリプトマガジンvol.46は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

#!/bin/bash
#
# 売上集計 <fr> <to> <code...>
#
# 1:集計日（自）
# 2:集計日（至）
# 3-:集計対象の商品コード
#

#######################################
# 初期設定
（中略）

#######################################
# オプション
[ -z "$3" ] && exit 1
day_fr="$1"
isdate $day_fr || exit 1
day_to="$2"
isdate $day_to || exit 1
echo $* | delf 1 2 | tarr | msort key=1 > $tmp-codes

#######################################
# データ取得
cat $lv3d/URIAGE        |
# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価
awk "$day_fr"'<=$1'     |
awk '$1<='"$day_to"     |
cjoin0 key=3 $tmp-codes |
msort key=2@3           > $tmp-data

#############
# マスタ                       ※今回出力対象になる全店舗ｘ全商品の名前つきリスト
cat $tmp-data             |
# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価
self 2 3                  |
cjoin1 key=2 $tbld/SHOHIN |
join1  key=1 $tbld/TENPO  |
# 1:店舗コード 2:店舗名 3:地域コード 4:地域名 5:商品コード 6:商品名
self 1 5 2 3 4 6          > $tmp-output-master
# 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名

#############
# 店舗ごと
cat $tmp-data                             |
# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価
delr 5 "_"                                |
lcalc '$2,$3,$4,$5,$4*$5,$6*$5'           |
# 1:店舗コード 2:商品コード 3:単品価格 4:販売数 5:販売価格 6:原価
sm2 1 2 4 6                               |
# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計
tee $tmp-data-2                           |
lcalc '$1,$2,$4,$3,$4/$3,(1-($5/$4))*100' |
# 1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率
marume 5.2 6.2                            > $tmp-output-ten

#############
# １店舗あたり
cat $tmp-data-2                           |
# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計
msort key=2                               |
sm2 +count 2 2 3 5                        |
# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計
tee $tmp-data-3                           |
lcalc '$1,$2,$4/$2,$3/$2'                 |
# 1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格
marume 3.2 4.2                            > $tmp-output-one

#############
# 全店舗計
cat $tmp-data-3                           |
# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計
lcalc '$1,$4,$3,(1-$5/$4)*100'            |
marume 4.2                                > $tmp-output-all
# 1:商品コード 2:販売価格計 3:販売数計 4:全体利益率


#######################################
# 出力
# $tmp-output-master 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名
# $tmp-output-ten    1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率
# $tmp-output-one    1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格
# $tmp-output-all    1:商品コード 2:販売価格計 3:販売数計 4:全体利益率
（後略）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

#!/bin/bash

#

# 売上集計 <fr> <to> <code...>

#

# 1:集計日（自）

# 2:集計日（至）

# 3-:集計対象の商品コード

#

#######################################

# 初期設定

（中略）

#######################################

# オプション

[ -z "$3" ] && exit 1

day_fr="$1"

isdate $day_fr || exit 1

day_to="$2"

isdate $day_to || exit 1

echo $* | delf 1 2 | tarr | msort key=1 > $tmp-codes

#######################################

# データ取得

cat $lv3d/URIAGE |

# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価

awk "$day_fr"'<=$1' |

awk '$1<='"$day_to" |

cjoin0 key=3 $tmp-codes |

msort key=2@3 > $tmp-data

#############

# マスタ ※今回出力対象になる全店舗ｘ全商品の名前つきリスト

cat $tmp-data |

# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価

self 2 3 |

cjoin1 key=2 $tbld/SHOHIN |

join1 key=1 $tbld/TENPO |

# 1:店舗コード 2:店舗名 3:地域コード 4:地域名 5:商品コード 6:商品名

self 1 5 2 3 4 6 > $tmp-output-master

# 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名

#############

# 店舗ごと

cat $tmp-data |

# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価

delr 5 "_" |

lcalc '$2,$3,$4,$5,$4*$5,$6*$5' |

# 1:店舗コード 2:商品コード 3:単品価格 4:販売数 5:販売価格 6:原価

sm2 1 2 4 6 |

# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計

tee $tmp-data-2 |

lcalc '$1,$2,$4,$3,$4/$3,(1-($5/$4))*100' |

# 1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率

marume 5.2 6.2 > $tmp-output-ten

#############

# １店舗あたり

cat $tmp-data-2 |

# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計

msort key=2 |

sm2 +count 2 2 3 5 |

# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計

tee $tmp-data-3 |

lcalc '$1,$2,$4/$2,$3/$2' |

# 1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格

marume 3.2 4.2 > $tmp-output-one

#############

# 全店舗計

cat $tmp-data-3 |

# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計

lcalc '$1,$4,$3,(1-$5/$4)*100' |

marume 4.2 > $tmp-output-all

# 1:商品コード 2:販売価格計 3:販売数計 4:全体利益率

#######################################

# 出力

# $tmp-output-master 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名

# $tmp-output-ten 1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率

# $tmp-output-one 1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格

# $tmp-output-all 1:商品コード 2:販売価格計 3:販売数計 4:全体利益率

（後略）

機械学習で石川啄木を蘇らせる　最終回（vol.46掲載）

投稿日：2017.04.25　｜　カテゴリー：　記事

written by 高橋光輝

様々なアルゴリズム・機械学習をスマートに組み合わせて未完の短歌の補完を目指した人気連載「機械学習で石川啄木を蘇らせる」。シェルマガでは同人誌から手法を発展させ、新たに記事を書き起こしてもらいました。

連載全体を俯瞰するまとめ回となった最終回を公開します。ぜひお楽しみください！

本連載のもとになった同人誌の内容は、以下のURLから閲覧が可能です。（編集部）
https://sunpro.io/c89/pub/hakatashi/introduction

遂に、機械学習で石川啄木が帰り来れり

こんにちは。高橋光輝（HN:博多市）です。今回は連載「機械学習で石川啄木を蘇らせる」の最終回として、今までに生成した、「啄木の短歌」と「ダミーの短歌」の素性ベクトルをもとに、「啄木らしさ」を学習します。その後前々回作成した「最後の一首」候補の短歌を分類器にかけ、最も「啄木らしさ」の高い一首を、復元された「最後の一首」とします。
さて、前回までの作業で「啄木の短歌」と「ダミーの短歌」の素性ベクトルを抽出し、それぞれの短歌が持つ特徴を100次元のベクトルデータに変換することができました。このように入力データを正規化し形式を揃えることによって、機械学習にとって扱いやすいデータになります。今回は「啄木の短歌」と「ダミーの短歌」を正確に分類できる分類器を作成することによって、擬似的に「啄木らしさ」の学習を行っていきます。
以前お話したとおり、分類問題は機械学習の最も基本的なタスクです。機械学習の草創期から現在に至るまで非常に多くのモデルが提唱されてきました。この連載のもととなった記事では多項ナイーブベイズ分類器を用いて分類を行いましたが、今回の連載では線形サポートベクトルマシンを用いた分類器を使用することにしました。一般に機械学習においてどのようなタスクにどのような手法が向いているのかというのを理論的に示すのは難しく、パラメーターの調整次第でいくらでも性能が変化しうるというのが機械学習の難しい部分です。今回の場合も理論的にどうこうというよりは試行錯誤を重ねたうえでの選択となっていますので、このあたりの説明の足りない点はどうかご容赦ください。

SVMをこのごろ気になる

さて、サポートベクトルマシン、略してSVMというのは少しでも機械学習を齧ったことがある方なら一度は聞いたことのある名前でしょうが、あらためて軽く解説を行いたいと思います。
SVMはおそらく、数ある機械学習のモデルの中でも特に直感的に理解しやすいモデルです。図1のように、ベクトル空間上に分類したい2種類のデータが点在する状況を考えます。これらのデータを元に未知のデータに対して分類を行うには、ベクトル空間のどの部分がどの種類のデータの領域なのかを定める境界面、つまり識別面が必要になります。

図1：SVMによる識別面の設定
SVMはこの識別面を、それぞれのクラス中で最も識別面に近いデータまでの距離、つまりマージンが最大化されるように線を引きます。この識別面の具体的な引き方を計算するには線形代数の知識が必要であるためここでは省略しますが、通常のデータでは入力されたデータからこのような識別面の解を一意に求めることができます。これが線形サポートベクトルマシンにおける「学習」です。
こんな単純なモデルで本当に「啄木らしさ」が学習できるのかと疑問に思うかもしれません。実際、線形SVMによる分類は名前の通り線形であり、非線形な処理を含まないため単体では表現力に乏しいとされています。しかし、今回分類するデータは、word2vecとsentence2vecを用いてベクトルに落とし込む段階ですでに言語の意味論的な部分をベクトル空間上に抽象化していると考えられるでしょう。word2vecによる事前学習を行ったデータがSVMやK-meansなどの比較的単純な手法でも非常に高いスコアを上げることはword2vecを提唱した論文でも示されており、これが今回のケースにも当てはまります。つまり、単語からベクトル空間へのよく学習された写像関係においては、たかだか100程度の次元で言語が持つ複雑な意味論的モデルを十分に表現できるということであり、この点からもword2vecの優秀さを伺うことができます。

SVMにさはりてみるかな

さて、話は脱線しましたが、ここからは実際にSVMを用いて「啄木の短歌」と「ダミーの短歌」を分類する分類器の学習を行いましょう。今回はscikit-learnというライブラリを使用します。scikit-learnは、機械学習の様々なモデルや、機械学習をする上で便利なツールが1つのパッケージに実装したライブラリであり、多種多様な機械学習を手軽に試せるため、機械学習の定番的なライブラリとなっています。一方、速度などの点では他のライブラリにやや劣っていますが、今回は学習するデータ数が比較的少ないため問題にはならないでしょう。
scikit-learnをインストールするために、次のコマンドを打ち込んでください。

$ pip install scikit-learn

1	$ pip install scikit-learn

では、コードを書いていきます。いつも通り、Makefileの最初にリスト1のような行を加えてください。

.PHONY: print-predicted-tanka
print-predicted-tanka: predict_takuboku_tanka.py tanka-dummy-vectors.txt tanka-takuboku-vectors.txt tanka-vectors.txt
	$(PYTHON) $^

1

2

3

.PHONY: print-predicted-tanka

print-predicted-tanka: predict_takuboku_tanka.py tanka-dummy-vectors.txt tanka-takuboku-vectors.txt tanka-vectors.txt

$(PYTHON) $^

そして、predict_takuboku_tanka.pyというファイルを作成し、次のように記述します。

# -*- coding: utf-8 -*-

import sys
import csv
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
import numpy as np

# 引数の数をチェック
if len(sys.argv) != 4:
    print('This program must be called with 4 arguments')
    sys.exit()

# 引数からファイル名を取得
[this_file, dummy_vectors_file, takuboku_vectors_file, tanka_vectors_file] = sys.argv

# ファイルから短歌のベクトルデータを読み取る
dummy_vectors = np.loadtxt(dummy_vectors_file, delimiter=' ')
takuboku_vectors = np.loadtxt(takuboku_vectors_file, delimiter=' ')
tanka_vectors = np.genfromtxt(tanka_vectors_file, delimiter=' ', dtype=None)

# ダミーの短歌と啄木の短歌を結合して入力データとして整形
X = np.concatenate((dummy_vectors, takuboku_vectors))
y = np.concatenate((np.zeros(len(dummy_vectors)), np.ones(len(takuboku_vectors))))

# 学習精度を測るための分類器を用意
pre_classifier = SVC(kernel='linear')

# 5分割交差検定で学習精度を計測
scores = cross_val_score(pre_classifier, X, y, cv=5)

# 計測したスコアを報告
print('SVM Score:', scores.mean())

# 同じパラメータで今度はすべての入力データを用いて学習を行う
classifier = SVC(kernel='linear', probability=True)
classifier.fit(X, y)

# 「最後の一首」候補の短歌をラベルデータとベクトルデータに分割
tanka_vectors_labels = np.array([list(row)[0] for row in tanka_vectors])
tanka_vectors_data = np.array([list(row)[1:] for row in tanka_v
ectors])

# 分類器を用いて学習し、それぞれの「啄木の短歌らしさ」を推定する
proba = classifier.predict_log_proba(tanka_vectors_data)

# 「啄木の短歌らしさ」の高い順に並べる
sorted_proba = np.array(sorted(zip(proba, tanka_vectors_labels), key=lambda r:r[0][1]))

# 上位30件を報告
print('\n'.join(['{0:>2}. {1}'.format(i + 1, p[1].decode("utf-8")) for i, p in enumerate(sorted_proba[:30])]))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

# -*- coding: utf-8 -*-

import sys

import csv

from sklearn.svm import SVC

from sklearn.model_selection import cross_val_score

import numpy as np

# 引数の数をチェック

if len(sys.argv) != 4:

print('This program must be called with 4 arguments')

sys.exit()

# 引数からファイル名を取得

[this_file, dummy_vectors_file, takuboku_vectors_file, tanka_vectors_file] = sys.argv

# ファイルから短歌のベクトルデータを読み取る

dummy_vectors = np.loadtxt(dummy_vectors_file, delimiter=' ')

takuboku_vectors = np.loadtxt(takuboku_vectors_file, delimiter=' ')

tanka_vectors = np.genfromtxt(tanka_vectors_file, delimiter=' ', dtype=None)

# ダミーの短歌と啄木の短歌を結合して入力データとして整形

X = np.concatenate((dummy_vectors, takuboku_vectors))

y = np.concatenate((np.zeros(len(dummy_vectors)), np.ones(len(takuboku_vectors))))

# 学習精度を測るための分類器を用意

pre_classifier = SVC(kernel='linear')

# 5分割交差検定で学習精度を計測

scores = cross_val_score(pre_classifier, X, y, cv=5)

# 計測したスコアを報告

print('SVM Score:', scores.mean())

# 同じパラメータで今度はすべての入力データを用いて学習を行う

classifier = SVC(kernel='linear', probability=True)

classifier.fit(X, y)

# 「最後の一首」候補の短歌をラベルデータとベクトルデータに分割

tanka_vectors_labels = np.array([list(row)[0] for row in tanka_vectors])

tanka_vectors_data = np.array([list(row)[1:] for row in tanka_v

ectors])

# 分類器を用いて学習し、それぞれの「啄木の短歌らしさ」を推定する

proba = classifier.predict_log_proba(tanka_vectors_data)

# 「啄木の短歌らしさ」の高い順に並べる

sorted_proba = np.array(sorted(zip(proba, tanka_vectors_labels), key=lambda r:r[0][1]))

# 上位30件を報告

print('\n'.join(['{0:>2}. {1}'.format(i + 1, p[1].decode("utf-8")) for i, p in enumerate(sorted_proba[:30])]))

ここで、分割交差検定と呼ばれる方法を用いてSVMの精度を測定しています。分類器の精度とはすなわち分類の正確さであり、既知のデータに対してどれだけ正確に分類を行えるかを計測することによって測定できますが、このとき学習に用いたデータを測定に使用しないよう注意が必要です。学習に用いたデータは学習機にとっても既知のデータであり、正確に分類を行えるのはある意味当然であるので、精度測定が不正確になるおそれがあります。そのため、通常はデータセットを学習用のデータとテスト用のデータに分割して使用するのですが、このときの分割の仕方によって精度測定に影響が出る可能性があるため、学習用のデータとテスト用のデータを互いに入れ替えながら何度も測定を行うことがあります。これが分割交差検定です。

図2：5分割交差検定の例

今回の測定では5分割の交差検定を行っています。つまり、入力データの5分の1をテストデータに使用する測定を5回行っているということです。この測定結果は環境や乱数によって多少変動するでしょうが、おおむね97～98%程度の数値が出ると思われます。これはこの連載の元となった記事での93.3%という精度と比較しても非常に高いスコアであり、「啄木の短歌」と「ダミーデータ」との違いがよく学習ができていることが期待されます。
プログラムではその後、あらためてすべての入力データを用いてSVMの学習を行い、本命の「最後の一首」の候補を分類するための分類器を学習します。そして、それが終わったら実際にこれまでの連載で作成してきた「最後の一首」候補の短歌のベクトルデータを分類器に入力し、「啄木の短歌らしさ」の数値を推定します。これによって最もスコアが高かったものが、復元された「啄木の最後の一首」ということになります。

大跨に椽側を歩けば……

長い道のりでしたが、ようやく復元結果の発表です。それではもったいぶらずに発表しましょう。機械学習の力を借りて現代に蘇った石川啄木の最後の一首、その内容はこちらに決定しました。

大跨に椽側を歩けば、
うしなひしをさなき心
寄する日ながし。

……いかがでしょうか? 実のところ生成時に関係するさまざまな環境や乱数によって生成される短歌が異なる可能性があるので、これが唯一の解答というわけではありません。読者の皆さんが試した結果はこれとは異なる可能性があります。それぞれにそれぞれの復元結果があるということです。
「啄木らしさ」が高いと判定された短歌がどのようなものか確認するために、スコアの高かった上位30件を順に見てみましょう。

 1. 大跨に椽側を歩けばうしなひしをさなき心寄する日ながし
 2. 大跨に椽側を歩けば生命が身によりかかり眼閉ぢ眼をとづ
 3. 大跨に椽側を歩けばうしなひしわが来しかたのをかしく悲し
 4. 大跨に椽側を歩けば呆れ喉かなしみたる気自分の主筆さ
 5. 大跨に椽側を歩けばこれ見よと鳴きて走らせし母としたしむ
 6. 大跨に椽側を歩けばこれ見よと入日うつれるかなしき日ながし
 7. 大跨に椽側を歩けばのめる時とつたへと銭のなかのなつかし
 8. 大跨に椽側を歩けばおのづから目さまして見る玩具の機関車
 9. 大跨に椽側を歩けばむなしきつつつき鉢寒き煉瓦何かな
10. 大跨に椽側を歩けば字に四百いひ出でかかり初雪心
11. 大跨に椽側を歩けば煙草のみ考へるわれのこころ冷たし
12. 大跨に椽側を歩けば胸いたみ春の多きこと聞けばおとなし
13. 大跨に椽側を歩けば逃げてゆきしわが来しかたのをかしく悲し
14. 大跨に椽側を歩けばこの前をとづ高きなき出さより眠る
15. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車
16. 大跨に椽側を歩けばおのづから目さませばからだ痛くてみたし
17. 大跨に椽側を歩けばうしなひし草稿の字の読みがたさかな
18. 大跨に椽側を歩けば今日とわかれ読む度ところ従兄ぬ
19. 大跨に椽側を歩けば泣いてゆきしわが来しかたのをかしく悲し
20. 大跨に椽側を歩けば誦しなしの夜目には軽くかろく眺むる
21. 大跨に椽側を歩けばうしなひし大という字の読みがたさかな
22. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車
23. 大跨に椽側を歩けば高く笑ひ身をば寄せたる淡き見覚え
24. 大跨に椽側を歩けばいつ見つつわれよりえらく見ゆる日ながし
25. 大跨に椽側を歩けば煙草かな寝つ起きつし後酒に射し入る
26. 大跨に椽側を歩けば友なみだ垂れ手にためし雪のあけぼの
27. 大跨に椽側を歩けば病人の目さましてやや長きキスをやる
28. 大跨に椽側を歩けばなつかしき降れ年深夜の煙かくしは
29. 大跨に椽側を歩けばかなしきに穿く鳥口を人すこし寝り
30. 大跨に椽側を歩けば住みとるる問ふを見口に力し泣き読む

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

1. 大跨に椽側を歩けばうしなひしをさなき心寄する日ながし

2. 大跨に椽側を歩けば生命が身によりかかり眼閉ぢ眼をとづ

3. 大跨に椽側を歩けばうしなひしわが来しかたのをかしく悲し

4. 大跨に椽側を歩けば呆れ喉かなしみたる気自分の主筆さ

5. 大跨に椽側を歩けばこれ見よと鳴きて走らせし母としたしむ

6. 大跨に椽側を歩けばこれ見よと入日うつれるかなしき日ながし

7. 大跨に椽側を歩けばのめる時とつたへと銭のなかのなつかし

8. 大跨に椽側を歩けばおのづから目さまして見る玩具の機関車

9. 大跨に椽側を歩けばむなしきつつつき鉢寒き煉瓦何かな

10. 大跨に椽側を歩けば字に四百いひ出でかかり初雪心

11. 大跨に椽側を歩けば煙草のみ考へるわれのこころ冷たし

12. 大跨に椽側を歩けば胸いたみ春の多きこと聞けばおとなし

13. 大跨に椽側を歩けば逃げてゆきしわが来しかたのをかしく悲し

14. 大跨に椽側を歩けばこの前をとづ高きなき出さより眠る

15. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車

16. 大跨に椽側を歩けばおのづから目さませばからだ痛くてみたし

17. 大跨に椽側を歩けばうしなひし草稿の字の読みがたさかな

18. 大跨に椽側を歩けば今日とわかれ読む度ところ従兄ぬ

19. 大跨に椽側を歩けば泣いてゆきしわが来しかたのをかしく悲し

20. 大跨に椽側を歩けば誦しなしの夜目には軽くかろく眺むる

21. 大跨に椽側を歩けばうしなひし大という字の読みがたさかな

22. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車

23. 大跨に椽側を歩けば高く笑ひ身をば寄せたる淡き見覚え

24. 大跨に椽側を歩けばいつ見つつわれよりえらく見ゆる日ながし

25. 大跨に椽側を歩けば煙草かな寝つ起きつし後酒に射し入る

26. 大跨に椽側を歩けば友なみだ垂れ手にためし雪のあけぼの

27. 大跨に椽側を歩けば病人の目さましてやや長きキスをやる

28. 大跨に椽側を歩けばなつかしき降れ年深夜の煙かくしは

29. 大跨に椽側を歩けばかなしきに穿く鳥口を人すこし寝り

30. 大跨に椽側を歩けば住みとるる問ふを見口に力し泣き読む

全体としての印象は、「かなしき」「うしなひし」「むなしき」「痛く」「冷たし」といった陰的な形容が目立ちます。この点は非常に興味深いです。以前紹介した復元結果「大跨に椽側を歩けば、板軋む。／かへりけるかな――／道広くなりき。」では「椽側を歩く」という表現から「板軋む」「道広く」といった意味的な共起表現を拾っており、この点で以前の結果は優れていましたが、一方で詩的表現の手段としての言語をあまりにも字句的に捉えすぎているという指摘も受けました。今回の結果は前回よく見られたような「板」や「道」のような前半と関連する表現は見受けられませんが、代わりにこのような精神的な表現の傾向が陽に現れたことは、ある種前回の壁を乗り越えられたといえるのではないでしょうか。
また、「眼閉ぢ眼をとづ」や「軽くかろく眺むる」といった同じ単語の繰り返しのパターンが現れているのも興味深いです。三十一文字の中で同じ表現や単語を繰り返すのは特に前期啄木に見られる技法であり、「なみだなみだ／不思議なるかな／それをもて洗へば心戯けたくなれり」「はたらけど／はたらけど猶わが生活楽にならざり／ぢっと手を見る」といった歌にみることができます。この結果に出てきている用例はかなり露骨でありあまり高く評価はできませんが、もしかしたらこのような表現パターンを入力データから学習しているのかもしれません。
というわけで、今回の復元結果はこのようになりましたが、この結果は学習のパラメータや手法次第で大きく変わる可能性があります。読者の皆さんはぜひ、各種パラメーターを変更して、より望ましい結果が得られるように調整してみてください。たとえば、

・形態素解析に用いる辞書データの変更
・RNNLMやマルコフ連鎖で生成する短歌の数の変更
・マルコフ連鎖で用いるn-gram辞書のnの値の変更
・RNNLMに渡す各種パラメーター
・分類器のパラメーターの変更、もしくは探索※2

などは試してみる価値があると思います。

ひよつとした事が、思ひ出の種にまたなる

さて、こうして無事石川啄木の最後の一首を復元することができたので、おさらいをする意味も込めて本連載の流れをもう一度最初から振り返ってみましょう。

第1回（編：本誌 vol.38掲載）では、イントロダクションとして、本連載の中心人物である石川啄木の紹介、そして石川啄木の未完の「最後の一首」の解説を行いました。
第2回（vol.39）では「最後の一首」復元の第一歩として、青空文庫から原本となる啄木のテキストを取得し、短歌の部分を切り出してパースする処理を行いました。
第3回（vol.40）では、第2回でパースしたデータを形態素解析にかけ、短歌がどのような語句で構成されているのかを解析しました。
第4回（vol.41）では、第3回で形態素解析したデータを元にマルコフ連鎖を行い、文章としての繋がりを重視するプローチから「最後の一首」候補を作成しました。
第5回（vol.42）は第4回と並行する形で、今度はRNNLMを用いて「最後の一首」候補を作成しました。こちらはどちらかというと文脈を重視したアプローチになります。
第6回（vol.43）では、第4回と第5回で作成した「最後の一首」候補から、短歌の形式をとっているものをフィルタリングする処理を行いました。ここで単語列を文節に分けるテクニックを解説しました。
第7回（vol.44）では、短歌形式を取っている「最後の一首」候補を、word2vecとsentence2vecを用いて素性ベクトルに変換し、機械学習で扱いやすい形に変換しました。
第8回（vol.45）では機械学習による分類を行うための前準備として、「石川啄木らしくないデータ」、つまりダミーデータを生成する処理を行いました。また実装は行いませんでしたが、類似技術であるGANについても同時に解説を行いました。
そして第9回となる今回では、第8回で生成したダミーデータと啄木の短歌を正確に分類するSVMを学習し、それを用いて第7回で生成した啄木の「最後の一首」候補の「啄木らしさ」を推定し、もっとも「啄木らしさ」の高い一首を復元された「最後の一首」としました。

こうしてみると、「石川啄木の最後の一首を復元する」という一つのタスクに対して、様々な技術が複雑に関係していることがわかります。啄木の歌集の校訂者に端を発し、形態素解析器、マルコフ連鎖、RNNLM、word2vec、SVMと、どれも偉大な先人が築き上げてきた技術の集大成です。現代に生きる我々の使命は、折りに触れてなるべく広範な知識を身に着け、こうして巨人の肩の上に立ち、その上でどれだけ新しい価値を生み出せるかということに懸かっていると思って止みません。みなさんもこの連載記事を通じて、石川啄木や自然言語処理、さらに機械学習に興味を持って頂けると幸いです。
それでは、以上で連載「機械学習で石川啄木を蘇らせる」最終回とさせていただきます。9回の長い間お付き合いくださりありがとうございました。また機会があればどこかで会いましょう。

あなたにとっての技術が、物語のよき隣人でありますように。

本記事は、シェルスクリプトマガジンvol.38～vol.46に掲載された連載の最終回です。それぞれの技術の詳細については、該当のバックナンバーをご参照ください。（編集部）

ITエンジニアのサボりに強い味方現る！シェルスクリプト製ライフゲーム

投稿日：2017.04.18　｜　カテゴリー：　記事

written by シェルスクリプトマガジン編集部

（本記事はWeb版シェルスクリプトマガジン独自記事です）

USP研究所技術研究員ナカムラ氏謹製の、シェルスクリプト製ライフゲーム・シミュレータをご紹介します。
インストール・設定・操作・実行のすべてがターミナル画面上で完結するので、上司の目が厳しいエンジニアの皆さまも、いかにも「仕事中です」という顔をしながら暇つぶしに勤しめます。

ライフゲームとは

ライフゲームは、1970年にJohn Horton Conwayが発明したコンピュータ・ゲームです。
マス目（セル）のオンオフを生命（例えばシャーレ上に培養される微生物）に見立て、単純な規則により時間経過による生命の繁殖を表現します。
自分の周り八方のセルの密度が適度なら次のターンに培養される、過疎もしくは過密の場合は死滅します。

ルールは簡単ですが、初期状態からは想像もつかない形へと発展していく面白さがあります。。

例：代表的なパターン「グライダー」。 4世代ごとに縦横1マスずつ移動しながら元の形に戻ります。

→ → → →

ライフゲームのルール（引用元：「ライフゲイムの宇宙新装版」ウィリアム・パウンドストーン著有澤誠訳、日本評論社）

Wikipedia「ライフゲーム」などもご参照ください。

遊び方

インストール

コードはGitHub上に公開されています。

https://github.com/kaznak/ConwayGoL.sh

ターミナル画面上で $ git clone https://github.com/kaznak/ConwayGoL.sh.git とすることでインストールできます。

$ git clone https://github.com/kaznak/ConwayGoL.sh.git

Cloning into 'ConwayGoL.sh'...
remote: Counting objects: 245, done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 245 (delta 30), reused 0 (delta 0), pack-reused 181
Receiving objects: 100% (245/245), 32.93 KiB | 0 bytes/s, done.
Resolving deltas: 100% (103/103), done.
$

1

2

3

4

5

6

7

8

9

$ git clone https://github.com/kaznak/ConwayGoL.sh.git

Cloning into 'ConwayGoL.sh'...

remote: Counting objects: 245, done.

remote: Compressing objects: 100% (59/59), done.

remote: Total 245 (delta 30), reused 0 (delta 0), pack-reused 181

Receiving objects: 100% (245/245), 32.93 KiB | 0 bytes/s, done.

Resolving deltas: 100% (103/103), done.

$

ConwayGOL.sh/ のディレクトリに移動し、初期化コマンド . rc を打ち込むことで準備が整います。

サンプルパターンを実行してみよう

ライフゲームの面白さは、初期のセル配置パターンからは想像もつかない発展をとげることです。

ConwayGoL.sh/example-pattern/ に、特定の動きをする代表的なパターンが収録されています。

まずはそれらのサンプルパターンを実行してみましょう。

例えばさきほど紹介した「グライダー」を見たいときは、 ConwayGoL.sh/ ディレクトリで以下のコマンドを実行します。

$ ido 3 3 example-pattern/glider | conwaygol | play-screen

1	$ ido 3 3 example-pattern/glider \| conwaygol \| play-screen

上司に見つかりそうになったら Ctrl-C を長押しすれば終了できます。

また、一世代ごとの移り変わりを確認したいときには、conwaygolコマンドにオプションをつけます。

$ ido 3 3 example-pattern/glider | conwaygol - 2 10 10

1	$ ido 3 3 example-pattern/glider \| conwaygol - 2 10 10

conwaygolの後に続くオプションのうち、

最初の「2」は初期状態から２世代後まで（計３世代）を表示することを示します。

後ろの 10 10　は、セル全体の大きさの指定を示します。

自分で作ったパターンを実行してみよう

サンプルパターンを動かしてみたら、いよいよ自分で初期パターンを作り、実行してみましょう。

まずはテキストエディタを使って、ConwayGoL.sh/example-pattern/ に初期状態のファイルをつくってみましょう。

オンのセルはX(半角の大文字X)で、オフのセルは半角スペースで打ち込みます。

それではこいつを実行してみます。

題して、「ライフゲームで占うシェルマガの未来」。

（GIFファイルです）

実行当初からどんどん形が崩れていきます。あははは、これは愉快だ。

途中からは、文字の区切りの痕跡すら残っていません。

（GIFでは飛び飛びですが）約300世代後、ふたつのパターンを繰り返す定常状態になりました。

シェルマガがこれからどんどん広まり、vol.300近くまで続くというお告げでしょうか。素晴らしい。

おわりに

というわけで、USP研究所ナカムラ氏謹製　シェルスクリプト版ライフゲームのご紹介でした。

みなさまの、仕事してるフリをしながら適度にサボる、豊かなITエンジニア・ライフのお役に立てますと幸いです。

詳しい操作の仕方については、インストール後 readme もご参照ください。

シェルスクリプトマガジンは、明日すぐには役立たないけれども数年後の自分の血となり肉となる、ITエンジニアの教養満載でお届けしています。

データ分析、IoT、PM、ネットワークなど、新しい勉強を始める春にぴったり！最新号vol.47はこちらから！

「無意味な行動をとらせる力」を使え！　環境ITベンチャーピリカのつくりかた

投稿日：2017.04.4　｜　カテゴリー：　記事

本記事は、シェルスクリプトマガジンvol.47掲載「技術者哲学ピリカのつくりかた」のダイジェスト版です。

株式会社ピリカは、『科学技術の力であらゆる環境題を克服する』と謳い、ポイ捨ての解決をビジネスにしているITベンチャーです。
実際に彼らのゴミ拾いアプリ【ピリカ】を使ってみると……

　「ゴミが落ちてるぞ！」

「拾って写メを撮って…」

「ピリカに投稿だ」

「拾ったゴミはゴミ箱へ」

（数時間後）「お、【ありがとう】がたくさんついてる。いいことした気分！またゴミが拾いたくなってきた」

と、一見結びつきそうにない【IT】と【環境問題】と【ビジネス】が、たしかに融合していました。

この秘密を探るべく、編集部は開発元の株式会社ピリカを訪れました。

インタビューに応えてくれたのは代表の小嶌不二夫さんとCTOの高橋直也さん。起業に至った経緯、環境問題にIT技術ができる貢献、そして今後の展望を伺ってきました。
（聞き手・まとめ　シェルスクリプトマガジン編集部）

ピリカができるまで

―今日はよろしくお願いします。まずは、小嶌さんが「IT技術で環境問題を解決するビジネス」を始めるに至った経緯を聞かせていただけますか。

小嶌：僕が環境問題に興味を持ったのは、小２のときに読んだ、ポプラ社の「地球の環境問題」シリーズがきっかけです。図書室の隅っこにあったこのシリーズに異常にハマって、同じ本を何度も借り直した記憶があります。その頃の僕は「大きな問題を解決する」ことに魅力を感じたのでしょう。もちろん、大人になってから勉強し直すと当時とは状況が変わっているわけですが、最初のきっかけはこのシリーズでした。

―環境問題の解決に取り組むうえで、起業という形をとったのは何故ですか？

小嶌：大学に入った頃は研究者を希望していました。でも、学部四年で研究室に配属になったら、二週間くらいで「これ、全然面白くないな」と思ってしまい、そこで研究者の道は諦めました。割り当てられた研究が合わなかったということもありますし、「研究者として」環境問題にアプローチするのは、自分の場合はちょっと違う、とも思い始めたからです。当時の僕の視点からは、研究とは「人生を賭けてひとつのテーマをひたすら深掘りする」ものに見えたのですが、そうすると、僕が小学生の頃読んだ本の「一冊分」は解けるかもしれないけれども、「残りの分」が解けないじゃないですか。

―たしかにそうですね。

小嶌：一方で、「お金」だったら全てのことに使えますよね。ひとつの事業で得たお金を他の分野に転用していくことができますから。そこで、学部四年で「研究面白くないぞ」と感じてからは、自分で事業を立ち上げるのか、それとも仕事を学ぶためにまずは企業に就職するのか、大学院でのモラトリアムの間に自分の道を決めることにしたんです。だから、大学院に入ってからは海外で働いてみたり、色々な国を旅してみたりしました。

―なんとなく大学院に進んでモラトリアムを過ごす、という人は多いですが、小嶌さんは環境問題にどう取り組むべきか見定めるために、モラトリアムを「積極的に取りにいった」わけですね。その結果「ゴミ問題」を選んだのは何故ですか？

小嶌：ひとつはお金の問題です。環境問題の範囲はとても広いわけですが、多くの問題は解決に莫大なお金がかかりますよね。浄化フィルターひとつ開発するのにも何千万円もかかってしまう。だから「安く始められること」が絶対条件だったんです。
一方で、安く始められたとしても「汚染を除去するフィルターの、この一部分だけを作りました」で終わっては悲しいですし、全体の問題の解決には到底達しません。そこで、「将来的には大きな広がりを持っているけど、入り口は小さい」テーマとして、ゴミ問題に取り組むことにしたわけです。

―なるほど。

小嶌：世界一周旅行をしていた当時、100くらいアイデアをメモ帳に書きためたんですが、結局「これだったらいけるかもしれない」と思えたアイデアは、その中の3つくらいを組み合わせた1つだけでした。
それは「Googleマップのような地図に、色々な環境問題の情報を載せ込む」ことです。
これまでにも、様々な自治体さんや団体さんが地域の問題解決をしようと努力されていますが、その中には、「『○○川を綺麗にしよう』という活動が盛んだが、実際にはその隣の川の方が汚い」のような状況が結構ありますよね。そういう状況に対して、位置情報付きで環境問題の見える化をすることで、環境問題を解決しようとしている人の行動を最適化したり、関わる人を増やしたりできるのではないかと思ったんです。

―最初のアイデアは「環境問題のマッピング」だったんですね。スマホにピリカをインストールすると、道端でゴミを見つけたときに自ずと拾いたくなってしまうので、よく出来た仕組みだと感心しています。この効果は狙って設計したんですか？

小嶌：まさに、世界の国を旅している間にそれと同じ体験をしたんです。iPhoneを持って旅に出たんですが、スマホの位置情報をオンにして写真を撮ると、現在地がマップにピン留めされるじゃないですか。アフリカの街にいるときに、ピンがもう世界を半周していることに気がついて、「おっ、これは面白いな」と思ったんです。なにか、色々な街を征服したみたいで。そこからは無意識に、新しい街についたら意味もなく、位置情報をオンにした状態で写真を撮るようになっていきました。部屋の隅とかでもとりあえず撮るんですよ、位置情報を刺したいから。

―「ピンを刺すこと」自体が目的になってしまったんですね。

小嶌：後から振り返ってみると、「なにこの無意味な写真」って思うわけですが、これって、要はゲーム性とか面白さによって人に「無意味な行動」をとらせているってことですよね。

―たしかにそうです！

小嶌：人にこういう無価値な行動をとらせられるなら、もしかしたら情報くらい送ってくれるかもしれないし、ゴミくらい拾ってくれるかもしれない。「位置情報付きで写真を撮ること」にそういう力があるのなら、これを使って面白いことができるかもしれないと思ったんです。

環境問題をビジネスにする

―大学院での経験をヒントにして始まったピリカですが、株式会社ピリカが現在展開されている事業を紹介していただけますか？

小嶌：現在はスマホアプリ「ピリカ」を使ったゴミ拾い支援事業と、画像認識システム「タカノメ」を使ったポイ捨て調査事業の二本立てです。ゴミ拾い事業の収益は、様々な企業さんからの広告・協賛と、ピリカの仕組みを使ってくださる地方自治体さんからのシステム利用料です。タカノメによる調査では、案件ごとに調査面積に比例した調査費用を頂き、得られたデータを基にした研究成果に対しても研究費用を頂いています。

―どんな組織がタカノメによる調査・研究のクライアントになるのですか？

小嶌：協賛企業でもあるJTさんを例に挙げて説明しましょう。タバコのポイ捨てはJTさんにとってもデメリットですよね。ポイ捨てがあまりに酷いとクレームが来たり、場合によっては自治体に喫煙所を作らせてもらえなくなったりしますから。ですから、喫煙所をどうデザインすれば地域のポイ捨てを抑制できるのか、喫煙者・非喫煙者双方にとって暮らしやすい町や制度を作れるか、ということを研究する動機がJTさんにはあるわけです。このケースでは、自治体・JT・ピリカで協定を結び、データと費用を頂いて調査を行っています。

―タカノメによる調査費用は調査面積に比例するとのことですが、どのようにサービスの価格を決めたのですか？

高橋：タカノメに関しては、面積に原価が比例するのでそこに値段つけたということですね。

小嶌：買い手のことを考えると、自ずと売り方が決まってくるという面もあります。環境問題のビジネスとしての特殊性は、直接的なお客さんであるゴミや大気、川や海からはお金をとれないことですよね。

―そうですね。

小嶌：だからその代わりに、問題を抱えている「人の問題」として売るしかない。「ポイ捨ての問題」では売れないので、見方を変えて「地域の美化」の問題として扱って自治体の地域美化の担当者さんに買ってもらう、河川の問題として切り分けて、喫煙所の問題として切り分けて……という発想に、どうしてもなります。そこで、ときには相手に尋ねながら「買ってくれる方法」を探すわけです。例えば自治体を相手にするなら、議会を回さずに使える予算はそれぞれの市区町村によって違いますから、それらに柔軟に対応でき、なおかつ予算に合わせて調査規模を拡大できるような売り方になります。

環境ベンチャーのエンジニア

―現在CTOとして開発を担当されている高橋さんは、どのような経緯でピリカにエンジニアとして参加されたのですか？

小嶌：システム開発の会社に就職した大学時代の友人に「ピリカを作っていく上でどうしてもエンジニアが必要なので、周りで一番優秀な人を紹介してもらえないか」と頼んだら、その場で電話をかけて、同僚だった高橋さんを紹介してもらったんです。

―え、そんな簡単に決まったんですか？

高橋：参加といっても、最初の３年間は週に２時間くらいでした。普段の仕事とは別のことに関わっていたいという希望はその前から持っていましたし、実際にピリカに関わる２時間がいい気分転換になって、普段の仕事でも楽しくいられたんです。ピリカをやっている間にも、もう一社並行でやっていたこともあります。ピリカにフルタイムで関わるようになったのは、私も東京に出て来てからですね。

小嶌：高橋が参加した当時は二人とも関西にいましたが、それからすぐ僕は東京に出て来ました。なので、遠隔でのやりとりの期間が長かったですね。現在でも、当時の高橋のように他の仕事をしながら関わってくださる方や、北海道やアメリカなど遠隔で関わってくれる方がいまして、30名近い方の力を借りて事業を行っています。

―アイデアを出す小嶌さんと、それをシステムで実現する高橋さんは、どういう関係で仕事を進めているのでしょうか？

高橋：自分が関わる部分については、割とやりたいようにやらせてもらっています。基本的に、作りたくないものを作ったことはないはずで、「何を作るか」を決める時点で自分の意見をある程度反映させています。

小嶌：例えばタカノメは、そもそものサービスの構想自体が高橋の発案です。私が持っていたのは「ゴミの種類と数を、安く、正確に、そして様々な場所で同じ基準を適用して調査したい」という方針だけでした。それを人力でやるにはお金もかかるし、限界もある。なによりも面倒な作業ですから、やる方が幸せになれないですよね。その解決のために「スマホで写真を撮って、画像解析でゴミを見つける」というシステムの大枠を考えたのは高橋なんですよ。

シェルスクリプトマガジンvol.47に掲載の本記事ロング・バージョンでは、科学技術・ITが環境問題にできる貢献について小嶌さんが考える「ピリカの基にある哲学」を、よりつっこんで伺っています。

ユニケージ開発手法　コードレビュー　vol.36（本誌vol.47掲載）

投稿日：2017.03.31　｜　カテゴリー：　記事

著者：USP研究所技術研究員　岡田健

　今回は、シェルスクリプトのデバッグを行いたい時、処理の途中or一部だけに限定して実行出来る uspTukubai のコマンド「run」を紹介します。

本記事掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

#!/bin/bash -vx
#
# ITEMRANKING アイテムランキング表CUI出力
#
# usage: ./ITEMRANKING <集計開始日 yyyymmdd> <集計最終日 yyyymmdd> [表示件数]
#
# written by Ryuichi Ueda (xxxxxx@usp-lab.com)  Aug. 9, 2012

logfile=/home/usp/LOG/LOG.$(basename $0).$(date +%Y%m%d)
exec 2> $logfile

dir=/home/usp/KOJIN/okada/20170131_magazine_run/ITEMRANKING/
tmp=/tmp/$$

ERROR_EXIT(){
	echo エラー
	rm -f $tmp-*
	exit 1
}

day_from=20071203
day_to=20071209
rank_range=$1

[ "_$day_from" = "_" ]   && ERROR_EXIT
[ "_$day_to" = "_" ]     && ERROR_EXIT
[ "_$rank_range" = "_" ] && rank_range=50


############################################
# 売れ数の集計

#URE 1:店コード 2:商品コード 3:日付
#4:売れ数 5:売り上げ 6:値引き
cat $dir/POMPA/URE		|
#0001 0000007 20071201 117 8335 -145
#指定日以降のデータ
awk -v f=${day_from} '$3>=f'	|
#指定日以前のデータ
awk -v t=${day_to} '$3<=t'	|
self 2 4 5			|
#1:商品コード 2:売れ数 3:売り上げ高
sm2 1 1 2 3	> $tmp-ure
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################
#仕入れ数の合計

#SIRE 1:店コード 2:商品コード 3:日付 4:仕入れ数 5,6:他
cat $dir/POMPA/SIRE		|
awk -v f=${day_from} '$3>=f'	|
#指定日以前のデータ
awk -v t=${day_to} '$3<=t'	|
self 2 4			|
#1:商品コード 2:売れ数
sm2 1 1 2 2	> $tmp-sire
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################
#在庫数の合計

#ZAIKO.<日付> 1:店コード 2:商品コード 3:日付 4:在庫
cat $dir/POMPA/ZAIKO.${day_to}	|
self 2 4 			|
#1:商品コード 2:在庫数
sm2 1 1 2 2 > $tmp-zaiko
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################
#データの連結

hbar=--------------------------------------------------------------------------------------------------------------------------

days=$(mdate $day_to $day_from	| awk '{print $1+1}')

loopj num=1 $tmp-{ure,sire,zaiko}	|
#0000043 93584 40283328 164577 123523
#1:商品コード 2:売れ数 3:売り上げ 4:仕入れ数 5:在庫数
join1 key=1 $dir/POMPA/GENBAI -		|
#1:商品コード 2:原価 3:売価 4:売れ数 5:売り上げ 6:仕入れ数 7:在庫数
#0000048 331.2 480 93008 44697653 159336 117347
join1 key=1 $dir/POMPA/NAME -		|
#1:商品コード 2:商品名 3:原価 4:売価 5:売れ数 6:売り上げ 7:仕入れ数 8:在庫数
sort -k5,5nr				|
awk 'NR<='{rank_range}			|
juni					|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数
awk '{print $0,$6/'$days'}'		|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数
awk '{print $0,$10!=0?$9/$10:"N/A"}'	|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 11:在庫日数
awk '{print $0,$9*$5}'			|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 
#11:在庫日数 12:在庫高
awk '{ara=$7-$4*$6;print $0,ara,ara*100/$7}'		|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 
#11:在庫日数 12:在庫高 13:荒利 14:荒利率
self 1/6 8/11 7 12/14					|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:仕入れ数 8:在庫数 9:平均売数 10:在庫日数
#11:売り上げ #12:在庫高 13:荒利 14:荒利率
awk '{for(i=11;i<=13;i++){$i=int($i/1000)};print}'	|
marume 4.1 9.0 10.1 14.1				|
comma 6 7 8 9 11 12 13					|
keta 2 7 -26 5 3 9 8 8 7 5 8 8 7 5			|
awk '{print;if(NR%5==0){print "'$hbar'"}}'	> $tmp-body
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

##########################################################
# ヘッダを作る

echo $day_from $day_to		|
tarr				|
yobi -j 1			|
self 1.1.4 1.5.2 1.7 2		|
awk '{print $1"年"$2"月"$3"日（"$4"）"}'	> $tmp-days

kikan_from=$( head -n 1 $tmp-days)
kikan_to=$( tail -n 1 $tmp-days)


cat << FIN > $tmp-header
[アイテムランキング表]             出力   : $(date)
                                   ユーザ : $USER

集計期間： $kikan_from ～ $kikan_to
店舗範囲： 全店
商品範囲： 全商品
ランキング順： $days 日間売数合計順
表示範囲：上位 $rank_range アイテム

順                                                                                  在庫                               荒利
位 商品コード 商品名                  原価 売価   売数計 仕入数計 在庫数計 平均売数 日数 売上（千）在庫（千）荒利（千）率％
==========================================================================================================================
FIN

cat $tmp-header $tmp-body


rm -f $tmp-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

#!/bin/bash -vx

#

# ITEMRANKING アイテムランキング表CUI出力

#

# usage: ./ITEMRANKING <集計開始日 yyyymmdd> <集計最終日 yyyymmdd> [表示件数]

#

# written by Ryuichi Ueda (xxxxxx@usp-lab.com) Aug. 9, 2012

logfile=/home/usp/LOG/LOG.$(basename $0).$(date +%Y%m%d)

exec 2> $logfile

dir=/home/usp/KOJIN/okada/20170131_magazine_run/ITEMRANKING/

tmp=/tmp/$$

ERROR_EXIT(){

echo エラー

rm -f $tmp-*

exit 1

}

day_from=20071203

day_to=20071209

rank_range=$1

[ "_$day_from" = "_" ] && ERROR_EXIT

[ "_$day_to" = "_" ] && ERROR_EXIT

[ "_$rank_range" = "_" ] && rank_range=50

############################################

# 売れ数の集計

#URE 1:店コード 2:商品コード 3:日付

#4:売れ数 5:売り上げ 6:値引き

cat $dir/POMPA/URE |

#0001 0000007 20071201 117 8335 -145

#指定日以降のデータ

awk -v f=${day_from} '$3>=f' |

#指定日以前のデータ

awk -v t=${day_to} '$3<=t' |

self 2 4 5 |

#1:商品コード 2:売れ数 3:売り上げ高

sm2 1 1 2 3 > $tmp-ure

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################

#仕入れ数の合計

#SIRE 1:店コード 2:商品コード 3:日付 4:仕入れ数 5,6:他

cat $dir/POMPA/SIRE |

awk -v f=${day_from} '$3>=f' |

#指定日以前のデータ

awk -v t=${day_to} '$3<=t' |

self 2 4 |

#1:商品コード 2:売れ数

sm2 1 1 2 2 > $tmp-sire

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################

#在庫数の合計

#ZAIKO.<日付> 1:店コード 2:商品コード 3:日付 4:在庫

cat $dir/POMPA/ZAIKO.${day_to} |

self 2 4 |

#1:商品コード 2:在庫数

sm2 1 1 2 2 > $tmp-zaiko

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################

#データの連結

hbar=--------------------------------------------------------------------------------------------------------------------------

days=$(mdate $day_to $day_from | awk '{print $1+1}')

loopj num=1 $tmp-{ure,sire,zaiko} |

#0000043 93584 40283328 164577 123523

#1:商品コード 2:売れ数 3:売り上げ 4:仕入れ数 5:在庫数

join1 key=1 $dir/POMPA/GENBAI - |

#1:商品コード 2:原価 3:売価 4:売れ数 5:売り上げ 6:仕入れ数 7:在庫数

#0000048 331.2 480 93008 44697653 159336 117347

join1 key=1 $dir/POMPA/NAME - |

#1:商品コード 2:商品名 3:原価 4:売価 5:売れ数 6:売り上げ 7:仕入れ数 8:在庫数

sort -k5,5nr |

awk 'NR<='{rank_range} |

juni |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価 6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数

awk '{print $0,$6/'$days'}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数

awk '{print $0,$10!=0?$9/$10:"N/A"}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 11:在庫日数

awk '{print $0,$9*$5}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数

#11:在庫日数 12:在庫高

awk '{ara=$7-$4*$6;print $0,ara,ara*100/$7}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数

#11:在庫日数 12:在庫高 13:荒利 14:荒利率

self 1/6 8/11 7 12/14 |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:仕入れ数 8:在庫数 9:平均売数 10:在庫日数

#11:売り上げ #12:在庫高 13:荒利 14:荒利率

awk '{for(i=11;i<=13;i++){$i=int($i/1000)};print}' |

marume 4.1 9.0 10.1 14.1 |

comma 6 7 8 9 11 12 13 |

keta 2 7 -26 5 3 9 8 8 7 5 8 8 7 5 |

awk '{print;if(NR%5==0){print "'$hbar'"}}' > $tmp-body

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

##########################################################

# ヘッダを作る

echo $day_from $day_to |

tarr |

yobi -j 1 |

self 1.1.4 1.5.2 1.7 2 |

awk '{print $1"年"$2"月"$3"日（"$4"）"}' > $tmp-days

kikan_from=$( head -n 1 $tmp-days)

kikan_to=$( tail -n 1 $tmp-days)

cat << FIN > $tmp-header

[アイテムランキング表] 出力 : $(date)

ユーザ : $USER

集計期間： $kikan_from ～ $kikan_to

店舗範囲：全店

商品範囲：全商品

ランキング順： $days 日間売数合計順

表示範囲：上位 $rank_range アイテム

順在庫荒利

位商品コード商品名原価売価売数計仕入数計在庫数計平均売数日数売上（千）在庫（千）荒利（千）率％

==========================================================================================================================

FIN

cat $tmp-header $tmp-body

rm -f $tmp-*

exit 0

[usp@demo1 SHELL.草稿]$ ./ITEMRANKING 10 2>/dev/null
[アイテムランキング表]             出力   : 2017年  2月  2日 木曜日 10:12:50 JST
                                   ユーザ : usp

集計期間： 2007年12月03日（月） ～ 2007年12月09日（日）
店舗範囲： 全店
商品範囲： 全商品
ランキング順： 7 日間売数合計順
表示範囲：上位 10 アイテム

順                                                在庫                               　　荒利
位 商品コード 商品名                  原価 売価   売数計 仕入数計 在庫数計 平均売数 日数 売上（千）在庫（千）荒利（千）率％
==========================================================================================================================
 1 0000361 牛細切れ                   512.4 610   290,087  510,778  299,129  41,441   7.2  177,089  182,468  28,448  16.1
 2 0000087 マンゴー                   617.7 870   267,497  422,354  212,295  38,214   5.6  232,846  184,696  67,613  29.0
 3 0000194 深谷葱                     705.0 940   256,844  464,458  276,025  36,692   7.5  241,569  259,463  60,494  25.0
 4 0000433 薄口醤油                   260.7 330   206,608  322,249  195,773  29,515   6.6   68,269   64,605  14,407  21.1
 5 0000234 鰻                         268.6 340   205,464  320,276  172,009  29,352   5.9   69,947   58,483  14,760  21.1
--------------------------------------------------------------------------------------------------------------------------
 6 0000254 メバル                     405.0 540   188,840  310,516  174,906  26,977   6.5  102,059   94,449  25,579  25.1
 7 0000291 アナゴ                     773.5 910   185,427  315,415  202,536  26,490   7.6  168,824  184,307  25,396  15.0
 8 0000584 絹豆腐                     604.8 840   182,628  314,490  190,176  26,090   7.3  153,493  159,747  43,040  28.0
 9 0000122 苺                         198.0 220   181,308  263,982  148,368  25,901   5.7   39,983   32,640   4,084  10.2
10 0000268 マアジ                     598.4 680   180,947  338,653  219,838  25,850   8.5  123,149  149,489  14,871  12.1
--------------------------------------------------------------------------------------------------------------------------

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

[usp@demo1 SHELL.草稿]$ ./ITEMRANKING 10 2>/dev/null

[アイテムランキング表] 出力 : 2017年 2月 2日木曜日 10:12:50 JST

ユーザ : usp

集計期間： 2007年12月03日（月）～ 2007年12月09日（日）

店舗範囲：全店

商品範囲：全商品

ランキング順： 7 日間売数合計順

表示範囲：上位 10 アイテム

順在庫　　荒利

位商品コード商品名原価売価売数計仕入数計在庫数計平均売数日数売上（千）在庫（千）荒利（千）率％

==========================================================================================================================

1 0000361 牛細切れ 512.4 610 290,087 510,778 299,129 41,441 7.2 177,089 182,468 28,448 16.1

2 0000087 マンゴー 617.7 870 267,497 422,354 212,295 38,214 5.6 232,846 184,696 67,613 29.0

3 0000194 深谷葱 705.0 940 256,844 464,458 276,025 36,692 7.5 241,569 259,463 60,494 25.0

4 0000433 薄口醤油 260.7 330 206,608 322,249 195,773 29,515 6.6 68,269 64,605 14,407 21.1

5 0000234 鰻 268.6 340 205,464 320,276 172,009 29,352 5.9 69,947 58,483 14,760 21.1

--------------------------------------------------------------------------------------------------------------------------

6 0000254 メバル 405.0 540 188,840 310,516 174,906 26,977 6.5 102,059 94,449 25,579 25.1

7 0000291 アナゴ 773.5 910 185,427 315,415 202,536 26,490 7.6 168,824 184,307 25,396 15.0

8 0000584 絹豆腐 604.8 840 182,628 314,490 190,176 26,090 7.3 153,493 159,747 43,040 28.0

9 0000122 苺 198.0 220 181,308 263,982 148,368 25,901 5.7 39,983 32,640 4,084 10.2

10 0000268 マアジ 598.4 680 180,947 338,653 219,838 25,850 8.5 123,149 149,489 14,871 12.1

--------------------------------------------------------------------------------------------------------------------------

$ run ./ITEMRANKING 1-27
（中略）
day_from=20071203
+ day_from=20071203
day_to=20071209
+ day_to=20071209
rank_range=$1
+ rank_range=

[ "_$rank_range" = "_" ] && rank_range=50
+ '[' _ = _ ']'
+ rank_range=50
exit 0
+ exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ run ./ITEMRANKING 1-27

（中略）

day_from=20071203

+ day_from=20071203

day_to=20071209

+ day_to=20071209

rank_range=$1

+ rank_range=

[ "_$rank_range" = "_" ] && rank_range=50

+ '[' _ = _ ']'

+ rank_range=50

exit 0

+ exit 0

$ run "./ITEMRANKING 10" 1-27
（中略）
day_from=20071203
+ day_from=20071203
day_to=20071209
+ day_to=20071209
rank_range=$1
+ rank_range=10

[ "_$rank_range" = "_" ] && rank_range=50
+ '[' _10 = _ ']'
exit 0
+ exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

$ run "./ITEMRANKING 10" 1-27

（中略）

day_from=20071203

+ day_from=20071203

day_to=20071209

+ day_to=20071209

rank_range=$1

+ rank_range=10

[ "_$rank_range" = "_" ] && rank_range=50

+ '[' _10 = _ ']'

exit 0

+ exit 0

$ run --log errlog "./ITEMRANKING" 1-35 | head -3 | keta
0001 0000007 20071201 117  8335 -145
0001 0000007 20071203 221 15470    0
0001 0000007 20071205  85  5950    0

1

2

3

4

$ run --log errlog "./ITEMRANKING" 1-35 | head -3 | keta

0001 0000007 20071201 117 8335 -145

0001 0000007 20071203 221 15470 0

0001 0000007 20071205 85 5950 0

$ run --log errlog "./ITEMRANKING" 1-38 | head -7 | keta
0001 0000007 20071203 221 15470     0
0001 0000007 20071205  85  5950     0
0001 0000007 20071206 293 20527   -17
0001 0000007 20071207 445 31150     0
0001 0000007 20071208 325 22750     0
0001 0000007 20071210 320 22400     0
0001 0000007 20071212 219 16517 -1187

1

2

3

4

5

6

7

8

$ run --log errlog "./ITEMRANKING" 1-38 | head -7 | keta

0001 0000007 20071203 221 15470 0

0001 0000007 20071205 85 5950 0

0001 0000007 20071206 293 20527 -17

0001 0000007 20071207 445 31150 0

0001 0000007 20071208 325 22750 0

0001 0000007 20071210 320 22400 0

0001 0000007 20071212 219 16517 -1187

$ run --log errlog "./ITEMRANKING" 1-40 | head -7 | keta
0001 0000007 20071203 221 15470   0
0001 0000007 20071205  85  5950   0
0001 0000007 20071206 293 20527 -17
0001 0000007 20071207 445 31150   0
0001 0000007 20071208 325 22750   0
0002 0000007 20071203 588 41160   0
0002 0000007 20071204 444 31080   0

1

2

3

4

5

6

7

8

$ run --log errlog "./ITEMRANKING" 1-40 | head -7 | keta

0001 0000007 20071203 221 15470 0

0001 0000007 20071205 85 5950 0

0001 0000007 20071206 293 20527 -17

0001 0000007 20071207 445 31150 0

0001 0000007 20071208 325 22750 0

0002 0000007 20071203 588 41160 0

0002 0000007 20071204 444 31080 0

$ mkdir /tmp/okada
$ run --var tmp=/tmp/okada/tmp "./ITEMRANKING" 1-43
（略）
tmp=/tmp/okada/tmp
+ tmp=/tmp/okada/tmp
（略）
sm2 1 1 2 3     > $tmp-ure
（略）
$ head -2 /tmp/okada/tmp-ure
0000007 101071 7114796
0000017 100305 17089138

1

2

3

4

5

6

7

8

9

10

11

$ mkdir /tmp/okada

$ run --var tmp=/tmp/okada/tmp "./ITEMRANKING" 1-43

（略）

tmp=/tmp/okada/tmp

+ tmp=/tmp/okada/tmp

（略）

sm2 1 1 2 3 > $tmp-ure

（略）

$ head -2 /tmp/okada/tmp-ure

0000007 101071 7114796

0000017 100305 17089138

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 50-56
ls /tmp/okada
tmp-sire  tmp-ure
$ head -2 /tmp/okada/tmp-sire
0000007 161093
0000017 141954
$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 63-66
$ ls /tmp/okada
tmp-sire  tmp-ure  tmp-zaiko
$ head -2 /tmp/okada/tmp-zaiko
0000007 115314
0000017 101649

1

2

3

4

5

6

7

8

9

10

11

12

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 50-56

ls /tmp/okada

tmp-sire tmp-ure

$ head -2 /tmp/okada/tmp-sire

0000007 161093

0000017 141954

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 63-66

$ ls /tmp/okada

tmp-sire tmp-ure tmp-zaiko

$ head -2 /tmp/okada/tmp-zaiko

0000007 115314

0000017 101649

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 76-76 | head -3 | keta
0000007 101071  7114796 161093 115314
0000017 100305 17089138 141954 101649
0000021  86718 18253232 140204 114968

1

2

3

4

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 76-76 | head -3 | keta

0000007 101071 7114796 161093 115314

0000017 100305 17089138 141954 101649

0000021 86718 18253232 140204 114968

$ run
Usage   : run [option] "<対象SHELL 引数...>" [<開始行>-<終了行>]
Version : Wed Oct  7 23:51:15 JST 2015
Edition : 0

option一覧：
  --log <ファイル名>    ログ出力先を変える。
  --var <変数名>=<値>  変数代入値を差し替える。
  --stop upcnt           UPCNT出力を止める。
  --stop sem             SEMAPHORE生成を止める。
  --stop clean           関連の削除を止める（対象はSHELLとrunの両方）。
  --break <行数>        ブレークポイントを入れる。
  --debug                run自身のdebug情報を出力する

使い方例：
  run SCRIPT                      # SCRIPTをそのまま実行
  run "SCRIPT A B"                # SCRIPTに引数を与えて実行
  run SCRIPT 4-6                  # SCRIPTの4～6行目を実行
  run --log errlog SCRIPT 4-6     # 出力ログを"errlog"に保存
  run --var tmp=/tmp/okada/tmp SCRIPT 4-6
                                  # 変数tmpに/tmp/okada/tmpを代入
  run --var dir=/home/usp,tmp=/tmp/okada/tmp SCRIPT 4-6
                                  # 複数の変数に代入。
  run --stop upcnt SCRIPT 4-6     # UPCNTへ出力しないで実行。
  run --stop upcnt,sem SCRIPT 4-6 # UPCNTとセマフォ出力しないで実行。
  run --stop clean SCRIPT 4-6     # 末尾の rm -f -* を実行しない。
  run --break 15,19,20 SCRIPT     # 15,19,20行目にブレークポイントを入れる。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

$ run

Usage : run [option] "<対象SHELL 引数...>" [<開始行>-<終了行>]

Version : Wed Oct 7 23:51:15 JST 2015

Edition : 0

option一覧：

--log <ファイル名> ログ出力先を変える。

--var <変数名>=<値> 変数代入値を差し替える。

--stop upcnt UPCNT出力を止める。

--stop sem SEMAPHORE生成を止める。

--stop clean 関連の削除を止める（対象はSHELLとrunの両方）。

--break <行数> ブレークポイントを入れる。

--debug run自身のdebug情報を出力する

使い方例：

run SCRIPT # SCRIPTをそのまま実行

run "SCRIPT A B" # SCRIPTに引数を与えて実行

run SCRIPT 4-6 # SCRIPTの4～6行目を実行

run --log errlog SCRIPT 4-6 # 出力ログを"errlog"に保存

run --var tmp=/tmp/okada/tmp SCRIPT 4-6

# 変数tmpに/tmp/okada/tmpを代入

run --var dir=/home/usp,tmp=/tmp/okada/tmp SCRIPT 4-6

# 複数の変数に代入。

run --stop upcnt SCRIPT 4-6 # UPCNTへ出力しないで実行。

run --stop upcnt,sem SCRIPT 4-6 # UPCNTとセマフォ出力しないで実行。

run --stop clean SCRIPT 4-6 # 末尾の rm -f -* を実行しない。

run --break 15,19,20 SCRIPT # 15,19,20行目にブレークポイントを入れる。

香川大学SLPからお届け！(vol.47掲載)

投稿日：2017.03.28　｜　カテゴリー：　記事

著者：石井怜央（香川大学SLP）

　前回は、OSC広島の前日に行われた学生LT大会の様子を紹介し、その中で僕が発表した、サークルで開発を行ったメール管理システムについて触れました。
　今回はその開発で使用した、Sinatraやmail gemについて紹介し、それらを組み合わせて簡単なWebアプリケーションを作成したいと思います。

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

$ gem install bundler

1	$ gem install bundler

$ bundle init

1	$ bundle init

require 'sinatra'
set :bind, '0.0.0.0'

get '/' do
  'Hello World'
end

1

2

3

4

5

6

require 'sinatra'

set :bind, '0.0.0.0'

get '/' do

'Hello World'

end

require 'sinatra'
set :bind, '0.0.0.0'

get '/' do
  @world = 'World'    # erbファイルに渡すインスタンス変数
  erb :hello    # hello.erbを呼び出す
end

1

2

3

4

5

6

7

require 'sinatra'

set :bind, '0.0.0.0'

get '/' do

@world = 'World' # erbファイルに渡すインスタンス変数

erb :hello # hello.erbを呼び出す

end

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>Hello World</title>
  </head>
  <body>
    <p>Hello <%= @world %></p>
  </body>
</html>

1

2

3

4

5

6

7

8

9

10

<!DOCTYPE html>

<html>

<head>

<title>Hello World</title>

</head>

<body>

<p>Hello <%= @world %></p>

</body>

</html>

require 'sinatra'
require 'mail'
set :bind, '0.0.0.0'

get '/new' do
  erb :new_mail
end

post '/send' do
  mail_to = params[:mail_to]
  title = params[:title]
  sentence = params[:sentence]

  mail = Mail.new do
    from    '送信元メールアドレス'
    to      "#{mail_to}"
    subject "#{title}"
    body    "#{sentence}"
  end

  options = { :address              => "smtp.gmail.com",
              :port                 => 587,
              :domain               => "gmail.com",
              :user_name            => '送信元メールアドレス',
              :password             => "パスワード",
              :authentication       => :plain,
              :enable_starttls_auto => true  }


  mail.charset = 'utf-8'
  mail.delivery_method(:smtp, options)
  mail.deliver

  @mail_to = mail_to
  @title = title
  @sentence = sentence
  erb :sent

end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

require 'sinatra'

require 'mail'

set :bind, '0.0.0.0'

get '/new' do

erb :new_mail

end

post '/send' do

mail_to = params[:mail_to]

title = params[:title]

sentence = params[:sentence]

mail = Mail.new do

from '送信元メールアドレス'

to "#{mail_to}"

subject "#{title}"

body "#{sentence}"

end

options = { :address => "smtp.gmail.com",

:port => 587,

:domain => "gmail.com",

:user_name => '送信元メールアドレス',

:password => "パスワード",

:authentication => :plain,

:enable_starttls_auto => true }

mail.charset = 'utf-8'

mail.delivery_method(:smtp, options)

mail.deliver

@mail_to = mail_to

@title = title

@sentence = sentence

erb :sent

end

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>new mail</title>
  </head>
  <body>

    <form method="post" action="send">

          <h4>宛先</h4>
          <input type="text" name="mail_to">

        <h4>件名</h4>
        <input type="text" name="title">

        <h4>本文</h4>
        <textarea  rows="5" name="sentence"></textarea>

      <button type="submit">送信</button>

    </form>
  </body>
</html>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

<!DOCTYPE html>

<html>

<head>

</head>

<body>

</form>

</body>

</html>

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>sent</title>
  </head>

  <body>
    <h4>宛先</h4>
    <p><%=@mail_to%></p>

    <h4>件名</h4>
    <p><%=@title%></p>

    <h4>本文</h4>
    <p><%=@sentence.gsub("\n","<br>\n")%></p>

    <p>送信しました。</p>

  </body>
</html>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

<!DOCTYPE html>

<html>

<head>

</head>

<body>

<p>送信しました。</p>

</body>

</html>

40歳から始める、オレとRubyプログラミング（vol.47掲載）

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：しょっさん

　最近、自宅で二酸化炭素濃度をはかるようになりました。　予想していた以上に、家の中の空気が汚染されていることがわかって、衝撃を受けています。部屋が暖かいから眠くなるんだなー…なんて考えていましたが、暖かいんじゃなくて二酸化濃度が高いからという可能性が高いです。
　二酸化炭素濃度を下げるには、換気をすることが基本ですが、この濃度を下げてからというもの、家での活動がとてもスムーズになり眠くなることが減りました。
　なんでこんなことしてるのかって? もちろん、クリアーな頭の状態でプログラミングするため。さぁ今月も頑張っていきましょう!

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

$ bundle gem reins
Creating gem 'reins'...
Do you want to generate tests with your gem?
Type 'rspec' or 'minitest' to generate those test files now and in the future. rspec/minitest/(none): rspec
Do you want to license your code permissively under the MIT license?
This means that any other developer or company will be legally allowed to use your code for free as long as they admit you created it. You can read more about the MIT license at http://choosealicense.com/licenses/mit. y/(n):
Do you want to include a code of conduct in gems you generate?
Codes of conduct can increase contributions to your project by contributors who prefer collaborative, safe spaces. You can read more about the code of conduct at contributor-covenant.org. Having a codeof conduct means agreeing to the responsibility of enforcing it, so be sure that you are prepared todo that. Be sure that your email address is specified as a contact in the generated code of conduct so that people know who to contact in case of a violation. For suggestions about how to enforce codesof conduct, see http://bit.ly/coc-enforcement. y/(n):
      create  reins/Gemfile
      create  reins/.gitignore
      create  reins/lib/reins.rb
      create  reins/lib/reins/version.rb
      create  reins/reins.gemspec
      create  reins/Rakefile
      create  reins/README.md
      create  reins/bin/console
      create  reins/bin/setup
      create  reins/.travis.yml
      create  reins/.rspec
      create  reins/spec/spec_helper.rb
      create  reins/spec/reins_spec.rb
Initializing git repo in /xxxxxx/reins

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

$ bundle gem reins

Creating gem 'reins'...

Do you want to generate tests with your gem?

Type 'rspec' or 'minitest' to generate those test files now and in the future. rspec/minitest/(none): rspec

Do you want to license your code permissively under the MIT license?

This means that any other developer or company will be legally allowed to use your code for free as long as they admit you created it. You can read more about the MIT license at http://choosealicense.com/licenses/mit. y/(n):

Do you want to include a code of conduct in gems you generate?

Codes of conduct can increase contributions to your project by contributors who prefer collaborative, safe spaces. You can read more about the code of conduct at contributor-covenant.org. Having a codeof conduct means agreeing to the responsibility of enforcing it, so be sure that you are prepared todo that. Be sure that your email address is specified as a contact in the generated code of conduct so that people know who to contact in case of a violation. For suggestions about how to enforce codesof conduct, see http://bit.ly/coc-enforcement. y/(n):

create reins/Gemfile

create reins/.gitignore

create reins/lib/reins.rb

create reins/lib/reins/version.rb

create reins/reins.gemspec

create reins/Rakefile

create reins/README.md

create reins/bin/console

create reins/bin/setup

create reins/.travis.yml

create reins/.rspec

create reins/spec/spec_helper.rb

create reins/spec/reins_spec.rb

Initializing git repo in /xxxxxx/reins

├── Gemfile
├── Gemfile.lock
├── LICENSE
├── README.md
├── Rakefile
├── lib
│ ├── reins
│ │ ├── auth_service.rb
│ │ ├── config.rb
│ │ ├── host_registry.rb
│ │ ├── receiver.rb
│ │ ├── task_control.rb
│ │ └── version.rb
│ └── reins.rb
├── reins.gemspec
└── spec
　 ├── reins_spec.rb
　 └── spec_helper.rb

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

├── Gemfile

├── Gemfile.lock

├── LICENSE

├── README.md

├── Rakefile

├── lib

│ ├── reins

│ │ ├── auth_service.rb

│ │ ├── config.rb

│ │ ├── host_registry.rb

│ │ ├── receiver.rb

│ │ ├── task_control.rb

│ │ └── version.rb

│ └── reins.rb

├── reins.gemspec

└── spec

　 ├── reins_spec.rb

　 └── spec_helper.rb

# coding: utf-8
require "spec_helper"
require "socket"

RSpec.describe Reins do
  describe "定数/変数の設定" do
    it "Reins::VERSION の指定" do
      expect(Reins::VERSION).not_to be nil
    end
    it "logger の指定" do
      expect(Reins::logger).not_to be nil
    end
    it "data managerのインスタンス化" do
      expect(Reins::auth_service).not_to be nil
    end
    it "authenticatorのインスタンス化" do
      expect(Reins::regist_host).not_to be nil
    end
  end

  # AuthService classのテスト
  describe "AuthService" do
    describe "#authenticate_key" do
      let(:sha512) { "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb" }
      let(:normal) { Reins::AuthService.new }
      let(:other)  { Reins::AuthService.new(sha512) }

      context "正常に認証された場合" do
        it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }
        it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }
      end

      context "異なる認証キーで呼び出された場合" do
        it { expect(normal.authenticate_key('TEST', '192.168.0.10')).to eq(false) }
        it { expect(other.authenticate_key('DEMO', '192.168.0.10')).to eq(false) }
      end
    end

    describe "#is_varid" do
      let(:auth) { Reins::AuthService.new }
      let(:key)  { auth.authenticate_key('DEMO', '192.168.0.10') }

      context "登録済みのコードの場合" do
        it "接続認証キーで、当のIPアドレスが返る" do
          allow(auth).to receive(:is_varid).and_return('192.168.0.10')
          expect(auth.is_varid(key)).to eq('192.168.0.10')
        end
      end
      context "未登録コードの場合" do
        it "nil" do
          expect(auth.is_varid(key)).to eq(nil)
        end
      end
    end
  end

  # HostRegistry Classのテスト
  describe 'HostRegistry' do
    let(:regist_test)    { Reins::HostRegistry.new("test_db.csv") }
    let(:test_key)       { "TestKey" }
    let(:localhost)       { '127.0.0.1' }
    let(:correct_hosts)   { ['192.168.0.10','1.0.0.1','239.255.255.254'] }
    let(:incorrect_hosts) { ['100','[100,100]','1:0:0:1','1/0/0/1','0.0.0.1','1.0.0.0','0.0.0.0','240.0.0.1','240.255.255.254','0.256.0.1','0.0.256.1','239.255.255.255','-1.0.0.0','0.-1.0.0','0.0.-1.0','0.0.0.-1'] }

    before do
      allow(regist_test).to receive(:store).and_return(true)
    end

    describe '#create' do
      subject {regist_test.create(localhost, test_key) }
      it '同じIPを追加すると false' do
        regist_test.create(localhost, test_key)
        is_expected.to eq(false)
      end
    end

    describe '#read_hosts' do
      subject {regist_test.read_hosts }
      context '正常に登録されている場合' do
        it '未登録時に呼び出すと、空の配列' do
          is_expected.to eq([])
        end
        it 'localhost を1つ登録すると、[127.0.0.1]' do
          regist_test.create(localhost, test_key)
          is_expected.to eq([localhost])
        end
        it '複数のアドレスを登録した場合は、複数のアドレス' do
          correct_hosts.each   { |host|regist_test.create(host, test_key) }
          is_expected.to match_array(correct_hosts)
        end
      end
      context '不正なIPアドレスの場合' do
        it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do
          incorrect_hosts.each { |host|regist_test.create(host, test_key) }
          is_expected.to match_array([])
        end
      end
    end

    describe '#read_hostkeys' do
      it '登録しなければ、空' do
        expect(regist_test.hosts).to eq([])
        expect(regist_test.read_hostkeys).to eq({})
        expect(regist_test.read_hostkeys.size).to eq(0)
      end
      it 'ハッシュ化された接続キーの一覧' do
        correct_hosts.each   { |host|regist_test.create(host, test_key) }
        expect(regist_test.read_hostkeys.size).to eq(3)
      end
    end

    describe '#update' do
      before {regist_test.create(localhost, test_key) }
      context '正常に更新できる場合' do
        it '有効なIPアドレスへ変更すると host が変更' do
          before_host = localhost
          correct_hosts.each do |host|
            expect {regist_test.update(before_host, host) }.to change {regist_test.read_hosts }.from([before_host]).to([host])
            before_host  = host
          end
        end
      end
      context '更新できない場合' do
        it '有効範囲外のIPアドレスへ変更すると false' do
          incorrect_hosts.each do |host|
            expect(regist_test.update(localhost, host)).to eq(false)
          end
        end
        it '未登録のIPアドレスを指定すると false' do
          expect(regist_test.update('192.168.0.1','172.16.0.1')).to eq(false)
        end
        it 'すでに存在するIPアドレスへ変更すると false' do
          expect(regist_test.update('192.168.0.1',localhost)).to eq(false)
        end
      end
    end

describe '#delete' do
      before {regist_test.create("192.168.0.1", test_key)}
      subject {regist_test.delete(localhost) }
      context '正常に削除できる場合' do
        it '登録済みのアドレスを削除すると、そのアドレス' do
          regist_test.create(localhost, test_key)
          is_expected.to eq(localhost)
        end
      end
      context '削除できない場合' do
        it '削除対象がなければ nil' do
          is_expected.to eq(nil)
        end
      end
    end
  end

  # TaskControl class のテスト
  describe 'TaskControl' do
    before { @server = TCPServer.new(24368) }
    after  { @server.close }
    let(:tasks) { Reins::TaskControl.new }

    describe '#connect' do
      context 'クライアントへ接続できる場合' do
        subject { tasks.connect }
        it 'モックを使って正常接続のコール' do
          allow(tasks).to receive(:connect).and_return(true)
          is_expected.to eq(true)
        end
      end

      context 'クライアントへ接続できない場合' do
        it '接続先が存在しないと Standard Error' do
          # TODO: 実際は Raise ではなく、成否を True/False でもらうこととする
          expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'
        end
        it 'クライアントが停止していたら false' do
          allow(tasks).to receive(:connect).and_return(false)
          expect(tasks.connect).to eq(false)
        end
      end
    end

    describe '#disconnect' do
      context '正常に切断できた場合' do
        subject { tasks.disconnect }
        it 'こちらから、クライアントとの接続を切断して、成功すると nil' do
          is_expected.to eq(nil)
        end
      end
    end
  end

end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

# coding: utf-8

require "spec_helper"

require "socket"

RSpec.describe Reins do

describe "定数/変数の設定" do

it "Reins::VERSION の指定" do

expect(Reins::VERSION).not_to be nil

end

it "logger の指定" do

expect(Reins::logger).not_to be nil

end

it "data managerのインスタンス化" do

expect(Reins::auth_service).not_to be nil

end

it "authenticatorのインスタンス化" do

expect(Reins::regist_host).not_to be nil

end

# AuthService classのテスト

describe "AuthService" do

describe "#authenticate_key" do

let(:sha512) { "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb" }

let(:normal) { Reins::AuthService.new }

let(:other) { Reins::AuthService.new(sha512) }

context "正常に認証された場合" do

it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }

it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }

end

context "異なる認証キーで呼び出された場合" do

it { expect(normal.authenticate_key('TEST', '192.168.0.10')).to eq(false) }

it { expect(other.authenticate_key('DEMO', '192.168.0.10')).to eq(false) }

end

describe "#is_varid" do

let(:auth) { Reins::AuthService.new }

let(:key) { auth.authenticate_key('DEMO', '192.168.0.10') }

context "登録済みのコードの場合" do

it "接続認証キーで、当のIPアドレスが返る" do

allow(auth).to receive(:is_varid).and_return('192.168.0.10')

expect(auth.is_varid(key)).to eq('192.168.0.10')

end

context "未登録コードの場合" do

it "nil" do

expect(auth.is_varid(key)).to eq(nil)

end

# HostRegistry Classのテスト

describe 'HostRegistry' do

let(:regist_test) { Reins::HostRegistry.new("test_db.csv") }

let(:test_key) { "TestKey" }

let(:localhost) { '127.0.0.1' }

let(:correct_hosts) { ['192.168.0.10','1.0.0.1','239.255.255.254'] }

let(:incorrect_hosts) { ['100','[100,100]','1:0:0:1','1/0/0/1','0.0.0.1','1.0.0.0','0.0.0.0','240.0.0.1','240.255.255.254','0.256.0.1','0.0.256.1','239.255.255.255','-1.0.0.0','0.-1.0.0','0.0.-1.0','0.0.0.-1'] }

before do

allow(regist_test).to receive(:store).and_return(true)

end

describe '#create' do

subject {regist_test.create(localhost, test_key) }

it '同じIPを追加すると false' do

regist_test.create(localhost, test_key)

is_expected.to eq(false)

end

describe '#read_hosts' do

subject {regist_test.read_hosts }

context '正常に登録されている場合' do

it '未登録時に呼び出すと、空の配列' do

is_expected.to eq([])

end

it 'localhost を1つ登録すると、[127.0.0.1]' do

regist_test.create(localhost, test_key)

is_expected.to eq([localhost])

end

it '複数のアドレスを登録した場合は、複数のアドレス' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array(correct_hosts)

end

context '不正なIPアドレスの場合' do

it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do

incorrect_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array([])

end

describe '#read_hostkeys' do

it '登録しなければ、空' do

expect(regist_test.hosts).to eq([])

expect(regist_test.read_hostkeys).to eq({})

expect(regist_test.read_hostkeys.size).to eq(0)

end

it 'ハッシュ化された接続キーの一覧' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

expect(regist_test.read_hostkeys.size).to eq(3)

end

describe '#update' do

before {regist_test.create(localhost, test_key) }

context '正常に更新できる場合' do

it '有効なIPアドレスへ変更すると host が変更' do

before_host = localhost

correct_hosts.each do |host|

expect {regist_test.update(before_host, host) }.to change {regist_test.read_hosts }.from([before_host]).to([host])

before_host = host

end

context '更新できない場合' do

it '有効範囲外のIPアドレスへ変更すると false' do

incorrect_hosts.each do |host|

expect(regist_test.update(localhost, host)).to eq(false)

end

it '未登録のIPアドレスを指定すると false' do

expect(regist_test.update('192.168.0.1','172.16.0.1')).to eq(false)

end

it 'すでに存在するIPアドレスへ変更すると false' do

expect(regist_test.update('192.168.0.1',localhost)).to eq(false)

end

describe '#delete' do

before {regist_test.create("192.168.0.1", test_key)}

subject {regist_test.delete(localhost) }

context '正常に削除できる場合' do

it '登録済みのアドレスを削除すると、そのアドレス' do

regist_test.create(localhost, test_key)

is_expected.to eq(localhost)

end

context '削除できない場合' do

it '削除対象がなければ nil' do

is_expected.to eq(nil)

end

# TaskControl class のテスト

describe 'TaskControl' do

before { @server = TCPServer.new(24368) }

after { @server.close }

let(:tasks) { Reins::TaskControl.new }

describe '#connect' do

context 'クライアントへ接続できる場合' do

subject { tasks.connect }

it 'モックを使って正常接続のコール' do

allow(tasks).to receive(:connect).and_return(true)

is_expected.to eq(true)

end

context 'クライアントへ接続できない場合' do

it '接続先が存在しないと Standard Error' do

# TODO: 実際は Raise ではなく、成否を True/False でもらうこととする

expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'

end

it 'クライアントが停止していたら false' do

allow(tasks).to receive(:connect).and_return(false)

expect(tasks.connect).to eq(false)

end

describe '#disconnect' do

context '正常に切断できた場合' do

subject { tasks.disconnect }

it 'こちらから、クライアントとの接続を切断して、成功すると nil' do

is_expected.to eq(nil)

end

# filename: reins.rb
require "reins/version"
require "reins/auth_service"
require "reins/host_registry"
require "reins/task_control"
require "reins/config"

module Reins
  def start
  end

  module_function :start
end

1

2

3

4

5

6

7

8

9

10

11

12

13

# filename: reins.rb

require "reins/version"

require "reins/auth_service"

require "reins/host_registry"

require "reins/task_control"

require "reins/config"

module Reins

def start

end

module_function :start

end

module Reins
  VERSION = "0.1.7"
end

1

2

3

module Reins

VERSION = "0.1.7"

end

# coding: utf-8
require 'logger'

module Reins
  class << self
    attr_accessor :logger, :auth_service, :regist_host

    def configure
      yield self
    end
  end
end

Reins.configure do |config|
  config.logger       = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")
  config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")
  config.regist_host  = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")
end

Reins::logger.level = ENV['REINS_LOGLEVEL'] ? eval("Logger::#{ENV['REINS_LOGLEVEL']}") : Logger::WARN

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

# coding: utf-8

require 'logger'

module Reins

class << self

attr_accessor :logger, :auth_service, :regist_host

def configure

yield self

end

Reins.configure do |config|

config.logger = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")

config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")

config.regist_host = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")

end

Reins::logger.level = ENV['REINS_LOGLEVEL'] ? eval("Logger::#{ENV['REINS_LOGLEVEL']}") : Logger::WARN

# coding: utf-8
# filename: auth_service.rb
# require "digest/md5"
require "digest/sha2"

module Reins
  class AuthService 
    # サーバの認証キーを定義する
    # == パラメータ
    # secret_key:: SHA512 でハッシュ化されたキーを指定する
    # == 返り値
    # nil
    def initialize(secret_key = 'ac58c2bedf7c1d4e35136f2ca4f81acdece03fa9e90aeefa0d363488649c7f52d7064285923f814592d53c419f5c4db59ee1a867b4852d18e0fac6efd5874072')
      @secret_key = secret_key
      nil
    end

    # クライアント認証を行う
    # 接続元が要求してきたキーが、サーバ側で設定されているハッシュ値と比較する
    # == パラメータ
    # key:: ハッシュ化される前のキー
    # ip:: 接続元のIPアドレス
    # == 返り値
    # 認証:: ハッシュ化されたクライアント固有識別の接続専用キー
    # 否認:: false
    def authenticate_key(key, ip)
      unless @secret_key == Digest::SHA512.hexdigest(key)
        Reins::logger.fatal("#{ip} : 認証が失敗しました")
        return false
      end

      Digest::SHA512.hexdigest("#{ip}:#{Random.new_seed}")
    end

    # クライアントの識別を行う
    # 要求されたクライアント固有の識別キーが登録されているものか判断する
    # == パラメータ
    # key:: クライアント固有の識別キー
    # == 返り値
    # 識別された場合:: 登録されているIPアドレス
    # 否認された場合:: nil
    def is_varid(keycode)
      Reins::regist_host.read_hostkeys.key(keycode)
    end
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

# coding: utf-8

# filename: auth_service.rb

# require "digest/md5"

require "digest/sha2"

module Reins

class AuthService

# サーバの認証キーを定義する

# == パラメータ

# secret_key:: SHA512 でハッシュ化されたキーを指定する

# == 返り値

# nil

def initialize(secret_key = 'ac58c2bedf7c1d4e35136f2ca4f81acdece03fa9e90aeefa0d363488649c7f52d7064285923f814592d53c419f5c4db59ee1a867b4852d18e0fac6efd5874072')

@secret_key = secret_key

nil

end

# クライアント認証を行う

# 接続元が要求してきたキーが、サーバ側で設定されているハッシュ値と比較する

# == パラメータ

# key:: ハッシュ化される前のキー

# ip:: 接続元のIPアドレス

# == 返り値

# 認証:: ハッシュ化されたクライアント固有識別の接続専用キー

# 否認:: false

def authenticate_key(key, ip)

unless @secret_key == Digest::SHA512.hexdigest(key)

Reins::logger.fatal("#{ip} : 認証が失敗しました")

return false

end

Digest::SHA512.hexdigest("#{ip}:#{Random.new_seed}")

end

# クライアントの識別を行う

# 要求されたクライアント固有の識別キーが登録されているものか判断する

# == パラメータ

# key:: クライアント固有の識別キー

# == 返り値

# 識別された場合:: 登録されているIPアドレス

# 否認された場合:: nil

def is_varid(keycode)

Reins::regist_host.read_hostkeys.key(keycode)

end

リスト6-a、6-bは本来ひとつのコードですが、本Webサイトの文法に抵触するため分割して掲載します。

# coding: utf-8
# filename: host_registry.rb
require 'csv'

module Reins
  class HostRegistry
    attr_reader :hosts

    # データベースの読込・初期化
    # ファイルが存在していれば内容を読込、なければファイルを新規に作成
    # == パラメータ
    # filename:: 読込・または保管先のファイル名
    # == 返り値
    # 特になし。但し、@hosts インスタンス変数へ、データベースの内容を保持
    def initialize(filename)
      @filename = filename
      @hosts    =  File.exists?(@filename) ? CSV.read(@filename) : []
    end

    # IPアドレスのチェック
    # IPアドレスとおぼしき文字列を検査し、IPアドレスっぽいかどうかを調査
    # == パラメータ
    # ip:: チェックしたいIPアドレス文字列
    # == 返り値
    # true:: IPアドレスと思われる場合
    # false:: IPアドレスではないと思われる場合

    def check_ip(ip)
      # 引数は文字列のみを受け付けることとする
      return false unless ip.is_a?(String)

      # 正規表現で、各数値を入手
      /^([0-9]*)\.([0-9]*)\.([0-9]*)\.([0-9]*)$/ =~ ip

      return false unless (1..239).cover?($1.to_i)
      return false unless (0..255).cover?($2.to_i)
      return false unless (0..255).cover?($3.to_i)
      return false unless (1..254).cover?($4.to_i)

      return true
    end

    # メモリ上のアドレスリストを、ファイルへ保管する
    # == パラメータ
    # filename:: 保管先ファイル名。指定がない場合は、初期化時に採用したファイル名
    def store(filename = @filename)
      CSV.open(filename, "w") do |csv|
        @hosts.each do |addr|
          csv << addr
        end
      end
    end
    # アドレスを新規に登録する。既に登録済みのものであれば登録しない。
    # == パラメータ
    # keyaddr:: 登録する IPアドレスをキーにした、接続用Keyをもつハッシュデータ
    # == 返り値
    # true::  登録できた
    # false:: 既に同じアドレスまたはIPアドレスではないため、登録せず
    def create(addr, key)
      if check_ip(addr) then
        unless read_hosts.include?(addr) then
          @hosts << [addr, key, Time.now]
          Reins::logger.info("#{addr} を追加しました")
          store
          return true
        else
          Reins::logger.error("#{addr} は既に登録されています.")
        end
      else
        Reins::logger.error("#{addr} は登録可能なIPアドレスではありません.")
      end
      false
    end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

# coding: utf-8

# filename: host_registry.rb

require 'csv'

module Reins

class HostRegistry

attr_reader :hosts

# データベースの読込・初期化

# ファイルが存在していれば内容を読込、なければファイルを新規に作成

# == パラメータ

# filename:: 読込・または保管先のファイル名

# == 返り値

# 特になし。但し、@hosts インスタンス変数へ、データベースの内容を保持

def initialize(filename)

@filename = filename

@hosts = File.exists?(@filename) ? CSV.read(@filename) : []

end

# IPアドレスのチェック

# IPアドレスとおぼしき文字列を検査し、IPアドレスっぽいかどうかを調査

# == パラメータ

# ip:: チェックしたいIPアドレス文字列

# == 返り値

# true:: IPアドレスと思われる場合

# false:: IPアドレスではないと思われる場合

def check_ip(ip)

# 引数は文字列のみを受け付けることとする

return false unless ip.is_a?(String)

# 正規表現で、各数値を入手

/^([0-9]*)\.([0-9]*)\.([0-9]*)\.([0-9]*)$/ =~ ip

return false unless (1..239).cover?($1.to_i)

return false unless (0..255).cover?($2.to_i)

return false unless (0..255).cover?($3.to_i)

return false unless (1..254).cover?($4.to_i)

return true

end

# メモリ上のアドレスリストを、ファイルへ保管する

# == パラメータ

# filename:: 保管先ファイル名。指定がない場合は、初期化時に採用したファイル名

def store(filename = @filename)

CSV.open(filename, "w") do |csv|

@hosts.each do |addr|

csv << addr

end

# アドレスを新規に登録する。既に登録済みのものであれば登録しない。

# == パラメータ

# keyaddr:: 登録する IPアドレスをキーにした、接続用Keyをもつハッシュデータ

# == 返り値

# true:: 登録できた

# false:: 既に同じアドレスまたはIPアドレスではないため、登録せず

def create(addr, key)

if check_ip(addr) then

unless read_hosts.include?(addr) then

@hosts << [addr, key, Time.now]

Reins::logger.info("#{addr} を追加しました")

store

return true

else

Reins::logger.error("#{addr} は既に登録されています.")

end

else

Reins::logger.error("#{addr} は登録可能なIPアドレスではありません.")

end

false

end

    # 登録済みホスト一覧を、IPアドレスをKey、接続KeyをValueとするハッシュで返す
    # == 返り値
    # hash: hash[ipアドレス] = key を一つの要素とする
    def read_hostkeys
      @hosts.each.map { |addr, key| [addr, key] }.to_h
    end

    # 登録済みホスト一覧を配列で返す
    # == 返り値
    # array: 登録済みのホスト一覧
    def read_hosts
      read_hostkeys.keys
    end

    # 登録済みのアドレスを、他のアドレスへ変更する
    # ただし、変更後のアドレスが既に登録されている場合や、登録済みアドレスが見つからない場合はエラーを返す
    # == パラメータ
    # before:: 既に登録済みのアドレス
    # after::  変更後のアドレス
    def update(before, after)
      if read_hosts.include?(after) || !check_ip(after)
        Reins::logger.error("#{after} は既に登録済みか、有効なIPアドレスではありません.")
        return false
      elsif i = read_hosts.index(before)
        @hosts[i][0] = after
        Reins::logger.info("#{before} から #{after} へ変更しました.")
        return true
      else
        Reins::logger.error("変更元の #{before} が見つかりません.")
        return false
      end
    end

    # 登録済みのアドレスを削除する
    # == パラメータ
    # addr: 削除対象のアドレス
    # == 返り値
    # string:: 削除された要素
    # nil::    削除すべき要素が見つからなかったとき
    def delete(addr)
      if i = read_hosts.index(addr)
        @hosts.delete(i)
        Reins::logger.info("#{addr} を削除しました.")
        store
        return addr
      else
        Reins::logger.warn("#{addr} が見つかりません.")
        return nil
      end
    end

    # まだアドレスが登録されていないかどうか
    # == 返り値
    # true::  アドレス未登録
    # false:: 1つ以上のアドレスが登録済み
    def empty?
      @hosts.empty?
    end
  end
end

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

# 登録済みホスト一覧を、IPアドレスをKey、接続KeyをValueとするハッシュで返す

# == 返り値

# hash: hash[ipアドレス] = key を一つの要素とする

def read_hostkeys

@hosts.each.map { |addr, key| [addr, key] }.to_h

end

# 登録済みホスト一覧を配列で返す

# == 返り値

# array: 登録済みのホスト一覧

def read_hosts

read_hostkeys.keys

end

# 登録済みのアドレスを、他のアドレスへ変更する

# ただし、変更後のアドレスが既に登録されている場合や、登録済みアドレスが見つからない場合はエラーを返す

# == パラメータ

# before:: 既に登録済みのアドレス

# after:: 変更後のアドレス

def update(before, after)

if read_hosts.include?(after) || !check_ip(after)

Reins::logger.error("#{after} は既に登録済みか、有効なIPアドレスではありません.")

return false

elsif i = read_hosts.index(before)

@hosts[i][0] = after

Reins::logger.info("#{before} から #{after} へ変更しました.")

return true

else

Reins::logger.error("変更元の #{before} が見つかりません.")

return false

end

# 登録済みのアドレスを削除する

# == パラメータ

# addr: 削除対象のアドレス

# == 返り値

# string:: 削除された要素

# nil:: 削除すべき要素が見つからなかったとき

def delete(addr)

if i = read_hosts.index(addr)

@hosts.delete(i)

Reins::logger.info("#{addr} を削除しました.")

store

return addr

else

Reins::logger.warn("#{addr} が見つかりません.")

return nil

end

# まだアドレスが登録されていないかどうか

# == 返り値

# true:: アドレス未登録

# false:: 1つ以上のアドレスが登録済み

def empty?

@hosts.empty?

end

# encoding: utf-8
# filename: task_control.rb

module Reins
  class TaskControl
    # クライアントとの接続
    # == パラメータ
    # hostname:: 接続先クライアントのホスト名、またはIPアドレス
    # port:: 接続先クライアントのTCPポート番号。通常は 24368
    # == 返り値
    # 接続された通信用のソケットオブジェクト
    def initialize(hostname = '127.0.0.1', port = 24368)
      begin
        @s = TCPSocket.open(hostname, port)
      rescue => e
        notify(e)
      end
    end

    # クライアントとの死活確認
    # == パラメータ
    # 特になし
    # == 返り値
    # true:: 生存確認
    # false:: クライアントが停止、またはネットワーク上に問題あり
    def connect
      begin
        true
      rescue => e
        notify(e)
      end
    end

    # エラーが発生した場合に一時的に飛ばされてくるメソッド
    def notify(error)
      raise(StandardError, 'Not Connect')
    end

    # クライアントとの接続を切断
    # == パラメータ
    # 特になし
    # == 返り値
    # nil:: 正常に切断
    def disconnect
      @s.close
    end
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

# encoding: utf-8

# filename: task_control.rb

module Reins

class TaskControl

# クライアントとの接続

# == パラメータ

# hostname:: 接続先クライアントのホスト名、またはIPアドレス

# port:: 接続先クライアントのTCPポート番号。通常は 24368

# == 返り値

# 接続された通信用のソケットオブジェクト

def initialize(hostname = '127.0.0.1', port = 24368)

begin

@s = TCPSocket.open(hostname, port)

rescue => e

notify(e)

end

# クライアントとの死活確認

# == パラメータ

# 特になし

# == 返り値

# true:: 生存確認

# false:: クライアントが停止、またはネットワーク上に問題あり

def connect

begin

true

rescue => e

notify(e)

end

# エラーが発生した場合に一時的に飛ばされてくるメソッド

def notify(error)

raise(StandardError, 'Not Connect')

end

# クライアントとの接続を切断

# == パラメータ

# 特になし

# == 返り値

# nil:: 正常に切断

def disconnect

@s.close

end

$ bundle exec rake spec
/Users/sho/.rbenv/versions/2.4.0/bin/ruby -I/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/lib:/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-support-3.5.0/lib /Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/exe/rspec --pattern spec/\*\*\{,/\*/\*\*\}/\*_spec.rb

Reins
  定数/変数の設定
    Reins::VERSION の指定
    logger の指定
    data manager のインスタンス化
    authenticatorのインスタンス化
  AuthService
    #authenticate_key
      正常に認証された場合
        should not eq false
        should not eq false
      異なる認証キーで呼び出された場合
        should eq false
        should eq false
    #is_varid
      登録済みのコードの場合
        接続認証キーで、該当のIPアドレスが返る
      未登録コードの場合
        nil
  HostRegistry
    #create
      同じIPを追加すると false
    #read_hosts
      正常に登録されている場合
        未登録時に呼び出すと、空の配列
        localhost を1つ登録すると、[127.0.0.1]
        複数のアドレスを登録した場合は、複数のアドレス
      不正なIPアドレスの場合
        有効範囲外のIPアドレスを登録しても登録されず、空の配列
    #read_hostkeys
      登録しなければ、空
      ハッシュ化された接続キーの一覧
    #update
      正常に更新できる場合
        有効なIPアドレスへ変更すると host が変更
      更新できない場合
        有効範囲外のIPアドレスへ変更すると false
        未登録のIPアドレスを指定すると false
        すでに存在するIPアドレスへ変更すると false
    #delete
      正常に削除できる場合
        登録済みのアドレスを削除すると、そのアドレス
      削除できない場合
        削除対象がなければ nil
  TaskControl
    #connect
      クライアントへ接続できる場合
        モックを使って正常接続のコール
      クライアントへ接続できない場合
        接続先が存在しないと Standard Error
        クライアントが停止していたら false
    #disconnect
      正常に切断できた場合
        こちらから、クライアントとの接続を切断して、成功すると nil

Finished in 0.04302 seconds (files took 0.37678 seconds to load)
27 examples, 0 failures

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

$ bundle exec rake spec

/Users/sho/.rbenv/versions/2.4.0/bin/ruby -I/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/lib:/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-support-3.5.0/lib /Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/exe/rspec --pattern spec/\*\*\{,/\*/\*\*\}/\*_spec.rb

Reins

定数/変数の設定

Reins::VERSION の指定

logger の指定

data manager のインスタンス化

authenticatorのインスタンス化

AuthService

#authenticate_key

正常に認証された場合

should not eq false

異なる認証キーで呼び出された場合

should eq false

#is_varid

登録済みのコードの場合

接続認証キーで、該当のIPアドレスが返る

未登録コードの場合

nil

HostRegistry

#create

同じIPを追加すると false

#read_hosts

正常に登録されている場合

未登録時に呼び出すと、空の配列

localhost を1つ登録すると、[127.0.0.1]

複数のアドレスを登録した場合は、複数のアドレス

不正なIPアドレスの場合

有効範囲外のIPアドレスを登録しても登録されず、空の配列

#read_hostkeys

登録しなければ、空

ハッシュ化された接続キーの一覧

#update

正常に更新できる場合

有効なIPアドレスへ変更すると host が変更

更新できない場合

有効範囲外のIPアドレスへ変更すると false

未登録のIPアドレスを指定すると false

すでに存在するIPアドレスへ変更すると false

#delete

正常に削除できる場合

登録済みのアドレスを削除すると、そのアドレス

削除できない場合

削除対象がなければ nil

TaskControl

#connect

クライアントへ接続できる場合

モックを使って正常接続のコール

クライアントへ接続できない場合

接続先が存在しないと Standard Error

クライアントが停止していたら false

#disconnect

正常に切断できた場合

こちらから、クライアントとの接続を切断して、成功すると nil

Finished in 0.04302 seconds (files took 0.37678 seconds to load)

27 examples, 0 failures

バーティカルバーの極意第一回 (vol.47掲載)

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：中央大学　教授　飯尾淳

　この連載では、バーティカルバー、あるいは、縦棒で表される記号（｜）や縦棒そのものを中心として、話題を展開しようと試みます。毎回、どんなバーティカルバーが現れるか、楽しみにしていてください。…といいつつ、第1回めの今回は、皆さんおなじみ、Unixにおけるパイプ（｜）を扱います。ベタでどうもすみません。

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

無料無線公衆LANスポットのCSVファイル URL
http://www.data.go.jp/data/dataset/mlit_20160325_0037

$ lv -Ou8 jta_free_wifi.csv > jta_free_wifi_u8.csv

1	$ lv -Ou8 jta_free_wifi.csv > jta_free_wifi_u8.csv

$ cut -f 8 -d , jta_free_wifi_u8.csv

1	$ cut -f 8 -d , jta_free_wifi_u8.csv

$ R -q -e 'x<-read.csv("jta_free_wifi_u8.csv",header=T); \ 
> write.csv(x$都道府県, file="prefecture.csv", quote=F, row.names=F)' 
$ cat prefecture.csv | grep '[都道府県]' > prefecture.dat

1

2

3

$ R -q -e 'x<-read.csv("jta_free_wifi_u8.csv",header=T); \

> write.csv(x$都道府県, file="prefecture.csv", quote=F, row.names=F)'

$ cat prefecture.csv | grep '[都道府県]' > prefecture.dat

$ cat prefecture.dat | sort | uniq -c | sort -nr
6242 大阪府
4081 東京都
4068 愛知県
3490 福岡県
3288 静岡県...

1

2

3

4

5

6

$ cat prefecture.dat | sort | uniq -c | sort -nr

6242 大阪府

4081 東京都

4068 愛知県

3490 福岡県

3288 静岡県...

逆に、Tukubaiコマンドをシェルスクリプトで実装してみる　前編 (vol.47掲載)

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：今泉光之 (Twitter: @bsdhack)

1　usp Tukubai とは?

usp Tukubai はユニバーサル・シェル・プログラミング研究所が開発・提供している一連のコマンド群で、商用製品として様々な分野の数多くのプロダクトとして利用されているソフトウェア製品です。
usp Tukubai はコマンド群として提供されており、通常の UNIX コマンドの様に複数のコマンドを繋ぎ合わせて使うことでシステムを構築することができます。
usp Tukubai で提供されるコマンドを使いこなすと、端末だけで集計処理ができたり、ファイルだけでDBを組んだり、ウェブシステムを組んだりと、シェルあるいはシェルスクリプトでできることが飛躍的に増えます。
特に製品版として開発されている usp Tukubaiはソースコードのレベルからチューニングされているので、非常に高速に動作するので大規模なエンタープライズシステムでの使用にも十分に対応できる性能となっています。

2 　ユニケージ開発手法とは?

ユニケージ開発手法はユニバーサル・シェル・プログラミング研究所によって開発された、短期間低コストで企業システムを構築するための開発手法です。
小さなコマンドを組み合わせて問題を解決することを目的とした開発手法やコマンドに関する研究開発に取り組んでいるユニバーサル・シェル・プログラミング研究所が、そうした研究開発の成果をまとめた開発手法がユニケージ開発手法です。
本稿で扱う usp Tukubai はユニケージ開発手法を実践するための手段として開発されたコマンド群です。
ユニケージ開発手法に基づいて usp Tukubai コマンドを利用することで、数十行のプログラムでアプリケーションを記述できたり、データベースを使わずにテキストファイルのみでデータ処理が可能となります。実際にユニケージ開発手法に基づくシステム開発は小売業を中心に基幹業務システム、情報分析システム、データバッチ処理、高速検索システム、勘定系システムなど様々な分野で活用されていて、特にシステムの内製化を進める企業において採用されています。

3　Personal Tukubai とは

usp Tukubaiを試用目的で利用できるようにしたバージョンで、商用利用はできません。
Windows、Linux、OS Xでそれぞれ動作するので usp Tukubai による業務システムの開発を実際に体験できます。
期間限定のライセンスで、ダウンロードした月から 6ヶ月後の月末まで使用可能となっているので、十分に usp Tukubai の機能を調べることができると思います。

4 Open usp Tukubai とは

usp Tukubai コマンドのうち、利用頻度の高いコマンドを厳選して Python により実装しなおし、MIT ライセンスの下でオープンソースソフトウェアとして提供されているのが Open usp Tukubaiです。
製品版の usp Tukubai と比較すると一部実装されていないコマンドがあったり、性能にある程度の差は出てしまいますが、それでも usp Tukubai の便利な機能を知るためには十分に有用だと思います。
本稿では、Open usp Tukubai についての解説となります。

Tukubai 各コマンドの機能の紹介と簡単な解説

1　Open usp Tukubai のインストール方法

Open usp Tukubai は Python により実装されているので Python が動作する環境であればインストール可能です。
公式の配布サイトからソースを取得して展開し make install するだけで Open usp Tukubai は利用可能となります。
OS X 11.6 (OS X El Capitan) では以下のコマンドでインストールできます。
$ curl ‘https://uec.usp-lab.com/TUKUBAI/DOWNLOAD/open-usp-tukubai-2014061402.tar.bz2’ -o open-usp-tukubai-2014061402.tar.bz2 $ tar zf open-usp-tukubai-2014061402.tar.bz2 $ cd open-usp-tukubai-2014061402 $ sudo make install

2　Open usp Tukubai コマンドの解説

ここでは Open usp Tukubai のコマンドを解説します。
ただし以下のように Open usp Tukubai だけでも 55 コマンドも提供されており、その全てを解説するのは無理なので、
特に有用で興味深いコマンドを厳選して紹介します。

$ ls -1 /opt/local/tukubai/bin | wc -l
55

1 2	$ ls -1 /opt/local/tukubai/bin \| wc -l 55

また、シェルスクリプトマガジンに掲載の記事なので、シェルスクリプトで Open usp Tukubai コマンドを実装してみたいと思います。今回は、calclock、comma、getlast、ketaの４つのコマンドを紹介し、シェルスクリプトでの再現を試みます。
但し今回は紙面と時間の都合で一部の機能やオプションなど実装できていない部分も多いです。
また、動作の把握とメイン処理の実装のみに絞ったので、エラー処理などはまったく実施していません。
そのために実際の業務などには殆ど利用できない実験的なスクリプトとなっています。

calclock

1　calclock とは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準入力)の指定されたフィールドのデータを Epoch *1からの秒数に変換してフィールドの隣に出力します。
ファイル名に – が指定された場合は一般的な UNIX の流儀にのっとり標準入力を入力として利用します。
入力データは年月日(yyyymmdd形式)、時間(HHMMSS形式)、年月日時間(yyyymmddHHMMSS)を自動で検出します。
例えば以下の様なフォーマットのシステムへの接続ログから接続時間を取得する処理などを簡単に作ることができます。

*1 Epoch とは UNIX で一般的に利用されている時刻表現で、協定世界時(UTC)での1970年1月1日午前0時0分0秒の時刻からの形式的な経過秒数です。

$ cat << EOF | calclock 3 5 - | awk '{print ($6-$3)/60}'
001 foo 20170123093255 192.168.0.1 20170123104932 ………
002 bar 20170123094528 10.8.2.132 20170123162827 ………
002 baz 20170123100224 172.16.8.47 20170123144911 ………
EOF
194.617
1138.32
744.783

1

2

3

4

5

6

7

8

$ cat << EOF | calclock 3 5 - | awk '{print ($6-$3)/60}'

001 foo 20170123093255 192.168.0.1 20170123104932 ………

002 bar 20170123094528 10.8.2.132 20170123162827 ………

002 baz 20170123100224 172.16.8.47 20170123144911 ………

EOF

194.617

1138.32

744.783

calclock 唯一のオプションは -r で、これを指定すると入力データは Epoch からの秒数として解釈され出力は年月日時間(yyyymmddHHMMSS)となります。

2　calclockを作ってみよう

#!/bin/sh
# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避
fields="$*"

while read line
do
	# 引数で指定されたフィールド毎に処理
	for i in ${fields}
	do
		# 入力された行を位置パラメータにセット
		set -- ${line}
		# 入力されたフィールドのサイズから date(1) の書式を取得
		case $(eval echo '${#'${i}'}') in
		        6 ) format="%H%M%S";;
		        8 ) format="%Y%m%d";;
		        14) format="%Y%m%d%H%M%S";;
		esac
		# date(1) で Epoch からの秒を取得して変数 vX にセット
		eval "v${i}=$(date -j -f "${format}" $(echo $(eval echo '${'${i}'}'))  '+%s')"
	done
	# 行出力処理
	i=1
	while [ ${i} -le $# ]
	do
		# 入力データを出力
		printf "%s " $(eval echo '${'${i}'}')
		# フィールドに対して秒数がある場合は出力
		v=$(eval echo '{v'${i}'}')
		test -n "${v}" && printf "%s " ${v}
		i=$((i + 1))
	done
	echo
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

#!/bin/sh

# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避

fields="$*"

while read line

do

# 引数で指定されたフィールド毎に処理

for i in ${fields}

do

# 入力された行を位置パラメータにセット

set -- ${line}

# 入力されたフィールドのサイズから date(1) の書式を取得

case $(eval echo '${#'${i}'}') in

6 ) format="%H%M%S";;

8 ) format="%Y%m%d";;

14) format="%Y%m%d%H%M%S";;

esac

# date(1) で Epoch からの秒を取得して変数 vX にセット

eval "v${i}=$(date -j -f "${format}" $(echo $(eval echo '${'${i}'}')) '+%s')"

done

# 行出力処理

i=1

while [ ${i} -le $# ]

do

# 入力データを出力

printf "%s " $(eval echo '${'${i}'}')

# フィールドに対して秒数がある場合は出力

v=$(eval echo '{v'${i}'}')

test -n "${v}" && printf "%s " ${v}

i=$((i + 1))

done

echo

done

シェル組み込みのコマンドと date(1) を駆使して、何とか似た機能は実現できました。
引数で指定されたフィールドを変数 fields に格納しておき、read(1) で入力した行データ毎に fields に格納されたフィールドから date(1) で秒数を取得し、取得できた秒を変数 v数字 (数字はフィールド番号) に格納しています。指定された全フィールドの処理が終わると、入力データと取得した秒数を出力します。入力データの指定されたフィールド形式などのチェックしていないので、入力データに不正な値があると正しく動作しません。また、今回は -r オプションに関して実装しておらず、入力データも標準入力のみとなっています。

comma

1　comma とは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準入力)の指定されたフィールドのデータを「カンマ区切り」にします。帳票データなどの最終的な出力に適用すると、金額などの可読性が向上します。
指定したフィールドに数字以外のデータが入力された場合はエラーとなります。

$ echo "12345 67890" | comma 1 2 
12,345 67,890

1 2	$ echo "12345 67890" \| comma 1 2 12,345 67,890

+hオプションはヘッダ行をスキップするための指定で、指定された行(デフォルトは1行)をヘッダ行としてスキップします。

$ cat << EOF | comma +h 1 2
入金 出金
123456 654321
987654 567890 
EOF
入金 出金
123,456 654,321
987,654 567,890

1

2

3

4

5

6

7

8

$ cat << EOF | comma +h 1 2

入金出金

123456 654321

987654 567890

EOF

入金出金

123,456 654,321

987,654 567,890

d オプションは引数で指定した文字列をカンマ区切りにします。

$ comma -d 1234567
1,234,567

1 2	$ comma -d 1234567 1,234,567

-4 オプションは 4 桁区切りにします。

$ comma -d4 123456789
1,2345,6789

1 2	$ comma -d4 123456789 1,2345,6789

2　commaを作ってみよう

#!/bin/sh
# 区切り数を取得
if [ "$1" = "-4" ]
then
	digit=4
	shift
else
	digit=3
fi

# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避
fields="$*"

comma(){
	# 区切り桁数を取得
	awk -v "digit=${digit}" '
		{
			 l = length;
			 i = 1
			 s = ""
			 # 文字列を最後から処理
			 while(l > digit){
			         s = "," substr($0, l-digit*i+1, digit) s
			         l -= digit 
			 }
			 if(l)
			         s = substr($0, 0, l) s
			 print s
	}'
}

while read line
do
	for i in ${fields}
	do
		set -- ${line}
		eval "v${i}=$(echo $(eval echo '${'${i}'}') | comma)"
	done
	i=1
	while [ ${i} -le $# ]
	do
		v=$(eval echo '{v'${i}'}')
		if [ -n "${v}" ]
		then
			printf "%s " {v}
		else
			printf "%s " $(eval echo '${'${i}'}')
		fi
		i=$((i + 1))
	done
	echo
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

#!/bin/sh

# 区切り数を取得

if [ "$1" = "-4" ]

then

digit=4

shift

else

digit=3

fi

# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避

fields="$*"

comma(){

# 区切り桁数を取得

awk -v "digit=${digit}" '

{

l = length;

i = 1

s = ""

# 文字列を最後から処理

while(l > digit){

s = "," substr($0, l-digit*i+1, digit) s

l -= digit

}

if(l)

s = substr($0, 0, l) s

print s

}'

}

while read line

do

for i in ${fields}

do

set -- ${line}

eval "v${i}=$(echo $(eval echo '${'${i}'}') | comma)"

done

i=1

while [ ${i} -le $# ]

do

v=$(eval echo '{v'${i}'}')

if [ -n "${v}" ]

then

printf "%s " {v}

else

printf "%s " $(eval echo '${'${i}'}')

fi

i=$((i + 1))

done

echo

done

メインのロジックは awk(1) を利用することで何とか実装できました。
awk(1) の substr 関数を利用して文字列の後ろから指定された桁数で文字列を切り出し、切り出した文字列の先頭に , を付けることでカンマ区切りを実現しています。
今回は -d オプションに関して実装しておらず、入力データも標準入力のみとなっています。また Open usp Tukubai の comma では桁区切りするフィールドのデータをチェックしていて、データが数字以外の場合はエラーメッセージを出力していますが、こちらのスクリプトではその様なエラー処理をしていません。
ちなみに 3 桁区切りだけでよければ printf(1) の %’ を利用することでも殆どの場合実現可能ですが、printf(1) の %’ は現時点では非標準なので全ての環境で利用できる保証はなく、また、区切りを 4桁にする機能は対応していないので、独自に実装する必要があります。

getlast

1 　getlastとは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準出力)の指定されたフィールドの値が最後に出現した行を出力します。

$ cat << EOF | getlast 1 2 -
0000007 セロリ 20060201 117
0000007 セロリ 20060203 221
0000017 練馬大根 20060201 31
0000017 練馬大根 20060203 514
0000021 温州みかん 20060201 90
0000021 温州みかん 20060203 573
EOF
0000007 セロリ 20060203 221
0000017 練馬大根 20060203 514
0000021 温州みかん 20060203 573

1

2

3

4

5

6

7

8

9

10

11

$ cat << EOF | getlast 1 2 -

0000007 セロリ 20060201 117

0000007 セロリ 20060203 221

0000017 練馬大根 20060201 31

0000017 練馬大根 20060203 514

0000021 温州みかん 20060201 90

0000021 温州みかん 20060203 573

EOF

0000007 セロリ 20060203 221

0000017 練馬大根 20060203 514

0000021 温州みかん 20060203 573

同一のフィールドを指定することで単一のキーフィールドの指定も可能です。
以下の例だと第1フィールドの値のみで抽出しています。

$ cat << EOF | getlast 1 1 -
0000007 セロリ1 20060201 117
0000007 セロリ2 20060203 221
0000017 練馬大根1 20060201 31
0000017 練馬大根2 20060203 514
0000021 温州みかん2 20060201 90
0000021 温州みかん1 20060203 573
0000025 プリンスメロン1 20060201 129
0000025 プリンスメロン1 20060203 391
EOF
0000007 セロリ2 20060203 221
0000017 練馬大根2 20060203 514
0000021 温州みかん1 20060203 573
0000025 プリンスメロン1 20060203 391

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ cat << EOF | getlast 1 1 -

0000007 セロリ1 20060201 117

0000007 セロリ2 20060203 221

0000017 練馬大根1 20060201 31

0000017 練馬大根2 20060203 514

0000021 温州みかん2 20060201 90

0000021 温州みかん1 20060203 573

0000025 プリンスメロン1 20060201 129

0000025 プリンスメロン1 20060203 391

EOF

0000007 セロリ2 20060203 221

0000017 練馬大根2 20060203 514

0000021 温州みかん1 20060203 573

0000025 プリンスメロン1 20060203 391

+ng オプションは同じ値を持つ最後の行以外を出力します。

2　getlastを作ってみよう

#!/bin/sh
awk -v "f1=$1" -v "f2=$2" '{
	# 指定されたフィールドの値をキーとしたハッシュに格納
	# 出力順を保持するために行データに行番号を追加
	data[$f1,$f2] = NR "\t" $0
}
END{
	for(i in data)
		print data[i]
}' |
# 行番号でソートし行番号を削除
sort -k 1 | cut -f 2-

1

2

3

4

5

6

7

8

9

10

11

12

#!/bin/sh

awk -v "f1=$1" -v "f2=$2" '{

# 指定されたフィールドの値をキーとしたハッシュに格納

# 出力順を保持するために行データに行番号を追加

data[$f1,$f2] = NR "\t" $0

}

END{

for(i in data)

print data[i]

}' |

# 行番号でソートし行番号を削除

sort -k 1 | cut -f 2-

メインのロジックは awk(1) のハッシュ (連想配列) を利用することで実装しました。
指定されたフィールドの値をそのまま連結してハッシュのキーとして利用することで、最新の行内容がハッシュに格納されます。
awk(1) の仕様としてハッシュの順番はランダムになりますので、
順番を維持するためにハッシュに格納する行データに行番号を付与して、出力したデータを sort(1) を利用して行番号でソートして正しい順番に並べ替えた後で、cut(1) で追加した行番号を削除して出力しています。
メインのロジックは awk(1) の機能をそのまま利用することで実現できたので、今回実装したコマンドの中では一番短く単純なスクリプトになっています。
+ng オプションは実装していません。

keta

1　keta とは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準出力)の指定されたフィールドの桁数を揃えて、右詰で出力します。
表示するための最大幅は自動で計算されます。

$ cat << EOF | keta -
01 埼玉県 01 さいたま市 91 59 20 76 54
01 埼玉県 02 川越市 46 39 8 5 21
02 東京都 04 新宿区 30 50 71 36 30
02 東京都 06 港区 58 71 20 10 6
04 神奈川県 13 横浜市 92 56 83 96 75
EOF
01   埼玉県 01 さいたま市 91 59 20 76 54
01   埼玉県 02     川越市 46 39  8  5 21
02   東京都 04     新宿区 30 50 71 36 30
02   東京都 06       港区 58 71 20 10  6
04 神奈川県 13     横浜市 92 56 83 96 75

1

2

3

4

5

6

7

8

9

10

11

12

$ cat << EOF | keta -

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

EOF

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

— オプションは左詰で出力されます。

$ cat << EOF | keta -- -
01 埼玉県 01 さいたま市 91 59 20 76 54
01 埼玉県 02 川越市 46 39 8 5 21
02 東京都 04 新宿区 30 50 71 36 30
02 東京都 06 港区 58 71 20 10 6
04 神奈川県 13 横浜市 92 56 83 96 75
EOF
01 埼玉県   01 さいたま市 91 59 20 76 54
01 埼玉県   02 川越市     46 39 8  5  21
02 東京都   04 新宿区     30 50 71 36 30
02 東京都   06 港区       58 71 20 10 6 
04 神奈川県 13 横浜市     92 56 83 96 75

1

2

3

4

5

6

7

8

9

10

11

12

$ cat << EOF | keta -- -

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

EOF

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

フィールド毎に出力する桁数を数字で指定することができ、指定する数字に – を付けることで左詰を指定することもできます。
出力する桁数は半角文字の表示幅を 1 としているので全角文字の場合は 1 文字を 2 とする必要があります。

2　 ketaを作ってみよう

#!/bin/sh
awk '{
	# 入力データの最大値を取得しつつフィールド毎の値を data 配列に格納
	for(i=1; i<=NF; i++){
		if(max[i] < length($i))
			max[i] = length($i)
		data[NR,i] = $i
	}
}
END{
	for(i=1; i<=NR; i++){
		for(j=1; j<=NF; j++){
			# printf の * を利用して出力幅を指定
			printf("%*s ", max[j], data[i,j])
		}
		printf("\n")
	}
}'

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

#!/bin/sh

awk '{

# 入力データの最大値を取得しつつフィールド毎の値を data 配列に格納

for(i=1; i<=NF; i++){

if(max[i] < length($i))

max[i] = length($i)

data[NR,i] = $i

}

END{

for(i=1; i<=NR; i++){

for(j=1; j<=NF; j++){

# printf の * を利用して出力幅を指定

printf("%*s ", max[j], data[i,j])

}

printf("\n")

}

}'

基本的な機能は全て awk(1) の組み込み関数で実装しました。
入力データは行番号とフィールド番号をキーとしたハッシュ dataに格納し、同時にフィールドの文字列長の最大値を別のハッシュ max に格納しています。
出力は、 awk(1) に組み込みの printf の %*s 指示子を利用することで出力幅を指定しています。

マルチバイトの文字列には対応していないので、入力データにマルチバイト文字があると正しく出力できません。
非英語圏でマルチバイト文字が正しく扱えないことは致命的ですので、業務には利用できません。

UTF-8 では、マルチバイト文字は多くの場合 3 バイトかそれ以上のバイト数を必要としていますが、OS X 標準の awk(1) の lengthコマンドは文字列のバイト数を取得しますので、例えば length(“あ”) は 3 となります。
Linux で標準的に利用されている GNU awk の場合はマルチバイト文字に対応していますので、マルチバイト文字を含む文字列の長さは正しい文字数を取得することができ、length(“あ”) は 1 となります。
しかしマルチバイト文字は 2 バイト相当の表示幅となりますので、どちらの場合でもマルチバイト文字を含む文字列の長さと表示幅は合致しません。
そのためにマルチバイト文字を含む文字列を表示する幅を正しく制御するのは非常に困難となります。

-v オプションは実装していません。

5/25発売のシェルマガvol.48では、さらなるTukubaiコマンドに挑みます
Web版シェルマガにも公開しますので、どうぞお楽しみに！

本記事掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

漢のUNIX　静的ライブラリをつくってみよう　(vol.47掲載)

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：後藤大地

　前回の記事では、実装を複数の.c ファイルに分けて作成し、それらをコンパイルして.o ファイルに変更し、その.o ファイルを組み合わせてバイナリファイルを生成することを説明した。
　.o ファイルはバイナリファイルのパーツのようになっており、これらを組み上げることで実装に動作するバイナリファイルを作ることができる。

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

% ls /usr/lib | grep '\.a$' | head
lib80211.a
lib80211_p.a
libBlocksRuntime.a
libBlocksRuntime_p.a
libalias.a
libalias_cuseeme.a
libalias_cuseeme_p.a
libalias_dummy.a
libalias_dummy_p.a
libalias_ftp.a
% cp /usr/lib/libalias.a ./
% file libalias.a
libalias.a: current ar archive
% ar -xv libalias.a
x - alias_proxy.o
x - alias_db.o
x - alias.o
x - alias_mod.o
x - alias_util.o
% tree
.
|-- alias.o
|-- alias_db.o
|-- alias_mod.o
|-- alias_proxy.o
|-- alias_util.o
`-- libalias.a

0 directories, 6 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

% ls /usr/lib | grep '\.a$' | head

lib80211.a

lib80211_p.a

libBlocksRuntime.a

libBlocksRuntime_p.a

libalias.a

libalias_cuseeme.a

libalias_cuseeme_p.a

libalias_dummy.a

libalias_dummy_p.a

libalias_ftp.a

% cp /usr/lib/libalias.a ./

% file libalias.a

libalias.a: current ar archive

% ar -xv libalias.a

x - alias_proxy.o

x - alias_db.o

x - alias.o

x - alias_mod.o

x - alias_util.o

% tree

.

|-- alias.o

|-- alias_db.o

|-- alias_mod.o

|-- alias_proxy.o

|-- alias_util.o

`-- libalias.a

0 directories, 6 files

%

% locate alias_mod.c
/usr/src/sys/netinet/libalias/alias_mod.c
% locate alias_util.c
/usr/src/sys/netinet/libalias/alias_util.c
% locate alias_db.c
/usr/src/sys/netinet/libalias/alias_db.c
% locate alias_proxy.c
/usr/src/sys/netinet/libalias/alias_proxy.c
% locate alias.c | grep netinet/libalias
/usr/src/sys/netinet/libalias/alias.c
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% locate alias_mod.c

/usr/src/sys/netinet/libalias/alias_mod.c

% locate alias_util.c

/usr/src/sys/netinet/libalias/alias_util.c

% locate alias_db.c

/usr/src/sys/netinet/libalias/alias_db.c

% locate alias_proxy.c

/usr/src/sys/netinet/libalias/alias_proxy.c

% locate alias.c | grep netinet/libalias

/usr/src/sys/netinet/libalias/alias.c

%

% tree
.
|-- include
|   `-- ore.h
|-- lib
`-- libore
    |-- Makefile
    |-- indent.c
    |-- ore.c
    |-- setmsg.c
    |-- usage.c
    `-- version.c

3 directories, 7 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% tree

.

|-- include

| `-- ore.h

|-- lib

`-- libore

|-- Makefile

|-- indent.c

|-- ore.c

|-- setmsg.c

|-- usage.c

`-- version.c

3 directories, 7 files

%

% cd libore
% make
cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o
cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o
cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o
cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o
cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o
ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o
a - indent.o
a - ore.o
a - setmsg.o
a - usage.o
a - version.o
% cd ..

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% cd libore

% make

cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o

cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o

cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o

cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o

cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o

ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o

a - indent.o

a - ore.o

a - setmsg.o

a - usage.o

a - version.o

% cd ..

% tree
.
|-- include
|   `-- ore.h
|-- lib
|   `-- libore.a
`-- libore
    |-- Makefile
    |-- indent.c
    |-- indent.o
    |-- ore.c
    |-- ore.o
    |-- setmsg.c
    |-- setmsg.o
    |-- usage.c
    |-- usage.o
    |-- version.c
    `-- version.o

3 directories, 13 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

% tree

.

|-- include

| `-- ore.h

|-- lib

| `-- libore.a

`-- libore

|-- Makefile

|-- indent.c

|-- indent.o

|-- ore.c

|-- ore.o

|-- setmsg.c

|-- setmsg.o

|-- usage.c

|-- usage.o

|-- version.c

`-- version.o

3 directories, 13 files

%

% readelf -c libore.a
Index of archive libore.a: (14 entries)
Binary libore.a(indent.o) contains:
        _usage_msg
        _version_msg
        indent
Binary libore.a(ore.o) contains:
        _usage_msg
        _version_msg
Binary libore.a(setmsg.o) contains:
        _usage_msg
        _version_msg
        setmsg
Binary libore.a(usage.o) contains:
        _usage_msg
        _version_msg
        usage
Binary libore.a(version.o) contains:
        _usage_msg
        _version_msg
        version
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

% readelf -c libore.a

Index of archive libore.a: (14 entries)

Binary libore.a(indent.o) contains:

_usage_msg

_version_msg

indent

Binary libore.a(ore.o) contains:

_usage_msg

_version_msg

Binary libore.a(setmsg.o) contains:

_usage_msg

_version_msg

setmsg

Binary libore.a(usage.o) contains:

_usage_msg

_version_msg

usage

Binary libore.a(version.o) contains:

_usage_msg

_version_msg

version

%

% ar -xv libore.a
x - indent.o
x - ore.o
x - setmsg.o
x - usage.o
x - version.o
% ls
indent.o  libore.a  ore.o     setmsg.o  usage.o   v
ersion.o
%

1

2

3

4

5

6

7

8

9

10

11

12

% ar -xv libore.a

x - indent.o

x - ore.o

x - setmsg.o

x - usage.o

x - version.o

% ls

indent.o libore.a ore.o setmsg.o usage.o v

ersion.o

%

#include "ore.h"

1	#include "ore.h"

#include <stdio.h>

#include "ore.h"

void
version(void)
{
        fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n", 
                _version_msg);
}

1

2

3

4

5

6

7

8

9

10

#include <stdio.h>

#include "ore.h"

void

version(void)

{

fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n",

_version_msg);

}

#include <stdio.h>

#include "ore.h"

void
usage(void)
{
        fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s\n", 
                indent(_usage_msg));
}

1

2

3

4

5

6

7

8

9

10

#include <stdio.h>

#include "ore.h"

void

usage(void)

{

fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s\n",

indent(_usage_msg));

}

#include "ore.h"

char *
indent(char *t)
{
        static char buf[BUFFER_SIZE];
        char *p;

        int i = 0;
        p = t;
        buf[i++] = '\t';
        for (; i < BUFFER_SIZE - 1; i++, p++) {
                buf[i] = *p;
                if ('\n' == *p)
                        buf[++i] = '\t';
                if ('\0' == *p)
                        break;
        }
        if ('\0' != buf[i])
                buf[i] = '\0';

        return buf;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#include "ore.h"

char *

indent(char *t)

{

static char buf[BUFFER_SIZE];

char *p;

int i = 0;

p = t;

buf[i++] = '\t';

for (; i < BUFFER_SIZE - 1; i++, p++) {

buf[i] = *p;

if ('\n' == *p)

buf[++i] = '\t';

if ('\0' == *p)

break;

}

if ('\0' != buf[i])

buf[i] = '\0';

return buf;

}

#include <stdlib.h>
#include <string.h>

#include "ore.h"

int
setmsg(char *key, char *value)
{
        if (0 == strcmp("usage", key)) {
                _usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));
                strncpy(_usage_msg, value, BUFFER_SIZE);
                _usage_msg[BUFFER_SIZE - 1] = '\0';
        }
        else if (0 == strcmp("version", key)) {
                _version_msg = calloc(1, BUFFER_SIZE * sizeof(char));
                strncpy(_version_msg, value, BUFFER_SIZE);
                _version_msg[BUFFER_SIZE - 1] = '\0';
        }
        else
                return (-1);

        return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#include <stdlib.h>

#include <string.h>

#include "ore.h"

int

setmsg(char *key, char *value)

{

if (0 == strcmp("usage", key)) {

_usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_usage_msg, value, BUFFER_SIZE);

_usage_msg[BUFFER_SIZE - 1] = '\0';

}

else if (0 == strcmp("version", key)) {

_version_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_version_msg, value, BUFFER_SIZE);

_version_msg[BUFFER_SIZE - 1] = '\0';

}

else

return (-1);

return 0;

}

#ifndef _ORE_H_
#define _ORE_H_

#define BUFFER_SIZE     4096
#define USAGE_OUT       stderr
#define VERSION_OUT     stdout

#define ESC_SEQ_NORM    "\x1b[0m"
#define ESC_SEQ_BOLD    "\x1b[1m"
#define ESC_SEQ_GRAY    "\x1b[2m"
#define ESC_SEQ_UBAR    "\x1b[4m"

#define ES_BOLD(X)      ESC_SEQ_BOLD X ESC_SEQ_NORM
#define ES_LIGHT(X)     ESC_SEQ_GRAY X ESC_SEQ_NORM
#define ES_UBAR(X)      ESC_SEQ_UBAR X ESC_SEQ_NORM

char *_usage_msg;
char *_version_msg;

char *indent(char *);
int setmsg(char *, char *);
void usage(void);
void version(void);

#endif

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#ifndef _ORE_H_

#define _ORE_H_

#define BUFFER_SIZE 4096

#define USAGE_OUT stderr

#define VERSION_OUT stdout

#define ESC_SEQ_NORM "\x1b[0m"

#define ESC_SEQ_BOLD "\x1b[1m"

#define ESC_SEQ_GRAY "\x1b[2m"

#define ESC_SEQ_UBAR "\x1b[4m"

#define ES_BOLD(X) ESC_SEQ_BOLD X ESC_SEQ_NORM

#define ES_LIGHT(X) ESC_SEQ_GRAY X ESC_SEQ_NORM

#define ES_UBAR(X) ESC_SEQ_UBAR X ESC_SEQ_NORM

char *_usage_msg;

char *_version_msg;

char *indent(char *);

int setmsg(char *, char *);

void usage(void);

void version(void);

#endif

CFLAGS=         -I. -I./../include/ -O2 -pipe 

LIBA=           ./../lib/libore.a
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

.SUFFIXES:      .o .c

.c.o:
        cc ${CFLAGS} -c $< -o $@

all: ${OBJS}
        ar -crv ${LIBA} ${OBJS}

clean:
        rm -f ${LIBA} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

CFLAGS= -I. -I./../include/ -O2 -pipe

LIBA= ./../lib/libore.a

OBJS!= ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

ar -crv ${LIBA} ${OBJS}

clean:

rm -f ${LIBA} ${OBJS}

% tree
.
|-- bin
|-- include
|   `-- ore.h
|-- lib
|-- libore
|   |-- Makefile
|   |-- indent.c
|   |-- ore.c
|   |-- setmsg.c
|   |-- usage.c
|   `-- version.c
`-- src
    `-- bin
        `-- oreapp
            |-- Makefile
            `-- oreapp.c

7 directories, 9 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

% tree

.

|-- bin

|-- include

| `-- ore.h

|-- lib

|-- libore

| |-- Makefile

| |-- indent.c

| |-- ore.c

| |-- setmsg.c

| |-- usage.c

| `-- version.c

`-- src

`-- bin

`-- oreapp

|-- Makefile

`-- oreapp.c

7 directories, 9 files

%

% tree
.
|-- bin
|   `-- oreapp
|-- include
|   `-- ore.h
|-- lib
|   `-- libore.a
|-- libore
|   |-- Makefile
|   |-- indent.c
|   |-- indent.o
|   |-- ore.c
|   |-- ore.o
|   |-- setmsg.c
|   |-- setmsg.o
|   |-- usage.c
|   |-- usage.o
|   |-- version.c
|   `-- version.o
`-- src
    `-- bin
        `-- oreapp
            |-- Makefile
            |-- oreapp.c
            `-- oreapp.o

7 directories, 17 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

% tree

.

|-- bin

| `-- oreapp

|-- include

| `-- ore.h

|-- lib

| `-- libore.a

|-- libore

| |-- Makefile

| |-- indent.c

| |-- indent.o

| |-- ore.c

| |-- ore.o

| |-- setmsg.c

| |-- setmsg.o

| |-- usage.c

| |-- usage.o

| |-- version.c

| `-- version.o

`-- src

`-- bin

`-- oreapp

|-- Makefile

|-- oreapp.c

`-- oreapp.o

7 directories, 17 files

%

#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

#include "ore.h"

int
main(int argc, char *argv[])
{
        setmsg("usage", "oreapp [-v] [-h] string...");
        setmsg("version", "1.0");

        int ch;
        while ((ch = getopt(argc, argv, "hv")) != -1) {
                switch (ch) {
                case 'v':
                        version();
                        exit(EX_USAGE);
                        break;
                case '?':
                case 'h':
                        usage();
                        exit(EX_USAGE);
                        break;
                default:
                        usage();
                        exit(EX_USAGE);
                        break;
                }
        }
        argc -= optind;
        argv += optind;

        for (int i = 0; i < argc; i++)  
                printf("%06d %s\n", 1+i, argv[i]);

        return(EX_OK);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

#include <unistd.h>

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

#include "ore.h"

int

main(int argc, char *argv[])

{

setmsg("usage", "oreapp [-v] [-h] string...");

setmsg("version", "1.0");

int ch;

while ((ch = getopt(argc, argv, "hv")) != -1) {

switch (ch) {

case 'v':

version();

exit(EX_USAGE);

break;

case '?':

case 'h':

usage();

exit(EX_USAGE);

break;

default:

usage();

exit(EX_USAGE);

break;

}

argc -= optind;

argv += optind;

for (int i = 0; i < argc; i++)

printf("%06d %s\n", 1+i, argv[i]);

return(EX_OK);

}

BIN=            ./../../../bin/oreapp
LIBA=           ./../../../lib/libore.a
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

CFLAGS=         -I. -I./../../../include/ -O2 -pipe 

.SUFFIXES:      .o .c

.c.o:
        cc ${CFLAGS} -c $< -o $@

all: ${OBJS}
        cc ${CFLAGS} -o ${BIN} ${OBJS} -L./../../../lib/ -lore

clean:
        rm -f ${BIN} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

BIN= ./../../../bin/oreapp

LIBA= ./../../../lib/libore.a

OBJS!= ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

CFLAGS= -I. -I./../../../include/ -O2 -pipe

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

cc ${CFLAGS} -o ${BIN} ${OBJS} -L./../../../lib/ -lore

clean:

rm -f ${BIN} ${OBJS}

% cd libore/
% make
cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o
cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o
cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o
cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o
cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o
ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o
a - indent.o
a - ore.o
a - setmsg.o
a - usage.o
a - version.o
% cd ../src/bin/oreapp/
% make
cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c -o oreapp.o
cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

% cd libore/

% make

cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o

cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o

cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o

cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o

cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o

ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o

a - indent.o

a - ore.o

a - setmsg.o

a - usage.o

a - version.o

% cd ../src/bin/oreapp/

% make

cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c -o oreapp.o

cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore

%

% ./oreapp -v
バージョン: 1.0
% ./oreapp -h
使い方:
        oreapp [-v] [-h] string...
% ./oreapp a b c d
000001 a
000002 b
000003 c
000004 d
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

% ./oreapp -v

バージョン: 1.0

% ./oreapp -h

使い方:

oreapp [-v] [-h] string...

% ./oreapp a b c d

000001 a

000002 b

000003 c

000004 d

%

% readelf -a oreapp
ELF Header:
  Magic:   7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00
  Class:                             ELF64
  Data:                              2's complement, little endian
  Version:                           1 (current)
  OS/ABI:                            FreeBSD
  ABI Version:                       0
  Type:                              EXEC (Executable file)
  Machine:                           Advanced Micro Devices x86-64
  Version:                           0x1
  Entry point address:               0x4006e0
  Start of program headers:          64 (bytes into file)
  Start of section headers:          4728 (bytes into file)
  Flags:                             0
  Size of this header:               64 (bytes)
  Size of program headers:           56 (bytes)
  Number of program headers:         8
  Size of section headers:           64 (bytes)
  Number of section headers:         29
  Section header string table index: 26

Elf file type is EXEC (Executable file)
Entry point 0x4006e0
There are 8 program headers, starting at offset 64

Program Headers:
  Type           Offset             VirtAddr           PhysAddr
                 FileSiz            MemSiz              Flg    Align
  PHDR           0x0000000000000040 0x0000000000400040 0x0000000000400040
                 0x00000000000001c0 0x00000000000001c0  R E    0x8
  INTERP         0x0000000000000200 0x0000000000400200 0x0000000000400200
                 0x0000000000000015 0x0000000000000015  R      0x1
      [Requesting program interpreter: /libexec/ld-elf.so.1]
  LOAD           0x0000000000000000 0x0000000000400000 0x0000000000400000
                 0x0000000000000d6c 0x0000000000000d6c  R E    0x200000
  LOAD           0x0000000000000d70 0x0000000000600d70 0x0000000000600d70
                 0x0000000000000241 0x0000000000001278  RW     0x200000
  DYNAMIC        0x0000000000000d98 0x0000000000600d98 0x0000000000600d98
                 0x00000000000001a0 0x00000000000001a0  RW     0x8
  NOTE           0x0000000000000218 0x0000000000400218 0x0000000000400218
                 0x0000000000000030 0x0000000000000030  R      0x4
  GNU_EH_FRAME   0x0000000000000c24 0x0000000000400c24 0x0000000000400c24
                 0x0000000000000044 0x0000000000000044  R      0x4
  GNU_STACK      0x0000000000000000 0x0000000000000000 0x0000000000000000
                 0x0000000000000000 0x0000000000000000  RW     0x8


Section to Segment mapping:
  Segment Sections...
   00
   01     .interp
   02     .interp .note.tag .hash .gnu.hash .dynsym .dynstr .gnu.version .gnu.version_r .rela.dyn .rela.plt .init .plt .text .fini .rodata .eh_frame_hdr .eh_frame
   03     .ctors .dtors .jcr .dynamic .got.plt .data .bss
   04     .dynamic
   05     .note.tag
   06     .eh_frame_hdr
   07
There are 29 section headers, starting at offset 0x1278:
Section Headers:
  [Nr] Name              Type             Address           Offset
       Size              EntSize          Flags  Link  Info  Align
  [ 0] (null)            NULL             0000000000000000  00000000
       0000000000000000  0000000000000000           0     0     0
  [ 1] .interp           PROGBITS         0000000000400200  00000200
       0000000000000015  0000000000000000   A       0     0     1
  [ 2] .note.tag         NOTE             0000000000400218  00000218
       0000000000000030  0000000000000000   A       0     0     4
  [ 3] .hash             HASH             0000000000400248  00000248
       0000000000000054  0000000000000004   A       5     0     8
  [ 4] .gnu.hash         GNU_HASH         00000000004002a0  000002a0
       0000000000000038  0000000000000000   A       5     0     8
  [ 5] .dynsym           DYNSYM           00000000004002d8  000002d8
       0000000000000180  0000000000000018   A       6     1     8
  [ 6] .dynstr           STRTAB           0000000000400458  00000458
       0000000000000087  0000000000000000   A       0     0     1
  [ 7] .gnu.version      SUNW_versym      00000000004004e0  000004e0
       0000000000000020  0000000000000002   A       5     0     2
  [ 8] .gnu.version_r    SUNW_verneed     0000000000400500  00000500
       0000000000000020  0000000000000000   A       6     1     8
  [ 9] .rela.dyn         RELA             0000000000400520  00000520
       0000000000000030  0000000000000018   A       5     0     8
  [10] .rela.plt         RELA             0000000000400550  00000550
       00000000000000d8  0000000000000018   A       5    12     8
  [11] .init             PROGBITS         0000000000400628  00000628
       0000000000000013  0000000000000000  AX       0     0     4
  [12] .plt              PROGBITS         000000000040063c  0000063c
       00000000000000a0  0000000000000010  AX       0     0     4
  [13] .text             PROGBITS         00000000004006e0  000006e0
       00000000000004c8  0000000000000000  AX       0     0     16
  [14] .fini             PROGBITS         0000000000400ba8  00000ba8
       000000000000000e  0000000000000000  AX       0     0     4
  [15] .rodata           PROGBITS         0000000000400bb6  00000bb6
       000000000000006d  0000000000000001 AMS       0     0     1
  [16] .eh_frame_hdr     PROGBITS         0000000000400c24  00000c24
       0000000000000044  0000000000000000   A       0     0     4
  [17] .eh_frame         X86_64_UNWIND    0000000000400c68  00000c68
       0000000000000104  0000000000000000   A       0     0     8
  [18] .ctors            PROGBITS         0000000000600d70  00000d70
       0000000000000010  0000000000000000  WA       0     0     8
  [19] .dtors            PROGBITS         0000000000600d80  00000d80
       0000000000000010  0000000000000000  WA       0     0     8
  [20] .jcr              PROGBITS         0000000000600d90  00000d90
       0000000000000008  0000000000000000  WA       0     0     8
  [21] .dynamic          DYNAMIC          0000000000600d98  00000d98
       00000000000001a0  0000000000000010  WA       6     0     8
  [22] .got.plt          PROGBITS         0000000000600f38  00000f38
       0000000000000060  0000000000000008  WA       0     0     8
  [23] .data             PROGBITS         0000000000600f98  00000f98
       0000000000000019  0000000000000000  WA       0     0     8
  [24] .bss              NOBITS           0000000000600fc0  00000fb1
       0000000000001028  0000000000000000  WA       0     0     16
  [25] .comment          PROGBITS         0000000000000000  00000fb1
       00000000000001e3  0000000000000001  MS       0     0     1
  [26] .shstrtab         STRTAB           0000000000000000  00001194
       00000000000000e2  0000000000000000           0     0     1
  [27] .symtab           SYMTAB           0000000000000000  000019b8
       0000000000000810  0000000000000018          28    58     8
  [28] .strtab           STRTAB           0000000000000000  000021c8
       0000000000000363  0000000000000000           0     0     1
Key to Flags:
  W (write), A (alloc), X (execute), M (merge), S (strings)
  I (info), L (link order), G (group), x (unknown)
  O (extra OS processing required) o (OS specific), p (processor specific)

Dynamic section at offset 0xd98 contains 21 entries:
  Tag                Type                  Name/Value
 0x0000000000000001 NEEDED               Shared library: [libc.so.7]
 0x000000000000000c INIT                 0x400628
 0x000000000000000d FINI                 0x400ba8
 0x0000000000000004 HASH                 0x400248
 0x000000006ffffef5 GNU_HASH             0x4002a0
 0x0000000000000005 STRTAB               0x400458
 0x0000000000000006 SYMTAB               0x4002d8
 0x000000000000000a STRSZ                135 (bytes)
 0x000000000000000b SYMENT               24 (bytes)
 0x0000000000000015 DEBUG                0x0
 0x0000000000000003 PLTGOT               0x600f38
 0x0000000000000002 PLTRELSZ             216 (bytes)
 0x0000000000000014 PLTREL               RELA
 0x0000000000000017 JMPREL               0x400550
 0x0000000000000007 RELA                 0x400520
 0x0000000000000008 RELASZ               48 (bytes)
 0x0000000000000009 RELAENT              24 (bytes)
 0x000000006ffffffe VERNEED              0x400500
 0x000000006fffffff VERNEEDNUM           1
 0x000000006ffffff0 VERSYM               0x4004e0
 0x0000000000000000 NULL                 0x0

Relocation section with addend (.rela.dyn):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000600fc0 000e00000005 R_X86_64_COPY       0000000000600fc0 optind + 0
000000600fc8 000f00000005 R_X86_64_COPY       0000000000600fc8 __stderrp + 0

Relocation section with addend (.rela.plt):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000600f50 000200000007 R_X86_64_JUMP_SLOT  0000000000000000 printf + 0
000000600f58 000300000007 R_X86_64_JUMP_SLOT  0000000000000000 atexit + 0
000000600f60 000400000007 R_X86_64_JUMP_SLOT  0000000000000000 _init_tls + 0
000000600f68 000500000007 R_X86_64_JUMP_SLOT  0000000000000000 fprintf + 0
000000600f70 000600000007 R_X86_64_JUMP_SLOT  0000000000000000 getopt + 0
000000600f78 000700000007 R_X86_64_JUMP_SLOT  0000000000000000 calloc + 0
000000600f80 000800000007 R_X86_64_JUMP_SLOT  0000000000000000 strncpy + 0
000000600f88 000900000007 R_X86_64_JUMP_SLOT  0000000000000000 exit + 0
000000600f90 000a00000007 R_X86_64_JUMP_SLOT  0000000000000000 strcmp + 0
Symbol table (.dynsym) contains 16 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
     2: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@FBSD_1.0 (2)
     3: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@FBSD_1.0 (2)
     4: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@FBSD_1.0 (2)
     5: 0000000000000000   239 FUNC    GLOBAL DEFAULT  UND fprintf@FBSD_1.0 (2)
     6: 0000000000000000   617 FUNC    GLOBAL DEFAULT  UND getopt@FBSD_1.0 (2)
     7: 0000000000000000  3171 FUNC    GLOBAL DEFAULT  UND calloc@FBSD_1.0 (2)
     8: 0000000000000000    76 FUNC    GLOBAL DEFAULT  UND strncpy@FBSD_1.0 (2)
     9: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@FBSD_1.0 (2)
    10: 0000000000000000   126 FUNC    GLOBAL DEFAULT  UND strcmp@FBSD_1.0 (2)
    11: 0000000000601fd0     8 OBJECT  GLOBAL DEFAULT   24 environ
    12: 0000000000601fe8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
    13: 0000000000600f98     8 OBJECT  GLOBAL DEFAULT   23 __progname
    14: 0000000000600fc0     4 OBJECT  GLOBAL DEFAULT   24 optind@FBSD_1.0 (2)
    15: 0000000000600fc8     8 OBJECT  GLOBAL DEFAULT   24 __stderrp@FBSD_1.0 (2)
Symbol table (.symtab) contains 86 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000400200     0 SECTION LOCAL  DEFAULT    1
     2: 0000000000400218     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000400248     0 SECTION LOCAL  DEFAULT    3
     4: 00000000004002a0     0 SECTION LOCAL  DEFAULT    4
     5: 00000000004002d8     0 SECTION LOCAL  DEFAULT    5
     6: 0000000000400458     0 SECTION LOCAL  DEFAULT    6
     7: 00000000004004e0     0 SECTION LOCAL  DEFAULT    7
     8: 0000000000400500     0 SECTION LOCAL  DEFAULT    8
     9: 0000000000400520     0 SECTION LOCAL  DEFAULT    9
    10: 0000000000400550     0 SECTION LOCAL  DEFAULT   10
    11: 0000000000400628     0 SECTION LOCAL  DEFAULT   11
    12: 000000000040063c     0 SECTION LOCAL  DEFAULT   12
    13: 00000000004006e0     0 SECTION LOCAL  DEFAULT   13
    14: 0000000000400ba8     0 SECTION LOCAL  DEFAULT   14
    15: 0000000000400bb6     0 SECTION LOCAL  DEFAULT   15
    16: 0000000000400c24     0 SECTION LOCAL  DEFAULT   16
    17: 0000000000400c68     0 SECTION LOCAL  DEFAULT   17
    18: 0000000000600d70     0 SECTION LOCAL  DEFAULT   18
    19: 0000000000600d80     0 SECTION LOCAL  DEFAULT   19
    20: 0000000000600d90     0 SECTION LOCAL  DEFAULT   20
    21: 0000000000600d98     0 SECTION LOCAL  DEFAULT   21
    22: 0000000000600f38     0 SECTION LOCAL  DEFAULT   22
    23: 0000000000600f98     0 SECTION LOCAL  DEFAULT   23
    24: 0000000000600fc0     0 SECTION LOCAL  DEFAULT   24
    25: 0000000000000000     0 SECTION LOCAL  DEFAULT   25
    26: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/lib/csu/amd64/crt1.c
    27: 0000000000400218    24 OBJECT  LOCAL  DEFAULT    2 abitag
    28: 0000000000400230    24 OBJECT  LOCAL  DEFAULT    2 crt_noinit_tag
    29: 0000000000400870    83 FUNC    LOCAL  DEFAULT   13 finalizer
    30: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    31: 0000000000600d70     8 OBJECT  LOCAL  DEFAULT   18 __CTOR_LIST__
    32: 0000000000600d80     8 OBJECT  LOCAL  DEFAULT   19 __DTOR_LIST__
    33: 0000000000600d90     0 OBJECT  LOCAL  DEFAULT   20 __JCR_LIST__
    34: 00000000004008d0    53 FUNC    LOCAL  DEFAULT   13 __do_global_dtors_aux
    35: 0000000000600fb0     1 OBJECT  LOCAL  DEFAULT   23 __do_global_dtors_aux.completed
    36: 0000000000600fa8     8 OBJECT  LOCAL  DEFAULT   23 __do_global_dtors_aux.p
    37: 0000000000400910    34 FUNC    LOCAL  DEFAULT   13 frame_dummy
    38: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    39: 0000000000600d78     8 OBJECT  LOCAL  DEFAULT   18 __CTOR_END__
    40: 0000000000600d88     8 OBJECT  LOCAL  DEFAULT   19 __DTOR_END__
    41: 0000000000400d68     4 OBJECT  LOCAL  DEFAULT   17 __FRAME_END__
    42: 0000000000600d90     8 OBJECT  LOCAL  DEFAULT   20 __JCR_END__
    43: 0000000000400b70    54 FUNC    LOCAL  DEFAULT   13 __do_global_ctors_aux
    44: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS oreapp.c
    45: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS setmsg.c
    46: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS usage.c
    47: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS version.c
    48: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS indent.c
    49: 0000000000600fd0  4096 OBJECT  LOCAL  DEFAULT   24 indent.buf
    50: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __preinit_array_start
    51: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __fini_array_end
    52: 0000000000600f38     0 OBJECT  LOCAL  HIDDEN    22 _GLOBAL_OFFSET_TABLE_
    53: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __preinit_array_end
    54: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __fini_array_start
    55: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __init_array_end
    56: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __init_array_start
    57: 0000000000600d98     0 OBJECT  LOCAL  HIDDEN    21 _DYNAMIC
    58: 0000000000600fc0     4 OBJECT  GLOBAL DEFAULT   24 optind@@FBSD_1.0
    59: 00000000004006e0   390 FUNC    GLOBAL DEFAULT   13 _start
    60: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
    61: 0000000000600f98     8 OBJECT  GLOBAL DEFAULT   23 __progname
    62: 0000000000601fd8     8 OBJECT  GLOBAL DEFAULT   24 _usage_msg
    63: 0000000000400ba8     0 FUNC    GLOBAL HIDDEN    14 _fini
    64: 0000000000400a10   160 FUNC    GLOBAL DEFAULT   13 setmsg
    65: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@@FBSD_1.0
    66: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@@FBSD_1.0
    67: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@@FBSD_1.0
    68: 0000000000000000   239 FUNC    GLOBAL DEFAULT  UND fprintf@@FBSD_1.0
    69: 0000000000000000   617 FUNC    GLOBAL DEFAULT  UND getopt@@FBSD_1.0
    70: 0000000000400b10    90 FUNC    GLOBAL DEFAULT   13 indent
    71: 0000000000600fa0     8 OBJECT  GLOBAL HIDDEN    23 __dso_handle
    72: 0000000000601fe0     8 OBJECT  GLOBAL DEFAULT   24 _version_msg
    73: 0000000000400af0    31 FUNC    GLOBAL DEFAULT   13 version
    74: 0000000000000000  3171 FUNC    GLOBAL DEFAULT  UND calloc@@FBSD_1.0
    75: 0000000000000000    76 FUNC    GLOBAL DEFAULT  UND strncpy@@FBSD_1.0
    76: 0000000000600fb1     0 NOTYPE  GLOBAL DEFAULT  ABS __bss_start
    77: 0000000000601fd0     8 OBJECT  GLOBAL DEFAULT   24 environ
    78: 0000000000601fe8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
    79: 0000000000400ab0    52 FUNC    GLOBAL DEFAULT   13 usage
    80: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@@FBSD_1.0
    81: 0000000000600fb1     0 NOTYPE  GLOBAL DEFAULT  ABS _edata
    82: 0000000000600fc8     8 OBJECT  GLOBAL DEFAULT   24 __stderrp@@FBSD_1.0
    83: 0000000000000000   126 FUNC    GLOBAL DEFAULT  UND strcmp@@FBSD_1.0
    84: 0000000000400940   196 FUNC    GLOBAL DEFAULT   13 main
    85: 0000000000400628     0 FUNC    GLOBAL HIDDEN    11 _init

Histogram for bucket list length (total of 3 buckets):
 Length Number          % of total      Coverage
      0 0               (  0.0%)          0.0%
      1 0               (  0.0%)          0.0%
      2 1               ( 33.3%)         13.3%
      3 0               (  0.0%)         13.3%
      4 0               (  0.0%)         13.3%
      5 0               (  0.0%)         13.3%
      6 1               ( 33.3%)         53.3%
      7 1               ( 33.3%)        100.0%
Histogram for bucket list length (total of 3 buckets):
 Length Number          % of total      Coverage
      0 0               (  0.0%)          0.0%
      1 1               ( 33.3%)         25.0%
      2 2               ( 66.7%)        125.0%

Version symbol section (.gnu.version):
  000:   0 *local*         0 *local*         2 FBSD_1.0        2 FBSD_1.0
  004:   2 FBSD_1.0        2 FBSD_1.0        2 FBSD_1.0        2 FBSD_1.0
  008:   2 FBSD_1.0        2 FBSD_1.0        2 FBSD_1.0        1 *global*
  00c:   1 *global*        1 *global*        2 FBSD_1.0        2 FBSD_1.0

Version needed section (.gnu.version_r):
  0x0000 vn_version: 1 vn_file: libc.so.7 vn_cnt: 1
  0x0010   vna_name: FBSD_1.0 vna_flags: 0 vna_other: 2
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

% readelf -a oreapp

ELF Header:

Magic: 7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00

Class: ELF64

Data: 2's complement, little endian

Version: 1 (current)

OS/ABI: FreeBSD

ABI Version: 0

Type: EXEC (Executable file)

Machine: Advanced Micro Devices x86-64

Version: 0x1

Entry point address: 0x4006e0

Start of program headers: 64 (bytes into file)

Start of section headers: 4728 (bytes into file)

Flags: 0

Size of this header: 64 (bytes)

Size of program headers: 56 (bytes)

Number of program headers: 8

Size of section headers: 64 (bytes)

Number of section headers: 29

Section header string table index: 26

Elf file type is EXEC (Executable file)

Entry point 0x4006e0

There are 8 program headers, starting at offset 64

Program Headers:

Type Offset VirtAddr PhysAddr

FileSiz MemSiz Flg Align

PHDR 0x0000000000000040 0x0000000000400040 0x0000000000400040

0x00000000000001c0 0x00000000000001c0 R E 0x8

INTERP 0x0000000000000200 0x0000000000400200 0x0000000000400200

0x0000000000000015 0x0000000000000015 R 0x1

[Requesting program interpreter: /libexec/ld-elf.so.1]

LOAD 0x0000000000000000 0x0000000000400000 0x0000000000400000

0x0000000000000d6c 0x0000000000000d6c R E 0x200000

LOAD 0x0000000000000d70 0x0000000000600d70 0x0000000000600d70

0x0000000000000241 0x0000000000001278 RW 0x200000

DYNAMIC 0x0000000000000d98 0x0000000000600d98 0x0000000000600d98

0x00000000000001a0 0x00000000000001a0 RW 0x8

NOTE 0x0000000000000218 0x0000000000400218 0x0000000000400218

0x0000000000000030 0x0000000000000030 R 0x4

GNU_EH_FRAME 0x0000000000000c24 0x0000000000400c24 0x0000000000400c24

0x0000000000000044 0x0000000000000044 R 0x4

GNU_STACK 0x0000000000000000 0x0000000000000000 0x0000000000000000

0x0000000000000000 0x0000000000000000 RW 0x8

Section to Segment mapping:

Segment Sections...

00

01 .interp

02 .interp .note.tag .hash .gnu.hash .dynsym .dynstr .gnu.version .gnu.version_r .rela.dyn .rela.plt .init .plt .text .fini .rodata .eh_frame_hdr .eh_frame

03 .ctors .dtors .jcr .dynamic .got.plt .data .bss

04 .dynamic

05 .note.tag

06 .eh_frame_hdr

07

There are 29 section headers, starting at offset 0x1278:

Section Headers:

[Nr] Name Type Address Offset

Size EntSize Flags Link Info Align

[ 0] (null) NULL 0000000000000000 00000000

0000000000000000 0000000000000000 0 0 0

[ 1] .interp PROGBITS 0000000000400200 00000200

0000000000000015 0000000000000000 A 0 0 1

[ 2] .note.tag NOTE 0000000000400218 00000218

0000000000000030 0000000000000000 A 0 0 4

[ 3] .hash HASH 0000000000400248 00000248

0000000000000054 0000000000000004 A 5 0 8

[ 4] .gnu.hash GNU_HASH 00000000004002a0 000002a0

0000000000000038 0000000000000000 A 5 0 8

[ 5] .dynsym DYNSYM 00000000004002d8 000002d8

0000000000000180 0000000000000018 A 6 1 8

[ 6] .dynstr STRTAB 0000000000400458 00000458

0000000000000087 0000000000000000 A 0 0 1

[ 7] .gnu.version SUNW_versym 00000000004004e0 000004e0

0000000000000020 0000000000000002 A 5 0 2

[ 8] .gnu.version_r SUNW_verneed 0000000000400500 00000500

0000000000000020 0000000000000000 A 6 1 8

[ 9] .rela.dyn RELA 0000000000400520 00000520

0000000000000030 0000000000000018 A 5 0 8

[10] .rela.plt RELA 0000000000400550 00000550

00000000000000d8 0000000000000018 A 5 12 8

[11] .init PROGBITS 0000000000400628 00000628

0000000000000013 0000000000000000 AX 0 0 4

[12] .plt PROGBITS 000000000040063c 0000063c

00000000000000a0 0000000000000010 AX 0 0 4

[13] .text PROGBITS 00000000004006e0 000006e0

00000000000004c8 0000000000000000 AX 0 0 16

[14] .fini PROGBITS 0000000000400ba8 00000ba8

000000000000000e 0000000000000000 AX 0 0 4

[15] .rodata PROGBITS 0000000000400bb6 00000bb6

000000000000006d 0000000000000001 AMS 0 0 1

[16] .eh_frame_hdr PROGBITS 0000000000400c24 00000c24

0000000000000044 0000000000000000 A 0 0 4

[17] .eh_frame X86_64_UNWIND 0000000000400c68 00000c68

0000000000000104 0000000000000000 A 0 0 8

[18] .ctors PROGBITS 0000000000600d70 00000d70

0000000000000010 0000000000000000 WA 0 0 8

[19] .dtors PROGBITS 0000000000600d80 00000d80

0000000000000010 0000000000000000 WA 0 0 8

[20] .jcr PROGBITS 0000000000600d90 00000d90

0000000000000008 0000000000000000 WA 0 0 8

[21] .dynamic DYNAMIC 0000000000600d98 00000d98

00000000000001a0 0000000000000010 WA 6 0 8

[22] .got.plt PROGBITS 0000000000600f38 00000f38

0000000000000060 0000000000000008 WA 0 0 8

[23] .data PROGBITS 0000000000600f98 00000f98

0000000000000019 0000000000000000 WA 0 0 8

[24] .bss NOBITS 0000000000600fc0 00000fb1

0000000000001028 0000000000000000 WA 0 0 16

[25] .comment PROGBITS 0000000000000000 00000fb1

00000000000001e3 0000000000000001 MS 0 0 1

[26] .shstrtab STRTAB 0000000000000000 00001194

00000000000000e2 0000000000000000 0 0 1

[27] .symtab SYMTAB 0000000000000000 000019b8

0000000000000810 0000000000000018 28 58 8

[28] .strtab STRTAB 0000000000000000 000021c8

0000000000000363 0000000000000000 0 0 1

Key to Flags:

W (write), A (alloc), X (execute), M (merge), S (strings)

I (info), L (link order), G (group), x (unknown)

O (extra OS processing required) o (OS specific), p (processor specific)

Dynamic section at offset 0xd98 contains 21 entries:

Tag Type Name/Value

0x0000000000000001 NEEDED Shared library: [libc.so.7]

0x000000000000000c INIT 0x400628

0x000000000000000d FINI 0x400ba8

0x0000000000000004 HASH 0x400248

0x000000006ffffef5 GNU_HASH 0x4002a0

0x0000000000000005 STRTAB 0x400458

0x0000000000000006 SYMTAB 0x4002d8

0x000000000000000a STRSZ 135 (bytes)

0x000000000000000b SYMENT 24 (bytes)

0x0000000000000015 DEBUG 0x0

0x0000000000000003 PLTGOT 0x600f38

0x0000000000000002 PLTRELSZ 216 (bytes)

0x0000000000000014 PLTREL RELA

0x0000000000000017 JMPREL 0x400550

0x0000000000000007 RELA 0x400520

0x0000000000000008 RELASZ 48 (bytes)

0x0000000000000009 RELAENT 24 (bytes)

0x000000006ffffffe VERNEED 0x400500

0x000000006fffffff VERNEEDNUM 1

0x000000006ffffff0 VERSYM 0x4004e0

0x0000000000000000 NULL 0x0

Relocation section with addend (.rela.dyn):

r_offset r_info r_type st_value st_name + r_addend

000000600fc0 000e00000005 R_X86_64_COPY 0000000000600fc0 optind + 0

000000600fc8 000f00000005 R_X86_64_COPY 0000000000600fc8 __stderrp + 0

Relocation section with addend (.rela.plt):

r_offset r_info r_type st_value st_name + r_addend

000000600f50 000200000007 R_X86_64_JUMP_SLOT 0000000000000000 printf + 0

000000600f58 000300000007 R_X86_64_JUMP_SLOT 0000000000000000 atexit + 0

000000600f60 000400000007 R_X86_64_JUMP_SLOT 0000000000000000 _init_tls + 0

000000600f68 000500000007 R_X86_64_JUMP_SLOT 0000000000000000 fprintf + 0

000000600f70 000600000007 R_X86_64_JUMP_SLOT 0000000000000000 getopt + 0

000000600f78 000700000007 R_X86_64_JUMP_SLOT 0000000000000000 calloc + 0

000000600f80 000800000007 R_X86_64_JUMP_SLOT 0000000000000000 strncpy + 0

000000600f88 000900000007 R_X86_64_JUMP_SLOT 0000000000000000 exit + 0

000000600f90 000a00000007 R_X86_64_JUMP_SLOT 0000000000000000 strcmp + 0

Symbol table (.dynsym) contains 16 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

2: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@FBSD_1.0 (2)

3: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@FBSD_1.0 (2)

4: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@FBSD_1.0 (2)

5: 0000000000000000 239 FUNC GLOBAL DEFAULT UND fprintf@FBSD_1.0 (2)

6: 0000000000000000 617 FUNC GLOBAL DEFAULT UND getopt@FBSD_1.0 (2)

7: 0000000000000000 3171 FUNC GLOBAL DEFAULT UND calloc@FBSD_1.0 (2)

8: 0000000000000000 76 FUNC GLOBAL DEFAULT UND strncpy@FBSD_1.0 (2)

9: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@FBSD_1.0 (2)

10: 0000000000000000 126 FUNC GLOBAL DEFAULT UND strcmp@FBSD_1.0 (2)

11: 0000000000601fd0 8 OBJECT GLOBAL DEFAULT 24 environ

12: 0000000000601fe8 0 NOTYPE GLOBAL DEFAULT ABS _end

13: 0000000000600f98 8 OBJECT GLOBAL DEFAULT 23 __progname

14: 0000000000600fc0 4 OBJECT GLOBAL DEFAULT 24 optind@FBSD_1.0 (2)

15: 0000000000600fc8 8 OBJECT GLOBAL DEFAULT 24 __stderrp@FBSD_1.0 (2)

Symbol table (.symtab) contains 86 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000400200 0 SECTION LOCAL DEFAULT 1

2: 0000000000400218 0 SECTION LOCAL DEFAULT 2

3: 0000000000400248 0 SECTION LOCAL DEFAULT 3

4: 00000000004002a0 0 SECTION LOCAL DEFAULT 4

5: 00000000004002d8 0 SECTION LOCAL DEFAULT 5

6: 0000000000400458 0 SECTION LOCAL DEFAULT 6

7: 00000000004004e0 0 SECTION LOCAL DEFAULT 7

8: 0000000000400500 0 SECTION LOCAL DEFAULT 8

9: 0000000000400520 0 SECTION LOCAL DEFAULT 9

10: 0000000000400550 0 SECTION LOCAL DEFAULT 10

11: 0000000000400628 0 SECTION LOCAL DEFAULT 11

12: 000000000040063c 0 SECTION LOCAL DEFAULT 12

13: 00000000004006e0 0 SECTION LOCAL DEFAULT 13

14: 0000000000400ba8 0 SECTION LOCAL DEFAULT 14

15: 0000000000400bb6 0 SECTION LOCAL DEFAULT 15

16: 0000000000400c24 0 SECTION LOCAL DEFAULT 16

17: 0000000000400c68 0 SECTION LOCAL DEFAULT 17

18: 0000000000600d70 0 SECTION LOCAL DEFAULT 18

19: 0000000000600d80 0 SECTION LOCAL DEFAULT 19

20: 0000000000600d90 0 SECTION LOCAL DEFAULT 20

21: 0000000000600d98 0 SECTION LOCAL DEFAULT 21

22: 0000000000600f38 0 SECTION LOCAL DEFAULT 22

23: 0000000000600f98 0 SECTION LOCAL DEFAULT 23

24: 0000000000600fc0 0 SECTION LOCAL DEFAULT 24

25: 0000000000000000 0 SECTION LOCAL DEFAULT 25

26: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/lib/csu/amd64/crt1.c

27: 0000000000400218 24 OBJECT LOCAL DEFAULT 2 abitag

28: 0000000000400230 24 OBJECT LOCAL DEFAULT 2 crt_noinit_tag

29: 0000000000400870 83 FUNC LOCAL DEFAULT 13 finalizer

30: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

31: 0000000000600d70 8 OBJECT LOCAL DEFAULT 18 __CTOR_LIST__

32: 0000000000600d80 8 OBJECT LOCAL DEFAULT 19 __DTOR_LIST__

33: 0000000000600d90 0 OBJECT LOCAL DEFAULT 20 __JCR_LIST__

34: 00000000004008d0 53 FUNC LOCAL DEFAULT 13 __do_global_dtors_aux

35: 0000000000600fb0 1 OBJECT LOCAL DEFAULT 23 __do_global_dtors_aux.completed

36: 0000000000600fa8 8 OBJECT LOCAL DEFAULT 23 __do_global_dtors_aux.p

37: 0000000000400910 34 FUNC LOCAL DEFAULT 13 frame_dummy

38: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

39: 0000000000600d78 8 OBJECT LOCAL DEFAULT 18 __CTOR_END__

40: 0000000000600d88 8 OBJECT LOCAL DEFAULT 19 __DTOR_END__

41: 0000000000400d68 4 OBJECT LOCAL DEFAULT 17 __FRAME_END__

42: 0000000000600d90 8 OBJECT LOCAL DEFAULT 20 __JCR_END__

43: 0000000000400b70 54 FUNC LOCAL DEFAULT 13 __do_global_ctors_aux

44: 0000000000000000 0 FILE LOCAL DEFAULT ABS oreapp.c

45: 0000000000000000 0 FILE LOCAL DEFAULT ABS setmsg.c

46: 0000000000000000 0 FILE LOCAL DEFAULT ABS usage.c

47: 0000000000000000 0 FILE LOCAL DEFAULT ABS version.c

48: 0000000000000000 0 FILE LOCAL DEFAULT ABS indent.c

49: 0000000000600fd0 4096 OBJECT LOCAL DEFAULT 24 indent.buf

50: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __preinit_array_start

51: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __fini_array_end

52: 0000000000600f38 0 OBJECT LOCAL HIDDEN 22 _GLOBAL_OFFSET_TABLE_

53: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __preinit_array_end

54: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __fini_array_start

55: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __init_array_end

56: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __init_array_start

57: 0000000000600d98 0 OBJECT LOCAL HIDDEN 21 _DYNAMIC

58: 0000000000600fc0 4 OBJECT GLOBAL DEFAULT 24 optind@@FBSD_1.0

59: 00000000004006e0 390 FUNC GLOBAL DEFAULT 13 _start

60: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

61: 0000000000600f98 8 OBJECT GLOBAL DEFAULT 23 __progname

62: 0000000000601fd8 8 OBJECT GLOBAL DEFAULT 24 _usage_msg

63: 0000000000400ba8 0 FUNC GLOBAL HIDDEN 14 _fini

64: 0000000000400a10 160 FUNC GLOBAL DEFAULT 13 setmsg

65: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@@FBSD_1.0

66: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@@FBSD_1.0

67: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@@FBSD_1.0

68: 0000000000000000 239 FUNC GLOBAL DEFAULT UND fprintf@@FBSD_1.0

69: 0000000000000000 617 FUNC GLOBAL DEFAULT UND getopt@@FBSD_1.0

70: 0000000000400b10 90 FUNC GLOBAL DEFAULT 13 indent

71: 0000000000600fa0 8 OBJECT GLOBAL HIDDEN 23 __dso_handle

72: 0000000000601fe0 8 OBJECT GLOBAL DEFAULT 24 _version_msg

73: 0000000000400af0 31 FUNC GLOBAL DEFAULT 13 version

74: 0000000000000000 3171 FUNC GLOBAL DEFAULT UND calloc@@FBSD_1.0

75: 0000000000000000 76 FUNC GLOBAL DEFAULT UND strncpy@@FBSD_1.0

76: 0000000000600fb1 0 NOTYPE GLOBAL DEFAULT ABS __bss_start

77: 0000000000601fd0 8 OBJECT GLOBAL DEFAULT 24 environ

78: 0000000000601fe8 0 NOTYPE GLOBAL DEFAULT ABS _end

79: 0000000000400ab0 52 FUNC GLOBAL DEFAULT 13 usage

80: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@@FBSD_1.0

81: 0000000000600fb1 0 NOTYPE GLOBAL DEFAULT ABS _edata

82: 0000000000600fc8 8 OBJECT GLOBAL DEFAULT 24 __stderrp@@FBSD_1.0

83: 0000000000000000 126 FUNC GLOBAL DEFAULT UND strcmp@@FBSD_1.0

84: 0000000000400940 196 FUNC GLOBAL DEFAULT 13 main

85: 0000000000400628 0 FUNC GLOBAL HIDDEN 11 _init

Histogram for bucket list length (total of 3 buckets):

Length Number % of total Coverage

0 0 ( 0.0%) 0.0%

1 0 ( 0.0%) 0.0%

2 1 ( 33.3%) 13.3%

3 0 ( 0.0%) 13.3%

4 0 ( 0.0%) 13.3%

5 0 ( 0.0%) 13.3%

6 1 ( 33.3%) 53.3%

7 1 ( 33.3%) 100.0%

Histogram for bucket list length (total of 3 buckets):

Length Number % of total Coverage

0 0 ( 0.0%) 0.0%

1 1 ( 33.3%) 25.0%

2 2 ( 66.7%) 125.0%

Version symbol section (.gnu.version):

000: 0 *local* 0 *local* 2 FBSD_1.0 2 FBSD_1.0

004: 2 FBSD_1.0 2 FBSD_1.0 2 FBSD_1.0 2 FBSD_1.0

008: 2 FBSD_1.0 2 FBSD_1.0 2 FBSD_1.0 1 *global*

00c: 1 *global* 1 *global* 2 FBSD_1.0 2 FBSD_1.0

Version needed section (.gnu.version_r):

0x0000 vn_version: 1 vn_file: libc.so.7 vn_cnt: 1

0x0010 vna_name: FBSD_1.0 vna_flags: 0 vna_other: 2

%

Vol.47

投稿日：2017.03.24　｜　カテゴリー：　バックナンバー

●UNIXコマンド～シェルスクリプトを「データ処理ツール」として使うためのイロハを学べる、新連載「バーティカルバーの極意」
　普段は文系の大学生にデータ処理を教えている中央大学・飯尾先生が、データ処理の理論から実習まで、余すところなく伝授します。

●通信の仕組みをざっくり理解できる新連載、「もし、インターネットの１秒が１年だったら」。
　引き伸ばされた時間軸の上で、擬人化されたクライアントとサーバーによるインターネットの通信を小説仕立てでお届けします。
　
●久しぶりの連載再開となる「スズラボ通信」と「UNIXネイティブの電子工作塾」。
　「スズラボ」ではIFTTTを利用したIoTを、「電子工作塾」ではシェルスクリプトを使った基盤づくりからの電光掲示板製作をとりあげます。

●街のポイ捨てゴミを拾いたい何十万人もの人々をサポートしてきた、ゴミ拾いSNSアプリ「ピリカ」。
　今回の「技術者哲学」では、アプリ開発まで物語や、裏にある哲学、そして環境問題をビジネスにする企業のあり方について、株式会社ピリカにお話を伺ってきました。

Vol.46

投稿日：2017.01.30　｜　カテゴリー：　バックナンバー

●シェルスクリプトマガジンは次号から、Webと紙のハイブリッド・メディアへとリニューアルします！リニューアル直前企画では、人気の高かった記事を通じてこれまでのシェルマガの足跡を振り返ります。

●さくらインターネットやDMM.makeなどを立ち上げてきた小笠原治さん、HTML5 Experts.jp編集長の白石俊平さん、コワーキングスペース茅場町Co-Edoオーナーの田中弘治さんをゲストにお迎えした”TechLION vol.28″。2017年そしてその先に来るIT/ネットの未来を熱く語ったトークイベントの模様を、ダイジェストでお届けします。

●機械学習を使って、「一握の砂」に収録された”未完の短歌”「大跨に椽側を歩けば」の補完を目指した連載「機械学習で石川啄木を蘇らせる」もいよいよ最終回！”啄木らしさ分類器”によって、遂に石川啄木が蘇ります。

Vol.45

投稿日：2016.12.27　｜　カテゴリー：　バックナンバー

2016年8月のWindows 10 Anniversary Updateで、ついにWindowsでもbashが動くようになりました。
嬉しいニュースだった一方で、これまでのMicrosoftのイメージからすると驚きだったことも事実。
というわけで、IT界の巨人Microsoftの変化について、MSの「それプロ」もといIT Professionalのエバンジェリスト、山本美穂さんと一緒に考えてみませんか？
新連載の初回となる今回は、話題のWindows Subsystem for Linuxに実装された技術を、これまでのWindowsとUNIX系システムの関係の歴史を交えて解説します。
「Bash on Windowsを使ってみた」を超えて、実装された技術の「そもそもの話」を知りたい硬派な読者さんに、愛をこめて贈ります！
　
その他にも、ITエンジニアは顧客に「どんな喜びを与えるべきか」、それを考えるためのストラテジーを紹介する「マーケティング入門」や、
一見誰でも出来そうな「一時ファイルの生成」を、本質から捉え直す「POSIX原理主義」シーズン１最終回などなど
強く、しなやかなITエンジニアを今月も全力で応援するシェルスクリプトマガジン vol.45。

Vol.44

投稿日：2016.11.29　｜　カテゴリー：　バックナンバー

データ分析の分野で、いま最もアツいツール・Python。
特集記事では、プログラミング言語としてだけでなく、MathematicaやMatlabのような科学技術計算ツールとしてPythonを利用する方法や便利なライブラリについて、東京農工大学の石井先生がご紹介します！

名前はよく聞くし、理念も理想的……なのだけれども、いざ実践するにはハードルが高いアジャイルソフトウェア開発。
新連載「アジャイル開発 Let’ Practice!」では、個々のプラクティスを紐解き、開発に成功するチームのあり方に実践的な視点から切り込んでいきます。
連載初回は、日本にアジャイルが普及しない、そもそもの理由を分析します。

その他にも、北の地に生きるITエンジニア達が、自分の土地での仕事そしてコミュニティにあり方を熱く語ったトークライブイベント「TechLION vol.27 みちのくのテクノロジー・エンジニアリング事情の今」の誌上レポートや、
システム管理者がまず抑えるべきネットワークの知識を、著者の失敗談を基に懇切丁寧に解説する「中小企業手作りIT化奮戦記」などなど、
強くしなやかなITエンジニアを今月も全力で応援するシェルスクリプトマガジン vol.44。
お見逃しなく！！

Vol.43

投稿日：2016.10.24　｜　カテゴリー：　バックナンバー

Rapsberry Pi meets Shell script !
金沢大学の大野浩之先生が提唱する「ものグラミング」では、なんとラズパイまでシェルスクリプトで動かします。
シェルスクリプトがものづくりにどう貢献していくのか興味津々の編集部は、早速お話を伺ってきました。

先月号では特集「自分のシェルを造る」が反響を呼んだ連載「漢のUNIX」。
前回はFreeBSDのシェルの書き換えをしましたが、今回はそのLinux編。
「シェルそのものの構造」に親しんでいきたいエンジニア必見です。

その他にも、現在進行形でIT業界を生きる女性を中心にしたLTイベント”TechGIRL”のレポートや、
IoTがもっと身近になる未来を目指す青年社長のインタビューなど、
今月も内容盛りだくさんのシェルマガvol.43。
お見逃しなく！

Vol.42

投稿日：2016.09.26　｜　カテゴリー：　バックナンバー

シェルの役に立つ使い方について、これまでも様々な角度から提案をしてきたシェルスクリプトマガジンですが、今回の特集ではいよいよ「シェルそのものを自分の欲しいように作り替える」方法に迫ります。
手始めに、FreeBSDのシェルを自分好みに書き換えてみましょう！
連載「円滑コミュニケーションが世界を救う！」では、チームで仕事をするときの「あるある」、自分の指示が相手には見当違いに伝わってしまうケースを防ぐための最終手段「IPO」をご紹介します。

Vol.41

投稿日：2016.08.25　｜　カテゴリー：　バックナンバー

UNIXベースで開発されたMacとして2001年に発売されたOS X。今月号の特集では、Macに眠るUNIXを目覚めさせる第一歩として、パッケージ管理システムであるMacPortsの基本的な使い方を解説します。
そして、遂に今年、Windows10でBashが使えるようになりました！シェルスクリプトマガジンとしてはこのニュースを見逃すわけにはいきません。連載「POSIX原理主義」では、Bash on Windows上のシェルスクリプトによって拡がるWindowsの可能性について検討していきます。
ぜひお見逃しなく。

フルスクラッチから1日でCMSを作る　シェルスクリプト高速開発手法入門

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

本書ではUNIXのシェルスクリプトを用いて、Webサイトを作成して、Twitterにツイートしたりログを集計したり、WordPressからデータを抜き取ったりするなど、実用的なアプリケーションを短時間に開発する手法を解説します。
PCやOS、サーバ等の設定や、Open usp Tukubaiコマンドのインストール方法なども詳しく書かれ、非常に実践的な内容です。
※本書は、2014年7月にアスキー・メディアワークス（現KADOKAWA）より出版されたものです。

4.1 Apacheを設定してCGIシェルスクリプトを動かす
4.2 記事の表示
4.3 ログを記録する
4.4 記事の選択機能をつける
4.5 パスを書き換える
4.6 前後の日記記事に移動できるようにする
4.7 記事の属性を埋め込む
4.8 体裁を整える
4.9 ナビゲーション機能を強化する
4.10 プレビュー機能をつける
4.11 処理時間を計測してみましょう
4.12 補足

第5章ウェブサイトを外部とつなぐ

5.1 タイトルに記事名を入れる
5.2 RSSを作成する
5.3 ソーシャルボタン・広告を表示する
5.4 シェルスクリプトでTwitterに記事のタイトルとURLをツイート

第6章シェル芸でログの集計

6.1 logrotateの設定
6.2 ログを眺める
6.3 日付の変換
6.4 主要な指標を端末で取得
6.5 もっと凝った出力を作る
6.6 補足

第7章おわりに

付録A WordPress（MySQL）からデータを抜き取る

A.1 mysqlコマンドを使う
A.2 SQLではなくてシェルスクリプトでデータを整理
A.3 画像等を記事ディレクトリに放り込む
A.4 htmlファイルのリンクを修正
A.5 カテゴリを抜き出す
A.6 記事ディレクトリに時刻を入れる
A.7 アップロードと確認

プログラミング言語AWK

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

1989年に初めての邦訳が刊行され、その後何回か絶版の憂き目にあいつつも、不死鳥のごとく蘇り、様々な出版社から復刊を果たしている「プログラミング言語AWK」。この度、awkファンの熱い声に支えられ、USP出版から3回目の復刊を果たします。
テキスト処理と演算に絶大な効果を発揮する「awk」は、開発当時の1970年代から、開発者たちによって「30年後に真価がわかるだろう」と予言されていたといいます。
本書は、テキスト処理スクリプト言語の原点「awk」開発者たちによる、多種多様な例題を収録した読み応えたっぷりの解説書です。この本でしか味わえない、原著の奥深さを味わってください。

伽藍とバザール

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

Linux、オープンソース（OSS）関係者必読の書。OSSソフトウェア開発の実態と、そのコミュニティ、そしてハッカーたちの価値観を、オープンソースのエバンジェリスト、ESRことエリック・スティーブン・レイモンドが可視化する。
なぜハッカーたちは無償でソフトウェア開発に携わるのか? Linuxが成功した理由とは? OSSの所有権とは? OSSとコミュニティを理解するために避けて通ることができない一冊です。
※本書は1999年に出版されたものを、USP出版より再出版したものです。

　1 伽藍方式とバザール方式
　2 なにはともあれメールは通せ
　3 ユーザは大事な財産
　4 はやめのリリース、しょっちゅうリリース
　5 バラがバラでないのは？
　6 Popclient からFetchmail へ
　7 Fetchmail の成長
　8 続・Fetchmail の教訓
　9 バザール方式の前提条件とは
　10 フリーソフト/オープンソースの社会的な意義
　11 マネジメントとマジノ線について
　12 謝辞
　13 もっと考えたい人のための文献リスト
　14 エピローグ：Netscape もバザール方式を受け入れる
　15 原注
　

第2章ノウアスフィアの開墾

　1 そもそもの矛盾
　2 ハッカーイデオロギーのさまざま
　3 放縦な理論と純潔な実践
　4 所有権とオープンソース
　5 ロックと土地所有権
　6 贈与経済としてのハッカー文化
　7 ハッキングのよろこび
　8 評判のさまざまな相貌
　9 所有権と評判によるインセンティブ
　10 エゴの問題
　11 謙虚さの美徳
　12 評判ゲームモデルが持つ分野全体としての意義
　13 どれほどすばらしい贈り物？
　14 ノウアスフィア的所有権となわばりの動物行動学
　15 紛争の原因
　16 プロジェクト構造と所有権
　17 紛争とその解決
　18 文化への順応過程とアカデミズムとの関連
　19 結論：慣習から慣習法へ
　20 これからの研究の課題
　21 原注、書誌
　22 謝辞
　

第3章魔法のおなべ

　1 魔法と区別がつかない
　2 贈与するおたくたちを超えて
　3 製造業的な誤解
　4 「情報はフリーになりたがっている」というのはウソだ。
　5 逆転した共有地
　6 ソース非公開にする理由
　7 利用価値による開発費用手当
　8 販売価値の困るところ
　9 間接販売価値モデル
　10 オープンにするとき、クローズドにするとき
　11 オープンソースのビジネス生態学
　12 成功に対処する
　13 オープンR&D とパトロン制の再発明
　14 目標到達までの道のり
　15 結論：革命のあとの人生
　16 謝辞
　17 補遺：なぜドライバをクローズドにするとベンダーは損をするのか
　

第4章エリック・Ｓ・レイモンド大いに語る

第5章ノウアスフィアはぼくたちの開墾を待っている

第6章訳者あとがき

覚えて便利いますぐ使える! シェルスクリプトシンプルレシピ54

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

シェルスクリプトを習得するにあたって、越えなければならないいくつかの壁があります。
本書は、変数、数値、文字列、ファイル操作…様々な局面において壁にぶつかったとき、それを乗り越えるための本質的な回答を54本収録したレシピ集です。
本書には、初心者を卒業し、シェルスクリプトの匠を目指す人であれば学んでおきたいノウハウが、薄い本の中にこれでもか！と詰まっています。
収録されている54のレシピを習得すれば、シェルスクリプトの世界がそれを足がかりに広がっていくことを感じられるはずです。
シェルの深みを知り、より高みを目指したいあなたにこそ、手にとっていただきたい一冊です。

レシピ1-1　C言語のようなforループ
レシピ1-2　C言語のようなforループ―その２―（ムダ知識編）
レシピ1-3　誤作動しない正しい文字列評価のしかた
レシピ1-4　対話的な入力受けつけ
レシピ1-5　標準エラー出力を使うプログラムの扱い
レシピ1-6　標準エラー出力を自ら使う

第2章　変数操作

レシピ2-1　変数名の記述ミスへの対策
レシピ2-2　変数を未定義化する
レシピ2-3　変数が未定義かどうか判別する
レシピ2-4　子プロセスへの変数渡し
レシピ2-5　親プロセスへの変数渡し
レシピ2-6　配列変数を使う
レシピ2-7　連想配列を使う

第3章　数値操作

レシピ3-1　Basic並の高度な計算をする
レシピ3-2　四捨五入する
レシピ3-3　乱数を得る
レシピ3-4　10進数⇔16進数および10進数⇔8進数変換
レシピ3-5　10進数⇔2進数変換
レシピ3-6　数字として扱える文字列かどうかの判定

第4章　文字列操作

レシピ4-1　文字列の長さを知る（len）
レシピ4-2　文字列の一部を抽出する（left$,mid$,right$）
レシピ4-3　大文字⇔小文字変換
レシピ4-4　ASCIIコード⇔キャラクタ変換（asc,chr$）
レシピ4-5　正規表現でマッチした文字列の取り出し
レシピ4-6　特定文字のトリミング
レシピ4-7　パス名中のファイル名・ディレクトリ名を抽出する
レシピ4-8　ランダムな文字列の作成

第5章　フィールド・ライン処理

レシピ5-1　コマンド引数を処理する
レシピ5-2　最後からn番目のフィールドを得る
レシピ5-3　特定の業を出力する
レシピ5-4　1行ごとに処理をする―その１―
レシピ5-5　1行ごとに処理をする―その２～４―
レシピ5-6　並べ替え（ソート）をする
レシピ5-7　CSV形式のデータの処理
レシピ5-8　1列ごとに処理をする

第6章　ファイル操作

レシピ6-1　詳細なファイル情報を知る
レシピ6-2　タイムスタンプを変更する
レシピ6-3　指定ディレクトリ以下のファイルの総サイズを知る
レシピ6-4　指定ディレクトリ以下の特定のファイルを操作する
レシピ6-5　安全にテンポラリファイルを作る
レシピ6-6　デッドリンク（無効なシンボリックリンク）を消す
レシピ6-7　外部ファイルのヒアドキュメント

第7章　システム情報収集

レシピ7-1　OSの種類を知る
レシピ7-2　自分のファイルパスを知る
レシピ7-3　自分のプロセスIDを知る
レシピ7-4　現在のプロセス数を知る
レシピ7-5　自ホストのIPアドレスを知る
レシピ7-6　絶対パスを知る
レシピ7-7　多重起動チェック

第8章　デバッグに役立つレシピ

レシピ8-1　実行の様子をトレースする
レシピ8-2　デバッグメッセージを分離する
レシピ8-3　パイプ（標準入出力）の中身を覗き見る
レシピ8-4　パイプ（標準入出力）をゆっくり流す

第9章　シェルスクリプトの応用例

実践ユニケージ開発手法02 シェルスクリプト学習編

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

本書は、独特な方法でシステムを構築するユニケージ開発手法の基本を理解し、習得するための実践教材です。
対象となる読者は、基本的なUNIX/Linux の知識（端末、コマンド、ファイルの概念、パスなど）があること、また、「ユニケージ開発手法01 コマンド学習編」の内容を理解している方です。
ここでは、「コマンド学習編」で学んだコマンドを組み合わせて、データ処理を行うシェルスクリプトの作成に必要なbashの文法や機能について学習し、ユニケージの作法にしたがってシェルスクリプトでプログラミングを行う練習も行います。

第1章　はじめに

1.1 通常のプログラミングとの違い

第2章シェルスクリプト

2.1 シェルスクリプトの書き方と役割
2.2 ちょっとしたルール

第3章ファイル展開（ワイルドカード）

第4章ブレース展開

第5章リダイレクト

5.1 ファイル記述子
5.2 記号

第6章追記・ヒアドキュメント

第7章パイプ（パイプライン）の動作

第8章シェル変数

8.1 定義と代入
8.2 変数の生存期間
8.3 予約シェル変数・特殊なシェル変数
8.4 配列
8.5 コマンド置換

第9章クォートとエスケープ

第10章終了ステータスとパイプステータス

第11章 AND演算子とOR演算子

第12章テストコマンド(test, [)

12.1 テストコマンドの書式
12.2 テストコマンドの機能
12.3 PIPESTATUSとエラー処理

第13章制御構文

13.1 if文
13.2 for文
13.3 while文
13.4 case文
13.5 パイプでつなげたwhile文、for文は要注意！

第14章帳票出力(ITEMRANKING)

14.1 ディレクトリとデータ準備
14.2 データを見る
14.3 出力のイメージ
14.4 シェルスクリプトの記述
14.5 引数の受け入れ
14.6 項目間演算

第15章 POMPAの作成(POMPASAKUSEI）

15.1 想定するアプリケーション
15.2 データ
15.3 URIAGE_TENPO
15.4 URIAGE_HINBETU
15.5 【TRY】

第16章時系列データの帳票(BUMONTREND)

16.1 記述
16.2 解答例

第17章履歴マスタの扱い

17.1 販売履歴(HANBAI_RIREKI)
17.2 実装

Vol.40

投稿日：2016.07.22　｜　カテゴリー：　バックナンバー

今月号の特集では、シェルスクリプトでログを高速処理します。ログというと、Webサーバーのアクセスログ、Syslog、イベントログなど多岐に渡りますが、データ量が膨大だと処理に時間がかかりすぎるという問題があります。それを解決したのが「Tukubai」を用いたユニケージ開発手法です。筆者の実体験をもとに、解析時間が千分の一になった全貌をご紹介します。
巻末資料(6ページ)には、「シェルスクリプトで高速処理! Personal Tukubaiでログを分析しよう! 」「漢のUNIX」「Personal Tukubaiを使ってみた」の3記事で登場した、Tukubaiコマンドの解説集を収録。
ぜひお見逃しなく。

Vol.39

投稿日：2016.06.16　｜　カテゴリー：　バックナンバー

毎月25日発売『シェルスクリプトマガジン』は、日本で唯一のシェルスクリプト総合誌。
最新号 7月号（vol.39）の特集は、「コマンドを作りながら覚えるAWK入門」。日本GNU AWKユーザー会の斉藤氏から、AWKの練習方法を解説していただきます。UNIX系OSに搭載されているコマンド群を、AWKの「一行野郎」で実装していくことで、その習得を目指します。
新連載「Personal Tukubaiを使ってみた前編」では、USP研究所の独自コマンド「mojihamaコマンド」を使ってお手軽メタプログラミングに挑戦。シェルスクリプトで高速処理が可能になる実例を紹介します。
また、5周年を迎えたエンジニアたちのトークライブ「TechLION vol.25」再録版を収録！ IT/Web業界が幸せになるには何が必要なのか、コミュニティ運営・若手育成・キャリア・電子書籍について4人の猛者が登壇しました。残念ながら当日足を運べなかった方は、ぜひお見逃しなく！

Vol.38

投稿日：2016.06.16　｜　カテゴリー：　バックナンバー

今月の特集は、新連載「機械学習で石川啄木を蘇らせる」。
『一握の砂』で有名な石川啄木。彼の作品には「未完の短歌」があるのをご存知でしょうか？たった31音を読み切らずに途中で筆を擱いてしまった末句の生成に、機械学習で挑戦します。著者は東京大学の学生さんです。機械学習の手法だけでなく、本文の端々に現れる石川啄木を愛する言葉にも注目です！
他、新連載「ConoHaでIP電話を使ってみよう！」がスタート！御影けい氏が、IP電話の交換器(IP-PBX)をConoHa上の仮想サーバ (VPS)に構築し、簡単な自動応答システム（IVR）を作れるように解説。また、香川大学の学生さんが執筆する「SLPからお届け！」では、Swift でiOSゲームアプリ開発に挑戦します！

Vol.37

投稿日：2016.05.23　｜　カテゴリー：　バックナンバー

巻頭は、「Angular2でHello world ！」。
JavaScript フレームワークAngular2 を利用してモダンウェブアプリケーションを作成します。前半では開発環境を設定し、後半では「Hello World」的なとても簡単なアプリケーションを作っていきます。「シェルスクリプトマガジン」の読者にはあまり馴染みのないテーマかもしれません。
しかし、アプリケーション開発はシェルスクリプトのみで行うにはどうしても限界があります。むしろ、
違う言語とシェルスクリプトが共存する新たな事例が出るヒントになれば幸いです。
また、特集はUSP研究所より Personal Tukubai について取り上げています。弊所がシステム開発で使っている独自コマンド usp Tukubai と、同等の機能を持つ Personal Tukubai はどんなことができるのか、インターン生が企画部長にインタビュー。また、「ユニケージ開発手法コードレビュー」では、プロトタイプや POC を行う際に本番データを用意できないとき、本番と同等量のダミーデータを作成する方法について解説します。
他、人気連載「漢のUNIX」では、後藤氏がfishのプロンプトをカスタマイズする方法を紹介。

シェルプログラミング実用テクニック

投稿日：2016.04.19　｜　カテゴリー：　推薦図書

Linux/UNIXのコマンドは単独で使うよりも、複数のコマンドを組み合わせてこそ真価を発揮します。テキストデータの検索／置換／並べ替え、ファイルのバックアップや削除、数値や日付の計算など活用範囲は無限大。端末にコマンドを入力してすぐに実行できるのも良いところ。その場かぎりの作業にこそ、シェルプログラミングが使えると便利です。
本書のいくつもの実例を順に見ていけば、コマンドを自在に組み合わせるために必要なシェルの機能と考え方が身につきます。
※本書はSoftwareDesign誌（技術評論社刊）の連載記事「開眼シェルスクリプト」を大幅に加筆修正し、同社から発行されたものです。

第1章　準備運動

1.1　UNIXとは何者なのか?

1.1.1　McIlroyによるパイプの提案
1.1.2　grep，sedの誕生
1.1.3 「ソフトウェアツール」という言葉の誕生
1.1.4　考えられた「もう1つの選択肢」
1.1.5　GancarzのUNIX哲学

1.2　OSや環境について

1.2.1　想定する利用シーン
1.2.2　Ubuntu 14.04 LTS

1.3　基本操作

1.3.1　端末とシェルを開く
1.3.2　シェルにコマンドを入力する
1.3.3　manを使う
1.3.4　ファイルやコマンドの出力を眺める
1.3.5　ディレクトリを理解する
1.3.6　ディレクトリを移動する
1.3.7　ワイルドカードで一度に複数ファイルを指定する
1.3.8　パイプでコマンドをつなぐ
1.3.9　シェルスクリプトを書いて実行する
1.3.10　ファイルを読み書きする
1.3.11　出力を捨てる
1.3.12　日本語と英語を切り替える（ロケール）
1.3.13　パーミッションを理解する
1.3.14　制御構文を使う
1.3.15　その他の文法

1.4　AWKとsed

1.4.1　AWKを使う
1.4.2　sedを使う

1.5　使用するコマンドのインストール

1.5.1　GNU Awkの確認／インストール
1.5.2　Open usp Tukubaiのインストール

1.6　本書におけるPOSIXに対する立場

第2章　不定型な文章や設定ファイルの検索と加工

2.1　テキストの検索

2.1.1　文字列を検索する
2.1.2　複数のファイルから検索する
2.1.3　調査したいファイル一覧を作ってから検索する
2.1.4　ファイル名を検索する
2.1.5　検索対象の前後の行を抽出する
2.1.6　検索語句を含むファイルのリストを作る

2.2　単語や文字の数え上げ

2.2.1　文字数を数える
2.2.2　単語や語句を数える
2.2.3　文字の出現頻度を数える
2.2.4　斉藤さんの数を数える

2.3　テキストの比較

2.3.1　2つのテキストファイルを比較する
2.3.2　ディレクトリのファイルを比較する
2.3.3　ファイルが同じだったら／違ったら××する

2.4　文章の校正

2.4.1　特定の語句を置き換える
2.4.2　複数のファイルで特定の語句を置き換える
2.4.3　表記揺れや記号の不統一をチェックする
2.4.4　スペルチェックを行う
2.4.5　変なバイナリが混入していないか調査する
2.4.6　長い行を折り返す
2.4.7　不必要なマークアップ／コメント／スペースを消す
2.4.8　マークアップ／スペースをあとから差し込む
2.4.9　特定のフォーマットにデータを流し込む

2.5　その他テキストを扱うときの小技

2.5.1　Vimでコマンドを使う
2.5.2　カタカナや数字の全角／半角を相互変換する

第3章　ファイルの取り扱いとシステムの操作

3.1　バックアップ／同期

3.1.1　ディレクトリをバックアップする
3.1.2　2つのディレクトリを同期する
3.1.3　最新ファイルを古いファイルで上書きしないように同期を行う

3.2　圧縮されたファイルの操作

3.2.1　gzip圧縮されたファイルを圧縮されたまま使う
3.2.2　アーカイブの中から特定のファイルだけを抜き出す

3.3　ファイルの整理

3.3.1　重複したファイルを消す
3.3.2　ディレクトリの古いファイルを整理する
3.3.3　複数のテキストファイルを圧縮しないで1つにまとめる

3.4　ファイルの暗号化

3.4.1　ファイルを公開鍵暗号方式で暗号化する
3.4.2　パスワード方式の暗号化を行う／破る

3.5　自動化

3.5.1　プログラムを定期的に自動実行する
3.5.2　ファイルが変更されたらアクションを起こす
3.5.3　service(1)で自作のプログラムを起動／停止する
3.5.4　OS起動時に自作のプログラムを走らせる

3.6　ログからの情報抽出と活用

3.6.1　検索する
3.6.2　日付を正規化する
3.6.3　Apacheのログ（不定長データ）をスペース区切りに整形する
3.6.4　データをキーバリュー形式に整形する

3.7　プロセスに関する注意点

3.7.1　多数のプロセスから1つのファイルにレコードを書き込む
3.7.2　制御構文が動作するプロセスについて

第4章　ファイルシステムをデータベースにする

4.1　データの置き方

4.1.1　RDBで言うところのテーブルを作る
4.1.2　テキスト以外のデータの置き方を決める
4.1.3　データに対するテストを書く

4.2　データの連結や集計

4.2.1　マスタとトランザクションを結合する
4.2.2　集計する

4.3　データの更新

4.3.1　レコードを手動／半自動で追加する
4.3.2　レコードを自動で追加する（排他処理を行う）
4.3.3　レコードを変更する

4.4　データの印刷／アウトプット

4.4.1　住所録を印刷用にフォーマットする
4.4.2　バーコード／QRコードを印刷する

4.5　補足

4.5.1　ダミーデータを作る
4.5.2　別のデータの持ち方を検討する

第5章　大きなデータを処理する

5.1　マシンスペックの調査

5.1.1　CPUの周波数や個数などを調査する
5.1.2　DRAMの量と読み書きの速度を調査する
5.1.3　HDDの容量と読み込み速度，その他の情報を調査する

5.2　マルチスレッド／マルチプロセス

5.2.1　sortを使いこなす
5.2.2　パイプで並列計算する
5.2.3　バックグラウンド処理で並列化する
5.2.4　xargsで並列化する

5.3　計算の効率化

5.3.1　GNU grepに仕事をさせる
5.3.2　ページキャッシュを有効利用する
5.3.3　並列処理時のページキャッシュの効果
5.3.4　圧縮してキャッシュにのせて処理する（場合によっては有効）
5.3.5　ファイルを分割しておく

第6章　画像，表計算ソフト，その他特殊なデータを扱う

6.1　バイナリの読み書き

6.1.1　バイナリを閲覧する
6.1.2　バイナリを編集する

6.2　画像処理

6.2.1　画像のデータ形式／サイズ／向きを変える
6.2.2　アニメーションGIFを作る
6.2.3　画像をテキストにして正規化する
6.2.4　画像の一部分を切り出す
6.2.5　ネガを作る
6.2.6　画像を合成する
6.2.7　画像の情報を調査する
6.2.8　SVG画像を作る

6.3　フォーマットの変換

6.3.1　CSVをパースして読み込む
6.3.2　CSVをパースしないで読み込む
6.3.3　固定長のデータをスペース区切り（SSV）にする
6.3.4　PDFファイルを端末で読む

6.4　オフィススイートとの連携

6.4.1　Excelファイルからデータを抽出する
6.4.2　Word，PowerPointのデータを抽出する
6.4.3　Excel，Word，PowerPointファイルの中を検索する
6.4.4　少しずつ違うWordファイルを大量生成する

第7章　CLI的インターネットとの付き合い方

7.1　Webサイトの活用

7.1.1　Web APIを使う
7.1.2　Webサイトを丸ごとダウンロードする

7.2　HTML文書の加工に特定の要素を抜き出す

7.2.2　マークアップの重複がないかを確認する
7.2.3　リンク切れを見つける

7.3　サーバをまたいだ処理

7.3.1　ポートを操作する
7.3.2　鍵認証でsshを使う
7.3.3　ログインせずにリモートのコンピュータを操作する
7.3.4　リモートの計算リソースを利用する
7.3.5　sshを使わないでデータをやりとりする

7.4　電子メールの活用

7.4.1　電子メールの原本を読む
7.4.2　ファイル名から受信処理時間を抽出する
7.4.3　添付ファイルを抽出する

7.5　IPアドレスの取り扱い

7.5.1　IPv6のIPアドレスを処理する
7.5.2　IPv4のIPアドレスをソートする

第8章　計算

8.1　基本的な計算

8.1.1　端末を電卓代わりにする
8.1.2　文章の中から数字を抽出して計算する
8.1.3　「桁落ち」「丸め誤差」を気にしながら計算する
8.1.4　n進数とm進数を変換する

8.2　日付の計算

8.2.1　各月の最終日を求める
8.2.2　2つの日付の差を計算する
8.2.3　その年の第何週かを求める
8.2.4　n営業日後の日付を求める
8.2.5　西暦／和暦を変換する

8.3　科学計算

8.3.1　一様乱数を作る
8.3.2　ガウス分布に従う乱数を作る
8.3.3　数値積分を行う
8.3.4　数列を作る

8.4　実験データの処理

8.4.1　データのばらつきを評価する
8.4.2　最小二乗法でデータに直線を当てはめる
8.4.3　相関係数を求める
8.4.4　グラフを描く

付録

A.1　Upstart
A.2　Ubuntuの設定メモ
A.2.1　日本語パッケージをインストールする
A.2.2　wkhtmltopdfをインストールする
A.3　cgroupsの設定
A.4　いたずら
A.4.1　見かけよりも大きなファイルを作る（疑似デバイスを使う）
A.4.2　他人の端末に字を送り込む（デバイスファイルを使う）
A.4.3　どうでもよいファイルをダウンロードさせる（拡張子について）
A.4.4　きわどい名前のファイルやディレクトリを作る（ミスでできたファイルの二次被害防止）
A.4.5　ハト語に変換する（シグナル処理）

すべてのUNIXで20年動くプログラムはどう書くべきか

投稿日：2016.04.19　｜　カテゴリー：　推薦図書

プログラミング上よくある課題を、極力POSIXの範囲で、かつUNIX哲学的アプローチで解決したシェルスクリプトを多数例示し、高い可搬性・可用性を実現しつつ実用的なプログラムを書く方法を紹介しています。

下記のような内容を満載しています。

環境に依存せず、長持ちするプログラムの書き方（環境依存を引き起こす落とし穴）
環境に依存しない正規表現の書き方
シェルスクリプトで処理を行うための、たくさんの小技（レシピ）
シェルスクリプトは意外に速くて機能も豊富という事実
プログラム制作で参考になるUNIX哲学

※本書は同人誌として発行されたものを、再編集してC&R研究所より出版されたものです。

序章　POSIX原理主義：その本質と可能性、実践方法を理解する

第1章　どの環境でも使えるシェルスクリプトを書く …… 文法・変数編

1-1　環境変数などの初期化
1-2　シェル変数
1-3　スコープ
1-4　正規表現
1-5　文字クラス
1-6　乱数
1-7　ロケール
1-8　$(( 式 ))
1-9　case文/if 文
1-10　local修飾子
1-11　PIPESTATUS変数

第2章　どの環境でも使えるシェルスクリプトを書く …… 正規表現編

2-1　知っておくべきメタ文字セットは３つ
2-2　BRE（基本正規表現）メタ文字セット
2-3　ERE（拡張正規表現）メタ文字セット
2-4　AWKで使えるメタ文字セット

第3章　どの環境でも使えるシェルスクリプトを書く …… コマンド編

3-1　「[」コマンド
3-2　AWKコマンド
3-3　dateコマンド
3-4　duコマンド
3-5　echoコマンド
3-6　execコマンド
3-7　foldコマンド
3-8　grepコマンド
3-9　headコマンド
3-10　ifconfigコマンド
3-11　killコマンド
3-12　mktempコマンド
3-13　nlコマンド
3-14　printfコマンド
3-15　psコマンド
3-16　readlinkコマンド
3-17　sedコマンド
3-18　sortコマンド
3-19　tacコマンド／tailコマンド+ -rオプションによる逆順出力
3-20　test([)コマンド
3-21　trコマンド
3-22　trapコマンド
3-23　whichコマンド
3-24　xargsコマンド
3-25　zcatコマンド

第4章　Hors d’oeuvre：ちょっとうれしいレシピ

4-1　sedによる改行文字への置換を、キレイに書く
4-2　grepに対するfgrepのような素直なsed
4-3　mkfifoコマンドの活用
4-4　一時ファイルを作らずファイルを更新する
4-5　テキストデータの最後の行を消す
4-6　改行なしの終端テキストを扱う
4-7　IPアドレスを調べる（IPv6も）
4-8　YYYYMMDDhhmmssを年月日時分秒に簡単分離する
4-9　祝日を取得する
4-10　ブラックリスト入りした100件を１万件の名簿から除去する

第5章　POSIX原理主義テクニック

5-1　PIPESTATUSさようなら
5-2　Apacheのcombined形式ログを扱いやすくする
5-3　シェルスクリプトで時間計算を一人前にこなす
5-4　findコマンドで秒単位にタイムスタンプ比較する
5-5　CSVファイルを読み込む
5-6　JSONファイルを読み込む
5-7　XML、HTMLファイルを読み込む
5-8　全角・半角文字の相互変換
5-9　ひらがな・カタカナの相互変換
5-10　バイナリデータを扱う
5-11　ロック（排他・共有）とセマフォ
5-12　デバッグってどうやってるの？

第6章　POSIX原理主義テクニック …… Web編

6-1　URLデコードする
6-2　URLエンコードする
6-3　Base64エンコード・デコードする
6-4　CGI変数の取得（GETメソッド編）
6-5　CGI変数の取得（POSTメソッド編）
6-6　Webブラウザーからのファイルアップロード
6-7　Ajaxで画面更新したい
6-8　シェルスクリプトでメール送信
6-9　メールマガジンを送る
6-10　HTMLテーブルを簡単キレイに生成する
6-11　シェルスクリプトおばさんの手づくりCookie(読み取り編)
6-12　シェルスクリプトおばさんの手づくりCookie(書き込み編)
6-13　シェルスクリプトによるHTTPセッション管理

第7章　知らないとハマるさまざまな落とし穴

7-1　名前付きパイプからリダイレクトするときの落とし穴
7-2　全角文字に対する正規表現の扱い
7-3　sortコマンドの基本と応用と落とし穴
7-4　sedのNコマンドの動きが何かおかしい
7-5　標準入力以外からAWKに正しく文字列を渡す
7-6　AWKの連想配列が読み込むだけで変わる落とし穴
7-7　whlie readで文字列が正しく渡せない
7-8　あなたはいくつ問題点を見つけられるか？

付録　レシピを駆使した調理例

郵便番号から住所欄を満たすアレをシェルスクリプトで

実践ユニケージ開発手法01 コマンド学習編

投稿日：2016.04.19　｜　カテゴリー：　推薦図書

本書は、独特な方法でシステムを構築するユニケージ開発手法の基本を理解し、習得するための実践教材です。

対象となる読者は、基本的なUNIX/Linux の知識（端末、コマンド、ファイルの概念、パス、標準入出力、リダイレクションなど）がある方です。

ここでは、ユニケージ開発手法において使用頻度の高いコマンドの使い方、とくに、高速なテキスト検索ができるgrep コマンド、テキスト置換ができるsed コマンド、高度なテキスト処理ができるawk コマンドをはじめとした基本的なUNIX コマンド、usp Tukubai コマンド（ユニケージコマンド）について詳しく解説します。豊富な練習問題で効果的にコマンド操作を体得できます。

第1章はじめに

1.1 コマンドの機能と役割
1.2 凡例

第2章 AWK

2.1 AWKとは何か
2.2 手を動かす
2.3 フィールド・レコード／パターン・アクション
2.4 レコードの選択
2.5 文字列の出力
2.6 演算
2.7 三項演算子
2.8 変数
2.9 BEGINパターン、ENDパターン
2.10 便利な関数
2.11 AWKの制御文

第3章 sort, msort*, uniq

3.1 sort
3.2 msort
3.3 uniq

第4章 head, tail, ctail, gyo, retu

4.1 head・tail
4.2 ctail
4.3 gyo
4.4 retu

第5章 self, delf

5.1 フィールド形式とキー
5.2 selfによるフィールドの並び替え
5.3 delfによる

第6章 sm2, sm4, sm5*

6.1 sm2
6.2 sm4
6.3 sm5

第7章 ysum, kasan, ratio*

7.1 ysum
7.2 kasan
7.3 ratio

第8章 join0, join1, join2, loopj

8.1 マスタとトランザクション
8.2 join0
8.3 join1
8.4 join2
8.5 loopj

第9章 getfirst, getlast, up3*

9.1 getfirst, getlast
9.2 up3

第10章 tarr, yarr

10.1 基本的な使い方
10.2 応用

第11章 count, juni

11.1 count
11.2 juni

第12章 map, tateyoko

12.1 フィールド形式ファイルのxy展開
12.2 より複雑な展開

第13章 marume, divsen, comma, keta

13.1 marume
13.2 divsen
13.3 comma
13.4 keta

第14章 grepと正規表現

14.1 grep
14.2 正規表現

第15章 tr, sed, calsed, fsed

15.1 tr
15.2 sed
15.3 calsed
15.4 fsed

第16章 han, zen

第17章 mojihame*