麻生二郎 « shell-mag

Vol.48

投稿日：2017.05.24　｜　カテゴリー：　バックナンバー

金沢大学・大野先生が、シェルスクリプトを活用した電子工作を伝授する「電子工作塾」。
今回は「回路を設計するより前に」、世界の電気街として名を轟かせる深センにマイ基盤を発注してしまいます。

すずきひろのぶ氏による人気連載「スズラボ通信」では、IFTTTを利用して「ボタンを押せばLINEにメッセージが届くIoTなアレ」をつくる方法を紹介します。

その他にも、業界を代表するスターエンジニア、伊藤直也さんと柄沢聡太郎さんが「エンジニアの生存戦略」を熱く語ったトークライブイベント「TechLION vol.29」の再録記事や、
UMLによる設計記述と導入として、ロバストネス分析とシーケンス図の利用法を紹介した「オレとRubyプログラミング」など、

強くしなやかなITエンジニアを今月も全力で応援するシェルスクリプトマガジン vol.48。
お見逃しなく! !

漢のUNIX　ライブラリをつくってみよう！　#その5（vol.48掲載）

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：後藤大地
前回は静的ライブラリを作る方法を取り上げた。.cのファイルを.oのファイルへコンパイルし、それらをまとめて静的ライブラリとする。静的ライブラリはいわば部品の集まりで、コンパイル時にこの静的ライブラリから必要な部品を持ってきて利用することになる。コンパイルごとに静的ライブラリから部品がコピーされ、生成されるバイナリファイルへ含まれることになる。

ライブラリにはもうひとつ「共有ライブラリ」というものがある。動的ライブラリと呼ばれることもある。共有ライブラリの方はバイナリファイル生成時に指定はするものの、ここから部品をコピーしてバイナリに組み込むといったことはしない。生成したバイナリを実行するときにリアルタイムに共有ライブラリを見に行って、そのときに使われる。

記事本文掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

% ldd /bin/cat
/bin/cat:
       libc.so.7 => /lib/libc.so.7 (0x800823000)
%

1

2

3

4

5

% ldd /bin/cat

/bin/cat:

libc.so.7 => /lib/libc.so.7 (0x800823000)

%

%  file /lib/libc.so.7
/lib/libc.so.7: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, 
stripped
%

1

2

3

4

5

% file /lib/libc.so.7

/lib/libc.so.7: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked,

stripped

%

% nm --dynamic /bin/cat
00000000006037f0 B _CurrentRuneLocale
0000000000602720 B _DefaultRuneLocale
                w _Jv_RegisterClasses
                U _ThreadRuneLocale
                U __error
00000000006037a0 B __isthreaded
0000000000602718 B __mb_sb_limit
00000000006026d8 D __progname
                U __srget
                U __stack_chk_fail
00000000006037b0 B __stack_chk_guard
00000000006037f8 B __stderrp
0000000000602710 B __stdinp
0000000000602700 B __stdoutp
                U __swbuf
0000000000603828 A _end
                U _init_tls
                U atexit
                U clearerr
                U close
                U connect
0000000000603820 B environ
                U err
                U exit
                U fclose
                U fcntl
                U fdopen
                U feof
                U ferror
                U fileno
                U fprintf
                U freeaddrinfo
                U fstat
                U fwrite
                U gai_strerror
                U getaddrinfo
                U getc
                U getopt
                U malloc
                U open
0000000000602708 B optind
                U putc
                U read
                U realpath
                U setbuf
                U setlocale
                U shutdown
                U socket
                U strcmp
                U sysconf
                U warn
                U write
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

% nm --dynamic /bin/cat

00000000006037f0 B _CurrentRuneLocale

0000000000602720 B _DefaultRuneLocale

w _Jv_RegisterClasses

U _ThreadRuneLocale

U __error

00000000006037a0 B __isthreaded

0000000000602718 B __mb_sb_limit

00000000006026d8 D __progname

U __srget

U __stack_chk_fail

00000000006037b0 B __stack_chk_guard

00000000006037f8 B __stderrp

0000000000602710 B __stdinp

0000000000602700 B __stdoutp

U __swbuf

0000000000603828 A _end

U _init_tls

U atexit

U clearerr

U close

U connect

0000000000603820 B environ

U err

U exit

U fclose

U fcntl

U fdopen

U feof

U ferror

U fileno

U fprintf

U freeaddrinfo

U fstat

U fwrite

U gai_strerror

U getaddrinfo

U getc

U getopt

U malloc

U open

0000000000602708 B optind

U putc

U read

U realpath

U setbuf

U setlocale

U shutdown

U socket

U strcmp

U sysconf

U warn

U write

%

% tree
.
|-- include
|   `-- ore.h
|-- lib
`-- libore
   |-- Makefile
   |-- indent.c
   |-- ore.c
   |-- setmsg.c
   |-- usage.c
   `-- version.c
 
3 directories, 7 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% tree

.

|-- include

| `-- ore.h

|-- lib

`-- libore

|-- Makefile

|-- indent.c

|-- ore.c

|-- setmsg.c

|-- usage.c

`-- version.c

3 directories, 7 files

%

#ifndef _ORE_H_
#define _ORE_H_
 
#define BUFFER_SIZE     4096
#define USAGE_OUT       stderr
#define VERSION_OUT     stdout
 
#define ESC_SEQ_NORM    "\x1b[0m"
#define ESC_SEQ_BOLD    "\x1b[1m"
#define ESC_SEQ_GRAY    "\x1b[2m"
#define ESC_SEQ_UBAR    "\x1b[4m"
 
#define ES_BOLD(X)      ESC_SEQ_BOLD X ESC_SEQ_NORM
#define ES_LIGHT(X)     ESC_SEQ_GRAY X ESC_SEQ_NORM
#define ES_UBAR(X)      ESC_SEQ_UBAR X ESC_SEQ_NORM
 
char *_usage_msg;
char *_version_msg;
 
char *indent(char *);
int setmsg(char *, char *);
void usage(void);
void version(void);
 
#endif

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#ifndef _ORE_H_

#define _ORE_H_

#define BUFFER_SIZE 4096

#define USAGE_OUT stderr

#define VERSION_OUT stdout

#define ESC_SEQ_NORM "\x1b[0m"

#define ESC_SEQ_BOLD "\x1b[1m"

#define ESC_SEQ_GRAY "\x1b[2m"

#define ESC_SEQ_UBAR "\x1b[4m"

#define ES_BOLD(X) ESC_SEQ_BOLD X ESC_SEQ_NORM

#define ES_LIGHT(X) ESC_SEQ_GRAY X ESC_SEQ_NORM

#define ES_UBAR(X) ESC_SEQ_UBAR X ESC_SEQ_NORM

char *_usage_msg;

char *_version_msg;

char *indent(char *);

int setmsg(char *, char *);

void usage(void);

void version(void);

#endif

#include "ore.h"
 
char *
indent(char *t)
{
       static char buf[BUFFER_SIZE];
       char *p;
 
       int i = 0;
       p = t;
       buf[i++] = '\t';
       for (; i < BUFFER_SIZE - 1; i++, p++) {
               buf[i] = *p;
               if ('\n' == *p)
                       buf[++i] = '\t';
               if ('\0' == *p)
                       break;
       }
       if ('\0' != buf[i])
               buf[i] = '\0';
 
       return buf;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#include "ore.h"

char *

indent(char *t)

{

static char buf[BUFFER_SIZE];

char *p;

int i = 0;

p = t;

buf[i++] = '\t';

for (; i < BUFFER_SIZE - 1; i++, p++) {

buf[i] = *p;

if ('\n' == *p)

buf[++i] = '\t';

if ('\0' == *p)

break;

}

if ('\0' != buf[i])

buf[i] = '\0';

return buf;

}

#include "ore.h"

1	#include "ore.h"

#include 
#include 
 
#include "ore.h"
 
int
setmsg(char *key, char *value)
{
       if (0 == strcmp("usage", key)) {
               _usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));
               strncpy(_usage_msg, value, BUFFER_SI
ZE);
               _usage_msg[BUFFER_SIZE - 1] = '\0';
       }
       else if (0 == strcmp("version", key)) {
               _version_msg = calloc(1, BUFFER_SIZE * sizeof(char));
               strncpy(_version_msg, value, BUFFER_
SIZE);
               _version_msg[BUFFER_SIZE - 1] = '\0';
       }
       else
               return (-1);
 
       return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#include

#include "ore.h"

int

setmsg(char *key, char *value)

{

if (0 == strcmp("usage", key)) {

_usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_usage_msg, value, BUFFER_SI

ZE);

_usage_msg[BUFFER_SIZE - 1] = '\0';

}

else if (0 == strcmp("version", key)) {

_version_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_version_msg, value, BUFFER_

SIZE);

_version_msg[BUFFER_SIZE - 1] = '\0';

}

else

return (-1);

return 0;

}

#include 
 
#include "ore.h"
 
void
usage(void)
{
       fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s
\n",
               indent(_usage_msg));
}

1

2

3

4

5

6

7

8

9

10

11

#include

#include "ore.h"

void

usage(void)

{

fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s

\n",

indent(_usage_msg));

}

#include 
 
#include "ore.h"
 
void
version(void)
{
       fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n",
               _version_msg);
}

1

2

3

4

5

6

7

8

9

10

#include

#include "ore.h"

void

version(void)

{

fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n",

_version_msg);

}

CFLAGS=         -I. -I./../include/ -O2 -pipe -fPIC
 
LIBSO=          ./../lib/libore.so
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | s
ed 's/.c$$/.o/g'
 
.SUFFIXES:      .o .c
 
.c.o:
       cc ${CFLAGS} -c $< -o $@
 
all: ${OBJS}
       cc -shared -o ${LIBSO} ${OBJS}
       objcopy --strip-unneeded ${LIBSO}
 
clean:
       rm -f ${LIBSO} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

CFLAGS= -I. -I./../include/ -O2 -pipe -fPIC

LIBSO= ./../lib/libore.so

OBJS!= ls | grep '[.]c$$' 2> /dev/null | s

ed 's/.c$$/.o/g'

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

cc -shared -o ${LIBSO} ${OBJS}

objcopy --strip-unneeded ${LIBSO}

clean:

rm -f ${LIBSO} ${OBJS}

% cd libore
% make
cc -I. -I./../include/ -O2 -pipe -fPIC -c indent.c -o indent.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c ore.c -o ore.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c setmsg.c-o setmsg.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c usage.c-o usage.o
cc -I. -I./../include/ -O2 -pipe -fPIC -c version.c -o version.o
cc -shared -o ./../lib/libore.so indent.o ore.o  setmsg.o usage.o version.o  
objcopy --strip-unneeded ./../lib/libore.so
%

1

2

3

4

5

6

7

8

9

10

11

12

% cd libore

% make

cc -I. -I./../include/ -O2 -pipe -fPIC -c indent.c -o indent.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c ore.c -o ore.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c setmsg.c-o setmsg.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c usage.c-o usage.o

cc -I. -I./../include/ -O2 -pipe -fPIC -c version.c -o version.o

cc -shared -o ./../lib/libore.so indent.o ore.o setmsg.o usage.o version.o

objcopy --strip-unneeded ./../lib/libore.so

%

% cd ../lib
% file libore.so
libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped
%

1

2

3

4

5

6

% cd ../lib

% file libore.so

libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped

%

% file libore.a
libore.a: current ar archive
% ls -al libore.a
-rw-r--r--  1 daichi  wheel  7824 Apr  5 17:51 libore.a
%

1

2

3

4

5

6

7

% file libore.a

libore.a: current ar archive

% ls -al libore.a

-rw-r--r-- 1 daichi wheel 7824 Apr 5 17:51 libore.a

%

% file libore.so
libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped
% ls -al libore.so
-rwxr-xr-x  1 daichi  wheel  5304 Apr  5 17:44 libore.so
%

1

2

3

4

5

6

7

% file libore.so

libore.so: ELF 64-bit LSB shared object, x86-64, version 1 (FreeBSD), dynamically linked, stripped

% ls -al libore.so

-rwxr-xr-x 1 daichi wheel 5304 Apr 5 17:44 libore.so

%

% tree
.
|-- bin
|-- include
|   `-- ore.h
|-- lib
|   `-- libore.so
|-- libore
|   |-- Makefile
|   |-- indent.c
|   |-- ore.c
|   |-- setmsg.c
|   |-- usage.c
|   `-- version.c
`-- src
   `-- bin
       `-- oreapp
           |-- Makefile
           `-- oreapp.c
 
7 directories, 10 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

% tree

.

|-- bin

|-- include

| `-- ore.h

|-- lib

| `-- libore.so

|-- libore

| |-- Makefile

| |-- indent.c

| |-- ore.c

| |-- setmsg.c

| |-- usage.c

| `-- version.c

`-- src

`-- bin

`-- oreapp

|-- Makefile

`-- oreapp.c

7 directories, 10 files

%

#include 
#include 
#include 
#include 
 
#include "ore.h"
 
int
main(int argc, char *argv[])
{
       setmsg("usage", "oreapp [-v] [-h] string...");
       setmsg("version", "1.0");
 
       int ch;
       while ((ch = getopt(argc, argv, "hv")) != -1
) {
               switch (ch) {
               case 'v':
                       version();
                       exit(EX_USAGE);
                       break;
               case '?':
               case 'h':
                       usage();
                       exit(EX_USAGE);
                       break;
               default:
                       usage();
                       exit(EX_USAGE);
                       break;
               }
       }
       argc -= optind;
       argv += optind;
 
       for (int i = 0; i < argc; i++)  
               printf("%06d %s\n", 1+i, argv[i]);
 
       return(EX_OK);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

#include

#include "ore.h"

int

main(int argc, char *argv[])

{

setmsg("usage", "oreapp [-v] [-h] string...");

setmsg("version", "1.0");

int ch;

while ((ch = getopt(argc, argv, "hv")) != -1

) {

switch (ch) {

case 'v':

version();

exit(EX_USAGE);

break;

case '?':

case 'h':

usage();

exit(EX_USAGE);

break;

default:

usage();

exit(EX_USAGE);

break;

}

argc -= optind;

argv += optind;

for (int i = 0; i < argc; i++)

printf("%06d %s\n", 1+i, argv[i]);

return(EX_OK);

}

BIN=            ./../../../bin/oreapp
LIBDIR=         ./../../../lib/
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'
 
CFLAGS=         -I. -I./../../../include/ -O2 -pipe
 
.SUFFIXES:      .o .c
 
.c.o:
       cc ${CFLAGS} -c $< -o $@
 
all: ${OBJS}
       cc ${CFLAGS} -o ${BIN} ${OBJS} -L${LIBDIR} -
lore
       objcopy --strip-unneeded ${BIN}
 
clean:
       rm -f ${BIN} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

BIN= ./../../../bin/oreapp

LIBDIR= ./../../../lib/

OBJS!= ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

CFLAGS= -I. -I./../../../include/ -O2 -pipe

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

cc ${CFLAGS} -o ${BIN} ${OBJS} -L${LIBDIR} -

lore

objcopy --strip-unneeded ${BIN}

clean:

rm -f ${BIN} ${OBJS}

% make
cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c-o oreapp.o
cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore
objcopy --strip-unneeded ./../../../bin/oreapp
%

1

2

3

4

5

6

% make

cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c-o oreapp.o

cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore

objcopy --strip-unneeded ./../../../bin/oreapp

%

% cd ../../../bin/
% file oreapp
oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped
%

1

2

3

4

5

6

% cd ../../../bin/

% file oreapp

oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped

%

% ldd oreapp
oreapp:
       libore.so => not found (0)
       libc.so.7 => /lib/libc.so.7 (0x800821000)
%

1

2

3

4

5

6

% ldd oreapp

oreapp:

libore.so => not found (0)

libc.so.7 => /lib/libc.so.7 (0x800821000)

%

% env LD_LIBRARY_PATH=../lib ldd oreapp
oreapp:
       libore.so => ../lib/libore.so (0x800821000)
       libc.so.7 => /lib/libc.so.7 (0x800a23000)
%

1

2

3

4

5

6

% env LD_LIBRARY_PATH=../lib ldd oreapp

oreapp:

libore.so => ../lib/libore.so (0x800821000)

libc.so.7 => /lib/libc.so.7 (0x800a23000)

%

% file oreapp
oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped
% ls -l oreapp
-rwxr-xr-x  1 daichi  wheel  6440 Apr  5 18:10 orea
pp
% nm --dynamic oreapp
                w _Jv_RegisterClasses
0000000000600f98 D __progname
0000000000600fc8 B __stderrp
0000000000601fe8 A _end
                U _init_tls
                U atexit
                U calloc
0000000000601fd0 B environ
                U exit
                U fprintf
                U getopt
0000000000600fc0 B optind
                U printf
                U strcmp
                U strncpy
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

% file oreapp

oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped

% ls -l oreapp

-rwxr-xr-x 1 daichi wheel 6440 Apr 5 18:10 orea

pp

% nm --dynamic oreapp

w _Jv_RegisterClasses

0000000000600f98 D __progname

0000000000600fc8 B __stderrp

0000000000601fe8 A _end

U _init_tls

U atexit

U calloc

0000000000601fd0 B environ

U exit

U fprintf

U getopt

0000000000600fc0 B optind

U printf

U strcmp

U strncpy

%

% file oreapp
oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped
% ls -l oreapp
-rwxr-xr-x  1 daichi  wheel  6000 Apr  5 18:05 orea
pp
% nm --dynamic oreapp
                w _Jv_RegisterClasses
0000000000600df9 A __bss_start
0000000000600de0 D __progname
0000000000600df9 A _edata
0000000000600e28 A _end
                U _init_tls
0000000000600e10 B _usage_msg
0000000000600e20 B _version_msg
                U atexit
0000000000600e08 B environ
                U exit
                U getopt
0000000000600e00 B optind
                U printf
                U setmsg
                U usage
                U version
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

% file oreapp

oreapp: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked, interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, stripped

% ls -l oreapp

-rwxr-xr-x 1 daichi wheel 6000 Apr 5 18:05 orea

pp

% nm --dynamic oreapp

w _Jv_RegisterClasses

0000000000600df9 A __bss_start

0000000000600de0 D __progname

0000000000600df9 A _edata

0000000000600e28 A _end

U _init_tls

0000000000600e10 B _usage_msg

0000000000600e20 B _version_msg

U atexit

0000000000600e08 B environ

U exit

U getopt

0000000000600e00 B optind

U printf

U setmsg

U usage

U version

%

% ./oreapp
Shared object "libore.so" not found, required by "oreapp"
%

1

2

3

4

% ./oreapp

Shared object "libore.so" not found, required by "oreapp"

%

% env LD_LIBRARY_PATH=../lib ./oreapp -v
バージョン: 1.0
% env LD_LIBRARY_PATH=../lib ./oreapp -h
使い方:
       oreapp [-v] [-h] string...
% env LD_LIBRARY_PATH=../lib ./oreapp a b c d
000001 a
000002 b
000003 c
000004 d
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

% env LD_LIBRARY_PATH=../lib ./oreapp -v

バージョン: 1.0

% env LD_LIBRARY_PATH=../lib ./oreapp -h

使い方:

oreapp [-v] [-h] string...

% env LD_LIBRARY_PATH=../lib ./oreapp a b c d

000001 a

000002 b

000003 c

000004 d

%

40歳から始める、オレとRubyプログラミング（vol.48掲載）

投稿日：2017.05.23　｜　カテゴリー：　未分類,記事

著者：しょっさん

　前回、ページ数が増えたことに増長して、ソースコードをたくさん載せたはいいのですが、それを説明する余白がありませんでした。今回は、前回掲載したソースコードについて、新しく使いはじめた部分を中心に説明します。
　その前に、連載を通じて少しずつではありますが、プログラムが拡張してきましたので、プログラム全体がどのような構成になっているかを、一度立ち返って見直してみます。ある程度の開発規模になってくると、設計図なく開発をすることは困難になってきます。今後のさらなる拡張と改良もふまえて、設計図を作って開発を進めていきます。

記事本文掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

 describe "#let" do
     let(:foo) { 1 + 1 }
     before { @foo = 1 + 1 }
     it "testing let" do
       expect(foo).to be 2
     end
     it "testing before" do
       expect(@foo).to be 2
     end
   end

1

2

3

4

5

6

7

8

9

10

describe "#let" do

let(:foo) { 1 + 1 }

before { @foo = 1 + 1 }

it "testing let" do

expect(foo).to be 2

end

it "testing before" do

expect(@foo).to be 2

end

     let(:normal) { Reins::AuthService.new }
     let(:other)  { Reins::AuthService.new(sha512) }
     context "正常に認証された場合" do
       it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }
       it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }
     end

1

2

3

4

5

6

let(:normal) { Reins::AuthService.new }

let(:other) { Reins::AuthService.new(sha512) }

context "正常に認証された場合" do

it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }

it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }

end

 describe '#read_hosts' do
     subject {regist_test.read_hosts }
     context '正常に登録されている場合' do
       it '未登録時に呼び出すと、空の配列' do
         is_expected.to eq([])
       end
       it 'localhost を1つ登録すると、[127.0.0.1]' do
         regist_test.create(localhost, test_key)
         is_expected.to eq([localhost])
       end
       it '複数のアドレスを登録した場合は、複数のアドレス' do
         correct_hosts.each   { |host|regist_test.create(host, test_key) }
         is_expected.to match_array(correct_hosts)
       end
     end
     context '不正なIPアドレスの場合' do
       it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do
         incorrect_hosts.each { |host|regist_test.create(host, test_key) }
         is_expected.to match_array([])
       end
     end
   end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

describe '#read_hosts' do

subject {regist_test.read_hosts }

context '正常に登録されている場合' do

it '未登録時に呼び出すと、空の配列' do

is_expected.to eq([])

end

it 'localhost を1つ登録すると、[127.0.0.1]' do

regist_test.create(localhost, test_key)

is_expected.to eq([localhost])

end

it '複数のアドレスを登録した場合は、複数のアドレス' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array(correct_hosts)

end

context '不正なIPアドレスの場合' do

it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do

incorrect_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array([])

end

 describe 'TaskControl' do
   before { @server = TCPServer.new(24368) }
   after  { @server.close }
   let(:tasks) { Reins::TaskControl.new }
  describe '#connect' do
     context 'クライアントへ接続できる場合' do
       subject { tasks.connect }
       it 'モックを使って正常接続のコール' do
         allow(tasks).to receive(:connect).and_return(true)
         is_expected.to eq(true)
       end
     end
     context 'クライアントへ接続できない場合' do
       it '接続先が存在しないと Standard Error' do
         # TODO: 実際は Raise ではなく、成否を True/False でもらうこととする
         expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'
       end
       it 'クライアントが停止していたら false' do
         allow(tasks).to receive(:connect).and_return(false)
         expect(tasks.connect).to eq(false)
       end
     end
   end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

describe 'TaskControl' do

before { @server = TCPServer.new(24368) }

after { @server.close }

let(:tasks) { Reins::TaskControl.new }

describe '#connect' do

context 'クライアントへ接続できる場合' do

subject { tasks.connect }

it 'モックを使って正常接続のコール' do

allow(tasks).to receive(:connect).and_return(true)

is_expected.to eq(true)

end

context 'クライアントへ接続できない場合' do

it '接続先が存在しないと Standard Error' do

# TODO: 実際は Raise ではなく、成否を True/False でもらうこととする

expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'

end

it 'クライアントが停止していたら false' do

allow(tasks).to receive(:connect).and_return(false)

expect(tasks.connect).to eq(false)

end

      it 'こちらから、クライアントとの接続を切断して、成功すると nil' do
         is_expected.to eq(nil)
      end

1

2

3

it 'こちらから、クライアントとの接続を切断して、成功すると nil' do

is_expected.to eq(nil)

end

it { is_expected.to eq(nil) }

1	it { is_expected.to eq(nil) }

module "A"
 class "Composer"
:
 class "Deployment"

1

2

3

4

module "A"

class "Composer"

:

class "Deployment"

module "B"
 class "Composer"
:
 class "Deployment"

1

2

3

4

module "B"

class "Composer"

:

class "Deployment"

module Reins
 class << self
   attr_accessor :logger, :auth_service, :regist_host
   def configure
     yield self
   end
 end
end
Reins.configure do |config|
 config.logger       = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")
 config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")
 config.regist_host  = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")
end

1

2

3

4

5

6

7

8

9

10

11

12

13

module Reins

class << self

attr_accessor :logger, :auth_service, :regist_host

def configure

yield self

end

Reins.configure do |config|

config.logger = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")

config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")

config.regist_host = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")

end

UNIXネイティブの電子工作塾 vol.48掲載

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：金沢大学　教授　大野浩之

さて、UNIXネイティブの電子工作塾 e-Badge編第２回ですが、少しだけ回り道をすることにました。今回は e-Badge（電子名札）のためのプリント基板（PCB）作りに着手する予定でしたが、その前にお話しておくべきことがありました。まず、PCB設計に用いるソフトウェア “Fritzing” の特徴をお伝えしたいと思います。それから、Fritzing で作成したPCBデータがどのようなもので、これをどこにどうやって発注するのか、といったノウハウもお伝えしたいと思います。
そこで今回は、e-Badge の製作をはじめる前に、よりシンプルで汎用的な基板を作ることにしました。

本記事掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

$ mkdir ~/tmp/VCM; cd ~/tmp/VCM; mkdir src
# srcディレクリに必要なスケッチを用意する
$ platformio init --board=uno
$ echo upload_port=/dev/cu.usbmodem1234 >> platformio.ini

1

2

3

4

$ mkdir ~/tmp/VCM; cd ~/tmp/VCM; mkdir src

# srcディレクリに必要なスケッチを用意する

$ platformio init --board=uno

$ echo upload_port=/dev/cu.usbmodem1234 >> platformio.ini

$ platformio run　
$ platformio run --target=upload

1 2	$ platformio run　 $ platformio run --target=upload

$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

1	$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

$ git clone https://github.com/shmag/gc4unix.git

1	$ git clone https://github.com/shmag/gc4unix.git

$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

1	$ sudo cu -s 57600 -l /dev/cu.usbmodem1234

$ sudo cu -s 57600 -l /dev/cu.usbmodem1411 
| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}' 
| tee -a /tmp/test001.txt

1

2

3

$ sudo cu -s 57600 -l /dev/cu.usbmodem1411

| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}'

| tee -a /tmp/test001.txt

$ tail -f /tmp/test001.log
| awk '{printf "%d,%d,%d,\r\n",($4=="ON")?255:0,($8=="ON")?255:0,($12=="ON")?255:0;fflush()}'
| sudo cu -s 57600 -l /dev/cu.usbmodem1411 \
| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}'
| tee -a /tmp/test001.log

1

2

3

4

5

$ tail -f /tmp/test001.log

| awk '{printf "%d,%d,%d,\r\n",($4=="ON")?255:0,($8=="ON")?255:0,($12=="ON")?255:0;fflush()}'

| sudo cu -s 57600 -l /dev/cu.usbmodem1411 \

| awk -F, '{if (/^V/){printf "[%04d] %4d %4d %4s | %4d %4d %4s | %4d %4d %4s |\r\n", NR,$2,$3,$4,$5,$6,$7,$8,$9,$10}else {printf "# %s\r\n", $0}; fflush()}'

| tee -a /tmp/test001.log

ユニケージ開発手法　コードレビュー　vol.37（本誌vol.48掲載）

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：USP研究所技術研究員　新美勇一

今回は、業務システムの処理に見立てた簡単な例題で２つ実装例を挙げ、レビューを行いたいと思います。

本記事掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

#!/bin/bash
export PATH=/home/UTL:/home/TOOL:${PATH}
export LANG=ja_JP.UTF-8
tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S)            # 一時ファイル
 
# エラー処理
ERROR_EXIT() {
 echo "ERROR!!"
 exit 1
}
 
#----------------------------------------------
# 更新データの読み込み
#----------------------------------------------
 
# 更新データは、適用日時点の全カラムが担保されているとする
# また、１社員コードに対し複数の適用日の変更データは発生しないとする
cat input_file1                      |
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
#
# キーと、更新対象のカラム住所のみを取り出す
self 1 3 7                           > $tmp-input_data
#  1:社員コード 2:住所 3:適用日
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#----------------------------------------------
# 更新データより未来の社員情報を取得
#----------------------------------------------
 
# 社員情報
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
# より対象のレコードを取得する
# (更新データの適用日より未来のもの)
cat SHAIN_JOHO                       |
join1 key=1 $tmp-input_data -        |
#  1:社員コード 2:更新.住所 3:更新.適用日 4:社員名 5:住所
#  6:電話番号   7:生年月日  8:交通費      9:適用日
#
# 更新.適用日 < 社員情報.適用日
awk '$3<$9'                          |
#
# 更新データの住所を反映する
#
awk '{ $5=$2; print; }'              |
#
# 移送済の付与情報（更新データ部分）を削除
delf 2 3                             > $tmp-shain_joho_mirai
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#----------------------------------------------
# 更新データと未来の社員情報（今回の更新反映）
# を社員情報ファイルへ反映
#----------------------------------------------

# 更新データ(適用日の社員情報）＋未来の社員情報（今回の更新反映）
upl key=1@7 input_file1 $tmp-shain_joho_mirai  |
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
#
# 更新情報を優先して社員情報ファイルの内容とマージ
upl key=1@7 SHAIN_JOHO -                       > $tmp-shain_joho.upd
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#TODO
mv $tmp-shain_joho.upd SHAIN_JOHO
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
 
#'
rm -f $tmp-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

#!/bin/bash

export PATH=/home/UTL:/home/TOOL:${PATH}

export LANG=ja_JP.UTF-8

tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S) # 一時ファイル

# エラー処理

ERROR_EXIT() {

echo "ERROR!!"

exit 1

}

#----------------------------------------------

# 更新データの読み込み

#----------------------------------------------

# 更新データは、適用日時点の全カラムが担保されているとする

# また、１社員コードに対し複数の適用日の変更データは発生しないとする

cat input_file1 |

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

#

# キーと、更新対象のカラム住所のみを取り出す

self 1 3 7 > $tmp-input_data

# 1:社員コード 2:住所 3:適用日

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#----------------------------------------------

# 更新データより未来の社員情報を取得

#----------------------------------------------

# 社員情報

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

# より対象のレコードを取得する

# (更新データの適用日より未来のもの)

cat SHAIN_JOHO |

join1 key=1 $tmp-input_data - |

# 1:社員コード 2:更新.住所 3:更新.適用日 4:社員名 5:住所

# 6:電話番号 7:生年月日 8:交通費 9:適用日

#

# 更新.適用日 < 社員情報.適用日

awk '$3<$9' |

#

# 更新データの住所を反映する

#

awk '{ $5=$2; print; }' |

#

# 移送済の付与情報（更新データ部分）を削除

delf 2 3 > $tmp-shain_joho_mirai

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#----------------------------------------------

# 更新データと未来の社員情報（今回の更新反映）

# を社員情報ファイルへ反映

#----------------------------------------------

# 更新データ(適用日の社員情報）＋未来の社員情報（今回の更新反映）

upl key=1@7 input_file1 $tmp-shain_joho_mirai |

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

#

# 更新情報を優先して社員情報ファイルの内容とマージ

upl key=1@7 SHAIN_JOHO - > $tmp-shain_joho.upd

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#TODO

mv $tmp-shain_joho.upd SHAIN_JOHO

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#'

rm -f $tmp-*

exit 0

# 更新前の状態
$ cat SHAIN_JOHO
001 山田太郎 住所１ 123-4567-8901 19900707 10000 20010101
001 山田太郎 住所１ 123-4567-8901 19900707 12000 20150101
001 山田太郎 住所１ 123-4567-8901 19900707 20000 20170228
 
 
# 2017年1月15日付の更新データのファイル
$ cat input_file1
001 山田太郎 住所２ 123-4567-8901 19900707 12000 20170115
 
# シェルスクリプト実行
$ ./sample1
#
$ cat SHAIN_JOHO
001 山田太郎 住所１ 123-4567-8901 19900707 10000 20010101
001 山田太郎 住所１ 123-4567-8901 19900707 12000 20150101
001 山田太郎 住所２ 123-4567-8901 19900707 12000 20170115
001 山田太郎 住所２ 123-4567-8901 19900707 20000 20170228
 
 
 # 基準日＝2017/3/31時点の情報を取得する
$ gawk '$1==1&&$7<=20170331'  SHAIN_JOHO   |
getlast key=1 
001 山田太郎 住所２ 123-4567-8901 19900707 20000 20170228

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

# 更新前の状態

$ cat SHAIN_JOHO

001 山田太郎住所１ 123-4567-8901 19900707 10000 20010101

001 山田太郎住所１ 123-4567-8901 19900707 12000 20150101

001 山田太郎住所１ 123-4567-8901 19900707 20000 20170228

# 2017年1月15日付の更新データのファイル

$ cat input_file1

001 山田太郎住所２ 123-4567-8901 19900707 12000 20170115

# シェルスクリプト実行

$ ./sample1

#

$ cat SHAIN_JOHO

001 山田太郎住所１ 123-4567-8901 19900707 10000 20010101

001 山田太郎住所１ 123-4567-8901 19900707 12000 20150101

001 山田太郎住所２ 123-4567-8901 19900707 12000 20170115

001 山田太郎住所２ 123-4567-8901 19900707 20000 20170228

# 基準日＝2017/3/31時点の情報を取得する

$ gawk '$1==1&&$7<=20170331' SHAIN_JOHO |

getlast key=1

001 山田太郎住所２ 123-4567-8901 19900707 20000 20170228

#!/bin/bash
export PATH=/home/UTL:/home/TOOL:${PATH}
export LANG=ja_JP.UTF-8
tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S)            # 一時ファイル
# エラー処理
ERROR_EXIT() {
 echo "ERROR!!"
 exit 1
}
#----------------------------------------------
# 更新データの読み込み
# 社員情報ファイルへ反映
#----------------------------------------------
# 更新データは、キーと変更カラム以外、「@」が設定されているとする
# また、１社員コードに対し複数の適用日の変更データは発生しないとする
cat input_file2                      |
#  1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日
#  6:交通費     7:適用日
#
# 更新情報を優先して社員情報ファイルの内容とマージ
upl key=1@7 SHAIN_JOHO2 -            > $tmp-shain_joho.upd
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
#TODO
mv $tmp-shain_joho.upd SHAIN_JOHO2
[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT
#'
rm -f $tmp-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

#!/bin/bash

export PATH=/home/UTL:/home/TOOL:${PATH}

export LANG=ja_JP.UTF-8

tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S) # 一時ファイル

# エラー処理

ERROR_EXIT() {

echo "ERROR!!"

exit 1

}

#----------------------------------------------

# 更新データの読み込み

# 社員情報ファイルへ反映

#----------------------------------------------

# 更新データは、キーと変更カラム以外、「@」が設定されているとする

# また、１社員コードに対し複数の適用日の変更データは発生しないとする

cat input_file2 |

# 1:社員コード 2:社員名 3:住所 4:電話番号 5:生年月日

# 6:交通費 7:適用日

#

# 更新情報を優先して社員情報ファイルの内容とマージ

upl key=1@7 SHAIN_JOHO2 - > $tmp-shain_joho.upd

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#TODO

mv $tmp-shain_joho.upd SHAIN_JOHO2

[ $(plus ${PIPESTATUS[@]}) -ne 0 ] && ERROR_EXIT

#'

rm -f $tmp-*

exit 0

$ cat SHAIN_JOHO2 | keta --
001 山田太郎 住所1 123-4567-8901 19900707 10000 20010101
001 @        @      @             @        12000 20150101
001 @        @      @             @        20000 20170228

# 最新の状態を取得する
$ cat SHAIN_JOHO2             |
gawk '$1==1&&$7<=20170331'   |
underlay num=1
001 山田太郎 住所1 123-4567-8901 19900707 20000 20170228

# 更新ファイル
$ cat input_file2
001 @ 住所2 @ @ @ 20170115

# シェルスクリプト実行
$ ./sample2
$ cat SHAIN_JOHO2 | keta --
001 山田太郎 住所1 123-4567-8901 19900707 10000 20010101
001 @        @      @             @        12000 20150101
001 @        住所2 @             @        @     20170115
001 @        @      @             @        20000 20170228

# 再度、最新の状態を取得する
# 住所と交通費が最新の状態になっている
$ cat SHAIN_JOHO2             |
gawk '$1==1&&$7<=20170331'   |
underlay num=1
001 山田太郎 住所2 123-4567-8901 19900707 20000 20170228

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

$ cat SHAIN_JOHO2 | keta --

001 山田太郎住所1 123-4567-8901 19900707 10000 20010101

001 @ @ @ @ 12000 20150101

001 @ @ @ @ 20000 20170228

# 最新の状態を取得する

$ cat SHAIN_JOHO2 |

gawk '$1==1&&$7<=20170331' |

underlay num=1

001 山田太郎住所1 123-4567-8901 19900707 20000 20170228

# 更新ファイル

$ cat input_file2

001 @ 住所2 @ @ @ 20170115

# シェルスクリプト実行

$ ./sample2

$ cat SHAIN_JOHO2 | keta --

001 山田太郎住所1 123-4567-8901 19900707 10000 20010101

001 @ @ @ @ 12000 20150101

001 @ 住所2 @ @ @ 20170115

001 @ @ @ @ 20000 20170228

# 再度、最新の状態を取得する

# 住所と交通費が最新の状態になっている

$ cat SHAIN_JOHO2 |

gawk '$1==1&&$7<=20170331' |

underlay num=1

001 山田太郎住所2 123-4567-8901 19900707 20000 20170228

バーティカルバーの極意第二回 (vol.48掲載)

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：中央大学　教授　飯尾淳

　バーティカルバーの極意、連載2回めの今回は、対象とするバーティカルバーとして「棒グラフ」を取り上げます。より正確にいえば、棒グラフのなかでも、ヒストグラムとよばれる種類の棒グラフです。ヒストグラムを柱状グラフと呼ぶこともあります。一般的に、柱はまっすぐ垂直に立てられるものです。この名称ひとつとっても、ヒストグラムをバーティカルバーの一族と考えてかまわないでしょう。

記事本文掲載のシェルスクリプトマガジンvol.48は以下リンク先でご購入できます。

$ cat timeline.htm | sed -e 's/<div class="meta">/'"\n"'/g'</div>

1	$ cat timeline.htm \| sed -e 's/<div class="meta">/'"\n"'/g'</div>

$ LF=$'\\\x0A'
$ cat timeline.htm | sed -e 's/<div class="meta">/'"${LF}"'/g'</div>

1 2	$ LF=$'\\\x0A' $ cat timeline.htm \| sed -e 's/<div class="meta">/'"${LF}"'/g'</div>

$ cat timeline.htm | sed -e 's/<div class="meta">/'"${LF}"'/g' | \ > grep '^20[01][0-9]年' | grep UTC | sed -e 's/<.*//' 2017年3月29日 19:01 UTC+09 2017年3月29日 18:53 UTC+09 2017年3月29日 18:30 UTC+09 2017年3月29日 18:03 UTC+09 2017年3月29日 11:31 UTC+09 2017年3月29日 10:04 UTC+09</div>

1	$ cat timeline.htm \| sed -e 's/<div class="meta">/'"${LF}"'/g' \| \ > grep '^20[01][0-9]年' \| grep UTC \| sed -e 's/<.*//' 2017年3月29日 19:01 UTC+09 2017年3月29日 18:53 UTC+09 2017年3月29日 18:30 UTC+09 2017年3月29日 18:03 UTC+09 2017年3月29日 11:31 UTC+09 2017年3月29日 10:04 UTC+09</div>

$ cat timeline.htm | \
> sed -e 's/<div class="meta">/'"${LF}"'/g' | \ > grep '^20[01][0-9]年' | grep UTC | \ > sed -e 's/<.*//' | cut -f 2 -d ' ' | \ > cut -f 1 -d : > /tmp/fbdata_0.txt</div>

1 2	$ cat timeline.htm \| \ > sed -e 's/<div class="meta">/'"${LF}"'/g' \| \ > grep '^20[01][0-9]年' \| grep UTC \| \ > sed -e 's/<.*//' \| cut -f 2 -d ' ' \| \ > cut -f 1 -d : > /tmp/fbdata_0.txt</div>

$ while read line; do echo ${line}.5; done \
> < /tmp/fbdata_0.txt > /tmp/fbdata.txt

1 2	$ while read line; do echo ${line}.5; done \ > < /tmp/fbdata_0.txt > /tmp/fbdata.txt

$ head -5 /tmp/fbdata.txt
19.5
18.5
18.5
18.5
11.5
$

1

2

3

4

5

6

7

$ head -5 /tmp/fbdata.txt

19.5

18.5

11.5

$

$ R -q -e 'x<-read.table("/tmp/fbdata.dat", header=F); \ hist(x$V1, breaks=24, col="#4488FF", \ main="Histogram of FB activities", xlab="Time")' > x<-read.table("/tmp/fbdata.dat", header=F); hist(x$V1, breaks=24, col="#4488FF", main="Histogram of FB activities", xlab="Time") >
> 
$

1

2

3

$ R -q -e 'x<-read.table("/tmp/fbdata.dat", header=F); \ hist(x$V1, breaks=24, col="#4488FF", \ main="Histogram of FB activities", xlab="Time")' > x<-read.table("/tmp/fbdata.dat", header=F); hist(x$V1, breaks=24, col="#4488FF", main="Histogram of FB activities", xlab="Time") >

>

$

$ cat timeline.htm | \
> sed -e 's/

1 2	$ cat timeline.htm \| \ > sed -e 's/

/'”${LF}”‘/g’ | \ > grep ‘^20[01][0-9]年’ | grep UTC | \ > grep ‘日 [234]:’ | less

逆に、Tukubaiコマンドをシェルスクリプトで実装してみる　後編 (vol.48掲載)

投稿日：2017.05.23　｜　カテゴリー：　記事

著者：今泉光之 (Twitter: @bsdhack)

Open usp Tukubai は Python により実装されているので Python が動作する環境であればインストール可能です。
公式の配布サイトからソースを取得して展開し make install するだけで Open usp Tukubai は利用可能となります。
ここでは Open usp Tukubai のコマンドを解説します。
ただし以下のように Open usp Tukubai だけでも 55 コマンドも提供されており、その全てを解説するのは無理なので、
特に有用で興味深いコマンドを厳選して紹介します。

$ ls -1 /opt/local/tukubai/bin | wc -l
55

1 2	$ ls -1 /opt/local/tukubai/bin \| wc -l 55

前回紹介したcalclock、comma、getlast、ketaに続き、今回はmojihame、self、sm2の3つのコマンドを紹介し、シェルスクリプトでの再現を試みます。
但し今回は紙面と時間の都合で一部の機能やオプションなど実装できていない部分も多いです。
また、動作の把握とメイン処理の実装のみに絞ったので、エラー処理などはまったく実施していません。
そのために実際の業務などには殆ど利用できない実験的なスクリプトとなっています。

mojihame

mojihameとは

テンプレート中に埋め込まれたキーワードをデータに置換して出力します。
キーワードは %数字の形式で指定し、データ中に出現した順番にテンプレート中の %1、%2 …と置換されます。
データ中の @ はヌル文字として扱われ空文字列に置換されますが -d オプションで @ を別の文字に変更できます。
データ中の _ はスペースに変換して出力されます。_ を出力したい場合は \_ の様に指定します。

$ cat < template
1st=%1
2nd=%2
3rd=%3 4th=%4
EOF
$ cat <

1

2

3

4

5

6

$ cat < template

1st=%1

2nd=%2

3rd=%3 4th=%4

EOF

$ cat <

-l オプションは行単位での置換処理が実施されます。
入力データは行単位に読み込まれ、入力データの次の行が読み込まれるとテンプレートは先頭から再利用されます。

$ cat < template
1st=%1 2nd=%2
3rd=%3 4th=%4
EOF
$ cat <

1

2

3

4

5

$ cat < template

1st=%1 2nd=%2

3rd=%3 4th=%4

EOF

$ cat <

-l オプションではラベルを指定することができます。
ラベルが指定された場合、テンプレート中でラベルの間に書かれたキーワードのみが置換の対象となります。なおラベルはテンプレート中で2回 (開始と終了) しか書くことができません。
(-h による階層構造に関しては説明が複雑なのでここでは省略します)

mojihameを作ってみよう

#!/bin/sh
if [ "$1" = "-l" ]
then
	  awk 'BEGIN{
		# テンプレート読み込み
		while(getline < "'$2'" > 0)
			template[++l] = $0
	  }
	  {
		# データ処理
		l = 1
		str = template[l]
		for(i=1; i<=NF; i++){
			# _ をスペースに変換
			gsub("\([^\\\\]\)_", "\1 ", $i)
			gsub("\\\\_", "_", $i)
			while(1){
				if(index(str, "%" i)){
					# テンプレートに置換ラベルがある場合は置換して次のデータに
					gsub("%" i, $i, str)
					break
				}
				else {
					# テンプレートに置換ラベルがない場合は置換済みのテンプレート出力
					printf("%s\n", str)
					str = template[++l]
				}
			}
		}
		# テンプレート出力
		printf("%s\n", str)
	  }' $3
else
	  awk 'BEGIN{
		# データ読み込み
		while(getline < "'$2'" > 0)
			for(i=1; i<=NF; i++){
				data[++cnt] = $i
				# _ をスペースに変換
				gsub("\([^\\\\]\)_", "\1 ", data[cnt])
				gsub("\\\\_", "_", data[cnt])
			}
	  }
	  {
		# テンプレート処理
		for(i=1; i<=NF; i++){
			str = $i
			# テンプレートに置換ラベルがある間ループ
			while(match(str, /%[0-9]*/)){
				# 置換
				n = substr(str, RSTART+1, RLENGTH-1)
				gsub("%" n, data[n], str)
			}
			printf("%s ", str)
		}
		printf("\n")
	  }' $1
fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

#!/bin/sh

if [ "$1" = "-l" ]

then

awk 'BEGIN{

# テンプレート読み込み

while(getline < "'$2'" > 0)

template[++l] = $0

}

{

# データ処理

l = 1

str = template[l]

for(i=1; i<=NF; i++){

# _ をスペースに変換

gsub("$[^\\\\]$_", "\1 ", $i)

gsub("\\\\_", "_", $i)

while(1){

if(index(str, "%" i)){

# テンプレートに置換ラベルがある場合は置換して次のデータに

gsub("%" i, $i, str)

break

}

else {

# テンプレートに置換ラベルがない場合は置換済みのテンプレート出力

printf("%s\n", str)

str = template[++l]

}

# テンプレート出力

printf("%s\n", str)

}' $3

else

awk 'BEGIN{

# データ読み込み

while(getline < "'$2'" > 0)

for(i=1; i<=NF; i++){

data[++cnt] = $i

# _ をスペースに変換

gsub("$[^\\\\]$_", "\1 ", data[cnt])

gsub("\\\\_", "_", data[cnt])

}

{

# テンプレート処理

for(i=1; i<=NF; i++){

str = $i

# テンプレートに置換ラベルがある間ループ

while(match(str, /%[0-9]*/)){

# 置換

n = substr(str, RSTART+1, RLENGTH-1)

gsub("%" n, data[n], str)

}

printf("%s ", str)

}

printf("\n")

}' $1

fi

基本的な機能は全て awk(1) の組み込み関数で実装しました。
通常モードでは、 awk(1) の BEGIN 処理でデータを全て読み込み配列 data に格納した後で _ の置換処理を行っています。
メイン処理ではテンプレートファイルを読み込み、 match 関数を利用して %数字のラベルを探して gsub 関数で置換しています。

行モードでは、 BEGIN 処理でテンプレートを全て読み込みハッシュ template に格納しています。
メイン処理では、データを読み込み index 関数を利用して %数字のラベルが存在する間テンプレートを置換します。
テンプレートに数字のラベルが見付からない場合は、テンプレートの次の行をハッシュ template から取得して処理を続けます。

今回紹介した Tukubai コマンドの中では、これが一番多機能なコマンドでした。非常に複雑で多機能なので、通常モードと行モードの基本的なテンプレート置換機能しか実装しておらず、-l オプションのラベル指定、-h オプションによる階層構造テンプレートなどは実装していません。

self

selfとは

入力データ(ファイルや標準出力)の指定されたフィールドのみを出力します。

$ cat << EOF | self 4 5 2 
01 埼玉県 01 さいたま市 RomaSaitama
01 埼玉県 02 川越市 RomaKawagoe
01 埼玉県 03 熊谷市 RomaKumagaya
02 東京都 04 新宿区 RomaShinjuku
02 東京都 06 港区 RomaMinato
04 神奈川県 13 横浜市 RomaYokohama
EOF
さいたま市 RomaSaitama 埼玉県
川越市 RomaKawagoe 埼玉県
熊谷市 RomaKumagaya 埼玉県
新宿区 RomaShinjuku 東京都
港区 RomaMinato 東京都
横浜市 RomaYokohama 神奈川県

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ cat << EOF | self 4 5 2

01 埼玉県 01 さいたま市 RomaSaitama

01 埼玉県 02 川越市 RomaKawagoe

01 埼玉県 03 熊谷市 RomaKumagaya

02 東京都 04 新宿区 RomaShinjuku

02 東京都 06 港区 RomaMinato

04 神奈川県 13 横浜市 RomaYokohama

EOF

さいたま市 RomaSaitama 埼玉県

川越市 RomaKawagoe 埼玉県

熊谷市 RomaKumagaya 埼玉県

新宿区 RomaShinjuku 東京都

港区 RomaMinato 東京都

横浜市 RomaYokohama 神奈川県

フィールドの指定時のオプションで、開始文字と文字列長が指定できます。
例えば 4.3 とした場合は第 4 フィールドの 3 文字目から出力され、5.5.4 とした場合は第 5 フィールドの 5 文字目から 2 文字が出力されます。
マルチバイトの文字の場合、開始文字と文字列長はそれぞれ 1 文字を 2 として計算する必要があり、
マルチバイト文字を文字の中間で分割する様な指定された場合はエラーとなります。

$ cat << EOF | self 4.3 5.5.4 2 
01 埼玉県 01 さいたま市 RomaSaitama
01 埼玉県 02 川越市 RomaKawagoe
01 埼玉県 03 熊谷市 RomaKumagaya
02 東京都 04 新宿区 RomaShinjuku
02 東京都 06 港区 RomaMinato
04 神奈川県 13 横浜市 RomaYokohama
EOF
いたま市 Sait 埼玉県
越市 Kawa 埼玉県
谷市 Kuma 埼玉県
宿区 Shin 東京都
区 Mina 東京都
浜市 Yoko 神奈川県

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ cat << EOF | self 4.3 5.5.4 2

01 埼玉県 01 さいたま市 RomaSaitama

01 埼玉県 02 川越市 RomaKawagoe

01 埼玉県 03 熊谷市 RomaKumagaya

02 東京都 04 新宿区 RomaShinjuku

02 東京都 06 港区 RomaMinato

04 神奈川県 13 横浜市 RomaYokohama

EOF

いたま市 Sait 埼玉県

越市 Kawa 埼玉県

谷市 Kuma 埼玉県

宿区 Shin 東京都

区 Mina 東京都

浜市 Yoko 神奈川県

フィールド指定の 0 は全フィールドを表します。
フィールド指定で n/m (n と m はそれぞれ整数) とすることで n 番目から m 番目のフィールドを出力できます。
フィールド指定の NF は現在行のフィールド数に置き換えられ NF-3 (最後から3番目のフィールド) や 2/NF などの利用が可能です。

-d オプションは引数で指定した文字列を区切ることができます。

$ self -d 1.2.3 "123456789"
234

1 2	$ self -d 1.2.3 "123456789" 234

selfを作ってみよう

#!/bin/sh
awk -v "args=$*" '
 	 BEGIN{
		# フィールド指定を配列に格納
		num = split(args, field)
 	 }
	 {
		# 指定されたフィールド数だけループ
		for(i=1; i<=num; i++){
			# フィールド指定を取得
			f = field[i]
			# NF をフィールド数に置換
			sub(/NF/, NF, f)
			# NF-n 形式
			if(match(f, /-/)){
				split(f, e, "-")
				printf("%s ", $(e[1] - e[2]))
			}
			# m/n 形式
			else if(match(f, /\//)){
				n = split(f, e, "/")
				for(j=e[1]; j<=e[2]; j++)
					printf("%s ", $j)
			}
			# m.n.p 形式
			else if(match(f, /\..*\./)){
				split(f, e, ".")
				printf("%s ", substr($e[1], e[2], e[3]))
			}
			# m.n 形式
			else if(match(f, /\./)){
				split(f, e, ".")
				printf("%s ", substr($e[1], e[2]))
			}
			else
				printf("%s ", $f)
		}
		printf("\n")
	 }'

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

#!/bin/sh

awk -v "args=$*" '

BEGIN{

# フィールド指定を配列に格納

num = split(args, field)

}

{

# 指定されたフィールド数だけループ

for(i=1; i<=num; i++){

# フィールド指定を取得

f = field[i]

# NF をフィールド数に置換

sub(/NF/, NF, f)

# NF-n 形式

if(match(f, /-/)){

split(f, e, "-")

printf("%s ", $(e[1] - e[2]))

}

# m/n 形式

else if(match(f, /\//)){

n = split(f, e, "/")

for(j=e[1]; j<=e[2]; j++)

printf("%s ", $j)

}

# m.n.p 形式

else if(match(f, /\..*\./)){

split(f, e, ".")

printf("%s ", substr($e[1], e[2], e[3]))

}

# m.n 形式

else if(match(f, /\./)){

split(f, e, ".")

printf("%s ", substr($e[1], e[2]))

}

else

printf("%s ", $f)

}

printf("\n")

}'

self コマンド自体が awk(1) と似ているので、多少冗長になってしまいましたが awk(1) の機能だけで殆ど実装できました。フィールド指定、NF による相対的なフィールド指定、NF からの相対位置による指定、n/m 指定などが動作しています。
ただし OS X 標準の awk(1) はマルチバイト文字には対応していないのでマルチバイト文字を扱うことができません。
Linux で標準的に利用されている GNU awk の場合はマルチバイト文字に対応していますので、今回作成した self コマンドも正しく動作しています。

（次ページに続く）

もしインターネットの１秒が１年だったら第1回（vol.47掲載）

投稿日：2017.05.16　｜　カテゴリー：　記事

written by hakatashi・Mine02C4

編注：本記事は「SunPro 2016 技術書典」で発表された記事に説明・イラストを追加し、シェルマガvol.47に掲載したものです。
以下リンク先で、オリジナル版の全文が公開されています。
https://sunpro.io/techbookfest/

インターネットが日本中のあらゆる人間に行き渡るようになってから、すでに10年単位の時間が経過しています。今日においてインターネットを支えるネットワーク技術が重要であることは言うまでもありませんが、実際にネットワークでどのタイミングで何が起こり、どれくらいの時間が費やされるのかということを身を持って体感している人は、たとえネットワークに精通している人でも少ないのではないでしょうか？この記事では、1 秒というわずかな時間を1年にまで拡大し、ネットワーク上で何が起こっているかを人間スケールでざっくりと解説していきます。

はじめに

こんにちは。先号まで石川啄木を蘇らせようとしていた博多市(@hakatashi) です。今回から、2016年の技術書典にSunProとして発表した「インターネットの1秒がもし1年だったら」というだいぶ抽象的で怪しい記事を、シェルスクリプトマガジン向けに再構成してお届けします。
インターネットというのは光の速さを身をもって感じることができるメディアです。先日、Hiraku Nakanoさんの「composerの遅さをまじめに考える」というスライド^*1を拝見したのですが、そこではPHPのパッケージマネージャーであるcomposerが遅い原因として、「光の速さが遅すぎる」という理由が挙げられていました。
ユニークな考え方ですが言われてればたしかに道理で、日本からアメリカのサーバーまでハンドシェイクで何度も往復していると、確かに光といえど100ミリ秒単位で時間を浪費しています。
サーバーが近ければ通信は早いというのは誰もが知っていることですが、光の速度のせいだと言われるとなにやら圧倒されるものがあります。
この記事では、そんなネットワークの微視的な時間スケールについて徹底的に解剖します。一回の通信を解析し、それぞれ時系列順に細かく分解し、それぞれの操作でどれくらいの時間が費やされ、どんなイベントがいつ発生するのかを逐一追っていきたいと思います。
とはいえ、ネットワーク通信における時間経過はミリ秒単位で数えられます。今回は、そんな微細な時間の移り変わりをなるべくわかりやすくするため、通信上の1秒という時間を1年にまで引き伸ばし、約3000万倍の時間スケールでネットワークのイベントを追跡してみます。

*1　http://www.slideshare.net/hinakano/composer-phpstudy

共著者について

本記事の筆頭筆者はhakatashiですが、今回の記事を書くにあたり、同じSunProメンバーでありネットワークスペシャリスト取得者のMine02C4^*2から、企画段階からの多大な協力と大幅な加筆を得ることができました。
ネットワーク知識不足のhakatashiにパケット解析を指南し、本記事では特にTLS 関連の項目の執筆、および全体のレビューを担当しています。共著者として名を連ねていますが、彼の協力なしでは本記事は恐ろしくクオリティの低いものになったであろうことは疑いようがなく、その貢献度に関しては計り知れません。どうぞお見知り置きください。

*2　HP: http://mine02c4.nagoya/, Twitter: @mine_studio

シチュエーション

今回解剖する対象の通信として、HTTPSによる通信をメインに解析しました。ふだん我々がブラウザから毎日使っているプロトコルなのは言うまでもなく、SSL/TLSの処理を挟むので、それなりに面白い結果になるのではないでしょうか。
また、HTTPS通信を行う際に必要となるARPやDNS通信についても述べていきます。さらに、通信を行うサーバーとクライアントの場所ですが、今回は、技術書典の会場でもある東京のインターネット環境から、さくらインターネットが誇る、北海道の石狩データセンターまでの通信を行います。
Googleマップによると、東京から、石狩データセンターがある石狩市新港中央までは1177.3km。光ファイバーに用いられる石英ガラスの屈折率は1.50程度^*3なので、光は約20万km/sでこの距離を移動します。つまり、東京から石狩までの物理的な片道時間は約5.9ミリ秒となります。瞬く間もないほどの時間ですが、時間スケールを1年に引き伸ばすと2日と3時間半もかかります。往復で4日と7時間。石狩までぶらり旅といった感じですね。

*3　光学ガラス材料- シグマ光機株式会社

1秒 → 1年

1秒が1年になった世界の様子をもう少し見てみましょう。
真空中の光は時速34kmで移動します。先ほど出てきた光ファイバー中の光速は時速23km程度になるので、自転車か、休憩しながらのドライブ旅程度の速さになります。ちなみに男子マラソンの世界記録は時速20.6kmです。^*4*5
3GHzのCPUは、こんな世界でも1秒間に95回という高橋名人の6倍のクロックを刻みます。PC3-12800のメモリーの転送速度は、もはやダイアルアップ接続よりも遥かにナローバンドですが、最大で1秒間に3200ビットの情報を読み出すことができます。

*4　2014年ベルリンマラソンのデニス・キメット選手の記録、2時間2分57秒より。
*5　ただし、この速度で走行するとこの世界では体重が26% 増えるのでオススメしない。

制約など

今回パケットを解析する上で、話を簡便化するためにいくつかの制約を加えています。
● DNSのシステムを明確に示すため、ローカルホストにDNSサーバーを置き、そこからリクエストのたびにルートDNSサーバーからアドレスを引いています。
● 複雑かつ時間がかかりすぎるため、ネームサーバーでのDNSSECの検証処理は無効化しています。
● SSL/TLSの証明書検証処理は無効化しています。

測定環境

測定には、ラップトップマシン上のUbuntuの仮想環境を使用しました。一回の測定ごとにDNSキャッシュとARPキャッシュをクリアし、なるべくクリーンな状態で測定を行いました。
また、先程も述べたとおりDNSサーバーはローカルホストに設置し、そこから外部に向けてアドレスを引くようにしました。
サーバーは先ほど述べたさくらの石狩データセンターへのアクセスを確実に測定するため、今回の記事のためにさくらVPSの石狩リージョンのサーバーを調達しました。OSはさくらVPSの初期OSであるCentOS 6.8で、デフォルトのApache 2.2.15をほとんどそのまま使用しました。SSL は自己署名証明書で通信し、証明書の検証は無効化してあります。
クライアントは、Windows上の仮想マシンのUbuntu 14.04.4を用いました。クライアントアプリケーションはcURLを用いています。ネームサーバーはローカルホストにBIND 9.9.5を立て、キャッシュを無効化した上でルートサーバーからアドレスを引くよう設定してあります。
通信内容は、100KB(102400 バイト)のバイナリファイルをGETリクエストで取得するもので、HTTPパラメータはほぼcURLのデフォルトを使用しています。
パケットキャプチャはクライアント側とサーバー側で同時に行い、tcpdumpで同じ通信を2度キャプチャして解析しています。時刻に関しては毎度NTPで時刻補正しましたが精度が得られなかったのでサーバー側とクライアント側の測定値を見て適当に補正を行いました。
今回記事中で使用した数字は、以上の条件のもとに行った10回の測定結果の平均値をもとにしています。

サーバーちゃんとクライアントちゃん

サーバーちゃん　　クライアントちゃん

今回、せっかく時間軸を人間スケールで語るので、通信処理の登場人物も人間という体で解説していきます。
この話の主人公は「クライアントちゃん」と「サーバーちゃん」です。クライアントちゃんは東京で悠々とした生活を送っている普通の女の子であり、趣味は暗号と文通です。一方サーバーちゃんは石狩のデータセンターで、ひしめき合うたくさんのサーバーとともに、Webサーバーとして多忙な毎日を送っています。
こんな対称的な2人が、今回は年明けと同時に通信を開始します。さらに、通信は手紙のやり取り、IPアドレスは住所、ルーターは郵便ポスト……というように、適宜シチュエーションに合わせた読み替えを行っていきます。あくまで例えですので、あまり正確ではないかもしれませんが、今回の目的はあくまで通信処理の全貌をふわっと理解することなので、あまり厳密に考えず、空っぽの頭で読んでください。
また、今回解説する通信処理の概略を、簡単なシーケンスダイアグラムで示します。通信処理の主役は情報をやり取りするサーバーちゃんとクライアントちゃんなのですが、第1回は2人の通信が開始するまでの準備作業が主となり、サーバーちゃんはまだ登場しません。インターネット通信において目的のサーバーのアドレスを見つけるためにどのような処理が行われているのかを一段階ずつ検証していきます。

それでは、クライアントちゃんとサーバーちゃんの通信の始まりです。

ルーターのアドレス解決

1月1日午前0時0分　ARPリクエスト送信

あけましておめでとうございます。NHKの「ゆく年くる年」を見ながらインターネットの年が明けます。
この瞬間、東京でまったりと紅白歌合戦を見ていたクライアントちゃんは、石狩にいるサーバーちゃんに聞きたいことがあるのを思い出しました。長い長い通信の始まりです。
さっそくクライアントちゃんはサーバーちゃんに手紙を書くことにしました。
クライアントちゃんは何もわかりません。郵便ポスト(ルーター) の場所も、サーバーちゃんの住所(IPアドレス) も、いつも使っていた住所録(DNSサーバー) の場所も覚えていません。
キャッシュを削除したクライアントちゃんは記憶を失ってしまったのです。
覚えているのは、ただ石狩にいるはずのサーバーちゃんのことだけ……。
困ったクライアントちゃんは、まずは郵便ポスト(ルーター) を探すことにしました。家の中や向こう三軒両隣のことならともかく、遠く石狩に住むサーバーちゃんに手紙を届けるには、何よりポストがなければ話が始まりません。
クライアントちゃんはもうネットワークに接続しているので、ルーターのIPアドレスはすでに分かっています。しかし実際にルーターと通信するには、ルーターのMACアドレスが必要です。これを引くために、ARP（Address Resolution Protocol）と呼ばれるプロトコルを用います。
ARPリクエストはIPアドレスに対応するMACアドレスを検索するリクエストです。MACアドレスのプロードキャストアドレス(FF:FF:FF:FF:FF:FF) に向けて発信することで、同一ネットワーク内のすべての機器にこのリクエストを送信することができます。クライアントちゃんは街中に響く声でポストの場所を尋ねました。

「郵便ポストはどこですかぁぁぁぁ？？！！」

1月1日午前3時26分　ARPレスポンス受信

いったい今何時だと思っているんでしょうか。クライアントちゃんの声は街中に響き渡り、近隣住民からたいへん大目玉を食らいましたが、努力の甲斐あって、3時間半後に親切な人がポストの場所を教えてくれました。
ARPは、ブロードキャストでネットワーク全体に配信されたイーサネットフレームに対して、尋ねられているIPアドレスが自分のものであればMACアドレスを応答するというシンプルな仕組みで動作します。
今回は事前にARPキャッシュを削除してから通信を行ったので、通信前に必ずARPの問い合わせが走るようにして計測したのですが、そもそもARPは頻繁にキャッシュを消去します。^*6クライアントちゃんはとても忘れっぽいのです。

*6　Ubuntu の場合、キャッシュの有効時間は15 分程度。

DNS解決

1月1日午前5時7分 DNSクエリ送信 1回目

親切なおじさんのおかげで、クライアントちゃんは郵便ポストの場所を知ることができました。
またすぐ忘れてしまうのですが、この世界では約900年後のことなので、特に気にすることはありません。
となると次にクライアントちゃんが知るべきはサーバーちゃんの住所(=IPアドレス) です。郵便ポストを見つけても相手の住所がわからないと手紙は送れません。サーバーちゃんの住所を知るために、クライアントちゃんはルートサーバーに住所を問い合わせることにしました。
電話番号に電話番号問い合わせサービスがあるように、ネットワークの世界にも、ドメイン名から相手のアドレスを問い合わせるためのDNS（Domain Name Service）があります。
電話番号の場合は104番という番号を知っていれば他の番号を問い合わせることができます。
インターネットにおける“104”は、世界に13個存在するルートサーバーのアドレスです。今回は、13個の中で唯一日本の団体が管理している、Mルートサーバーに問い合わせるようにルートサーバーの設定を変更しています。^*7
サーバーちゃんの住所を一秒でも早く正確に知りたいクライアントちゃんは、世界中に数あるDNSサーバーの中でも最も権威あるルートサーバーに一筆したためることにしました。あらゆるキャッシュを削除したクライアントちゃんも、一番大事なルートサーバーの住所は覚えています。
あれこれ悩んで手紙を書き、ようやく完成したのはそれから1時間半後のことでした。早朝の冷たい冬風が骨身に染みます。クライアントちゃんはコートを厚めに羽織ってポストに手紙を投函しに行きました。
一刻も早く返事が帰ってくることを願って……。

「うぅっ、さぶっ。早くお返事来るといいなぁ」

*7　もっとも、ルートサーバーはクラスタ構成になっており国単位で分散しているため、必ずしも問い合わせたマシンが日本に存在するかどうかは保証されないのですが…。

1月14日午前3時57分 DNSレスポンス受信 1回目

最初に手紙を送ってから2週間が経過しました。冬休みも終わって正月気分もようやく抜けてくる頃です。もうこの時点で直接会いに行ったほうが手っ取り早いんじゃないかという気がしますが、石狩は遠いのです。そんな気軽に会いに行けないのです。たぶん。

ともあれ、ルートサーバーからようやく返事が帰ってきました。郵便局が怠慢なのかルートサーバーがお役所仕事をしてるのか知りませんが、とにかくこれでサーバーちゃんの住所を知ることができた……というわけではありません。
ルートサーバーは世界中のすべてのマシンのIPアドレスを記録しているわけではありません。
ドメイン名を問い合わせられたDNSサーバーは、自らが委任するDNSゾーンのネームサーバーの情報を返します。今回問い合わせたドメイン名はさくらのVPSサーバーにデフォルトで割り当てられたドメイン^*8なので、ルートサーバーはjpサブドメイン^*9のネームサーバー^*10を返してきました。つまりjpドメインのことはjpドメインの担当者に聞けということです。

「えー……」

*8　.vs.sakura.ne.jp で終わるドメイン名
*9　.jp はTLD(Top Level Domain) なのでサブドメインと呼んでいいか微妙ですが……
*10　a.dns.jp, b.dns.jp, c.dns.jp, d.dns.jp, e.dns.jp, f.dns.jp, g.dns.jp の7 つ

1月14日午前9時52分　DNSクエリ送信 2回目

jp ドメインの担当者というのは要はJPRS（日本レジストリサービス）のことです。サーバーちゃんの住所を聞き出す手がかりを得たクライアントちゃんは、夜が明けるのを待ってから今度はJPRSのDNSサーバーに対して手紙を書きました。
実を言うと、jpドメインのネームサーバーを管理しているのはJPRSその人ですが、実際の運用は、JPRSを含めた5つの独立した組織によって行われています。これはルートサーバーが世界に13個あるのと同じく、ネームサーバーがダウンした際のリスクを可能な限り最小限に抑えるためです。
2 回目のDNSレイヤーの内容は、トランザクションIDを除いて前回ルートサーバーに対して送ったのと全く同じ内容です。DNSはなるべく高速に動作するように簡明に設計されているため、このようにパケットの内容を容易に再利用できるようになっています。決してクライアントちゃんがサボっているわけではありません。

1月27日午後2時30分 DNSレスポンス受信 2回目

ふたたび待つこと2週間。すでに1月が終わりに近づいてきました。
クライアントちゃんの元にJPRSからの返信が届きました。サーバーちゃんの住所はまだわかりません。今度はsakura.ne.jpの権威サーバーである、さくらインターネットのネームサーバー^*11の情報が返ってきました。

「……またかよ」

ここに来てようやくさくらインターネットの影に辿り着きました。サーバーちゃんの住所ゲットまであと一息です。

*11 　ns1.dns.ne.jp, ns2.dns.ne.jp

1月27日午後6時56分　DNSクエリ送信3回目

同じやり取りも3回繰り返すと飽きてしまいますね。けれどクライアントちゃんはサーバーちゃんに手紙を届けるために、めげずにDNSのパケットを送り続けます。今度は先ほど入手したさくらインターネットのネームサーバーの住所に対して、みたびサーバーちゃんの住所を尋ねる手紙を出します。
ところで、先ほどからクライアントちゃんは気軽にあちこちにDNSパケットを送ったり受け取ったりしていますが、これはDNSがUDPプロトコルの上で動作しているからです^*12。UDPは、後ほど解説するTCPと異なり、相手のマシンとの接続を確立する必要がないため、気軽に任意のアドレスにいきなりデータを送りつけることができます。
逆に言うと、TCPのような再送要求やエラー訂正などの機能を持たないため、伝送経路のどこかでパケットが損失した場合、クライアントちゃんは返事を待ちぼうけということになってしまいます。
もっとも、それもタイムアウトするまでですが。

*12　DNS自体はTCP上でも動作することが義務付けられています。

2月10日午前9時35分 DNSレスポンス受信 3回目

2月に突入しました。幸い3度目のクエリも待って待って待ちぼうけという事にはならず、ポストに投函してから2週間経って再び返事が帰ってきました。そこには待ち望んでいたサーバーちゃんの住所がくっきりと書かれています。
これにて名前解決完了。ようやくサーバーちゃんに対してパケットを送りつけることができるようになります。もうあちこちのネームサーバーとパケットをやりとりする必要はありません。年が明けてから41日間、実時間にして110ミリ秒が経過しました。この調子で年内にサーバーちゃんとの通信を終えることができるのでしょうか。クライアントちゃんの通信はまだまだこれからです。

「この続きはシェルマガvol.48、またはオリジナル版掲載サイトを見てねっ！」

本記事掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

漢のUNIX　ライブラリをつくってみよう！　#その3（vol.46掲載）

投稿日：2017.05.9　｜　カテゴリー：　記事

著者：後藤大地

今回は分割したファイルが実際にどのように処理され、最終的にバイナリ形式の実装ファイルに変換されるのかといった過程を、もうちょっと詳しく紹介していこうと思う。実際にどのように処理が進むのか知ることで、コーディング中の頭の中にどのように処理されるのか地図が浮かんでくるようになり、より効率が良く見通しの良いソースコードを記述できるようになる。その内側を調べていこう。

記事本文掲載のシェルスクリプトマガジンvol.46は以下リンク先でご購入できます。

% tree
.
|--?Makefile
|--?func.c
`--?main.c

0 directories, 3 files
%

1

2

3

4

5

6

7

8

9

% tree

.

|--?Makefile

|--?func.c

`--?main.c

0 directories, 3 files

%

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

int
main(int argc, char *argv[])
{
        return EX_OK;
}

1

2

3

4

5

6

7

8

9

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

int

main(int argc, char *argv[])

{

return EX_OK;

}

#include <stdio.h>

int
func()
{
        printf("func is called.\n");
        
        return 0;
}

1

2

3

4

5

6

7

8

9

#include <stdio.h>

int

func()

{

printf("func is called.\n");

return 0;

}

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    cc -o main.o -c main.c

clean:
    rm -f func.o main.o

1

2

3

4

5

6

7

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

cc -o main.o -c main.c

clean:

rm -f func.o main.o

% make
cc -o func.o -c func.c
cc -o main.o -c main.c
% ls -l
total 20
-rw-r--r--  1 daichi  staff    82 Dec 14 16:48 Makefile
-rw-r--r--  1 daichi  staff    78 Dec 14 16:32 func.c
-rw-r--r--  1 daichi  staff  1224 Dec 14 16:49 func.o
-rw-r--r--  1 daichi  staff   114 Dec 14 16:30 main.c
-rw-r--r--  1 daichi  staff   944 Dec 14 16:49 main.o
% file func.o
func.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped
% file main.o
main.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

% make

cc -o func.o -c func.c

cc -o main.o -c main.c

% ls -l

total 20

-rw-r--r-- 1 daichi staff 82 Dec 14 16:48 Makefile

-rw-r--r-- 1 daichi staff 78 Dec 14 16:32 func.c

-rw-r--r-- 1 daichi staff 1224 Dec 14 16:49 func.o

-rw-r--r-- 1 daichi staff 114 Dec 14 16:30 main.c

-rw-r--r-- 1 daichi staff 944 Dec 14 16:49 main.o

% file func.o

func.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped

% file main.o

main.o: ELF 64-bit LSB relocatable, x86-64, version 1 (FreeBSD), not stripped

%

% readelf -r -s func.o

Relocation section with addend (.rela.text):
r_offset     r_info       r_type              st_value         st_name + r_addend
00000000000a 000300000001 R_X86_64_64         0000000000000000 .rodata.str1.1 + 0
000000000015 000500000002 R_X86_64_PC32       0000000000000000 printf + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 6 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS func.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000     0 SECTION LOCAL  DEFAULT    4
     4: 0000000000000000    38 FUNC    GLOBAL DEFAULT    2 func
     5: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND printf
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

% readelf -r -s func.o

Relocation section with addend (.rela.text):

r_offset r_info r_type st_value st_name + r_addend

00000000000a 000300000001 R_X86_64_64 0000000000000000 .rodata.str1.1 + 0

000000000015 000500000002 R_X86_64_PC32 0000000000000000 printf + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 6 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS func.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 0 SECTION LOCAL DEFAULT 4

4: 0000000000000000 38 FUNC GLOBAL DEFAULT 2 func

5: 0000000000000000 0 NOTYPE GLOBAL DEFAULT UND printf

%

% readelf -r -s main.o

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 4 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000    22 FUNC    GLOBAL DEFAULT    2 main
%

1

2

3

4

5

6

7

8

9

10

11

12

13

% readelf -r -s main.o

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 4 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 22 FUNC GLOBAL DEFAULT 2 main

%

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

int
main(int argc, char *argv[])
{
        func(); /* ← この行を追加 */

        return EX_OK;
}

1

2

3

4

5

6

7

8

9

10

11

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

int

main(int argc, char *argv[])

{

func(); /* ← この行を追加 */

return EX_OK;

}

% make
cc -o func.o -c func.c
cc -o main.o -c main.c
main.c:8:2: warning: implicit declaration of function 'func' is invalid in C99
      [-Wimplicit-function-declaration]
        func();
        ^
1 warning generated.
%

1

2

3

4

5

6

7

8

9

10

% make

cc -o func.o -c func.c

cc -o main.o -c main.c

main.c:8:2: warning: implicit declaration of function 'func' is invalid in C99

[-Wimplicit-function-declaration]

func();

^

1 warning generated.

%

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    # 定義が見つからない関数は無視してコンパイル
    cc -Wno-implicit-function-declaration \
       -o main.o -c main.c

clean:
    rm -f func.o main.o

1

2

3

4

5

6

7

8

9

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

# 定義が見つからない関数は無視してコンパイル

cc -Wno-implicit-function-declaration \

-o main.o -c main.c

clean:

rm -f func.o main.o

% make
cc -o func.o -c func.c
cc -Wno-implicit-function-declaration  -o main.o -c main.c
%

1

2

3

4

5

% make

cc -o func.o -c func.c

cc -Wno-implicit-function-declaration -o main.o -c main.c

%

% readelf -r -s main.o

Relocation section with addend (.rela.text):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000019 000300000002 R_X86_64_PC32       0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 5 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND func
     4: 0000000000000000    42 FUNC    GLOBAL DEFAULT    2 main
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

% readelf -r -s main.o

Relocation section with addend (.rela.text):

r_offset r_info r_type st_value st_name + r_addend

000000000019 000300000002 R_X86_64_PC32 0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 5 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 0 NOTYPE GLOBAL DEFAULT UND func

4: 0000000000000000 42 FUNC GLOBAL DEFAULT 2 main

%

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    # 定義が見つからない関数は無視してコンパイル
    cc -Wno-implicit-function-declaration \
       -o main.o -c main.c
    # ライブラリ等をリンクして実行ファイルを生成
    cc -o a.out main.o func.o

clean:
    rm -f a.out func.o main.o

1

2

3

4

5

6

7

8

9

10

11

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

# 定義が見つからない関数は無視してコンパイル

cc -Wno-implicit-function-declaration \

-o main.o -c main.c

# ライブラリ等をリンクして実行ファイルを生成

cc -o a.out main.o func.o

clean:

rm -f a.out func.o main.o

% make
cc -o func.o -c func.c
cc -Wno-implicit-function-declaration  -o main.o -c main.c
cc -o a.out main.o func.o
% ls
Makefile a.out    func.c   func.o   main.c   main.o
% file a.out
a.out: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked,interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, not stripped
% ./a.out
func is called.
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

% make

cc -o func.o -c func.c

cc -Wno-implicit-function-declaration -o main.o -c main.c

cc -o a.out main.o func.o

% ls

Makefile a.out func.c func.o main.c main.o

% file a.out

a.out: ELF 64-bit LSB executable, x86-64, version 1 (FreeBSD), dynamically linked,interpreter /libexec/ld-elf.so.1, for FreeBSD 11.0 (1100122), FreeBSD-style, not stripped

% ./a.out

func is called.

%

% ldd main.o
ldd: main.o: not a dynamic ELF executable
% ldd func.o
ldd: func.o: not a dynamic ELF executable
% ldd a.out
a.out:
        libc.so.7 => /lib/libc.so.7 (0x800821000)
%

1

2

3

4

5

6

7

8

9

10

11

% ldd main.o

ldd: main.o: not a dynamic ELF executable

% ldd func.o

ldd: func.o: not a dynamic ELF executable

% ldd a.out

a.out:

libc.so.7 => /lib/libc.so.7 (0x800821000)

%

% readelf -s -r a.out

Relocation section with addend (.rela.plt):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000600a80 000200000007 R_X86_64_JUMP_SLOT  0000000000000000 printf + 0
000000600a88 000300000007 R_X86_64_JUMP_SLOT  0000000000000000 atexit + 0
000000600a90 000400000007 R_X86_64_JUMP_SLOT  0000000000000000 _init_tls + 0
000000600a98 000500000007 R_X86_64_JUMP_SLOT  0000000000000000 exit + 0
Symbol table (.dynsym) contains 9 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
     2: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@FBSD_1.0 (2)
     3: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@FBSD_1.0 (2)
     4: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@FBSD_1.0 (2)
     5: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@FBSD_1.0 (2)
     6: 0000000000600ac0     8 OBJECT  GLOBAL DEFAULT   23 environ
     7: 0000000000600ac8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
     8: 0000000000600aa0     8 OBJECT  GLOBAL DEFAULT   22 __progname
Symbol table (.symtab) contains 69 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000400200     0 SECTION LOCAL  DEFAULT    1
     2: 0000000000400218     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000400248     0 SECTION LOCAL  DEFAULT    3
     4: 0000000000400280     0 SECTION LOCAL  DEFAULT    4
     5: 00000000004002b0     0 SECTION LOCAL  DEFAULT    5
     6: 0000000000400388     0 SECTION LOCAL  DEFAULT    6
     7: 00000000004003e0     0 SECTION LOCAL  DEFAULT    7
     8: 00000000004003f8     0 SECTION LOCAL  DEFAULT    8
     9: 0000000000400418     0 SECTION LOCAL  DEFAULT    9
    10: 0000000000400478     0 SECTION LOCAL  DEFAULT   10
    11: 000000000040048c     0 SECTION LOCAL  DEFAULT   11
    12: 00000000004004e0     0 SECTION LOCAL  DEFAULT   12
    13: 00000000004007d8     0 SECTION LOCAL  DEFAULT   13
    14: 00000000004007e6     0 SECTION LOCAL  DEFAULT   14
    15: 00000000004007f8     0 SECTION LOCAL  DEFAULT   15
    16: 0000000000400828     0 SECTION LOCAL  DEFAULT   16
    17: 00000000006008d0     0 SECTION LOCAL  DEFAULT   17
    18: 00000000006008e0     0 SECTION LOCAL  DEFAULT   18
    19: 00000000006008f0     0 SECTION LOCAL  DEFAULT   19
    20: 00000000006008f8     0 SECTION LOCAL  DEFAULT   20
    21: 0000000000600a68     0 SECTION LOCAL  DEFAULT   21
    22: 0000000000600aa0     0 SECTION LOCAL  DEFAULT   22
    23: 0000000000600ac0     0 SECTION LOCAL  DEFAULT   23
    24: 0000000000000000     0 SECTION LOCAL  DEFAULT   24
    25: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/lib/csu/amd64/crt1.c
    26: 0000000000400218    24 OBJECT  LOCAL  DEFAULT    2 abitag
    27: 0000000000400230    24 OBJECT  LOCAL  DEFAULT    2 crt_noinit_tag
    28: 0000000000400670    83 FUNC    LOCAL  DEFAULT   12 finalizer
    29: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    30: 00000000006008d0     8 OBJECT  LOCAL  DEFAULT   17 __CTOR_LIST__
    31: 00000000006008e0     8 OBJECT  LOCAL  DEFAULT   18 __DTOR_LIST__
    32: 00000000006008f0     0 OBJECT  LOCAL  DEFAULT   19 __JCR_LIST__
    33: 00000000004006d0    53 FUNC    LOCAL  DEFAULT   12 __do_global_dtors_aux
    34: 0000000000600ab8     1 OBJECT  LOCAL  DEFAULT   22 __do_global_dtors_aux.completed
    35: 0000000000600ab0     8 OBJECT  LOCAL  DEFAULT   22 __do_global_dtors_aux.p
    36: 0000000000400710    34 FUNC    LOCAL  DEFAULT   12 frame_dummy
    37: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    38: 00000000006008d8     8 OBJECT  LOCAL  DEFAULT   17 __CTOR_END__
    39: 00000000006008e8     8 OBJECT  LOCAL  DEFAULT   18 __DTOR_END__
    40: 00000000004008c8     4 OBJECT  LOCAL  DEFAULT   16 __FRAME_END__
    41: 00000000006008f0     8 OBJECT  LOCAL  DEFAULT   19 __JCR_END__
    42: 00000000004007a0    54 FUNC    LOCAL  DEFAULT   12 __do_global_ctors_aux
    43: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
    44: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS func.c
    45: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __preinit_array_start
    46: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __fini_array_end
    47: 0000000000600a68     0 OBJECT  LOCAL  HIDDEN    21 _GLOBAL_OFFSET_TABLE_
    48: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __preinit_array_end
    49: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __fini_array_start
    50: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __init_array_end
    51: 00000000006008cc     0 NOTYPE  LOCAL  HIDDEN    17 __init_array_start
    52: 00000000006008f8     0 OBJECT  LOCAL  HIDDEN    20 _DYNAMIC
    53: 00000000004004e0   390 FUNC    GLOBAL DEFAULT   12 _start
    54: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
    55: 0000000000600aa0     8 OBJECT  GLOBAL DEFAULT   22 __progname
    56: 00000000004007d8     0 FUNC    GLOBAL HIDDEN    13 _fini
    57: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@@FBSD_1.0
    58: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@@FBSD_1.0
    59: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@@FBSD_1.0
    60: 0000000000400770    38 FUNC    GLOBAL DEFAULT   12 func
    61: 0000000000600aa8     8 OBJECT  GLOBAL HIDDEN    22 __dso_handle
    62: 0000000000600ab9     0 NOTYPE  GLOBAL DEFAULT  ABS __bss_start
    63: 0000000000600ac0     8 OBJECT  GLOBAL DEFAULT   23 environ
    64: 0000000000600ac8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
    65: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@@FBSD_1.0
    66: 0000000000600ab9     0 NOTYPE  GLOBAL DEFAULT  ABS _edata
    67: 0000000000400740    42 FUNC    GLOBAL DEFAULT   12 main
    68: 0000000000400478     0 FUNC    GLOBAL HIDDEN    10 _init
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

% readelf -s -r a.out

Relocation section with addend (.rela.plt):

r_offset r_info r_type st_value st_name + r_addend

000000600a80 000200000007 R_X86_64_JUMP_SLOT 0000000000000000 printf + 0

000000600a88 000300000007 R_X86_64_JUMP_SLOT 0000000000000000 atexit + 0

000000600a90 000400000007 R_X86_64_JUMP_SLOT 0000000000000000 _init_tls + 0

000000600a98 000500000007 R_X86_64_JUMP_SLOT 0000000000000000 exit + 0

Symbol table (.dynsym) contains 9 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

2: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@FBSD_1.0 (2)

3: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@FBSD_1.0 (2)

4: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@FBSD_1.0 (2)

5: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@FBSD_1.0 (2)

6: 0000000000600ac0 8 OBJECT GLOBAL DEFAULT 23 environ

7: 0000000000600ac8 0 NOTYPE GLOBAL DEFAULT ABS _end

8: 0000000000600aa0 8 OBJECT GLOBAL DEFAULT 22 __progname

Symbol table (.symtab) contains 69 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000400200 0 SECTION LOCAL DEFAULT 1

2: 0000000000400218 0 SECTION LOCAL DEFAULT 2

3: 0000000000400248 0 SECTION LOCAL DEFAULT 3

4: 0000000000400280 0 SECTION LOCAL DEFAULT 4

5: 00000000004002b0 0 SECTION LOCAL DEFAULT 5

6: 0000000000400388 0 SECTION LOCAL DEFAULT 6

7: 00000000004003e0 0 SECTION LOCAL DEFAULT 7

8: 00000000004003f8 0 SECTION LOCAL DEFAULT 8

9: 0000000000400418 0 SECTION LOCAL DEFAULT 9

10: 0000000000400478 0 SECTION LOCAL DEFAULT 10

11: 000000000040048c 0 SECTION LOCAL DEFAULT 11

12: 00000000004004e0 0 SECTION LOCAL DEFAULT 12

13: 00000000004007d8 0 SECTION LOCAL DEFAULT 13

14: 00000000004007e6 0 SECTION LOCAL DEFAULT 14

15: 00000000004007f8 0 SECTION LOCAL DEFAULT 15

16: 0000000000400828 0 SECTION LOCAL DEFAULT 16

17: 00000000006008d0 0 SECTION LOCAL DEFAULT 17

18: 00000000006008e0 0 SECTION LOCAL DEFAULT 18

19: 00000000006008f0 0 SECTION LOCAL DEFAULT 19

20: 00000000006008f8 0 SECTION LOCAL DEFAULT 20

21: 0000000000600a68 0 SECTION LOCAL DEFAULT 21

22: 0000000000600aa0 0 SECTION LOCAL DEFAULT 22

23: 0000000000600ac0 0 SECTION LOCAL DEFAULT 23

24: 0000000000000000 0 SECTION LOCAL DEFAULT 24

25: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/lib/csu/amd64/crt1.c

26: 0000000000400218 24 OBJECT LOCAL DEFAULT 2 abitag

27: 0000000000400230 24 OBJECT LOCAL DEFAULT 2 crt_noinit_tag

28: 0000000000400670 83 FUNC LOCAL DEFAULT 12 finalizer

29: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

30: 00000000006008d0 8 OBJECT LOCAL DEFAULT 17 __CTOR_LIST__

31: 00000000006008e0 8 OBJECT LOCAL DEFAULT 18 __DTOR_LIST__

32: 00000000006008f0 0 OBJECT LOCAL DEFAULT 19 __JCR_LIST__

33: 00000000004006d0 53 FUNC LOCAL DEFAULT 12 __do_global_dtors_aux

34: 0000000000600ab8 1 OBJECT LOCAL DEFAULT 22 __do_global_dtors_aux.completed

35: 0000000000600ab0 8 OBJECT LOCAL DEFAULT 22 __do_global_dtors_aux.p

36: 0000000000400710 34 FUNC LOCAL DEFAULT 12 frame_dummy

37: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

38: 00000000006008d8 8 OBJECT LOCAL DEFAULT 17 __CTOR_END__

39: 00000000006008e8 8 OBJECT LOCAL DEFAULT 18 __DTOR_END__

40: 00000000004008c8 4 OBJECT LOCAL DEFAULT 16 __FRAME_END__

41: 00000000006008f0 8 OBJECT LOCAL DEFAULT 19 __JCR_END__

42: 00000000004007a0 54 FUNC LOCAL DEFAULT 12 __do_global_ctors_aux

43: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

44: 0000000000000000 0 FILE LOCAL DEFAULT ABS func.c

45: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __preinit_array_start

46: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __fini_array_end

47: 0000000000600a68 0 OBJECT LOCAL HIDDEN 21 _GLOBAL_OFFSET_TABLE_

48: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __preinit_array_end

49: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __fini_array_start

50: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __init_array_end

51: 00000000006008cc 0 NOTYPE LOCAL HIDDEN 17 __init_array_start

52: 00000000006008f8 0 OBJECT LOCAL HIDDEN 20 _DYNAMIC

53: 00000000004004e0 390 FUNC GLOBAL DEFAULT 12 _start

54: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

55: 0000000000600aa0 8 OBJECT GLOBAL DEFAULT 22 __progname

56: 00000000004007d8 0 FUNC GLOBAL HIDDEN 13 _fini

57: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@@FBSD_1.0

58: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@@FBSD_1.0

59: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@@FBSD_1.0

60: 0000000000400770 38 FUNC GLOBAL DEFAULT 12 func

61: 0000000000600aa8 8 OBJECT GLOBAL HIDDEN 22 __dso_handle

62: 0000000000600ab9 0 NOTYPE GLOBAL DEFAULT ABS __bss_start

63: 0000000000600ac0 8 OBJECT GLOBAL DEFAULT 23 environ

64: 0000000000600ac8 0 NOTYPE GLOBAL DEFAULT ABS _end

65: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@@FBSD_1.0

66: 0000000000600ab9 0 NOTYPE GLOBAL DEFAULT ABS _edata

67: 0000000000400740 42 FUNC GLOBAL DEFAULT 12 main

68: 0000000000400478 0 FUNC GLOBAL HIDDEN 10 _init

%

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

int func();  /* ← この行が宣言として追加された行 */

int
main(int argc, char *argv[])
{
        func();

        return EX_OK;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

int func(); /* ← この行が宣言として追加された行 */

int

main(int argc, char *argv[])

{

func();

return EX_OK;

}

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    cc -o main.o -c main.c
    # ライブラリ等をリンクして実行ファイルを生成
    cc -o a.out main.o func.o

clean:
    rm -f a.out func.o main.o

1

2

3

4

5

6

7

8

9

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

cc -o main.o -c main.c

# ライブラリ等をリンクして実行ファイルを生成

cc -o a.out main.o func.o

clean:

rm -f a.out func.o main.o

% make
cc -o func.o -c func.c
cc -o main.o -c main.c
cc -o a.out main.o func.o
% ./a.out
func is called.
%

1

2

3

4

5

6

7

8

9

% make

cc -o func.o -c func.c

cc -o main.o -c main.c

cc -o a.out main.o func.o

% ./a.out

func is called.

%

% readelf -r -s main.o

Relocation section with addend (.rela.text):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000019 000300000002 R_X86_64_PC32       0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000000020 000200000002 R_X86_64_PC32       0000000000000000 .text + 0
Symbol table (.symtab) contains 5 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS main.c
     2: 0000000000000000     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000000000     0 NOTYPE  GLOBAL DEFAULT  UND func
     4: 0000000000000000    42 FUNC    GLOBAL DEFAULT    2 main
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

% readelf -r -s main.o

Relocation section with addend (.rela.text):

r_offset r_info r_type st_value st_name + r_addend

000000000019 000300000002 R_X86_64_PC32 0000000000000000 func + fffffffffffffffc

Relocation section with addend (.rela.eh_frame):

r_offset r_info r_type st_value st_name + r_addend

000000000020 000200000002 R_X86_64_PC32 0000000000000000 .text + 0

Symbol table (.symtab) contains 5 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 FILE LOCAL DEFAULT ABS main.c

2: 0000000000000000 0 SECTION LOCAL DEFAULT 2

3: 0000000000000000 0 NOTYPE GLOBAL DEFAULT UND func

4: 0000000000000000 42 FUNC GLOBAL DEFAULT 2 main

%

int func();  /* この関数を使うよ、という宣言をヘッダファイルへ移動 */

1	int func(); /* この関数を使うよ、という宣言をヘッダファイルへ移動 */

#include <unistd.h>
#include <stdio.h>
#include <sysexits.h>

#include "tools.h" /* 作成したヘッダファイルを読み込む */

int
main(int argc, char *argv[])
{
        func();

        return EX_OK;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

#include <unistd.h>

#include <stdio.h>

#include <sysexits.h>

#include "tools.h" /* 作成したヘッダファイルを読み込む */

int

main(int argc, char *argv[])

{

func();

return EX_OK;

}

#include <stdio.h>

int
func()
{
        printf("func is called.\n");
        
        return 0;
}

1

2

3

4

5

6

7

8

9

#include <stdio.h>

int

func()

{

printf("func is called.\n");

return 0;

}

% tree .
.
|-- Makefile
|-- func.c
|-- main.c
`-- tools.h

0 directories, 4 files
%

1

2

3

4

5

6

7

8

9

10

% tree .

.

|-- Makefile

|-- func.c

|-- main.c

`-- tools.h

0 directories, 4 files

%

all:
    # C言語ソースコードをオブジェクトデータへコンパイル
    cc -o func.o -c func.c
    cc -o main.o -c main.c
    # ライブラリ等をリンクして実行ファイルを生成
    cc -o a.out main.o func.o

clean:
    rm -f a.out func.o main.o

1

2

3

4

5

6

7

8

9

all:

# C言語ソースコードをオブジェクトデータへコンパイル

cc -o func.o -c func.c

cc -o main.o -c main.c

# ライブラリ等をリンクして実行ファイルを生成

cc -o a.out main.o func.o

clean:

rm -f a.out func.o main.o

typedef signed char __int8_t;
...略...
typedef __va_list va_list;
struct __sbuf {
 unsigned char *_base;
 int _size;
};
...略...
extern FILE *__stdinp;
extern FILE *__stdoutp;
extern FILE *__stderrp;
...略...
int printf(const char * restrict, ...);
...略...

int
func()
{
 printf("func is called.\n");

 return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

typedef signed char __int8_t;

...略...

typedef __va_list va_list;

struct __sbuf {

unsigned char *_base;

int _size;

};

...略...

extern FILE *__stdinp;

extern FILE *__stdoutp;

extern FILE *__stderrp;

...略...

int printf(const char * restrict, ...);

...略...

int

func()

{

printf("func is called.\n");

return 0;

}

typedef signed char __int8_t;
...略...
struct pthread;
...略...
__bitcount16(__uint16_t _x)
{
 _x = (_x & 0x5555) + ((_x & 0xaaaa) >> 1);
 _x = (_x & 0x3333) + ((_x & 0xcccc) >> 2);
 _x = (_x + (_x >> 4)) & 0x0f0f;
 _x = (_x + (_x >> 8)) & 0x00ff;
 return (_x);
}
...略...
extern FILE *__stdinp;
extern FILE *__stdoutp;
extern FILE *__stderrp;
...略...

int func();

int
main(int argc, char *argv[])
{
 func();

 return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

typedef signed char __int8_t;

...略...

struct pthread;

...略...

__bitcount16(__uint16_t _x)

{

_x = (_x & 0x5555) + ((_x & 0xaaaa) >> 1);

_x = (_x & 0x3333) + ((_x & 0xcccc) >> 2);

_x = (_x + (_x >> 4)) & 0x0f0f;

_x = (_x + (_x >> 8)) & 0x00ff;

return (_x);

}

...略...

extern FILE *__stdinp;

extern FILE *__stdoutp;

extern FILE *__stderrp;

...略...

int func();

int

main(int argc, char *argv[])

{

func();

return 0;

}

        .text
        .file   "func.c"
        .globl  func
        .align  16, 0x90
        .type   func,@function
func:                                   # @func
        .cfi_startproc
# BB#0:
        pushq   %rbp
.Ltmp0:
        .cfi_def_cfa_offset 16
.Ltmp1:
        .cfi_offset %rbp, -16
        movq    %rsp, %rbp
.Ltmp2:
        .cfi_def_cfa_register %rbp
        subq    $16, %rsp
        movabsq $.L.str, %rdi
        movb    $0, %al
        callq   printf
        xorl    %ecx, %ecx
        movl    %eax, -4(%rbp)          # 4-byte Spill
        movl    %ecx, %eax
        addq    $16, %rsp
        popq    %rbp
        retq
.Lfunc_end0:
        .size   func, .Lfunc_end0-func
        .cfi_endproc

        .type   .L.str,@object          # @.str
        .section        .rodata.str1.1,"aMS",@progbits,1
.L.str:
        .asciz  "func is called.\n"
        .size   .L.str, 17


        .ident  "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"
        .section        ".note.GNU-stack","",@progbits

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

.text

.file "func.c"

.globl func

.align 16, 0x90

.type func,@function

func: # @func

.cfi_startproc

# BB#0:

pushq %rbp

.Ltmp0:

.cfi_def_cfa_offset 16

.Ltmp1:

.cfi_offset %rbp, -16

movq %rsp, %rbp

.Ltmp2:

.cfi_def_cfa_register %rbp

subq $16, %rsp

movabsq $.L.str, %rdi

movb $0, %al

callq printf

xorl %ecx, %ecx

movl %eax, -4(%rbp) # 4-byte Spill

movl %ecx, %eax

addq $16, %rsp

popq %rbp

retq

.Lfunc_end0:

.size func, .Lfunc_end0-func

.cfi_endproc

.type .L.str,@object # @.str

.section .rodata.str1.1,"aMS",@progbits,1

.L.str:

.asciz "func is called.\n"

.size .L.str, 17

.ident "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"

.section ".note.GNU-stack","",@progbits

        .text
        .file   "main.c"
        .globl  main
        .align  16, 0x90
        .type   main,@function
main:                                   # @main
        .cfi_startproc
# BB#0:
        pushq   %rbp
.Ltmp0:
        .cfi_def_cfa_offset 16
.Ltmp1:
        .cfi_offset %rbp, -16
        movq    %rsp, %rbp
.Ltmp2:
        .cfi_def_cfa_register %rbp
        subq    $32, %rsp
        movl    $0, -4(%rbp)
        movl    %edi, -8(%rbp)
        movq    %rsi, -16(%rbp)
        movb    $0, %al
        callq   func
        xorl    %edi, %edi
        movl    %eax, -20(%rbp)         # 4-byte Spill
        movl    %edi, %eax
        addq    $32, %rsp
        popq    %rbp
        retq
.Lfunc_end0:
        .size   main, .Lfunc_end0-main
        .cfi_endproc


        .ident  "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"
        .section        ".note.GNU-stack","",@progbits

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

.text

.file "main.c"

.globl main

.align 16, 0x90

.type main,@function

main: # @main

.cfi_startproc

# BB#0:

pushq %rbp

.Ltmp0:

.cfi_def_cfa_offset 16

.Ltmp1:

.cfi_offset %rbp, -16

movq %rsp, %rbp

.Ltmp2:

.cfi_def_cfa_register %rbp

subq $32, %rsp

movl $0, -4(%rbp)

movl %edi, -8(%rbp)

movq %rsi, -16(%rbp)

movb $0, %al

callq func

xorl %edi, %edi

movl %eax, -20(%rbp) # 4-byte Spill

movl %edi, %eax

addq $32, %rsp

popq %rbp

retq

.Lfunc_end0:

.size main, .Lfunc_end0-main

.cfi_endproc

.ident "FreeBSD clang version 3.8.0 (tags/RELEASE_380/final 262564) (based on LLVM 3.8.0)"

.section ".note.GNU-stack","",@progbits

00000000  7f 45 4c 46 02 01 01 09  00 00 00 00 00 00 00 00  |.ELF............|
00000010  01 00 3e 00 01 00 00 00  00 00 00 00 00 00 00 00  |..>.............|
00000020  00 00 00 00 00 00 00 00  70 01 00 00 00 00 00 00  |........p.......|
00000030  00 00 00 00 40 00 00 00  00 00 40 00 0d 00 0a 00  |....@.....@.....|
00000040  55 48 89 e5 48 83 ec 10  48 bf 00 00 00 00 00 00  |UH..H...H.......|
00000050  00 00 b0 00 e8 00 00 00  00 31 c9 89 45 fc 89 c8  |.........1..E...|
00000060  48 83 c4 10 5d c3 00 00  66 75 6e 63 20 69 73 20  |H...]...func is |
00000070  63 61 6c 6c 65 64 2e 0a  00 00 46 72 65 65 42 53  |called....FreeBS|
00000080  44 20 63 6c 61 6e 67 20  76 65 72 73 69 6f 6e 20  |D clang version |
00000090  33 2e 38 2e 30 20 28 74  61 67 73 2f 52 45 4c 45  |3.8.0 (tags/RELE|
000000a0  41 53 45 5f 33 38 30 2f  66 69 6e 61 6c 20 32 36  |ASE_380/final 26|
000000b0  32 35 36 34 29 20 28 62  61 73 65 64 20 6f 6e 20  |2564) (based on |
000000c0  4c 4c 56 4d 20 33 2e 38  2e 30 29 00 00 00 00 00  |LLVM 3.8.0).....|
000000d0  14 00 00 00 00 00 00 00  01 7a 52 00 01 78 10 01  |.........zR..x..|
000000e0  1b 0c 07 08 90 01 00 00  1c 00 00 00 1c 00 00 00  |................|
000000f0  00 00 00 00 26 00 00 00  00 41 0e 10 86 02 43 0d  |....&....A....C.|
00000100  06 00 00 00 00 00 00 00  00 2e 73 79 6d 74 61 62  |..........symtab|
00000110  00 2e 73 74 72 74 61 62  00 2e 73 68 73 74 72 74  |..strtab..shstrt|
00000120  61 62 00 2e 72 65 6c 61  2e 74 65 78 74 00 2e 64  |ab..rela.text..d|
...略...
000005b0  00 00 00 00 00 00 00 00  00 66 75 6e 63 2e 63 00  |.........func.c.|
000005c0  66 75 6e 63 00 70 72 69  6e 74 66 00 00 00 00 00  |func.printf.....|
000005d0  0a 00 00 00 00 00 00 00  01 00 00 00 05 00 00 00  |................|
000005e0  00 00 00 00 00 00 00 00  15 00 00 00 00 00 00 00  |................|
000005f0  02 00 00 00 0a 00 00 00  fc ff ff ff ff ff ff ff  |................|
00000600  20 00 00 00 00 00 00 00  02 00 00 00 02 00 00 00  | ...............|
00000610  00 00 00 00 00 00 00 00                           |........|
00000618

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

00000000 7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00 |.ELF............|

00000010 01 00 3e 00 01 00 00 00 00 00 00 00 00 00 00 00 |..>.............|

00000020 00 00 00 00 00 00 00 00 70 01 00 00 00 00 00 00 |........p.......|

00000030 00 00 00 00 40 00 00 00 00 00 40 00 0d 00 0a 00 |....@.....@.....|

00000040 55 48 89 e5 48 83 ec 10 48 bf 00 00 00 00 00 00 |UH..H...H.......|

00000050 00 00 b0 00 e8 00 00 00 00 31 c9 89 45 fc 89 c8 |.........1..E...|

00000060 48 83 c4 10 5d c3 00 00 66 75 6e 63 20 69 73 20 |H...]...func is |

00000070 63 61 6c 6c 65 64 2e 0a 00 00 46 72 65 65 42 53 |called....FreeBS|

00000080 44 20 63 6c 61 6e 67 20 76 65 72 73 69 6f 6e 20 |D clang version |

00000090 33 2e 38 2e 30 20 28 74 61 67 73 2f 52 45 4c 45 |3.8.0 (tags/RELE|

000000a0 41 53 45 5f 33 38 30 2f 66 69 6e 61 6c 20 32 36 |ASE_380/final 26|

000000b0 32 35 36 34 29 20 28 62 61 73 65 64 20 6f 6e 20 |2564) (based on |

000000c0 4c 4c 56 4d 20 33 2e 38 2e 30 29 00 00 00 00 00 |LLVM 3.8.0).....|

000000d0 14 00 00 00 00 00 00 00 01 7a 52 00 01 78 10 01 |.........zR..x..|

000000e0 1b 0c 07 08 90 01 00 00 1c 00 00 00 1c 00 00 00 |................|

000000f0 00 00 00 00 26 00 00 00 00 41 0e 10 86 02 43 0d |....&....A....C.|

00000100 06 00 00 00 00 00 00 00 00 2e 73 79 6d 74 61 62 |..........symtab|

00000110 00 2e 73 74 72 74 61 62 00 2e 73 68 73 74 72 74 |..strtab..shstrt|

00000120 61 62 00 2e 72 65 6c 61 2e 74 65 78 74 00 2e 64 |ab..rela.text..d|

...略...

000005b0 00 00 00 00 00 00 00 00 00 66 75 6e 63 2e 63 00 |.........func.c.|

000005c0 66 75 6e 63 00 70 72 69 6e 74 66 00 00 00 00 00 |func.printf.....|

000005d0 0a 00 00 00 00 00 00 00 01 00 00 00 05 00 00 00 |................|

000005e0 00 00 00 00 00 00 00 00 15 00 00 00 00 00 00 00 |................|

000005f0 02 00 00 00 0a 00 00 00 fc ff ff ff ff ff ff ff |................|

00000600 20 00 00 00 00 00 00 00 02 00 00 00 02 00 00 00 | ...............|

00000610 00 00 00 00 00 00 00 00 |........|

00000618

00000000  7f 45 4c 46 02 01 01 09  00 00 00 00 00 00 00 00  |.ELF............|
00000010  01 00 3e 00 01 00 00 00  00 00 00 00 00 00 00 00  |..>.............|
00000020  00 00 00 00 00 00 00 00  58 01 00 00 00 00 00 00  |........X.......|
00000030  00 00 00 00 40 00 00 00  00 00 40 00 0c 00 09 00  |....@.....@.....|
00000040  55 48 89 e5 48 83 ec 20  c7 45 fc 00 00 00 00 89  |UH..H.. .E......|
00000050  7d f8 48 89 75 f0 b0 00  e8 00 00 00 00 31 ff 89  |}.H.u........1..|
00000060  45 ec 89 f8 48 83 c4 20  5d c3 00 00 00 46 72 65  |E...H.. ]....Fre|
00000070  65 42 53 44 20 63 6c 61  6e 67 20 76 65 72 73 69  |eBSD clang versi|
00000080  6f 6e 20 33 2e 38 2e 30  20 28 74 61 67 73 2f 52  |on 3.8.0 (tags/R|
00000090  45 4c 45 41 53 45 5f 33  38 30 2f 66 69 6e 61 6c  |ELEASE_380/final|
000000a0  20 32 36 32 35 36 34 29  20 28 62 61 73 65 64 20  | 262564) (based |
000000b0  6f 6e 20 4c 4c 56 4d 20  33 2e 38 2e 30 29 00 00  |on LLVM 3.8.0)..|
000000c0  14 00 00 00 00 00 00 00  01 7a 52 00 01 78 10 01  |.........zR..x..|
000000d0  1b 0c 07 08 90 01 00 00  1c 00 00 00 1c 00 00 00  |................|
000000e0  00 00 00 00 2a 00 00 00  00 41 0e 10 86 02 43 0d  |....*....A....C.|
000000f0  06 00 00 00 00 00 00 00  00 2e 73 79 6d 74 61 62  |..........symtab|
00000100  00 2e 73 74 72 74 61 62  00 2e 73 68 73 74 72 74  |..strtab..shstrt|
00000110  61 62 00 2e 72 65 6c 61  2e 74 65 78 74 00 2e 64  |ab..rela.text..d|
00000120  61 74 61 00 2e 62 73 73  00 2e 63 6f 6d 6d 65 6e  |ata..bss..commen|
...略...
00000540  00 00 00 00 00 00 00 00  00 6d 61 69 6e 2e 63 00  |.........main.c.|
00000550  6d 61 69 6e 00 66 75 6e  63 00 00 00 00 00 00 00  |main.func.......|
00000560  19 00 00 00 00 00 00 00  02 00 00 00 09 00 00 00  |................|
00000570  fc ff ff ff ff ff ff ff  20 00 00 00 00 00 00 00  |........ .......|
00000580  02 00 00 00 02 00 00 00  00 00 00 00 00 00 00 00  |................|
00000590

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

00000000 7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00 |.ELF............|

00000010 01 00 3e 00 01 00 00 00 00 00 00 00 00 00 00 00 |..>.............|

00000020 00 00 00 00 00 00 00 00 58 01 00 00 00 00 00 00 |........X.......|

00000030 00 00 00 00 40 00 00 00 00 00 40 00 0c 00 09 00 |....@.....@.....|

00000040 55 48 89 e5 48 83 ec 20 c7 45 fc 00 00 00 00 89 |UH..H.. .E......|

00000050 7d f8 48 89 75 f0 b0 00 e8 00 00 00 00 31 ff 89 |}.H.u........1..|

00000060 45 ec 89 f8 48 83 c4 20 5d c3 00 00 00 46 72 65 |E...H.. ]....Fre|

00000070 65 42 53 44 20 63 6c 61 6e 67 20 76 65 72 73 69 |eBSD clang versi|

00000080 6f 6e 20 33 2e 38 2e 30 20 28 74 61 67 73 2f 52 |on 3.8.0 (tags/R|

00000090 45 4c 45 41 53 45 5f 33 38 30 2f 66 69 6e 61 6c |ELEASE_380/final|

000000a0 20 32 36 32 35 36 34 29 20 28 62 61 73 65 64 20 | 262564) (based |

000000b0 6f 6e 20 4c 4c 56 4d 20 33 2e 38 2e 30 29 00 00 |on LLVM 3.8.0)..|

000000c0 14 00 00 00 00 00 00 00 01 7a 52 00 01 78 10 01 |.........zR..x..|

000000d0 1b 0c 07 08 90 01 00 00 1c 00 00 00 1c 00 00 00 |................|

000000e0 00 00 00 00 2a 00 00 00 00 41 0e 10 86 02 43 0d |....*....A....C.|

000000f0 06 00 00 00 00 00 00 00 00 2e 73 79 6d 74 61 62 |..........symtab|

00000100 00 2e 73 74 72 74 61 62 00 2e 73 68 73 74 72 74 |..strtab..shstrt|

00000110 61 62 00 2e 72 65 6c 61 2e 74 65 78 74 00 2e 64 |ab..rela.text..d|

00000120 61 74 61 00 2e 62 73 73 00 2e 63 6f 6d 6d 65 6e |ata..bss..commen|

...略...

00000540 00 00 00 00 00 00 00 00 00 6d 61 69 6e 2e 63 00 |.........main.c.|

00000550 6d 61 69 6e 00 66 75 6e 63 00 00 00 00 00 00 00 |main.func.......|

00000560 19 00 00 00 00 00 00 00 02 00 00 00 09 00 00 00 |................|

00000570 fc ff ff ff ff ff ff ff 20 00 00 00 00 00 00 00 |........ .......|

00000580 02 00 00 00 02 00 00 00 00 00 00 00 00 00 00 00 |................|

00000590

ユニケージ開発手法　コードレビュー　vol.35（vol.46掲載）

投稿日：2017.05.9　｜　カテゴリー：　記事

著者：USP研究所技術研究員青木剛理

今回は、無意識にシェルを書くと計算誤りが発生しやすい、ゼロとヌルの違いについて説明します。

本記事掲載のシェルスクリプトマガジンvol.46は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

#!/bin/bash
#
# 売上集計 <fr> <to> <code...>
#
# 1:集計日（自）
# 2:集計日（至）
# 3-:集計対象の商品コード
#

#######################################
# 初期設定
（中略）

#######################################
# オプション
[ -z "$3" ] && exit 1
day_fr="$1"
isdate $day_fr || exit 1
day_to="$2"
isdate $day_to || exit 1
echo $* | delf 1 2 | tarr | msort key=1 > $tmp-codes

#######################################
# データ取得
cat $lv3d/URIAGE        |
# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価
awk "$day_fr"'<=$1'     |
awk '$1<='"$day_to"     |
cjoin0 key=3 $tmp-codes |
msort key=2@3           > $tmp-data

#############
# マスタ                       ※今回出力対象になる全店舗ｘ全商品の名前つきリスト
cat $tmp-data             |
# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価
self 2 3                  |
cjoin1 key=2 $tbld/SHOHIN |
join1  key=1 $tbld/TENPO  |
# 1:店舗コード 2:店舗名 3:地域コード 4:地域名 5:商品コード 6:商品名
self 1 5 2 3 4 6          > $tmp-output-master
# 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名

#############
# 店舗ごと
cat $tmp-data                             |
# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価
delr 5 "_"                                |
lcalc '$2,$3,$4,$5,$4*$5,$6*$5'           |
# 1:店舗コード 2:商品コード 3:単品価格 4:販売数 5:販売価格 6:原価
sm2 1 2 4 6                               |
# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計
tee $tmp-data-2                           |
lcalc '$1,$2,$4,$3,$4/$3,(1-($5/$4))*100' |
# 1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率
marume 5.2 6.2                            > $tmp-output-ten

#############
# １店舗あたり
cat $tmp-data-2                           |
# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計
msort key=2                               |
sm2 +count 2 2 3 5                        |
# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計
tee $tmp-data-3                           |
lcalc '$1,$2,$4/$2,$3/$2'                 |
# 1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格
marume 3.2 4.2                            > $tmp-output-one

#############
# 全店舗計
cat $tmp-data-3                           |
# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計
lcalc '$1,$4,$3,(1-$5/$4)*100'            |
marume 4.2                                > $tmp-output-all
# 1:商品コード 2:販売価格計 3:販売数計 4:全体利益率


#######################################
# 出力
# $tmp-output-master 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名
# $tmp-output-ten    1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率
# $tmp-output-one    1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格
# $tmp-output-all    1:商品コード 2:販売価格計 3:販売数計 4:全体利益率
（後略）

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

#!/bin/bash

#

# 売上集計 <fr> <to> <code...>

#

# 1:集計日（自）

# 2:集計日（至）

# 3-:集計対象の商品コード

#

#######################################

# 初期設定

（中略）

#######################################

# オプション

[ -z "$3" ] && exit 1

day_fr="$1"

isdate $day_fr || exit 1

day_to="$2"

isdate $day_to || exit 1

echo $* | delf 1 2 | tarr | msort key=1 > $tmp-codes

#######################################

# データ取得

cat $lv3d/URIAGE |

# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価

awk "$day_fr"'<=$1' |

awk '$1<='"$day_to" |

cjoin0 key=3 $tmp-codes |

msort key=2@3 > $tmp-data

#############

# マスタ ※今回出力対象になる全店舗ｘ全商品の名前つきリスト

cat $tmp-data |

# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価

self 2 3 |

cjoin1 key=2 $tbld/SHOHIN |

join1 key=1 $tbld/TENPO |

# 1:店舗コード 2:店舗名 3:地域コード 4:地域名 5:商品コード 6:商品名

self 1 5 2 3 4 6 > $tmp-output-master

# 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名

#############

# 店舗ごと

cat $tmp-data |

# 1:売上日 2:店舗コード 3:商品コード 4:単品価格 5:販売数 6:原価

delr 5 "_" |

lcalc '$2,$3,$4,$5,$4*$5,$6*$5' |

# 1:店舗コード 2:商品コード 3:単品価格 4:販売数 5:販売価格 6:原価

sm2 1 2 4 6 |

# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計

tee $tmp-data-2 |

lcalc '$1,$2,$4,$3,$4/$3,(1-($5/$4))*100' |

# 1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率

marume 5.2 6.2 > $tmp-output-ten

#############

# １店舗あたり

cat $tmp-data-2 |

# 1:店舗コード 2:商品コード 3:販売数計 4:販売価格計 5:原価計

msort key=2 |

sm2 +count 2 2 3 5 |

# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計

tee $tmp-data-3 |

lcalc '$1,$2,$4/$2,$3/$2' |

# 1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格

marume 3.2 4.2 > $tmp-output-one

#############

# 全店舗計

cat $tmp-data-3 |

# 1:商品コード 2:取扱店舗数 3:販売数計 4:販売価格計 5:原価計

lcalc '$1,$4,$3,(1-$5/$4)*100' |

marume 4.2 > $tmp-output-all

# 1:商品コード 2:販売価格計 3:販売数計 4:全体利益率

#######################################

# 出力

# $tmp-output-master 1:店舗コード 2:商品コード 3:店舗名 4:地域コード 5:地域名 6:商品名

# $tmp-output-ten 1:店舗コード 2:商品コード 3:販売価格計 4:販売数 5:１本あたり平均販売価格 6:利益率

# $tmp-output-one 1:商品コード 2:取扱店舗数 3:平均販売数 4:平均販売価格

# $tmp-output-all 1:商品コード 2:販売価格計 3:販売数計 4:全体利益率

（後略）

機械学習で石川啄木を蘇らせる　最終回（vol.46掲載）

投稿日：2017.04.25　｜　カテゴリー：　記事

written by 高橋光輝

様々なアルゴリズム・機械学習をスマートに組み合わせて未完の短歌の補完を目指した人気連載「機械学習で石川啄木を蘇らせる」。シェルマガでは同人誌から手法を発展させ、新たに記事を書き起こしてもらいました。

連載全体を俯瞰するまとめ回となった最終回を公開します。ぜひお楽しみください！

本連載のもとになった同人誌の内容は、以下のURLから閲覧が可能です。（編集部）
https://sunpro.io/c89/pub/hakatashi/introduction

遂に、機械学習で石川啄木が帰り来れり

こんにちは。高橋光輝（HN:博多市）です。今回は連載「機械学習で石川啄木を蘇らせる」の最終回として、今までに生成した、「啄木の短歌」と「ダミーの短歌」の素性ベクトルをもとに、「啄木らしさ」を学習します。その後前々回作成した「最後の一首」候補の短歌を分類器にかけ、最も「啄木らしさ」の高い一首を、復元された「最後の一首」とします。
さて、前回までの作業で「啄木の短歌」と「ダミーの短歌」の素性ベクトルを抽出し、それぞれの短歌が持つ特徴を100次元のベクトルデータに変換することができました。このように入力データを正規化し形式を揃えることによって、機械学習にとって扱いやすいデータになります。今回は「啄木の短歌」と「ダミーの短歌」を正確に分類できる分類器を作成することによって、擬似的に「啄木らしさ」の学習を行っていきます。
以前お話したとおり、分類問題は機械学習の最も基本的なタスクです。機械学習の草創期から現在に至るまで非常に多くのモデルが提唱されてきました。この連載のもととなった記事では多項ナイーブベイズ分類器を用いて分類を行いましたが、今回の連載では線形サポートベクトルマシンを用いた分類器を使用することにしました。一般に機械学習においてどのようなタスクにどのような手法が向いているのかというのを理論的に示すのは難しく、パラメーターの調整次第でいくらでも性能が変化しうるというのが機械学習の難しい部分です。今回の場合も理論的にどうこうというよりは試行錯誤を重ねたうえでの選択となっていますので、このあたりの説明の足りない点はどうかご容赦ください。

SVMをこのごろ気になる

さて、サポートベクトルマシン、略してSVMというのは少しでも機械学習を齧ったことがある方なら一度は聞いたことのある名前でしょうが、あらためて軽く解説を行いたいと思います。
SVMはおそらく、数ある機械学習のモデルの中でも特に直感的に理解しやすいモデルです。図1のように、ベクトル空間上に分類したい2種類のデータが点在する状況を考えます。これらのデータを元に未知のデータに対して分類を行うには、ベクトル空間のどの部分がどの種類のデータの領域なのかを定める境界面、つまり識別面が必要になります。

図1：SVMによる識別面の設定
SVMはこの識別面を、それぞれのクラス中で最も識別面に近いデータまでの距離、つまりマージンが最大化されるように線を引きます。この識別面の具体的な引き方を計算するには線形代数の知識が必要であるためここでは省略しますが、通常のデータでは入力されたデータからこのような識別面の解を一意に求めることができます。これが線形サポートベクトルマシンにおける「学習」です。
こんな単純なモデルで本当に「啄木らしさ」が学習できるのかと疑問に思うかもしれません。実際、線形SVMによる分類は名前の通り線形であり、非線形な処理を含まないため単体では表現力に乏しいとされています。しかし、今回分類するデータは、word2vecとsentence2vecを用いてベクトルに落とし込む段階ですでに言語の意味論的な部分をベクトル空間上に抽象化していると考えられるでしょう。word2vecによる事前学習を行ったデータがSVMやK-meansなどの比較的単純な手法でも非常に高いスコアを上げることはword2vecを提唱した論文でも示されており、これが今回のケースにも当てはまります。つまり、単語からベクトル空間へのよく学習された写像関係においては、たかだか100程度の次元で言語が持つ複雑な意味論的モデルを十分に表現できるということであり、この点からもword2vecの優秀さを伺うことができます。

SVMにさはりてみるかな

さて、話は脱線しましたが、ここからは実際にSVMを用いて「啄木の短歌」と「ダミーの短歌」を分類する分類器の学習を行いましょう。今回はscikit-learnというライブラリを使用します。scikit-learnは、機械学習の様々なモデルや、機械学習をする上で便利なツールが1つのパッケージに実装したライブラリであり、多種多様な機械学習を手軽に試せるため、機械学習の定番的なライブラリとなっています。一方、速度などの点では他のライブラリにやや劣っていますが、今回は学習するデータ数が比較的少ないため問題にはならないでしょう。
scikit-learnをインストールするために、次のコマンドを打ち込んでください。

$ pip install scikit-learn

1	$ pip install scikit-learn

では、コードを書いていきます。いつも通り、Makefileの最初にリスト1のような行を加えてください。

.PHONY: print-predicted-tanka
print-predicted-tanka: predict_takuboku_tanka.py tanka-dummy-vectors.txt tanka-takuboku-vectors.txt tanka-vectors.txt
	$(PYTHON) $^

1

2

3

.PHONY: print-predicted-tanka

print-predicted-tanka: predict_takuboku_tanka.py tanka-dummy-vectors.txt tanka-takuboku-vectors.txt tanka-vectors.txt

$(PYTHON) $^

そして、predict_takuboku_tanka.pyというファイルを作成し、次のように記述します。

# -*- coding: utf-8 -*-

import sys
import csv
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
import numpy as np

# 引数の数をチェック
if len(sys.argv) != 4:
    print('This program must be called with 4 arguments')
    sys.exit()

# 引数からファイル名を取得
[this_file, dummy_vectors_file, takuboku_vectors_file, tanka_vectors_file] = sys.argv

# ファイルから短歌のベクトルデータを読み取る
dummy_vectors = np.loadtxt(dummy_vectors_file, delimiter=' ')
takuboku_vectors = np.loadtxt(takuboku_vectors_file, delimiter=' ')
tanka_vectors = np.genfromtxt(tanka_vectors_file, delimiter=' ', dtype=None)

# ダミーの短歌と啄木の短歌を結合して入力データとして整形
X = np.concatenate((dummy_vectors, takuboku_vectors))
y = np.concatenate((np.zeros(len(dummy_vectors)), np.ones(len(takuboku_vectors))))

# 学習精度を測るための分類器を用意
pre_classifier = SVC(kernel='linear')

# 5分割交差検定で学習精度を計測
scores = cross_val_score(pre_classifier, X, y, cv=5)

# 計測したスコアを報告
print('SVM Score:', scores.mean())

# 同じパラメータで今度はすべての入力データを用いて学習を行う
classifier = SVC(kernel='linear', probability=True)
classifier.fit(X, y)

# 「最後の一首」候補の短歌をラベルデータとベクトルデータに分割
tanka_vectors_labels = np.array([list(row)[0] for row in tanka_vectors])
tanka_vectors_data = np.array([list(row)[1:] for row in tanka_v
ectors])

# 分類器を用いて学習し、それぞれの「啄木の短歌らしさ」を推定する
proba = classifier.predict_log_proba(tanka_vectors_data)

# 「啄木の短歌らしさ」の高い順に並べる
sorted_proba = np.array(sorted(zip(proba, tanka_vectors_labels), key=lambda r:r[0][1]))

# 上位30件を報告
print('\n'.join(['{0:>2}. {1}'.format(i + 1, p[1].decode("utf-8")) for i, p in enumerate(sorted_proba[:30])]))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

# -*- coding: utf-8 -*-

import sys

import csv

from sklearn.svm import SVC

from sklearn.model_selection import cross_val_score

import numpy as np

# 引数の数をチェック

if len(sys.argv) != 4:

print('This program must be called with 4 arguments')

sys.exit()

# 引数からファイル名を取得

[this_file, dummy_vectors_file, takuboku_vectors_file, tanka_vectors_file] = sys.argv

# ファイルから短歌のベクトルデータを読み取る

dummy_vectors = np.loadtxt(dummy_vectors_file, delimiter=' ')

takuboku_vectors = np.loadtxt(takuboku_vectors_file, delimiter=' ')

tanka_vectors = np.genfromtxt(tanka_vectors_file, delimiter=' ', dtype=None)

# ダミーの短歌と啄木の短歌を結合して入力データとして整形

X = np.concatenate((dummy_vectors, takuboku_vectors))

y = np.concatenate((np.zeros(len(dummy_vectors)), np.ones(len(takuboku_vectors))))

# 学習精度を測るための分類器を用意

pre_classifier = SVC(kernel='linear')

# 5分割交差検定で学習精度を計測

scores = cross_val_score(pre_classifier, X, y, cv=5)

# 計測したスコアを報告

print('SVM Score:', scores.mean())

# 同じパラメータで今度はすべての入力データを用いて学習を行う

classifier = SVC(kernel='linear', probability=True)

classifier.fit(X, y)

# 「最後の一首」候補の短歌をラベルデータとベクトルデータに分割

tanka_vectors_labels = np.array([list(row)[0] for row in tanka_vectors])

tanka_vectors_data = np.array([list(row)[1:] for row in tanka_v

ectors])

# 分類器を用いて学習し、それぞれの「啄木の短歌らしさ」を推定する

proba = classifier.predict_log_proba(tanka_vectors_data)

# 「啄木の短歌らしさ」の高い順に並べる

sorted_proba = np.array(sorted(zip(proba, tanka_vectors_labels), key=lambda r:r[0][1]))

# 上位30件を報告

print('\n'.join(['{0:>2}. {1}'.format(i + 1, p[1].decode("utf-8")) for i, p in enumerate(sorted_proba[:30])]))

ここで、分割交差検定と呼ばれる方法を用いてSVMの精度を測定しています。分類器の精度とはすなわち分類の正確さであり、既知のデータに対してどれだけ正確に分類を行えるかを計測することによって測定できますが、このとき学習に用いたデータを測定に使用しないよう注意が必要です。学習に用いたデータは学習機にとっても既知のデータであり、正確に分類を行えるのはある意味当然であるので、精度測定が不正確になるおそれがあります。そのため、通常はデータセットを学習用のデータとテスト用のデータに分割して使用するのですが、このときの分割の仕方によって精度測定に影響が出る可能性があるため、学習用のデータとテスト用のデータを互いに入れ替えながら何度も測定を行うことがあります。これが分割交差検定です。

図2：5分割交差検定の例

今回の測定では5分割の交差検定を行っています。つまり、入力データの5分の1をテストデータに使用する測定を5回行っているということです。この測定結果は環境や乱数によって多少変動するでしょうが、おおむね97～98%程度の数値が出ると思われます。これはこの連載の元となった記事での93.3%という精度と比較しても非常に高いスコアであり、「啄木の短歌」と「ダミーデータ」との違いがよく学習ができていることが期待されます。
プログラムではその後、あらためてすべての入力データを用いてSVMの学習を行い、本命の「最後の一首」の候補を分類するための分類器を学習します。そして、それが終わったら実際にこれまでの連載で作成してきた「最後の一首」候補の短歌のベクトルデータを分類器に入力し、「啄木の短歌らしさ」の数値を推定します。これによって最もスコアが高かったものが、復元された「啄木の最後の一首」ということになります。

大跨に椽側を歩けば……

長い道のりでしたが、ようやく復元結果の発表です。それではもったいぶらずに発表しましょう。機械学習の力を借りて現代に蘇った石川啄木の最後の一首、その内容はこちらに決定しました。

大跨に椽側を歩けば、
うしなひしをさなき心
寄する日ながし。

……いかがでしょうか? 実のところ生成時に関係するさまざまな環境や乱数によって生成される短歌が異なる可能性があるので、これが唯一の解答というわけではありません。読者の皆さんが試した結果はこれとは異なる可能性があります。それぞれにそれぞれの復元結果があるということです。
「啄木らしさ」が高いと判定された短歌がどのようなものか確認するために、スコアの高かった上位30件を順に見てみましょう。

 1. 大跨に椽側を歩けばうしなひしをさなき心寄する日ながし
 2. 大跨に椽側を歩けば生命が身によりかかり眼閉ぢ眼をとづ
 3. 大跨に椽側を歩けばうしなひしわが来しかたのをかしく悲し
 4. 大跨に椽側を歩けば呆れ喉かなしみたる気自分の主筆さ
 5. 大跨に椽側を歩けばこれ見よと鳴きて走らせし母としたしむ
 6. 大跨に椽側を歩けばこれ見よと入日うつれるかなしき日ながし
 7. 大跨に椽側を歩けばのめる時とつたへと銭のなかのなつかし
 8. 大跨に椽側を歩けばおのづから目さまして見る玩具の機関車
 9. 大跨に椽側を歩けばむなしきつつつき鉢寒き煉瓦何かな
10. 大跨に椽側を歩けば字に四百いひ出でかかり初雪心
11. 大跨に椽側を歩けば煙草のみ考へるわれのこころ冷たし
12. 大跨に椽側を歩けば胸いたみ春の多きこと聞けばおとなし
13. 大跨に椽側を歩けば逃げてゆきしわが来しかたのをかしく悲し
14. 大跨に椽側を歩けばこの前をとづ高きなき出さより眠る
15. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車
16. 大跨に椽側を歩けばおのづから目さませばからだ痛くてみたし
17. 大跨に椽側を歩けばうしなひし草稿の字の読みがたさかな
18. 大跨に椽側を歩けば今日とわかれ読む度ところ従兄ぬ
19. 大跨に椽側を歩けば泣いてゆきしわが来しかたのをかしく悲し
20. 大跨に椽側を歩けば誦しなしの夜目には軽くかろく眺むる
21. 大跨に椽側を歩けばうしなひし大という字の読みがたさかな
22. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車
23. 大跨に椽側を歩けば高く笑ひ身をば寄せたる淡き見覚え
24. 大跨に椽側を歩けばいつ見つつわれよりえらく見ゆる日ながし
25. 大跨に椽側を歩けば煙草かな寝つ起きつし後酒に射し入る
26. 大跨に椽側を歩けば友なみだ垂れ手にためし雪のあけぼの
27. 大跨に椽側を歩けば病人の目さましてやや長きキスをやる
28. 大跨に椽側を歩けばなつかしき降れ年深夜の煙かくしは
29. 大跨に椽側を歩けばかなしきに穿く鳥口を人すこし寝り
30. 大跨に椽側を歩けば住みとるる問ふを見口に力し泣き読む

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

1. 大跨に椽側を歩けばうしなひしをさなき心寄する日ながし

2. 大跨に椽側を歩けば生命が身によりかかり眼閉ぢ眼をとづ

3. 大跨に椽側を歩けばうしなひしわが来しかたのをかしく悲し

4. 大跨に椽側を歩けば呆れ喉かなしみたる気自分の主筆さ

5. 大跨に椽側を歩けばこれ見よと鳴きて走らせし母としたしむ

6. 大跨に椽側を歩けばこれ見よと入日うつれるかなしき日ながし

7. 大跨に椽側を歩けばのめる時とつたへと銭のなかのなつかし

8. 大跨に椽側を歩けばおのづから目さまして見る玩具の機関車

9. 大跨に椽側を歩けばむなしきつつつき鉢寒き煉瓦何かな

10. 大跨に椽側を歩けば字に四百いひ出でかかり初雪心

11. 大跨に椽側を歩けば煙草のみ考へるわれのこころ冷たし

12. 大跨に椽側を歩けば胸いたみ春の多きこと聞けばおとなし

13. 大跨に椽側を歩けば逃げてゆきしわが来しかたのをかしく悲し

14. 大跨に椽側を歩けばこの前をとづ高きなき出さより眠る

15. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車

16. 大跨に椽側を歩けばおのづから目さませばからだ痛くてみたし

17. 大跨に椽側を歩けばうしなひし草稿の字の読みがたさかな

18. 大跨に椽側を歩けば今日とわかれ読む度ところ従兄ぬ

19. 大跨に椽側を歩けば泣いてゆきしわが来しかたのをかしく悲し

20. 大跨に椽側を歩けば誦しなしの夜目には軽くかろく眺むる

21. 大跨に椽側を歩けばうしなひし大という字の読みがたさかな

22. 大跨に椽側を歩けばこれ見よとかしこみて見る玩具の機関車

23. 大跨に椽側を歩けば高く笑ひ身をば寄せたる淡き見覚え

24. 大跨に椽側を歩けばいつ見つつわれよりえらく見ゆる日ながし

25. 大跨に椽側を歩けば煙草かな寝つ起きつし後酒に射し入る

26. 大跨に椽側を歩けば友なみだ垂れ手にためし雪のあけぼの

27. 大跨に椽側を歩けば病人の目さましてやや長きキスをやる

28. 大跨に椽側を歩けばなつかしき降れ年深夜の煙かくしは

29. 大跨に椽側を歩けばかなしきに穿く鳥口を人すこし寝り

30. 大跨に椽側を歩けば住みとるる問ふを見口に力し泣き読む

全体としての印象は、「かなしき」「うしなひし」「むなしき」「痛く」「冷たし」といった陰的な形容が目立ちます。この点は非常に興味深いです。以前紹介した復元結果「大跨に椽側を歩けば、板軋む。／かへりけるかな――／道広くなりき。」では「椽側を歩く」という表現から「板軋む」「道広く」といった意味的な共起表現を拾っており、この点で以前の結果は優れていましたが、一方で詩的表現の手段としての言語をあまりにも字句的に捉えすぎているという指摘も受けました。今回の結果は前回よく見られたような「板」や「道」のような前半と関連する表現は見受けられませんが、代わりにこのような精神的な表現の傾向が陽に現れたことは、ある種前回の壁を乗り越えられたといえるのではないでしょうか。
また、「眼閉ぢ眼をとづ」や「軽くかろく眺むる」といった同じ単語の繰り返しのパターンが現れているのも興味深いです。三十一文字の中で同じ表現や単語を繰り返すのは特に前期啄木に見られる技法であり、「なみだなみだ／不思議なるかな／それをもて洗へば心戯けたくなれり」「はたらけど／はたらけど猶わが生活楽にならざり／ぢっと手を見る」といった歌にみることができます。この結果に出てきている用例はかなり露骨でありあまり高く評価はできませんが、もしかしたらこのような表現パターンを入力データから学習しているのかもしれません。
というわけで、今回の復元結果はこのようになりましたが、この結果は学習のパラメータや手法次第で大きく変わる可能性があります。読者の皆さんはぜひ、各種パラメーターを変更して、より望ましい結果が得られるように調整してみてください。たとえば、

・形態素解析に用いる辞書データの変更
・RNNLMやマルコフ連鎖で生成する短歌の数の変更
・マルコフ連鎖で用いるn-gram辞書のnの値の変更
・RNNLMに渡す各種パラメーター
・分類器のパラメーターの変更、もしくは探索※2

などは試してみる価値があると思います。

ひよつとした事が、思ひ出の種にまたなる

さて、こうして無事石川啄木の最後の一首を復元することができたので、おさらいをする意味も込めて本連載の流れをもう一度最初から振り返ってみましょう。

第1回（編：本誌 vol.38掲載）では、イントロダクションとして、本連載の中心人物である石川啄木の紹介、そして石川啄木の未完の「最後の一首」の解説を行いました。
第2回（vol.39）では「最後の一首」復元の第一歩として、青空文庫から原本となる啄木のテキストを取得し、短歌の部分を切り出してパースする処理を行いました。
第3回（vol.40）では、第2回でパースしたデータを形態素解析にかけ、短歌がどのような語句で構成されているのかを解析しました。
第4回（vol.41）では、第3回で形態素解析したデータを元にマルコフ連鎖を行い、文章としての繋がりを重視するプローチから「最後の一首」候補を作成しました。
第5回（vol.42）は第4回と並行する形で、今度はRNNLMを用いて「最後の一首」候補を作成しました。こちらはどちらかというと文脈を重視したアプローチになります。
第6回（vol.43）では、第4回と第5回で作成した「最後の一首」候補から、短歌の形式をとっているものをフィルタリングする処理を行いました。ここで単語列を文節に分けるテクニックを解説しました。
第7回（vol.44）では、短歌形式を取っている「最後の一首」候補を、word2vecとsentence2vecを用いて素性ベクトルに変換し、機械学習で扱いやすい形に変換しました。
第8回（vol.45）では機械学習による分類を行うための前準備として、「石川啄木らしくないデータ」、つまりダミーデータを生成する処理を行いました。また実装は行いませんでしたが、類似技術であるGANについても同時に解説を行いました。
そして第9回となる今回では、第8回で生成したダミーデータと啄木の短歌を正確に分類するSVMを学習し、それを用いて第7回で生成した啄木の「最後の一首」候補の「啄木らしさ」を推定し、もっとも「啄木らしさ」の高い一首を復元された「最後の一首」としました。

こうしてみると、「石川啄木の最後の一首を復元する」という一つのタスクに対して、様々な技術が複雑に関係していることがわかります。啄木の歌集の校訂者に端を発し、形態素解析器、マルコフ連鎖、RNNLM、word2vec、SVMと、どれも偉大な先人が築き上げてきた技術の集大成です。現代に生きる我々の使命は、折りに触れてなるべく広範な知識を身に着け、こうして巨人の肩の上に立ち、その上でどれだけ新しい価値を生み出せるかということに懸かっていると思って止みません。みなさんもこの連載記事を通じて、石川啄木や自然言語処理、さらに機械学習に興味を持って頂けると幸いです。
それでは、以上で連載「機械学習で石川啄木を蘇らせる」最終回とさせていただきます。9回の長い間お付き合いくださりありがとうございました。また機会があればどこかで会いましょう。

あなたにとっての技術が、物語のよき隣人でありますように。

本記事は、シェルスクリプトマガジンvol.38～vol.46に掲載された連載の最終回です。それぞれの技術の詳細については、該当のバックナンバーをご参照ください。（編集部）

ITエンジニアのサボりに強い味方現る！シェルスクリプト製ライフゲーム

投稿日：2017.04.18　｜　カテゴリー：　記事

written by シェルスクリプトマガジン編集部

（本記事はWeb版シェルスクリプトマガジン独自記事です）

USP研究所技術研究員ナカムラ氏謹製の、シェルスクリプト製ライフゲーム・シミュレータをご紹介します。
インストール・設定・操作・実行のすべてがターミナル画面上で完結するので、上司の目が厳しいエンジニアの皆さまも、いかにも「仕事中です」という顔をしながら暇つぶしに勤しめます。

ライフゲームとは

ライフゲームは、1970年にJohn Horton Conwayが発明したコンピュータ・ゲームです。
マス目（セル）のオンオフを生命（例えばシャーレ上に培養される微生物）に見立て、単純な規則により時間経過による生命の繁殖を表現します。
自分の周り八方のセルの密度が適度なら次のターンに培養される、過疎もしくは過密の場合は死滅します。

ルールは簡単ですが、初期状態からは想像もつかない形へと発展していく面白さがあります。。

例：代表的なパターン「グライダー」。 4世代ごとに縦横1マスずつ移動しながら元の形に戻ります。

→ → → →

ライフゲームのルール（引用元：「ライフゲイムの宇宙新装版」ウィリアム・パウンドストーン著有澤誠訳、日本評論社）

Wikipedia「ライフゲーム」などもご参照ください。

遊び方

インストール

コードはGitHub上に公開されています。

https://github.com/kaznak/ConwayGoL.sh

ターミナル画面上で $ git clone https://github.com/kaznak/ConwayGoL.sh.git とすることでインストールできます。

$ git clone https://github.com/kaznak/ConwayGoL.sh.git

Cloning into 'ConwayGoL.sh'...
remote: Counting objects: 245, done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 245 (delta 30), reused 0 (delta 0), pack-reused 181
Receiving objects: 100% (245/245), 32.93 KiB | 0 bytes/s, done.
Resolving deltas: 100% (103/103), done.
$

1

2

3

4

5

6

7

8

9

$ git clone https://github.com/kaznak/ConwayGoL.sh.git

Cloning into 'ConwayGoL.sh'...

remote: Counting objects: 245, done.

remote: Compressing objects: 100% (59/59), done.

remote: Total 245 (delta 30), reused 0 (delta 0), pack-reused 181

Receiving objects: 100% (245/245), 32.93 KiB | 0 bytes/s, done.

Resolving deltas: 100% (103/103), done.

$

ConwayGOL.sh/ のディレクトリに移動し、初期化コマンド . rc を打ち込むことで準備が整います。

サンプルパターンを実行してみよう

ライフゲームの面白さは、初期のセル配置パターンからは想像もつかない発展をとげることです。

ConwayGoL.sh/example-pattern/ に、特定の動きをする代表的なパターンが収録されています。

まずはそれらのサンプルパターンを実行してみましょう。

例えばさきほど紹介した「グライダー」を見たいときは、 ConwayGoL.sh/ ディレクトリで以下のコマンドを実行します。

$ ido 3 3 example-pattern/glider | conwaygol | play-screen

1	$ ido 3 3 example-pattern/glider \| conwaygol \| play-screen

上司に見つかりそうになったら Ctrl-C を長押しすれば終了できます。

また、一世代ごとの移り変わりを確認したいときには、conwaygolコマンドにオプションをつけます。

$ ido 3 3 example-pattern/glider | conwaygol - 2 10 10

1	$ ido 3 3 example-pattern/glider \| conwaygol - 2 10 10

conwaygolの後に続くオプションのうち、

最初の「2」は初期状態から２世代後まで（計３世代）を表示することを示します。

後ろの 10 10　は、セル全体の大きさの指定を示します。

自分で作ったパターンを実行してみよう

サンプルパターンを動かしてみたら、いよいよ自分で初期パターンを作り、実行してみましょう。

まずはテキストエディタを使って、ConwayGoL.sh/example-pattern/ に初期状態のファイルをつくってみましょう。

オンのセルはX(半角の大文字X)で、オフのセルは半角スペースで打ち込みます。

それではこいつを実行してみます。

題して、「ライフゲームで占うシェルマガの未来」。

（GIFファイルです）

実行当初からどんどん形が崩れていきます。あははは、これは愉快だ。

途中からは、文字の区切りの痕跡すら残っていません。

（GIFでは飛び飛びですが）約300世代後、ふたつのパターンを繰り返す定常状態になりました。

シェルマガがこれからどんどん広まり、vol.300近くまで続くというお告げでしょうか。素晴らしい。

おわりに

というわけで、USP研究所ナカムラ氏謹製　シェルスクリプト版ライフゲームのご紹介でした。

みなさまの、仕事してるフリをしながら適度にサボる、豊かなITエンジニア・ライフのお役に立てますと幸いです。

詳しい操作の仕方については、インストール後 readme もご参照ください。

シェルスクリプトマガジンは、明日すぐには役立たないけれども数年後の自分の血となり肉となる、ITエンジニアの教養満載でお届けしています。

データ分析、IoT、PM、ネットワークなど、新しい勉強を始める春にぴったり！最新号vol.47はこちらから！

「無意味な行動をとらせる力」を使え！　環境ITベンチャーピリカのつくりかた

投稿日：2017.04.4　｜　カテゴリー：　記事

本記事は、シェルスクリプトマガジンvol.47掲載「技術者哲学ピリカのつくりかた」のダイジェスト版です。

株式会社ピリカは、『科学技術の力であらゆる環境題を克服する』と謳い、ポイ捨ての解決をビジネスにしているITベンチャーです。
実際に彼らのゴミ拾いアプリ【ピリカ】を使ってみると……

　「ゴミが落ちてるぞ！」

「拾って写メを撮って…」

「ピリカに投稿だ」

「拾ったゴミはゴミ箱へ」

（数時間後）「お、【ありがとう】がたくさんついてる。いいことした気分！またゴミが拾いたくなってきた」

と、一見結びつきそうにない【IT】と【環境問題】と【ビジネス】が、たしかに融合していました。

この秘密を探るべく、編集部は開発元の株式会社ピリカを訪れました。

インタビューに応えてくれたのは代表の小嶌不二夫さんとCTOの高橋直也さん。起業に至った経緯、環境問題にIT技術ができる貢献、そして今後の展望を伺ってきました。
（聞き手・まとめ　シェルスクリプトマガジン編集部）

ピリカができるまで

―今日はよろしくお願いします。まずは、小嶌さんが「IT技術で環境問題を解決するビジネス」を始めるに至った経緯を聞かせていただけますか。

小嶌：僕が環境問題に興味を持ったのは、小２のときに読んだ、ポプラ社の「地球の環境問題」シリーズがきっかけです。図書室の隅っこにあったこのシリーズに異常にハマって、同じ本を何度も借り直した記憶があります。その頃の僕は「大きな問題を解決する」ことに魅力を感じたのでしょう。もちろん、大人になってから勉強し直すと当時とは状況が変わっているわけですが、最初のきっかけはこのシリーズでした。

―環境問題の解決に取り組むうえで、起業という形をとったのは何故ですか？

小嶌：大学に入った頃は研究者を希望していました。でも、学部四年で研究室に配属になったら、二週間くらいで「これ、全然面白くないな」と思ってしまい、そこで研究者の道は諦めました。割り当てられた研究が合わなかったということもありますし、「研究者として」環境問題にアプローチするのは、自分の場合はちょっと違う、とも思い始めたからです。当時の僕の視点からは、研究とは「人生を賭けてひとつのテーマをひたすら深掘りする」ものに見えたのですが、そうすると、僕が小学生の頃読んだ本の「一冊分」は解けるかもしれないけれども、「残りの分」が解けないじゃないですか。

―たしかにそうですね。

小嶌：一方で、「お金」だったら全てのことに使えますよね。ひとつの事業で得たお金を他の分野に転用していくことができますから。そこで、学部四年で「研究面白くないぞ」と感じてからは、自分で事業を立ち上げるのか、それとも仕事を学ぶためにまずは企業に就職するのか、大学院でのモラトリアムの間に自分の道を決めることにしたんです。だから、大学院に入ってからは海外で働いてみたり、色々な国を旅してみたりしました。

―なんとなく大学院に進んでモラトリアムを過ごす、という人は多いですが、小嶌さんは環境問題にどう取り組むべきか見定めるために、モラトリアムを「積極的に取りにいった」わけですね。その結果「ゴミ問題」を選んだのは何故ですか？

小嶌：ひとつはお金の問題です。環境問題の範囲はとても広いわけですが、多くの問題は解決に莫大なお金がかかりますよね。浄化フィルターひとつ開発するのにも何千万円もかかってしまう。だから「安く始められること」が絶対条件だったんです。
一方で、安く始められたとしても「汚染を除去するフィルターの、この一部分だけを作りました」で終わっては悲しいですし、全体の問題の解決には到底達しません。そこで、「将来的には大きな広がりを持っているけど、入り口は小さい」テーマとして、ゴミ問題に取り組むことにしたわけです。

―なるほど。

小嶌：世界一周旅行をしていた当時、100くらいアイデアをメモ帳に書きためたんですが、結局「これだったらいけるかもしれない」と思えたアイデアは、その中の3つくらいを組み合わせた1つだけでした。
それは「Googleマップのような地図に、色々な環境問題の情報を載せ込む」ことです。
これまでにも、様々な自治体さんや団体さんが地域の問題解決をしようと努力されていますが、その中には、「『○○川を綺麗にしよう』という活動が盛んだが、実際にはその隣の川の方が汚い」のような状況が結構ありますよね。そういう状況に対して、位置情報付きで環境問題の見える化をすることで、環境問題を解決しようとしている人の行動を最適化したり、関わる人を増やしたりできるのではないかと思ったんです。

―最初のアイデアは「環境問題のマッピング」だったんですね。スマホにピリカをインストールすると、道端でゴミを見つけたときに自ずと拾いたくなってしまうので、よく出来た仕組みだと感心しています。この効果は狙って設計したんですか？

小嶌：まさに、世界の国を旅している間にそれと同じ体験をしたんです。iPhoneを持って旅に出たんですが、スマホの位置情報をオンにして写真を撮ると、現在地がマップにピン留めされるじゃないですか。アフリカの街にいるときに、ピンがもう世界を半周していることに気がついて、「おっ、これは面白いな」と思ったんです。なにか、色々な街を征服したみたいで。そこからは無意識に、新しい街についたら意味もなく、位置情報をオンにした状態で写真を撮るようになっていきました。部屋の隅とかでもとりあえず撮るんですよ、位置情報を刺したいから。

―「ピンを刺すこと」自体が目的になってしまったんですね。

小嶌：後から振り返ってみると、「なにこの無意味な写真」って思うわけですが、これって、要はゲーム性とか面白さによって人に「無意味な行動」をとらせているってことですよね。

―たしかにそうです！

小嶌：人にこういう無価値な行動をとらせられるなら、もしかしたら情報くらい送ってくれるかもしれないし、ゴミくらい拾ってくれるかもしれない。「位置情報付きで写真を撮ること」にそういう力があるのなら、これを使って面白いことができるかもしれないと思ったんです。

環境問題をビジネスにする

―大学院での経験をヒントにして始まったピリカですが、株式会社ピリカが現在展開されている事業を紹介していただけますか？

小嶌：現在はスマホアプリ「ピリカ」を使ったゴミ拾い支援事業と、画像認識システム「タカノメ」を使ったポイ捨て調査事業の二本立てです。ゴミ拾い事業の収益は、様々な企業さんからの広告・協賛と、ピリカの仕組みを使ってくださる地方自治体さんからのシステム利用料です。タカノメによる調査では、案件ごとに調査面積に比例した調査費用を頂き、得られたデータを基にした研究成果に対しても研究費用を頂いています。

―どんな組織がタカノメによる調査・研究のクライアントになるのですか？

小嶌：協賛企業でもあるJTさんを例に挙げて説明しましょう。タバコのポイ捨てはJTさんにとってもデメリットですよね。ポイ捨てがあまりに酷いとクレームが来たり、場合によっては自治体に喫煙所を作らせてもらえなくなったりしますから。ですから、喫煙所をどうデザインすれば地域のポイ捨てを抑制できるのか、喫煙者・非喫煙者双方にとって暮らしやすい町や制度を作れるか、ということを研究する動機がJTさんにはあるわけです。このケースでは、自治体・JT・ピリカで協定を結び、データと費用を頂いて調査を行っています。

―タカノメによる調査費用は調査面積に比例するとのことですが、どのようにサービスの価格を決めたのですか？

高橋：タカノメに関しては、面積に原価が比例するのでそこに値段つけたということですね。

小嶌：買い手のことを考えると、自ずと売り方が決まってくるという面もあります。環境問題のビジネスとしての特殊性は、直接的なお客さんであるゴミや大気、川や海からはお金をとれないことですよね。

―そうですね。

小嶌：だからその代わりに、問題を抱えている「人の問題」として売るしかない。「ポイ捨ての問題」では売れないので、見方を変えて「地域の美化」の問題として扱って自治体の地域美化の担当者さんに買ってもらう、河川の問題として切り分けて、喫煙所の問題として切り分けて……という発想に、どうしてもなります。そこで、ときには相手に尋ねながら「買ってくれる方法」を探すわけです。例えば自治体を相手にするなら、議会を回さずに使える予算はそれぞれの市区町村によって違いますから、それらに柔軟に対応でき、なおかつ予算に合わせて調査規模を拡大できるような売り方になります。

環境ベンチャーのエンジニア

―現在CTOとして開発を担当されている高橋さんは、どのような経緯でピリカにエンジニアとして参加されたのですか？

小嶌：システム開発の会社に就職した大学時代の友人に「ピリカを作っていく上でどうしてもエンジニアが必要なので、周りで一番優秀な人を紹介してもらえないか」と頼んだら、その場で電話をかけて、同僚だった高橋さんを紹介してもらったんです。

―え、そんな簡単に決まったんですか？

高橋：参加といっても、最初の３年間は週に２時間くらいでした。普段の仕事とは別のことに関わっていたいという希望はその前から持っていましたし、実際にピリカに関わる２時間がいい気分転換になって、普段の仕事でも楽しくいられたんです。ピリカをやっている間にも、もう一社並行でやっていたこともあります。ピリカにフルタイムで関わるようになったのは、私も東京に出て来てからですね。

小嶌：高橋が参加した当時は二人とも関西にいましたが、それからすぐ僕は東京に出て来ました。なので、遠隔でのやりとりの期間が長かったですね。現在でも、当時の高橋のように他の仕事をしながら関わってくださる方や、北海道やアメリカなど遠隔で関わってくれる方がいまして、30名近い方の力を借りて事業を行っています。

―アイデアを出す小嶌さんと、それをシステムで実現する高橋さんは、どういう関係で仕事を進めているのでしょうか？

高橋：自分が関わる部分については、割とやりたいようにやらせてもらっています。基本的に、作りたくないものを作ったことはないはずで、「何を作るか」を決める時点で自分の意見をある程度反映させています。

小嶌：例えばタカノメは、そもそものサービスの構想自体が高橋の発案です。私が持っていたのは「ゴミの種類と数を、安く、正確に、そして様々な場所で同じ基準を適用して調査したい」という方針だけでした。それを人力でやるにはお金もかかるし、限界もある。なによりも面倒な作業ですから、やる方が幸せになれないですよね。その解決のために「スマホで写真を撮って、画像解析でゴミを見つける」というシステムの大枠を考えたのは高橋なんですよ。

シェルスクリプトマガジンvol.47に掲載の本記事ロング・バージョンでは、科学技術・ITが環境問題にできる貢献について小嶌さんが考える「ピリカの基にある哲学」を、よりつっこんで伺っています。

ユニケージ開発手法　コードレビュー　vol.36（本誌vol.47掲載）

投稿日：2017.03.31　｜　カテゴリー：　記事

著者：USP研究所技術研究員　岡田健

　今回は、シェルスクリプトのデバッグを行いたい時、処理の途中or一部だけに限定して実行出来る uspTukubai のコマンド「run」を紹介します。

本記事掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

#!/bin/bash -vx
#
# ITEMRANKING アイテムランキング表CUI出力
#
# usage: ./ITEMRANKING <集計開始日 yyyymmdd> <集計最終日 yyyymmdd> [表示件数]
#
# written by Ryuichi Ueda (xxxxxx@usp-lab.com)  Aug. 9, 2012

logfile=/home/usp/LOG/LOG.$(basename $0).$(date +%Y%m%d)
exec 2> $logfile

dir=/home/usp/KOJIN/okada/20170131_magazine_run/ITEMRANKING/
tmp=/tmp/$$

ERROR_EXIT(){
	echo エラー
	rm -f $tmp-*
	exit 1
}

day_from=20071203
day_to=20071209
rank_range=$1

[ "_$day_from" = "_" ]   && ERROR_EXIT
[ "_$day_to" = "_" ]     && ERROR_EXIT
[ "_$rank_range" = "_" ] && rank_range=50


############################################
# 売れ数の集計

#URE 1:店コード 2:商品コード 3:日付
#4:売れ数 5:売り上げ 6:値引き
cat $dir/POMPA/URE		|
#0001 0000007 20071201 117 8335 -145
#指定日以降のデータ
awk -v f=${day_from} '$3>=f'	|
#指定日以前のデータ
awk -v t=${day_to} '$3<=t'	|
self 2 4 5			|
#1:商品コード 2:売れ数 3:売り上げ高
sm2 1 1 2 3	> $tmp-ure
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################
#仕入れ数の合計

#SIRE 1:店コード 2:商品コード 3:日付 4:仕入れ数 5,6:他
cat $dir/POMPA/SIRE		|
awk -v f=${day_from} '$3>=f'	|
#指定日以前のデータ
awk -v t=${day_to} '$3<=t'	|
self 2 4			|
#1:商品コード 2:売れ数
sm2 1 1 2 2	> $tmp-sire
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################
#在庫数の合計

#ZAIKO.<日付> 1:店コード 2:商品コード 3:日付 4:在庫
cat $dir/POMPA/ZAIKO.${day_to}	|
self 2 4 			|
#1:商品コード 2:在庫数
sm2 1 1 2 2 > $tmp-zaiko
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################
#データの連結

hbar=--------------------------------------------------------------------------------------------------------------------------

days=$(mdate $day_to $day_from	| awk '{print $1+1}')

loopj num=1 $tmp-{ure,sire,zaiko}	|
#0000043 93584 40283328 164577 123523
#1:商品コード 2:売れ数 3:売り上げ 4:仕入れ数 5:在庫数
join1 key=1 $dir/POMPA/GENBAI -		|
#1:商品コード 2:原価 3:売価 4:売れ数 5:売り上げ 6:仕入れ数 7:在庫数
#0000048 331.2 480 93008 44697653 159336 117347
join1 key=1 $dir/POMPA/NAME -		|
#1:商品コード 2:商品名 3:原価 4:売価 5:売れ数 6:売り上げ 7:仕入れ数 8:在庫数
sort -k5,5nr				|
awk 'NR<='{rank_range}			|
juni					|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数
awk '{print $0,$6/'$days'}'		|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数
awk '{print $0,$10!=0?$9/$10:"N/A"}'	|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 11:在庫日数
awk '{print $0,$9*$5}'			|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 
#11:在庫日数 12:在庫高
awk '{ara=$7-$4*$6;print $0,ara,ara*100/$7}'		|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 
#11:在庫日数 12:在庫高 13:荒利 14:荒利率
self 1/6 8/11 7 12/14					|
#1:順位 2:商品コード 3:商品名 4:原価 5:売価 
#6:売れ数 7:仕入れ数 8:在庫数 9:平均売数 10:在庫日数
#11:売り上げ #12:在庫高 13:荒利 14:荒利率
awk '{for(i=11;i<=13;i++){$i=int($i/1000)};print}'	|
marume 4.1 9.0 10.1 14.1				|
comma 6 7 8 9 11 12 13					|
keta 2 7 -26 5 3 9 8 8 7 5 8 8 7 5			|
awk '{print;if(NR%5==0){print "'$hbar'"}}'	> $tmp-body
[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

##########################################################
# ヘッダを作る

echo $day_from $day_to		|
tarr				|
yobi -j 1			|
self 1.1.4 1.5.2 1.7 2		|
awk '{print $1"年"$2"月"$3"日（"$4"）"}'	> $tmp-days

kikan_from=$( head -n 1 $tmp-days)
kikan_to=$( tail -n 1 $tmp-days)


cat << FIN > $tmp-header
[アイテムランキング表]             出力   : $(date)
                                   ユーザ : $USER

集計期間： $kikan_from ～ $kikan_to
店舗範囲： 全店
商品範囲： 全商品
ランキング順： $days 日間売数合計順
表示範囲：上位 $rank_range アイテム

順                                                                                  在庫                               荒利
位 商品コード 商品名                  原価 売価   売数計 仕入数計 在庫数計 平均売数 日数 売上（千）在庫（千）荒利（千）率％
==========================================================================================================================
FIN

cat $tmp-header $tmp-body


rm -f $tmp-*
exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

#!/bin/bash -vx

#

# ITEMRANKING アイテムランキング表CUI出力

#

# usage: ./ITEMRANKING <集計開始日 yyyymmdd> <集計最終日 yyyymmdd> [表示件数]

#

# written by Ryuichi Ueda (xxxxxx@usp-lab.com) Aug. 9, 2012

logfile=/home/usp/LOG/LOG.$(basename $0).$(date +%Y%m%d)

exec 2> $logfile

dir=/home/usp/KOJIN/okada/20170131_magazine_run/ITEMRANKING/

tmp=/tmp/$$

ERROR_EXIT(){

echo エラー

rm -f $tmp-*

exit 1

}

day_from=20071203

day_to=20071209

rank_range=$1

[ "_$day_from" = "_" ] && ERROR_EXIT

[ "_$day_to" = "_" ] && ERROR_EXIT

[ "_$rank_range" = "_" ] && rank_range=50

############################################

# 売れ数の集計

#URE 1:店コード 2:商品コード 3:日付

#4:売れ数 5:売り上げ 6:値引き

cat $dir/POMPA/URE |

#0001 0000007 20071201 117 8335 -145

#指定日以降のデータ

awk -v f=${day_from} '$3>=f' |

#指定日以前のデータ

awk -v t=${day_to} '$3<=t' |

self 2 4 5 |

#1:商品コード 2:売れ数 3:売り上げ高

sm2 1 1 2 3 > $tmp-ure

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################

#仕入れ数の合計

#SIRE 1:店コード 2:商品コード 3:日付 4:仕入れ数 5,6:他

cat $dir/POMPA/SIRE |

awk -v f=${day_from} '$3>=f' |

#指定日以前のデータ

awk -v t=${day_to} '$3<=t' |

self 2 4 |

#1:商品コード 2:売れ数

sm2 1 1 2 2 > $tmp-sire

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################

#在庫数の合計

#ZAIKO.<日付> 1:店コード 2:商品コード 3:日付 4:在庫

cat $dir/POMPA/ZAIKO.${day_to} |

self 2 4 |

#1:商品コード 2:在庫数

sm2 1 1 2 2 > $tmp-zaiko

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

################################################

#データの連結

hbar=--------------------------------------------------------------------------------------------------------------------------

days=$(mdate $day_to $day_from | awk '{print $1+1}')

loopj num=1 $tmp-{ure,sire,zaiko} |

#0000043 93584 40283328 164577 123523

#1:商品コード 2:売れ数 3:売り上げ 4:仕入れ数 5:在庫数

join1 key=1 $dir/POMPA/GENBAI - |

#1:商品コード 2:原価 3:売価 4:売れ数 5:売り上げ 6:仕入れ数 7:在庫数

#0000048 331.2 480 93008 44697653 159336 117347

join1 key=1 $dir/POMPA/NAME - |

#1:商品コード 2:商品名 3:原価 4:売価 5:売れ数 6:売り上げ 7:仕入れ数 8:在庫数

sort -k5,5nr |

awk 'NR<='{rank_range} |

juni |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価 6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数

awk '{print $0,$6/'$days'}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数

awk '{print $0,$10!=0?$9/$10:"N/A"}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数 11:在庫日数

awk '{print $0,$9*$5}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数

#11:在庫日数 12:在庫高

awk '{ara=$7-$4*$6;print $0,ara,ara*100/$7}' |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:売り上げ 8:仕入れ数 9:在庫数 10:平均売数

#11:在庫日数 12:在庫高 13:荒利 14:荒利率

self 1/6 8/11 7 12/14 |

#1:順位 2:商品コード 3:商品名 4:原価 5:売価

#6:売れ数 7:仕入れ数 8:在庫数 9:平均売数 10:在庫日数

#11:売り上げ #12:在庫高 13:荒利 14:荒利率

awk '{for(i=11;i<=13;i++){$i=int($i/1000)};print}' |

marume 4.1 9.0 10.1 14.1 |

comma 6 7 8 9 11 12 13 |

keta 2 7 -26 5 3 9 8 8 7 5 8 8 7 5 |

awk '{print;if(NR%5==0){print "'$hbar'"}}' > $tmp-body

[ $(plus ${PIPESTATUS[@]}) -eq 0 ] || ERROR_EXIT

##########################################################

# ヘッダを作る

echo $day_from $day_to |

tarr |

yobi -j 1 |

self 1.1.4 1.5.2 1.7 2 |

awk '{print $1"年"$2"月"$3"日（"$4"）"}' > $tmp-days

kikan_from=$( head -n 1 $tmp-days)

kikan_to=$( tail -n 1 $tmp-days)

cat << FIN > $tmp-header

[アイテムランキング表] 出力 : $(date)

ユーザ : $USER

集計期間： $kikan_from ～ $kikan_to

店舗範囲：全店

商品範囲：全商品

ランキング順： $days 日間売数合計順

表示範囲：上位 $rank_range アイテム

順在庫荒利

位商品コード商品名原価売価売数計仕入数計在庫数計平均売数日数売上（千）在庫（千）荒利（千）率％

==========================================================================================================================

FIN

cat $tmp-header $tmp-body

rm -f $tmp-*

exit 0

[usp@demo1 SHELL.草稿]$ ./ITEMRANKING 10 2>/dev/null
[アイテムランキング表]             出力   : 2017年  2月  2日 木曜日 10:12:50 JST
                                   ユーザ : usp

集計期間： 2007年12月03日（月） ～ 2007年12月09日（日）
店舗範囲： 全店
商品範囲： 全商品
ランキング順： 7 日間売数合計順
表示範囲：上位 10 アイテム

順                                                在庫                               　　荒利
位 商品コード 商品名                  原価 売価   売数計 仕入数計 在庫数計 平均売数 日数 売上（千）在庫（千）荒利（千）率％
==========================================================================================================================
 1 0000361 牛細切れ                   512.4 610   290,087  510,778  299,129  41,441   7.2  177,089  182,468  28,448  16.1
 2 0000087 マンゴー                   617.7 870   267,497  422,354  212,295  38,214   5.6  232,846  184,696  67,613  29.0
 3 0000194 深谷葱                     705.0 940   256,844  464,458  276,025  36,692   7.5  241,569  259,463  60,494  25.0
 4 0000433 薄口醤油                   260.7 330   206,608  322,249  195,773  29,515   6.6   68,269   64,605  14,407  21.1
 5 0000234 鰻                         268.6 340   205,464  320,276  172,009  29,352   5.9   69,947   58,483  14,760  21.1
--------------------------------------------------------------------------------------------------------------------------
 6 0000254 メバル                     405.0 540   188,840  310,516  174,906  26,977   6.5  102,059   94,449  25,579  25.1
 7 0000291 アナゴ                     773.5 910   185,427  315,415  202,536  26,490   7.6  168,824  184,307  25,396  15.0
 8 0000584 絹豆腐                     604.8 840   182,628  314,490  190,176  26,090   7.3  153,493  159,747  43,040  28.0
 9 0000122 苺                         198.0 220   181,308  263,982  148,368  25,901   5.7   39,983   32,640   4,084  10.2
10 0000268 マアジ                     598.4 680   180,947  338,653  219,838  25,850   8.5  123,149  149,489  14,871  12.1
--------------------------------------------------------------------------------------------------------------------------

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

[usp@demo1 SHELL.草稿]$ ./ITEMRANKING 10 2>/dev/null

[アイテムランキング表] 出力 : 2017年 2月 2日木曜日 10:12:50 JST

ユーザ : usp

集計期間： 2007年12月03日（月）～ 2007年12月09日（日）

店舗範囲：全店

商品範囲：全商品

ランキング順： 7 日間売数合計順

表示範囲：上位 10 アイテム

順在庫　　荒利

位商品コード商品名原価売価売数計仕入数計在庫数計平均売数日数売上（千）在庫（千）荒利（千）率％

==========================================================================================================================

1 0000361 牛細切れ 512.4 610 290,087 510,778 299,129 41,441 7.2 177,089 182,468 28,448 16.1

2 0000087 マンゴー 617.7 870 267,497 422,354 212,295 38,214 5.6 232,846 184,696 67,613 29.0

3 0000194 深谷葱 705.0 940 256,844 464,458 276,025 36,692 7.5 241,569 259,463 60,494 25.0

4 0000433 薄口醤油 260.7 330 206,608 322,249 195,773 29,515 6.6 68,269 64,605 14,407 21.1

5 0000234 鰻 268.6 340 205,464 320,276 172,009 29,352 5.9 69,947 58,483 14,760 21.1

--------------------------------------------------------------------------------------------------------------------------

6 0000254 メバル 405.0 540 188,840 310,516 174,906 26,977 6.5 102,059 94,449 25,579 25.1

7 0000291 アナゴ 773.5 910 185,427 315,415 202,536 26,490 7.6 168,824 184,307 25,396 15.0

8 0000584 絹豆腐 604.8 840 182,628 314,490 190,176 26,090 7.3 153,493 159,747 43,040 28.0

9 0000122 苺 198.0 220 181,308 263,982 148,368 25,901 5.7 39,983 32,640 4,084 10.2

10 0000268 マアジ 598.4 680 180,947 338,653 219,838 25,850 8.5 123,149 149,489 14,871 12.1

--------------------------------------------------------------------------------------------------------------------------

$ run ./ITEMRANKING 1-27
（中略）
day_from=20071203
+ day_from=20071203
day_to=20071209
+ day_to=20071209
rank_range=$1
+ rank_range=

[ "_$rank_range" = "_" ] && rank_range=50
+ '[' _ = _ ']'
+ rank_range=50
exit 0
+ exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ run ./ITEMRANKING 1-27

（中略）

day_from=20071203

+ day_from=20071203

day_to=20071209

+ day_to=20071209

rank_range=$1

+ rank_range=

[ "_$rank_range" = "_" ] && rank_range=50

+ '[' _ = _ ']'

+ rank_range=50

exit 0

+ exit 0

$ run "./ITEMRANKING 10" 1-27
（中略）
day_from=20071203
+ day_from=20071203
day_to=20071209
+ day_to=20071209
rank_range=$1
+ rank_range=10

[ "_$rank_range" = "_" ] && rank_range=50
+ '[' _10 = _ ']'
exit 0
+ exit 0

1

2

3

4

5

6

7

8

9

10

11

12

13

$ run "./ITEMRANKING 10" 1-27

（中略）

day_from=20071203

+ day_from=20071203

day_to=20071209

+ day_to=20071209

rank_range=$1

+ rank_range=10

[ "_$rank_range" = "_" ] && rank_range=50

+ '[' _10 = _ ']'

exit 0

+ exit 0

$ run --log errlog "./ITEMRANKING" 1-35 | head -3 | keta
0001 0000007 20071201 117  8335 -145
0001 0000007 20071203 221 15470    0
0001 0000007 20071205  85  5950    0

1

2

3

4

$ run --log errlog "./ITEMRANKING" 1-35 | head -3 | keta

0001 0000007 20071201 117 8335 -145

0001 0000007 20071203 221 15470 0

0001 0000007 20071205 85 5950 0

$ run --log errlog "./ITEMRANKING" 1-38 | head -7 | keta
0001 0000007 20071203 221 15470     0
0001 0000007 20071205  85  5950     0
0001 0000007 20071206 293 20527   -17
0001 0000007 20071207 445 31150     0
0001 0000007 20071208 325 22750     0
0001 0000007 20071210 320 22400     0
0001 0000007 20071212 219 16517 -1187

1

2

3

4

5

6

7

8

$ run --log errlog "./ITEMRANKING" 1-38 | head -7 | keta

0001 0000007 20071203 221 15470 0

0001 0000007 20071205 85 5950 0

0001 0000007 20071206 293 20527 -17

0001 0000007 20071207 445 31150 0

0001 0000007 20071208 325 22750 0

0001 0000007 20071210 320 22400 0

0001 0000007 20071212 219 16517 -1187

$ run --log errlog "./ITEMRANKING" 1-40 | head -7 | keta
0001 0000007 20071203 221 15470   0
0001 0000007 20071205  85  5950   0
0001 0000007 20071206 293 20527 -17
0001 0000007 20071207 445 31150   0
0001 0000007 20071208 325 22750   0
0002 0000007 20071203 588 41160   0
0002 0000007 20071204 444 31080   0

1

2

3

4

5

6

7

8

$ run --log errlog "./ITEMRANKING" 1-40 | head -7 | keta

0001 0000007 20071203 221 15470 0

0001 0000007 20071205 85 5950 0

0001 0000007 20071206 293 20527 -17

0001 0000007 20071207 445 31150 0

0001 0000007 20071208 325 22750 0

0002 0000007 20071203 588 41160 0

0002 0000007 20071204 444 31080 0

$ mkdir /tmp/okada
$ run --var tmp=/tmp/okada/tmp "./ITEMRANKING" 1-43
（略）
tmp=/tmp/okada/tmp
+ tmp=/tmp/okada/tmp
（略）
sm2 1 1 2 3     > $tmp-ure
（略）
$ head -2 /tmp/okada/tmp-ure
0000007 101071 7114796
0000017 100305 17089138

1

2

3

4

5

6

7

8

9

10

11

$ mkdir /tmp/okada

$ run --var tmp=/tmp/okada/tmp "./ITEMRANKING" 1-43

（略）

tmp=/tmp/okada/tmp

+ tmp=/tmp/okada/tmp

（略）

sm2 1 1 2 3 > $tmp-ure

（略）

$ head -2 /tmp/okada/tmp-ure

0000007 101071 7114796

0000017 100305 17089138

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 50-56
ls /tmp/okada
tmp-sire  tmp-ure
$ head -2 /tmp/okada/tmp-sire
0000007 161093
0000017 141954
$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 63-66
$ ls /tmp/okada
tmp-sire  tmp-ure  tmp-zaiko
$ head -2 /tmp/okada/tmp-zaiko
0000007 115314
0000017 101649

1

2

3

4

5

6

7

8

9

10

11

12

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 50-56

ls /tmp/okada

tmp-sire tmp-ure

$ head -2 /tmp/okada/tmp-sire

0000007 161093

0000017 141954

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 63-66

$ ls /tmp/okada

tmp-sire tmp-ure tmp-zaiko

$ head -2 /tmp/okada/tmp-zaiko

0000007 115314

0000017 101649

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 76-76 | head -3 | keta
0000007 101071  7114796 161093 115314
0000017 100305 17089138 141954 101649
0000021  86718 18253232 140204 114968

1

2

3

4

$ run --log errlog --var tmp=/tmp/okada/tmp "./ITEMRANKING" 76-76 | head -3 | keta

0000007 101071 7114796 161093 115314

0000017 100305 17089138 141954 101649

0000021 86718 18253232 140204 114968

$ run
Usage   : run [option] "<対象SHELL 引数...>" [<開始行>-<終了行>]
Version : Wed Oct  7 23:51:15 JST 2015
Edition : 0

option一覧：
  --log <ファイル名>    ログ出力先を変える。
  --var <変数名>=<値>  変数代入値を差し替える。
  --stop upcnt           UPCNT出力を止める。
  --stop sem             SEMAPHORE生成を止める。
  --stop clean           関連の削除を止める（対象はSHELLとrunの両方）。
  --break <行数>        ブレークポイントを入れる。
  --debug                run自身のdebug情報を出力する

使い方例：
  run SCRIPT                      # SCRIPTをそのまま実行
  run "SCRIPT A B"                # SCRIPTに引数を与えて実行
  run SCRIPT 4-6                  # SCRIPTの4～6行目を実行
  run --log errlog SCRIPT 4-6     # 出力ログを"errlog"に保存
  run --var tmp=/tmp/okada/tmp SCRIPT 4-6
                                  # 変数tmpに/tmp/okada/tmpを代入
  run --var dir=/home/usp,tmp=/tmp/okada/tmp SCRIPT 4-6
                                  # 複数の変数に代入。
  run --stop upcnt SCRIPT 4-6     # UPCNTへ出力しないで実行。
  run --stop upcnt,sem SCRIPT 4-6 # UPCNTとセマフォ出力しないで実行。
  run --stop clean SCRIPT 4-6     # 末尾の rm -f -* を実行しない。
  run --break 15,19,20 SCRIPT     # 15,19,20行目にブレークポイントを入れる。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

$ run

Usage : run [option] "<対象SHELL 引数...>" [<開始行>-<終了行>]

Version : Wed Oct 7 23:51:15 JST 2015

Edition : 0

option一覧：

--log <ファイル名> ログ出力先を変える。

--var <変数名>=<値> 変数代入値を差し替える。

--stop upcnt UPCNT出力を止める。

--stop sem SEMAPHORE生成を止める。

--stop clean 関連の削除を止める（対象はSHELLとrunの両方）。

--break <行数> ブレークポイントを入れる。

--debug run自身のdebug情報を出力する

使い方例：

run SCRIPT # SCRIPTをそのまま実行

run "SCRIPT A B" # SCRIPTに引数を与えて実行

run SCRIPT 4-6 # SCRIPTの4～6行目を実行

run --log errlog SCRIPT 4-6 # 出力ログを"errlog"に保存

run --var tmp=/tmp/okada/tmp SCRIPT 4-6

# 変数tmpに/tmp/okada/tmpを代入

run --var dir=/home/usp,tmp=/tmp/okada/tmp SCRIPT 4-6

# 複数の変数に代入。

run --stop upcnt SCRIPT 4-6 # UPCNTへ出力しないで実行。

run --stop upcnt,sem SCRIPT 4-6 # UPCNTとセマフォ出力しないで実行。

run --stop clean SCRIPT 4-6 # 末尾の rm -f -* を実行しない。

run --break 15,19,20 SCRIPT # 15,19,20行目にブレークポイントを入れる。

香川大学SLPからお届け！(vol.47掲載)

投稿日：2017.03.28　｜　カテゴリー：　記事

著者：石井怜央（香川大学SLP）

　前回は、OSC広島の前日に行われた学生LT大会の様子を紹介し、その中で僕が発表した、サークルで開発を行ったメール管理システムについて触れました。
　今回はその開発で使用した、Sinatraやmail gemについて紹介し、それらを組み合わせて簡単なWebアプリケーションを作成したいと思います。

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

$ gem install bundler

1	$ gem install bundler

$ bundle init

1	$ bundle init

require 'sinatra'
set :bind, '0.0.0.0'

get '/' do
  'Hello World'
end

1

2

3

4

5

6

require 'sinatra'

set :bind, '0.0.0.0'

get '/' do

'Hello World'

end

require 'sinatra'
set :bind, '0.0.0.0'

get '/' do
  @world = 'World'    # erbファイルに渡すインスタンス変数
  erb :hello    # hello.erbを呼び出す
end

1

2

3

4

5

6

7

require 'sinatra'

set :bind, '0.0.0.0'

get '/' do

@world = 'World' # erbファイルに渡すインスタンス変数

erb :hello # hello.erbを呼び出す

end

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>Hello World</title>
  </head>
  <body>
    <p>Hello <%= @world %></p>
  </body>
</html>

1

2

3

4

5

6

7

8

9

10

<!DOCTYPE html>

<html>

<head>

<title>Hello World</title>

</head>

<body>

<p>Hello <%= @world %></p>

</body>

</html>

require 'sinatra'
require 'mail'
set :bind, '0.0.0.0'

get '/new' do
  erb :new_mail
end

post '/send' do
  mail_to = params[:mail_to]
  title = params[:title]
  sentence = params[:sentence]

  mail = Mail.new do
    from    '送信元メールアドレス'
    to      "#{mail_to}"
    subject "#{title}"
    body    "#{sentence}"
  end

  options = { :address              => "smtp.gmail.com",
              :port                 => 587,
              :domain               => "gmail.com",
              :user_name            => '送信元メールアドレス',
              :password             => "パスワード",
              :authentication       => :plain,
              :enable_starttls_auto => true  }


  mail.charset = 'utf-8'
  mail.delivery_method(:smtp, options)
  mail.deliver

  @mail_to = mail_to
  @title = title
  @sentence = sentence
  erb :sent

end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

require 'sinatra'

require 'mail'

set :bind, '0.0.0.0'

get '/new' do

erb :new_mail

end

post '/send' do

mail_to = params[:mail_to]

title = params[:title]

sentence = params[:sentence]

mail = Mail.new do

from '送信元メールアドレス'

to "#{mail_to}"

subject "#{title}"

body "#{sentence}"

end

options = { :address => "smtp.gmail.com",

:port => 587,

:domain => "gmail.com",

:user_name => '送信元メールアドレス',

:password => "パスワード",

:authentication => :plain,

:enable_starttls_auto => true }

mail.charset = 'utf-8'

mail.delivery_method(:smtp, options)

mail.deliver

@mail_to = mail_to

@title = title

@sentence = sentence

erb :sent

end

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>new mail</title>
  </head>
  <body>

    <form method="post" action="send">

          <h4>宛先</h4>
          <input type="text" name="mail_to">

        <h4>件名</h4>
        <input type="text" name="title">

        <h4>本文</h4>
        <textarea  rows="5" name="sentence"></textarea>

      <button type="submit">送信</button>

    </form>
  </body>
</html>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

<!DOCTYPE html>

<html>

<head>

</head>

<body>

</form>

</body>

</html>

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <title>sent</title>
  </head>

  <body>
    <h4>宛先</h4>
    <p><%=@mail_to%></p>

    <h4>件名</h4>
    <p><%=@title%></p>

    <h4>本文</h4>
    <p><%=@sentence.gsub("\n","<br>\n")%></p>

    <p>送信しました。</p>

  </body>
</html>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

<!DOCTYPE html>

<html>

<head>

</head>

<body>

<p>送信しました。</p>

</body>

</html>

40歳から始める、オレとRubyプログラミング（vol.47掲載）

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：しょっさん

　最近、自宅で二酸化炭素濃度をはかるようになりました。　予想していた以上に、家の中の空気が汚染されていることがわかって、衝撃を受けています。部屋が暖かいから眠くなるんだなー…なんて考えていましたが、暖かいんじゃなくて二酸化濃度が高いからという可能性が高いです。
　二酸化炭素濃度を下げるには、換気をすることが基本ですが、この濃度を下げてからというもの、家での活動がとてもスムーズになり眠くなることが減りました。
　なんでこんなことしてるのかって? もちろん、クリアーな頭の状態でプログラミングするため。さぁ今月も頑張っていきましょう!

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

$ bundle gem reins
Creating gem 'reins'...
Do you want to generate tests with your gem?
Type 'rspec' or 'minitest' to generate those test files now and in the future. rspec/minitest/(none): rspec
Do you want to license your code permissively under the MIT license?
This means that any other developer or company will be legally allowed to use your code for free as long as they admit you created it. You can read more about the MIT license at http://choosealicense.com/licenses/mit. y/(n):
Do you want to include a code of conduct in gems you generate?
Codes of conduct can increase contributions to your project by contributors who prefer collaborative, safe spaces. You can read more about the code of conduct at contributor-covenant.org. Having a codeof conduct means agreeing to the responsibility of enforcing it, so be sure that you are prepared todo that. Be sure that your email address is specified as a contact in the generated code of conduct so that people know who to contact in case of a violation. For suggestions about how to enforce codesof conduct, see http://bit.ly/coc-enforcement. y/(n):
      create  reins/Gemfile
      create  reins/.gitignore
      create  reins/lib/reins.rb
      create  reins/lib/reins/version.rb
      create  reins/reins.gemspec
      create  reins/Rakefile
      create  reins/README.md
      create  reins/bin/console
      create  reins/bin/setup
      create  reins/.travis.yml
      create  reins/.rspec
      create  reins/spec/spec_helper.rb
      create  reins/spec/reins_spec.rb
Initializing git repo in /xxxxxx/reins

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

$ bundle gem reins

Creating gem 'reins'...

Do you want to generate tests with your gem?

Type 'rspec' or 'minitest' to generate those test files now and in the future. rspec/minitest/(none): rspec

Do you want to license your code permissively under the MIT license?

This means that any other developer or company will be legally allowed to use your code for free as long as they admit you created it. You can read more about the MIT license at http://choosealicense.com/licenses/mit. y/(n):

Do you want to include a code of conduct in gems you generate?

Codes of conduct can increase contributions to your project by contributors who prefer collaborative, safe spaces. You can read more about the code of conduct at contributor-covenant.org. Having a codeof conduct means agreeing to the responsibility of enforcing it, so be sure that you are prepared todo that. Be sure that your email address is specified as a contact in the generated code of conduct so that people know who to contact in case of a violation. For suggestions about how to enforce codesof conduct, see http://bit.ly/coc-enforcement. y/(n):

create reins/Gemfile

create reins/.gitignore

create reins/lib/reins.rb

create reins/lib/reins/version.rb

create reins/reins.gemspec

create reins/Rakefile

create reins/README.md

create reins/bin/console

create reins/bin/setup

create reins/.travis.yml

create reins/.rspec

create reins/spec/spec_helper.rb

create reins/spec/reins_spec.rb

Initializing git repo in /xxxxxx/reins

├── Gemfile
├── Gemfile.lock
├── LICENSE
├── README.md
├── Rakefile
├── lib
│ ├── reins
│ │ ├── auth_service.rb
│ │ ├── config.rb
│ │ ├── host_registry.rb
│ │ ├── receiver.rb
│ │ ├── task_control.rb
│ │ └── version.rb
│ └── reins.rb
├── reins.gemspec
└── spec
　 ├── reins_spec.rb
　 └── spec_helper.rb

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

├── Gemfile

├── Gemfile.lock

├── LICENSE

├── README.md

├── Rakefile

├── lib

│ ├── reins

│ │ ├── auth_service.rb

│ │ ├── config.rb

│ │ ├── host_registry.rb

│ │ ├── receiver.rb

│ │ ├── task_control.rb

│ │ └── version.rb

│ └── reins.rb

├── reins.gemspec

└── spec

　 ├── reins_spec.rb

　 └── spec_helper.rb

# coding: utf-8
require "spec_helper"
require "socket"

RSpec.describe Reins do
  describe "定数/変数の設定" do
    it "Reins::VERSION の指定" do
      expect(Reins::VERSION).not_to be nil
    end
    it "logger の指定" do
      expect(Reins::logger).not_to be nil
    end
    it "data managerのインスタンス化" do
      expect(Reins::auth_service).not_to be nil
    end
    it "authenticatorのインスタンス化" do
      expect(Reins::regist_host).not_to be nil
    end
  end

  # AuthService classのテスト
  describe "AuthService" do
    describe "#authenticate_key" do
      let(:sha512) { "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb" }
      let(:normal) { Reins::AuthService.new }
      let(:other)  { Reins::AuthService.new(sha512) }

      context "正常に認証された場合" do
        it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }
        it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }
      end

      context "異なる認証キーで呼び出された場合" do
        it { expect(normal.authenticate_key('TEST', '192.168.0.10')).to eq(false) }
        it { expect(other.authenticate_key('DEMO', '192.168.0.10')).to eq(false) }
      end
    end

    describe "#is_varid" do
      let(:auth) { Reins::AuthService.new }
      let(:key)  { auth.authenticate_key('DEMO', '192.168.0.10') }

      context "登録済みのコードの場合" do
        it "接続認証キーで、当のIPアドレスが返る" do
          allow(auth).to receive(:is_varid).and_return('192.168.0.10')
          expect(auth.is_varid(key)).to eq('192.168.0.10')
        end
      end
      context "未登録コードの場合" do
        it "nil" do
          expect(auth.is_varid(key)).to eq(nil)
        end
      end
    end
  end

  # HostRegistry Classのテスト
  describe 'HostRegistry' do
    let(:regist_test)    { Reins::HostRegistry.new("test_db.csv") }
    let(:test_key)       { "TestKey" }
    let(:localhost)       { '127.0.0.1' }
    let(:correct_hosts)   { ['192.168.0.10','1.0.0.1','239.255.255.254'] }
    let(:incorrect_hosts) { ['100','[100,100]','1:0:0:1','1/0/0/1','0.0.0.1','1.0.0.0','0.0.0.0','240.0.0.1','240.255.255.254','0.256.0.1','0.0.256.1','239.255.255.255','-1.0.0.0','0.-1.0.0','0.0.-1.0','0.0.0.-1'] }

    before do
      allow(regist_test).to receive(:store).and_return(true)
    end

    describe '#create' do
      subject {regist_test.create(localhost, test_key) }
      it '同じIPを追加すると false' do
        regist_test.create(localhost, test_key)
        is_expected.to eq(false)
      end
    end

    describe '#read_hosts' do
      subject {regist_test.read_hosts }
      context '正常に登録されている場合' do
        it '未登録時に呼び出すと、空の配列' do
          is_expected.to eq([])
        end
        it 'localhost を1つ登録すると、[127.0.0.1]' do
          regist_test.create(localhost, test_key)
          is_expected.to eq([localhost])
        end
        it '複数のアドレスを登録した場合は、複数のアドレス' do
          correct_hosts.each   { |host|regist_test.create(host, test_key) }
          is_expected.to match_array(correct_hosts)
        end
      end
      context '不正なIPアドレスの場合' do
        it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do
          incorrect_hosts.each { |host|regist_test.create(host, test_key) }
          is_expected.to match_array([])
        end
      end
    end

    describe '#read_hostkeys' do
      it '登録しなければ、空' do
        expect(regist_test.hosts).to eq([])
        expect(regist_test.read_hostkeys).to eq({})
        expect(regist_test.read_hostkeys.size).to eq(0)
      end
      it 'ハッシュ化された接続キーの一覧' do
        correct_hosts.each   { |host|regist_test.create(host, test_key) }
        expect(regist_test.read_hostkeys.size).to eq(3)
      end
    end

    describe '#update' do
      before {regist_test.create(localhost, test_key) }
      context '正常に更新できる場合' do
        it '有効なIPアドレスへ変更すると host が変更' do
          before_host = localhost
          correct_hosts.each do |host|
            expect {regist_test.update(before_host, host) }.to change {regist_test.read_hosts }.from([before_host]).to([host])
            before_host  = host
          end
        end
      end
      context '更新できない場合' do
        it '有効範囲外のIPアドレスへ変更すると false' do
          incorrect_hosts.each do |host|
            expect(regist_test.update(localhost, host)).to eq(false)
          end
        end
        it '未登録のIPアドレスを指定すると false' do
          expect(regist_test.update('192.168.0.1','172.16.0.1')).to eq(false)
        end
        it 'すでに存在するIPアドレスへ変更すると false' do
          expect(regist_test.update('192.168.0.1',localhost)).to eq(false)
        end
      end
    end

describe '#delete' do
      before {regist_test.create("192.168.0.1", test_key)}
      subject {regist_test.delete(localhost) }
      context '正常に削除できる場合' do
        it '登録済みのアドレスを削除すると、そのアドレス' do
          regist_test.create(localhost, test_key)
          is_expected.to eq(localhost)
        end
      end
      context '削除できない場合' do
        it '削除対象がなければ nil' do
          is_expected.to eq(nil)
        end
      end
    end
  end

  # TaskControl class のテスト
  describe 'TaskControl' do
    before { @server = TCPServer.new(24368) }
    after  { @server.close }
    let(:tasks) { Reins::TaskControl.new }

    describe '#connect' do
      context 'クライアントへ接続できる場合' do
        subject { tasks.connect }
        it 'モックを使って正常接続のコール' do
          allow(tasks).to receive(:connect).and_return(true)
          is_expected.to eq(true)
        end
      end

      context 'クライアントへ接続できない場合' do
        it '接続先が存在しないと Standard Error' do
          # TODO: 実際は Raise ではなく、成否を True/False でもらうこととする
          expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'
        end
        it 'クライアントが停止していたら false' do
          allow(tasks).to receive(:connect).and_return(false)
          expect(tasks.connect).to eq(false)
        end
      end
    end

    describe '#disconnect' do
      context '正常に切断できた場合' do
        subject { tasks.disconnect }
        it 'こちらから、クライアントとの接続を切断して、成功すると nil' do
          is_expected.to eq(nil)
        end
      end
    end
  end

end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

# coding: utf-8

require "spec_helper"

require "socket"

RSpec.describe Reins do

describe "定数/変数の設定" do

it "Reins::VERSION の指定" do

expect(Reins::VERSION).not_to be nil

end

it "logger の指定" do

expect(Reins::logger).not_to be nil

end

it "data managerのインスタンス化" do

expect(Reins::auth_service).not_to be nil

end

it "authenticatorのインスタンス化" do

expect(Reins::regist_host).not_to be nil

end

# AuthService classのテスト

describe "AuthService" do

describe "#authenticate_key" do

let(:sha512) { "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb" }

let(:normal) { Reins::AuthService.new }

let(:other) { Reins::AuthService.new(sha512) }

context "正常に認証された場合" do

it { expect(normal.authenticate_key('DEMO', '192.168.0.10')).not_to eq(false) }

it { expect(other.authenticate_key('40ruby', '192.168.0.10')).not_to eq(false) }

end

context "異なる認証キーで呼び出された場合" do

it { expect(normal.authenticate_key('TEST', '192.168.0.10')).to eq(false) }

it { expect(other.authenticate_key('DEMO', '192.168.0.10')).to eq(false) }

end

describe "#is_varid" do

let(:auth) { Reins::AuthService.new }

let(:key) { auth.authenticate_key('DEMO', '192.168.0.10') }

context "登録済みのコードの場合" do

it "接続認証キーで、当のIPアドレスが返る" do

allow(auth).to receive(:is_varid).and_return('192.168.0.10')

expect(auth.is_varid(key)).to eq('192.168.0.10')

end

context "未登録コードの場合" do

it "nil" do

expect(auth.is_varid(key)).to eq(nil)

end

# HostRegistry Classのテスト

describe 'HostRegistry' do

let(:regist_test) { Reins::HostRegistry.new("test_db.csv") }

let(:test_key) { "TestKey" }

let(:localhost) { '127.0.0.1' }

let(:correct_hosts) { ['192.168.0.10','1.0.0.1','239.255.255.254'] }

let(:incorrect_hosts) { ['100','[100,100]','1:0:0:1','1/0/0/1','0.0.0.1','1.0.0.0','0.0.0.0','240.0.0.1','240.255.255.254','0.256.0.1','0.0.256.1','239.255.255.255','-1.0.0.0','0.-1.0.0','0.0.-1.0','0.0.0.-1'] }

before do

allow(regist_test).to receive(:store).and_return(true)

end

describe '#create' do

subject {regist_test.create(localhost, test_key) }

it '同じIPを追加すると false' do

regist_test.create(localhost, test_key)

is_expected.to eq(false)

end

describe '#read_hosts' do

subject {regist_test.read_hosts }

context '正常に登録されている場合' do

it '未登録時に呼び出すと、空の配列' do

is_expected.to eq([])

end

it 'localhost を1つ登録すると、[127.0.0.1]' do

regist_test.create(localhost, test_key)

is_expected.to eq([localhost])

end

it '複数のアドレスを登録した場合は、複数のアドレス' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array(correct_hosts)

end

context '不正なIPアドレスの場合' do

it '有効範囲外のIPアドレスを登録しても登録されず、空の配列' do

incorrect_hosts.each { |host|regist_test.create(host, test_key) }

is_expected.to match_array([])

end

describe '#read_hostkeys' do

it '登録しなければ、空' do

expect(regist_test.hosts).to eq([])

expect(regist_test.read_hostkeys).to eq({})

expect(regist_test.read_hostkeys.size).to eq(0)

end

it 'ハッシュ化された接続キーの一覧' do

correct_hosts.each { |host|regist_test.create(host, test_key) }

expect(regist_test.read_hostkeys.size).to eq(3)

end

describe '#update' do

before {regist_test.create(localhost, test_key) }

context '正常に更新できる場合' do

it '有効なIPアドレスへ変更すると host が変更' do

before_host = localhost

correct_hosts.each do |host|

expect {regist_test.update(before_host, host) }.to change {regist_test.read_hosts }.from([before_host]).to([host])

before_host = host

end

context '更新できない場合' do

it '有効範囲外のIPアドレスへ変更すると false' do

incorrect_hosts.each do |host|

expect(regist_test.update(localhost, host)).to eq(false)

end

it '未登録のIPアドレスを指定すると false' do

expect(regist_test.update('192.168.0.1','172.16.0.1')).to eq(false)

end

it 'すでに存在するIPアドレスへ変更すると false' do

expect(regist_test.update('192.168.0.1',localhost)).to eq(false)

end

describe '#delete' do

before {regist_test.create("192.168.0.1", test_key)}

subject {regist_test.delete(localhost) }

context '正常に削除できる場合' do

it '登録済みのアドレスを削除すると、そのアドレス' do

regist_test.create(localhost, test_key)

is_expected.to eq(localhost)

end

context '削除できない場合' do

it '削除対象がなければ nil' do

is_expected.to eq(nil)

end

# TaskControl class のテスト

describe 'TaskControl' do

before { @server = TCPServer.new(24368) }

after { @server.close }

let(:tasks) { Reins::TaskControl.new }

describe '#connect' do

context 'クライアントへ接続できる場合' do

subject { tasks.connect }

it 'モックを使って正常接続のコール' do

allow(tasks).to receive(:connect).and_return(true)

is_expected.to eq(true)

end

context 'クライアントへ接続できない場合' do

it '接続先が存在しないと Standard Error' do

# TODO: 実際は Raise ではなく、成否を True/False でもらうこととする

expect{ Reins::TaskControl.new('localhost', 65000) }.to raise_error 'Not Connect'

end

it 'クライアントが停止していたら false' do

allow(tasks).to receive(:connect).and_return(false)

expect(tasks.connect).to eq(false)

end

describe '#disconnect' do

context '正常に切断できた場合' do

subject { tasks.disconnect }

it 'こちらから、クライアントとの接続を切断して、成功すると nil' do

is_expected.to eq(nil)

end

# filename: reins.rb
require "reins/version"
require "reins/auth_service"
require "reins/host_registry"
require "reins/task_control"
require "reins/config"

module Reins
  def start
  end

  module_function :start
end

1

2

3

4

5

6

7

8

9

10

11

12

13

# filename: reins.rb

require "reins/version"

require "reins/auth_service"

require "reins/host_registry"

require "reins/task_control"

require "reins/config"

module Reins

def start

end

module_function :start

end

module Reins
  VERSION = "0.1.7"
end

1

2

3

module Reins

VERSION = "0.1.7"

end

# coding: utf-8
require 'logger'

module Reins
  class << self
    attr_accessor :logger, :auth_service, :regist_host

    def configure
      yield self
    end
  end
end

Reins.configure do |config|
  config.logger       = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")
  config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")
  config.regist_host  = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")
end

Reins::logger.level = ENV['REINS_LOGLEVEL'] ? eval("Logger::#{ENV['REINS_LOGLEVEL']}") : Logger::WARN

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

# coding: utf-8

require 'logger'

module Reins

class << self

attr_accessor :logger, :auth_service, :regist_host

def configure

yield self

end

Reins.configure do |config|

config.logger = Logger.new(ENV['REINS_LOGGER'] || "/tmp/reins.log")

config.auth_service = Reins::AuthService.new(ENV['REINS_KEY'] || "106a6484291b9778c224731501d2deeb71f2b83558a0e9784fe33646f56182f69de448e92fe83fd4e57d629987f9d0dd79bf1cbca4e83b996e272ba44faa6adb")

config.regist_host = Reins::HostRegistry.new(ENV['REINS_DATABASE'] || "./40ruby.csv")

end

Reins::logger.level = ENV['REINS_LOGLEVEL'] ? eval("Logger::#{ENV['REINS_LOGLEVEL']}") : Logger::WARN

# coding: utf-8
# filename: auth_service.rb
# require "digest/md5"
require "digest/sha2"

module Reins
  class AuthService 
    # サーバの認証キーを定義する
    # == パラメータ
    # secret_key:: SHA512 でハッシュ化されたキーを指定する
    # == 返り値
    # nil
    def initialize(secret_key = 'ac58c2bedf7c1d4e35136f2ca4f81acdece03fa9e90aeefa0d363488649c7f52d7064285923f814592d53c419f5c4db59ee1a867b4852d18e0fac6efd5874072')
      @secret_key = secret_key
      nil
    end

    # クライアント認証を行う
    # 接続元が要求してきたキーが、サーバ側で設定されているハッシュ値と比較する
    # == パラメータ
    # key:: ハッシュ化される前のキー
    # ip:: 接続元のIPアドレス
    # == 返り値
    # 認証:: ハッシュ化されたクライアント固有識別の接続専用キー
    # 否認:: false
    def authenticate_key(key, ip)
      unless @secret_key == Digest::SHA512.hexdigest(key)
        Reins::logger.fatal("#{ip} : 認証が失敗しました")
        return false
      end

      Digest::SHA512.hexdigest("#{ip}:#{Random.new_seed}")
    end

    # クライアントの識別を行う
    # 要求されたクライアント固有の識別キーが登録されているものか判断する
    # == パラメータ
    # key:: クライアント固有の識別キー
    # == 返り値
    # 識別された場合:: 登録されているIPアドレス
    # 否認された場合:: nil
    def is_varid(keycode)
      Reins::regist_host.read_hostkeys.key(keycode)
    end
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

# coding: utf-8

# filename: auth_service.rb

# require "digest/md5"

require "digest/sha2"

module Reins

class AuthService

# サーバの認証キーを定義する

# == パラメータ

# secret_key:: SHA512 でハッシュ化されたキーを指定する

# == 返り値

# nil

def initialize(secret_key = 'ac58c2bedf7c1d4e35136f2ca4f81acdece03fa9e90aeefa0d363488649c7f52d7064285923f814592d53c419f5c4db59ee1a867b4852d18e0fac6efd5874072')

@secret_key = secret_key

nil

end

# クライアント認証を行う

# 接続元が要求してきたキーが、サーバ側で設定されているハッシュ値と比較する

# == パラメータ

# key:: ハッシュ化される前のキー

# ip:: 接続元のIPアドレス

# == 返り値

# 認証:: ハッシュ化されたクライアント固有識別の接続専用キー

# 否認:: false

def authenticate_key(key, ip)

unless @secret_key == Digest::SHA512.hexdigest(key)

Reins::logger.fatal("#{ip} : 認証が失敗しました")

return false

end

Digest::SHA512.hexdigest("#{ip}:#{Random.new_seed}")

end

# クライアントの識別を行う

# 要求されたクライアント固有の識別キーが登録されているものか判断する

# == パラメータ

# key:: クライアント固有の識別キー

# == 返り値

# 識別された場合:: 登録されているIPアドレス

# 否認された場合:: nil

def is_varid(keycode)

Reins::regist_host.read_hostkeys.key(keycode)

end

リスト6-a、6-bは本来ひとつのコードですが、本Webサイトの文法に抵触するため分割して掲載します。

# coding: utf-8
# filename: host_registry.rb
require 'csv'

module Reins
  class HostRegistry
    attr_reader :hosts

    # データベースの読込・初期化
    # ファイルが存在していれば内容を読込、なければファイルを新規に作成
    # == パラメータ
    # filename:: 読込・または保管先のファイル名
    # == 返り値
    # 特になし。但し、@hosts インスタンス変数へ、データベースの内容を保持
    def initialize(filename)
      @filename = filename
      @hosts    =  File.exists?(@filename) ? CSV.read(@filename) : []
    end

    # IPアドレスのチェック
    # IPアドレスとおぼしき文字列を検査し、IPアドレスっぽいかどうかを調査
    # == パラメータ
    # ip:: チェックしたいIPアドレス文字列
    # == 返り値
    # true:: IPアドレスと思われる場合
    # false:: IPアドレスではないと思われる場合

    def check_ip(ip)
      # 引数は文字列のみを受け付けることとする
      return false unless ip.is_a?(String)

      # 正規表現で、各数値を入手
      /^([0-9]*)\.([0-9]*)\.([0-9]*)\.([0-9]*)$/ =~ ip

      return false unless (1..239).cover?($1.to_i)
      return false unless (0..255).cover?($2.to_i)
      return false unless (0..255).cover?($3.to_i)
      return false unless (1..254).cover?($4.to_i)

      return true
    end

    # メモリ上のアドレスリストを、ファイルへ保管する
    # == パラメータ
    # filename:: 保管先ファイル名。指定がない場合は、初期化時に採用したファイル名
    def store(filename = @filename)
      CSV.open(filename, "w") do |csv|
        @hosts.each do |addr|
          csv << addr
        end
      end
    end
    # アドレスを新規に登録する。既に登録済みのものであれば登録しない。
    # == パラメータ
    # keyaddr:: 登録する IPアドレスをキーにした、接続用Keyをもつハッシュデータ
    # == 返り値
    # true::  登録できた
    # false:: 既に同じアドレスまたはIPアドレスではないため、登録せず
    def create(addr, key)
      if check_ip(addr) then
        unless read_hosts.include?(addr) then
          @hosts << [addr, key, Time.now]
          Reins::logger.info("#{addr} を追加しました")
          store
          return true
        else
          Reins::logger.error("#{addr} は既に登録されています.")
        end
      else
        Reins::logger.error("#{addr} は登録可能なIPアドレスではありません.")
      end
      false
    end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

# coding: utf-8

# filename: host_registry.rb

require 'csv'

module Reins

class HostRegistry

attr_reader :hosts

# データベースの読込・初期化

# ファイルが存在していれば内容を読込、なければファイルを新規に作成

# == パラメータ

# filename:: 読込・または保管先のファイル名

# == 返り値

# 特になし。但し、@hosts インスタンス変数へ、データベースの内容を保持

def initialize(filename)

@filename = filename

@hosts = File.exists?(@filename) ? CSV.read(@filename) : []

end

# IPアドレスのチェック

# IPアドレスとおぼしき文字列を検査し、IPアドレスっぽいかどうかを調査

# == パラメータ

# ip:: チェックしたいIPアドレス文字列

# == 返り値

# true:: IPアドレスと思われる場合

# false:: IPアドレスではないと思われる場合

def check_ip(ip)

# 引数は文字列のみを受け付けることとする

return false unless ip.is_a?(String)

# 正規表現で、各数値を入手

/^([0-9]*)\.([0-9]*)\.([0-9]*)\.([0-9]*)$/ =~ ip

return false unless (1..239).cover?($1.to_i)

return false unless (0..255).cover?($2.to_i)

return false unless (0..255).cover?($3.to_i)

return false unless (1..254).cover?($4.to_i)

return true

end

# メモリ上のアドレスリストを、ファイルへ保管する

# == パラメータ

# filename:: 保管先ファイル名。指定がない場合は、初期化時に採用したファイル名

def store(filename = @filename)

CSV.open(filename, "w") do |csv|

@hosts.each do |addr|

csv << addr

end

# アドレスを新規に登録する。既に登録済みのものであれば登録しない。

# == パラメータ

# keyaddr:: 登録する IPアドレスをキーにした、接続用Keyをもつハッシュデータ

# == 返り値

# true:: 登録できた

# false:: 既に同じアドレスまたはIPアドレスではないため、登録せず

def create(addr, key)

if check_ip(addr) then

unless read_hosts.include?(addr) then

@hosts << [addr, key, Time.now]

Reins::logger.info("#{addr} を追加しました")

store

return true

else

Reins::logger.error("#{addr} は既に登録されています.")

end

else

Reins::logger.error("#{addr} は登録可能なIPアドレスではありません.")

end

false

end

    # 登録済みホスト一覧を、IPアドレスをKey、接続KeyをValueとするハッシュで返す
    # == 返り値
    # hash: hash[ipアドレス] = key を一つの要素とする
    def read_hostkeys
      @hosts.each.map { |addr, key| [addr, key] }.to_h
    end

    # 登録済みホスト一覧を配列で返す
    # == 返り値
    # array: 登録済みのホスト一覧
    def read_hosts
      read_hostkeys.keys
    end

    # 登録済みのアドレスを、他のアドレスへ変更する
    # ただし、変更後のアドレスが既に登録されている場合や、登録済みアドレスが見つからない場合はエラーを返す
    # == パラメータ
    # before:: 既に登録済みのアドレス
    # after::  変更後のアドレス
    def update(before, after)
      if read_hosts.include?(after) || !check_ip(after)
        Reins::logger.error("#{after} は既に登録済みか、有効なIPアドレスではありません.")
        return false
      elsif i = read_hosts.index(before)
        @hosts[i][0] = after
        Reins::logger.info("#{before} から #{after} へ変更しました.")
        return true
      else
        Reins::logger.error("変更元の #{before} が見つかりません.")
        return false
      end
    end

    # 登録済みのアドレスを削除する
    # == パラメータ
    # addr: 削除対象のアドレス
    # == 返り値
    # string:: 削除された要素
    # nil::    削除すべき要素が見つからなかったとき
    def delete(addr)
      if i = read_hosts.index(addr)
        @hosts.delete(i)
        Reins::logger.info("#{addr} を削除しました.")
        store
        return addr
      else
        Reins::logger.warn("#{addr} が見つかりません.")
        return nil
      end
    end

    # まだアドレスが登録されていないかどうか
    # == 返り値
    # true::  アドレス未登録
    # false:: 1つ以上のアドレスが登録済み
    def empty?
      @hosts.empty?
    end
  end
end

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

# 登録済みホスト一覧を、IPアドレスをKey、接続KeyをValueとするハッシュで返す

# == 返り値

# hash: hash[ipアドレス] = key を一つの要素とする

def read_hostkeys

@hosts.each.map { |addr, key| [addr, key] }.to_h

end

# 登録済みホスト一覧を配列で返す

# == 返り値

# array: 登録済みのホスト一覧

def read_hosts

read_hostkeys.keys

end

# 登録済みのアドレスを、他のアドレスへ変更する

# ただし、変更後のアドレスが既に登録されている場合や、登録済みアドレスが見つからない場合はエラーを返す

# == パラメータ

# before:: 既に登録済みのアドレス

# after:: 変更後のアドレス

def update(before, after)

if read_hosts.include?(after) || !check_ip(after)

Reins::logger.error("#{after} は既に登録済みか、有効なIPアドレスではありません.")

return false

elsif i = read_hosts.index(before)

@hosts[i][0] = after

Reins::logger.info("#{before} から #{after} へ変更しました.")

return true

else

Reins::logger.error("変更元の #{before} が見つかりません.")

return false

end

# 登録済みのアドレスを削除する

# == パラメータ

# addr: 削除対象のアドレス

# == 返り値

# string:: 削除された要素

# nil:: 削除すべき要素が見つからなかったとき

def delete(addr)

if i = read_hosts.index(addr)

@hosts.delete(i)

Reins::logger.info("#{addr} を削除しました.")

store

return addr

else

Reins::logger.warn("#{addr} が見つかりません.")

return nil

end

# まだアドレスが登録されていないかどうか

# == 返り値

# true:: アドレス未登録

# false:: 1つ以上のアドレスが登録済み

def empty?

@hosts.empty?

end

# encoding: utf-8
# filename: task_control.rb

module Reins
  class TaskControl
    # クライアントとの接続
    # == パラメータ
    # hostname:: 接続先クライアントのホスト名、またはIPアドレス
    # port:: 接続先クライアントのTCPポート番号。通常は 24368
    # == 返り値
    # 接続された通信用のソケットオブジェクト
    def initialize(hostname = '127.0.0.1', port = 24368)
      begin
        @s = TCPSocket.open(hostname, port)
      rescue => e
        notify(e)
      end
    end

    # クライアントとの死活確認
    # == パラメータ
    # 特になし
    # == 返り値
    # true:: 生存確認
    # false:: クライアントが停止、またはネットワーク上に問題あり
    def connect
      begin
        true
      rescue => e
        notify(e)
      end
    end

    # エラーが発生した場合に一時的に飛ばされてくるメソッド
    def notify(error)
      raise(StandardError, 'Not Connect')
    end

    # クライアントとの接続を切断
    # == パラメータ
    # 特になし
    # == 返り値
    # nil:: 正常に切断
    def disconnect
      @s.close
    end
  end
end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

# encoding: utf-8

# filename: task_control.rb

module Reins

class TaskControl

# クライアントとの接続

# == パラメータ

# hostname:: 接続先クライアントのホスト名、またはIPアドレス

# port:: 接続先クライアントのTCPポート番号。通常は 24368

# == 返り値

# 接続された通信用のソケットオブジェクト

def initialize(hostname = '127.0.0.1', port = 24368)

begin

@s = TCPSocket.open(hostname, port)

rescue => e

notify(e)

end

# クライアントとの死活確認

# == パラメータ

# 特になし

# == 返り値

# true:: 生存確認

# false:: クライアントが停止、またはネットワーク上に問題あり

def connect

begin

true

rescue => e

notify(e)

end

# エラーが発生した場合に一時的に飛ばされてくるメソッド

def notify(error)

raise(StandardError, 'Not Connect')

end

# クライアントとの接続を切断

# == パラメータ

# 特になし

# == 返り値

# nil:: 正常に切断

def disconnect

@s.close

end

$ bundle exec rake spec
/Users/sho/.rbenv/versions/2.4.0/bin/ruby -I/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/lib:/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-support-3.5.0/lib /Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/exe/rspec --pattern spec/\*\*\{,/\*/\*\*\}/\*_spec.rb

Reins
  定数/変数の設定
    Reins::VERSION の指定
    logger の指定
    data manager のインスタンス化
    authenticatorのインスタンス化
  AuthService
    #authenticate_key
      正常に認証された場合
        should not eq false
        should not eq false
      異なる認証キーで呼び出された場合
        should eq false
        should eq false
    #is_varid
      登録済みのコードの場合
        接続認証キーで、該当のIPアドレスが返る
      未登録コードの場合
        nil
  HostRegistry
    #create
      同じIPを追加すると false
    #read_hosts
      正常に登録されている場合
        未登録時に呼び出すと、空の配列
        localhost を1つ登録すると、[127.0.0.1]
        複数のアドレスを登録した場合は、複数のアドレス
      不正なIPアドレスの場合
        有効範囲外のIPアドレスを登録しても登録されず、空の配列
    #read_hostkeys
      登録しなければ、空
      ハッシュ化された接続キーの一覧
    #update
      正常に更新できる場合
        有効なIPアドレスへ変更すると host が変更
      更新できない場合
        有効範囲外のIPアドレスへ変更すると false
        未登録のIPアドレスを指定すると false
        すでに存在するIPアドレスへ変更すると false
    #delete
      正常に削除できる場合
        登録済みのアドレスを削除すると、そのアドレス
      削除できない場合
        削除対象がなければ nil
  TaskControl
    #connect
      クライアントへ接続できる場合
        モックを使って正常接続のコール
      クライアントへ接続できない場合
        接続先が存在しないと Standard Error
        クライアントが停止していたら false
    #disconnect
      正常に切断できた場合
        こちらから、クライアントとの接続を切断して、成功すると nil

Finished in 0.04302 seconds (files took 0.37678 seconds to load)
27 examples, 0 failures

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

$ bundle exec rake spec

/Users/sho/.rbenv/versions/2.4.0/bin/ruby -I/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/lib:/Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-support-3.5.0/lib /Users/sho/Documents/working/ruby/40ruby/reins/vendor/bundle/ruby/2.4.0/gems/rspec-core-3.5.4/exe/rspec --pattern spec/\*\*\{,/\*/\*\*\}/\*_spec.rb

Reins

定数/変数の設定

Reins::VERSION の指定

logger の指定

data manager のインスタンス化

authenticatorのインスタンス化

AuthService

#authenticate_key

正常に認証された場合

should not eq false

異なる認証キーで呼び出された場合

should eq false

#is_varid

登録済みのコードの場合

接続認証キーで、該当のIPアドレスが返る

未登録コードの場合

nil

HostRegistry

#create

同じIPを追加すると false

#read_hosts

正常に登録されている場合

未登録時に呼び出すと、空の配列

localhost を1つ登録すると、[127.0.0.1]

複数のアドレスを登録した場合は、複数のアドレス

不正なIPアドレスの場合

有効範囲外のIPアドレスを登録しても登録されず、空の配列

#read_hostkeys

登録しなければ、空

ハッシュ化された接続キーの一覧

#update

正常に更新できる場合

有効なIPアドレスへ変更すると host が変更

更新できない場合

有効範囲外のIPアドレスへ変更すると false

未登録のIPアドレスを指定すると false

すでに存在するIPアドレスへ変更すると false

#delete

正常に削除できる場合

登録済みのアドレスを削除すると、そのアドレス

削除できない場合

削除対象がなければ nil

TaskControl

#connect

クライアントへ接続できる場合

モックを使って正常接続のコール

クライアントへ接続できない場合

接続先が存在しないと Standard Error

クライアントが停止していたら false

#disconnect

正常に切断できた場合

こちらから、クライアントとの接続を切断して、成功すると nil

Finished in 0.04302 seconds (files took 0.37678 seconds to load)

27 examples, 0 failures

バーティカルバーの極意第一回 (vol.47掲載)

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：中央大学　教授　飯尾淳

　この連載では、バーティカルバー、あるいは、縦棒で表される記号（｜）や縦棒そのものを中心として、話題を展開しようと試みます。毎回、どんなバーティカルバーが現れるか、楽しみにしていてください。…といいつつ、第1回めの今回は、皆さんおなじみ、Unixにおけるパイプ（｜）を扱います。ベタでどうもすみません。

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

無料無線公衆LANスポットのCSVファイル URL
http://www.data.go.jp/data/dataset/mlit_20160325_0037

$ lv -Ou8 jta_free_wifi.csv > jta_free_wifi_u8.csv

1	$ lv -Ou8 jta_free_wifi.csv > jta_free_wifi_u8.csv

$ cut -f 8 -d , jta_free_wifi_u8.csv

1	$ cut -f 8 -d , jta_free_wifi_u8.csv

$ R -q -e 'x<-read.csv("jta_free_wifi_u8.csv",header=T); \ 
> write.csv(x$都道府県, file="prefecture.csv", quote=F, row.names=F)' 
$ cat prefecture.csv | grep '[都道府県]' > prefecture.dat

1

2

3

$ R -q -e 'x<-read.csv("jta_free_wifi_u8.csv",header=T); \

> write.csv(x$都道府県, file="prefecture.csv", quote=F, row.names=F)'

$ cat prefecture.csv | grep '[都道府県]' > prefecture.dat

$ cat prefecture.dat | sort | uniq -c | sort -nr
6242 大阪府
4081 東京都
4068 愛知県
3490 福岡県
3288 静岡県...

1

2

3

4

5

6

$ cat prefecture.dat | sort | uniq -c | sort -nr

6242 大阪府

4081 東京都

4068 愛知県

3490 福岡県

3288 静岡県...

逆に、Tukubaiコマンドをシェルスクリプトで実装してみる　前編 (vol.47掲載)

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：今泉光之 (Twitter: @bsdhack)

1　usp Tukubai とは?

usp Tukubai はユニバーサル・シェル・プログラミング研究所が開発・提供している一連のコマンド群で、商用製品として様々な分野の数多くのプロダクトとして利用されているソフトウェア製品です。
usp Tukubai はコマンド群として提供されており、通常の UNIX コマンドの様に複数のコマンドを繋ぎ合わせて使うことでシステムを構築することができます。
usp Tukubai で提供されるコマンドを使いこなすと、端末だけで集計処理ができたり、ファイルだけでDBを組んだり、ウェブシステムを組んだりと、シェルあるいはシェルスクリプトでできることが飛躍的に増えます。
特に製品版として開発されている usp Tukubaiはソースコードのレベルからチューニングされているので、非常に高速に動作するので大規模なエンタープライズシステムでの使用にも十分に対応できる性能となっています。

2 　ユニケージ開発手法とは?

ユニケージ開発手法はユニバーサル・シェル・プログラミング研究所によって開発された、短期間低コストで企業システムを構築するための開発手法です。
小さなコマンドを組み合わせて問題を解決することを目的とした開発手法やコマンドに関する研究開発に取り組んでいるユニバーサル・シェル・プログラミング研究所が、そうした研究開発の成果をまとめた開発手法がユニケージ開発手法です。
本稿で扱う usp Tukubai はユニケージ開発手法を実践するための手段として開発されたコマンド群です。
ユニケージ開発手法に基づいて usp Tukubai コマンドを利用することで、数十行のプログラムでアプリケーションを記述できたり、データベースを使わずにテキストファイルのみでデータ処理が可能となります。実際にユニケージ開発手法に基づくシステム開発は小売業を中心に基幹業務システム、情報分析システム、データバッチ処理、高速検索システム、勘定系システムなど様々な分野で活用されていて、特にシステムの内製化を進める企業において採用されています。

3　Personal Tukubai とは

usp Tukubaiを試用目的で利用できるようにしたバージョンで、商用利用はできません。
Windows、Linux、OS Xでそれぞれ動作するので usp Tukubai による業務システムの開発を実際に体験できます。
期間限定のライセンスで、ダウンロードした月から 6ヶ月後の月末まで使用可能となっているので、十分に usp Tukubai の機能を調べることができると思います。

4 Open usp Tukubai とは

usp Tukubai コマンドのうち、利用頻度の高いコマンドを厳選して Python により実装しなおし、MIT ライセンスの下でオープンソースソフトウェアとして提供されているのが Open usp Tukubaiです。
製品版の usp Tukubai と比較すると一部実装されていないコマンドがあったり、性能にある程度の差は出てしまいますが、それでも usp Tukubai の便利な機能を知るためには十分に有用だと思います。
本稿では、Open usp Tukubai についての解説となります。

Tukubai 各コマンドの機能の紹介と簡単な解説

1　Open usp Tukubai のインストール方法

Open usp Tukubai は Python により実装されているので Python が動作する環境であればインストール可能です。
公式の配布サイトからソースを取得して展開し make install するだけで Open usp Tukubai は利用可能となります。
OS X 11.6 (OS X El Capitan) では以下のコマンドでインストールできます。
$ curl ‘https://uec.usp-lab.com/TUKUBAI/DOWNLOAD/open-usp-tukubai-2014061402.tar.bz2’ -o open-usp-tukubai-2014061402.tar.bz2 $ tar zf open-usp-tukubai-2014061402.tar.bz2 $ cd open-usp-tukubai-2014061402 $ sudo make install

2　Open usp Tukubai コマンドの解説

ここでは Open usp Tukubai のコマンドを解説します。
ただし以下のように Open usp Tukubai だけでも 55 コマンドも提供されており、その全てを解説するのは無理なので、
特に有用で興味深いコマンドを厳選して紹介します。

$ ls -1 /opt/local/tukubai/bin | wc -l
55

1 2	$ ls -1 /opt/local/tukubai/bin \| wc -l 55

また、シェルスクリプトマガジンに掲載の記事なので、シェルスクリプトで Open usp Tukubai コマンドを実装してみたいと思います。今回は、calclock、comma、getlast、ketaの４つのコマンドを紹介し、シェルスクリプトでの再現を試みます。
但し今回は紙面と時間の都合で一部の機能やオプションなど実装できていない部分も多いです。
また、動作の把握とメイン処理の実装のみに絞ったので、エラー処理などはまったく実施していません。
そのために実際の業務などには殆ど利用できない実験的なスクリプトとなっています。

calclock

1　calclock とは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準入力)の指定されたフィールドのデータを Epoch *1からの秒数に変換してフィールドの隣に出力します。
ファイル名に – が指定された場合は一般的な UNIX の流儀にのっとり標準入力を入力として利用します。
入力データは年月日(yyyymmdd形式)、時間(HHMMSS形式)、年月日時間(yyyymmddHHMMSS)を自動で検出します。
例えば以下の様なフォーマットのシステムへの接続ログから接続時間を取得する処理などを簡単に作ることができます。

*1 Epoch とは UNIX で一般的に利用されている時刻表現で、協定世界時(UTC)での1970年1月1日午前0時0分0秒の時刻からの形式的な経過秒数です。

$ cat << EOF | calclock 3 5 - | awk '{print ($6-$3)/60}'
001 foo 20170123093255 192.168.0.1 20170123104932 ………
002 bar 20170123094528 10.8.2.132 20170123162827 ………
002 baz 20170123100224 172.16.8.47 20170123144911 ………
EOF
194.617
1138.32
744.783

1

2

3

4

5

6

7

8

$ cat << EOF | calclock 3 5 - | awk '{print ($6-$3)/60}'

001 foo 20170123093255 192.168.0.1 20170123104932 ………

002 bar 20170123094528 10.8.2.132 20170123162827 ………

002 baz 20170123100224 172.16.8.47 20170123144911 ………

EOF

194.617

1138.32

744.783

calclock 唯一のオプションは -r で、これを指定すると入力データは Epoch からの秒数として解釈され出力は年月日時間(yyyymmddHHMMSS)となります。

2　calclockを作ってみよう

#!/bin/sh
# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避
fields="$*"

while read line
do
	# 引数で指定されたフィールド毎に処理
	for i in ${fields}
	do
		# 入力された行を位置パラメータにセット
		set -- ${line}
		# 入力されたフィールドのサイズから date(1) の書式を取得
		case $(eval echo '${#'${i}'}') in
		        6 ) format="%H%M%S";;
		        8 ) format="%Y%m%d";;
		        14) format="%Y%m%d%H%M%S";;
		esac
		# date(1) で Epoch からの秒を取得して変数 vX にセット
		eval "v${i}=$(date -j -f "${format}" $(echo $(eval echo '${'${i}'}'))  '+%s')"
	done
	# 行出力処理
	i=1
	while [ ${i} -le $# ]
	do
		# 入力データを出力
		printf "%s " $(eval echo '${'${i}'}')
		# フィールドに対して秒数がある場合は出力
		v=$(eval echo '{v'${i}'}')
		test -n "${v}" && printf "%s " ${v}
		i=$((i + 1))
	done
	echo
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

#!/bin/sh

# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避

fields="$*"

while read line

do

# 引数で指定されたフィールド毎に処理

for i in ${fields}

do

# 入力された行を位置パラメータにセット

set -- ${line}

# 入力されたフィールドのサイズから date(1) の書式を取得

case $(eval echo '${#'${i}'}') in

6 ) format="%H%M%S";;

8 ) format="%Y%m%d";;

14) format="%Y%m%d%H%M%S";;

esac

# date(1) で Epoch からの秒を取得して変数 vX にセット

eval "v${i}=$(date -j -f "${format}" $(echo $(eval echo '${'${i}'}')) '+%s')"

done

# 行出力処理

i=1

while [ ${i} -le $# ]

do

# 入力データを出力

printf "%s " $(eval echo '${'${i}'}')

# フィールドに対して秒数がある場合は出力

v=$(eval echo '{v'${i}'}')

test -n "${v}" && printf "%s " ${v}

i=$((i + 1))

done

echo

done

シェル組み込みのコマンドと date(1) を駆使して、何とか似た機能は実現できました。
引数で指定されたフィールドを変数 fields に格納しておき、read(1) で入力した行データ毎に fields に格納されたフィールドから date(1) で秒数を取得し、取得できた秒を変数 v数字 (数字はフィールド番号) に格納しています。指定された全フィールドの処理が終わると、入力データと取得した秒数を出力します。入力データの指定されたフィールド形式などのチェックしていないので、入力データに不正な値があると正しく動作しません。また、今回は -r オプションに関して実装しておらず、入力データも標準入力のみとなっています。

comma

1　comma とは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準入力)の指定されたフィールドのデータを「カンマ区切り」にします。帳票データなどの最終的な出力に適用すると、金額などの可読性が向上します。
指定したフィールドに数字以外のデータが入力された場合はエラーとなります。

$ echo "12345 67890" | comma 1 2 
12,345 67,890

1 2	$ echo "12345 67890" \| comma 1 2 12,345 67,890

+hオプションはヘッダ行をスキップするための指定で、指定された行(デフォルトは1行)をヘッダ行としてスキップします。

$ cat << EOF | comma +h 1 2
入金 出金
123456 654321
987654 567890 
EOF
入金 出金
123,456 654,321
987,654 567,890

1

2

3

4

5

6

7

8

$ cat << EOF | comma +h 1 2

入金出金

123456 654321

987654 567890

EOF

入金出金

123,456 654,321

987,654 567,890

d オプションは引数で指定した文字列をカンマ区切りにします。

$ comma -d 1234567
1,234,567

1 2	$ comma -d 1234567 1,234,567

-4 オプションは 4 桁区切りにします。

$ comma -d4 123456789
1,2345,6789

1 2	$ comma -d4 123456789 1,2345,6789

2　commaを作ってみよう

#!/bin/sh
# 区切り数を取得
if [ "$1" = "-4" ]
then
	digit=4
	shift
else
	digit=3
fi

# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避
fields="$*"

comma(){
	# 区切り桁数を取得
	awk -v "digit=${digit}" '
		{
			 l = length;
			 i = 1
			 s = ""
			 # 文字列を最後から処理
			 while(l > digit){
			         s = "," substr($0, l-digit*i+1, digit) s
			         l -= digit 
			 }
			 if(l)
			         s = substr($0, 0, l) s
			 print s
	}'
}

while read line
do
	for i in ${fields}
	do
		set -- ${line}
		eval "v${i}=$(echo $(eval echo '${'${i}'}') | comma)"
	done
	i=1
	while [ ${i} -le $# ]
	do
		v=$(eval echo '{v'${i}'}')
		if [ -n "${v}" ]
		then
			printf "%s " {v}
		else
			printf "%s " $(eval echo '${'${i}'}')
		fi
		i=$((i + 1))
	done
	echo
done

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

#!/bin/sh

# 区切り数を取得

if [ "$1" = "-4" ]

then

digit=4

shift

else

digit=3

fi

# 以降の処理で set を利用して位置パラメタを変更するので引数を fields に退避

fields="$*"

comma(){

# 区切り桁数を取得

awk -v "digit=${digit}" '

{

l = length;

i = 1

s = ""

# 文字列を最後から処理

while(l > digit){

s = "," substr($0, l-digit*i+1, digit) s

l -= digit

}

if(l)

s = substr($0, 0, l) s

print s

}'

}

while read line

do

for i in ${fields}

do

set -- ${line}

eval "v${i}=$(echo $(eval echo '${'${i}'}') | comma)"

done

i=1

while [ ${i} -le $# ]

do

v=$(eval echo '{v'${i}'}')

if [ -n "${v}" ]

then

printf "%s " {v}

else

printf "%s " $(eval echo '${'${i}'}')

fi

i=$((i + 1))

done

echo

done

メインのロジックは awk(1) を利用することで何とか実装できました。
awk(1) の substr 関数を利用して文字列の後ろから指定された桁数で文字列を切り出し、切り出した文字列の先頭に , を付けることでカンマ区切りを実現しています。
今回は -d オプションに関して実装しておらず、入力データも標準入力のみとなっています。また Open usp Tukubai の comma では桁区切りするフィールドのデータをチェックしていて、データが数字以外の場合はエラーメッセージを出力していますが、こちらのスクリプトではその様なエラー処理をしていません。
ちなみに 3 桁区切りだけでよければ printf(1) の %’ を利用することでも殆どの場合実現可能ですが、printf(1) の %’ は現時点では非標準なので全ての環境で利用できる保証はなく、また、区切りを 4桁にする機能は対応していないので、独自に実装する必要があります。

getlast

1 　getlastとは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準出力)の指定されたフィールドの値が最後に出現した行を出力します。

$ cat << EOF | getlast 1 2 -
0000007 セロリ 20060201 117
0000007 セロリ 20060203 221
0000017 練馬大根 20060201 31
0000017 練馬大根 20060203 514
0000021 温州みかん 20060201 90
0000021 温州みかん 20060203 573
EOF
0000007 セロリ 20060203 221
0000017 練馬大根 20060203 514
0000021 温州みかん 20060203 573

1

2

3

4

5

6

7

8

9

10

11

$ cat << EOF | getlast 1 2 -

0000007 セロリ 20060201 117

0000007 セロリ 20060203 221

0000017 練馬大根 20060201 31

0000017 練馬大根 20060203 514

0000021 温州みかん 20060201 90

0000021 温州みかん 20060203 573

EOF

0000007 セロリ 20060203 221

0000017 練馬大根 20060203 514

0000021 温州みかん 20060203 573

同一のフィールドを指定することで単一のキーフィールドの指定も可能です。
以下の例だと第1フィールドの値のみで抽出しています。

$ cat << EOF | getlast 1 1 -
0000007 セロリ1 20060201 117
0000007 セロリ2 20060203 221
0000017 練馬大根1 20060201 31
0000017 練馬大根2 20060203 514
0000021 温州みかん2 20060201 90
0000021 温州みかん1 20060203 573
0000025 プリンスメロン1 20060201 129
0000025 プリンスメロン1 20060203 391
EOF
0000007 セロリ2 20060203 221
0000017 練馬大根2 20060203 514
0000021 温州みかん1 20060203 573
0000025 プリンスメロン1 20060203 391

1

2

3

4

5

6

7

8

9

10

11

12

13

14

$ cat << EOF | getlast 1 1 -

0000007 セロリ1 20060201 117

0000007 セロリ2 20060203 221

0000017 練馬大根1 20060201 31

0000017 練馬大根2 20060203 514

0000021 温州みかん2 20060201 90

0000021 温州みかん1 20060203 573

0000025 プリンスメロン1 20060201 129

0000025 プリンスメロン1 20060203 391

EOF

0000007 セロリ2 20060203 221

0000017 練馬大根2 20060203 514

0000021 温州みかん1 20060203 573

0000025 プリンスメロン1 20060203 391

+ng オプションは同じ値を持つ最後の行以外を出力します。

2　getlastを作ってみよう

#!/bin/sh
awk -v "f1=$1" -v "f2=$2" '{
	# 指定されたフィールドの値をキーとしたハッシュに格納
	# 出力順を保持するために行データに行番号を追加
	data[$f1,$f2] = NR "\t" $0
}
END{
	for(i in data)
		print data[i]
}' |
# 行番号でソートし行番号を削除
sort -k 1 | cut -f 2-

1

2

3

4

5

6

7

8

9

10

11

12

#!/bin/sh

awk -v "f1=$1" -v "f2=$2" '{

# 指定されたフィールドの値をキーとしたハッシュに格納

# 出力順を保持するために行データに行番号を追加

data[$f1,$f2] = NR "\t" $0

}

END{

for(i in data)

print data[i]

}' |

# 行番号でソートし行番号を削除

sort -k 1 | cut -f 2-

メインのロジックは awk(1) のハッシュ (連想配列) を利用することで実装しました。
指定されたフィールドの値をそのまま連結してハッシュのキーとして利用することで、最新の行内容がハッシュに格納されます。
awk(1) の仕様としてハッシュの順番はランダムになりますので、
順番を維持するためにハッシュに格納する行データに行番号を付与して、出力したデータを sort(1) を利用して行番号でソートして正しい順番に並べ替えた後で、cut(1) で追加した行番号を削除して出力しています。
メインのロジックは awk(1) の機能をそのまま利用することで実現できたので、今回実装したコマンドの中では一番短く単純なスクリプトになっています。
+ng オプションは実装していません。

keta

1　keta とは

オンラインコマンドマニュアルはこちら

入力データ(ファイルや標準出力)の指定されたフィールドの桁数を揃えて、右詰で出力します。
表示するための最大幅は自動で計算されます。

$ cat << EOF | keta -
01 埼玉県 01 さいたま市 91 59 20 76 54
01 埼玉県 02 川越市 46 39 8 5 21
02 東京都 04 新宿区 30 50 71 36 30
02 東京都 06 港区 58 71 20 10 6
04 神奈川県 13 横浜市 92 56 83 96 75
EOF
01   埼玉県 01 さいたま市 91 59 20 76 54
01   埼玉県 02     川越市 46 39  8  5 21
02   東京都 04     新宿区 30 50 71 36 30
02   東京都 06       港区 58 71 20 10  6
04 神奈川県 13     横浜市 92 56 83 96 75

1

2

3

4

5

6

7

8

9

10

11

12

$ cat << EOF | keta -

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

EOF

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

— オプションは左詰で出力されます。

$ cat << EOF | keta -- -
01 埼玉県 01 さいたま市 91 59 20 76 54
01 埼玉県 02 川越市 46 39 8 5 21
02 東京都 04 新宿区 30 50 71 36 30
02 東京都 06 港区 58 71 20 10 6
04 神奈川県 13 横浜市 92 56 83 96 75
EOF
01 埼玉県   01 さいたま市 91 59 20 76 54
01 埼玉県   02 川越市     46 39 8  5  21
02 東京都   04 新宿区     30 50 71 36 30
02 東京都   06 港区       58 71 20 10 6 
04 神奈川県 13 横浜市     92 56 83 96 75

1

2

3

4

5

6

7

8

9

10

11

12

$ cat << EOF | keta -- -

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

EOF

01 埼玉県 01 さいたま市 91 59 20 76 54

01 埼玉県 02 川越市 46 39 8 5 21

02 東京都 04 新宿区 30 50 71 36 30

02 東京都 06 港区 58 71 20 10 6

04 神奈川県 13 横浜市 92 56 83 96 75

フィールド毎に出力する桁数を数字で指定することができ、指定する数字に – を付けることで左詰を指定することもできます。
出力する桁数は半角文字の表示幅を 1 としているので全角文字の場合は 1 文字を 2 とする必要があります。

2　 ketaを作ってみよう

#!/bin/sh
awk '{
	# 入力データの最大値を取得しつつフィールド毎の値を data 配列に格納
	for(i=1; i<=NF; i++){
		if(max[i] < length($i))
			max[i] = length($i)
		data[NR,i] = $i
	}
}
END{
	for(i=1; i<=NR; i++){
		for(j=1; j<=NF; j++){
			# printf の * を利用して出力幅を指定
			printf("%*s ", max[j], data[i,j])
		}
		printf("\n")
	}
}'

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

#!/bin/sh

awk '{

# 入力データの最大値を取得しつつフィールド毎の値を data 配列に格納

for(i=1; i<=NF; i++){

if(max[i] < length($i))

max[i] = length($i)

data[NR,i] = $i

}

END{

for(i=1; i<=NR; i++){

for(j=1; j<=NF; j++){

# printf の * を利用して出力幅を指定

printf("%*s ", max[j], data[i,j])

}

printf("\n")

}

}'

基本的な機能は全て awk(1) の組み込み関数で実装しました。
入力データは行番号とフィールド番号をキーとしたハッシュ dataに格納し、同時にフィールドの文字列長の最大値を別のハッシュ max に格納しています。
出力は、 awk(1) に組み込みの printf の %*s 指示子を利用することで出力幅を指定しています。

マルチバイトの文字列には対応していないので、入力データにマルチバイト文字があると正しく出力できません。
非英語圏でマルチバイト文字が正しく扱えないことは致命的ですので、業務には利用できません。

UTF-8 では、マルチバイト文字は多くの場合 3 バイトかそれ以上のバイト数を必要としていますが、OS X 標準の awk(1) の lengthコマンドは文字列のバイト数を取得しますので、例えば length(“あ”) は 3 となります。
Linux で標準的に利用されている GNU awk の場合はマルチバイト文字に対応していますので、マルチバイト文字を含む文字列の長さは正しい文字数を取得することができ、length(“あ”) は 1 となります。
しかしマルチバイト文字は 2 バイト相当の表示幅となりますので、どちらの場合でもマルチバイト文字を含む文字列の長さと表示幅は合致しません。
そのためにマルチバイト文字を含む文字列を表示する幅を正しく制御するのは非常に困難となります。

-v オプションは実装していません。

5/25発売のシェルマガvol.48では、さらなるTukubaiコマンドに挑みます
Web版シェルマガにも公開しますので、どうぞお楽しみに！

本記事掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。
USP研究所通販サイトでは、個人用uspTukubaiのご購入も可能です。

漢のUNIX　静的ライブラリをつくってみよう　(vol.47掲載)

投稿日：2017.03.24　｜　カテゴリー：　記事

著者：後藤大地

　前回の記事では、実装を複数の.c ファイルに分けて作成し、それらをコンパイルして.o ファイルに変更し、その.o ファイルを組み合わせてバイナリファイルを生成することを説明した。
　.o ファイルはバイナリファイルのパーツのようになっており、これらを組み上げることで実装に動作するバイナリファイルを作ることができる。

記事本文掲載のシェルスクリプトマガジンvol.47は以下リンク先でご購入できます。

% ls /usr/lib | grep '\.a$' | head
lib80211.a
lib80211_p.a
libBlocksRuntime.a
libBlocksRuntime_p.a
libalias.a
libalias_cuseeme.a
libalias_cuseeme_p.a
libalias_dummy.a
libalias_dummy_p.a
libalias_ftp.a
% cp /usr/lib/libalias.a ./
% file libalias.a
libalias.a: current ar archive
% ar -xv libalias.a
x - alias_proxy.o
x - alias_db.o
x - alias.o
x - alias_mod.o
x - alias_util.o
% tree
.
|-- alias.o
|-- alias_db.o
|-- alias_mod.o
|-- alias_proxy.o
|-- alias_util.o
`-- libalias.a

0 directories, 6 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

% ls /usr/lib | grep '\.a$' | head

lib80211.a

lib80211_p.a

libBlocksRuntime.a

libBlocksRuntime_p.a

libalias.a

libalias_cuseeme.a

libalias_cuseeme_p.a

libalias_dummy.a

libalias_dummy_p.a

libalias_ftp.a

% cp /usr/lib/libalias.a ./

% file libalias.a

libalias.a: current ar archive

% ar -xv libalias.a

x - alias_proxy.o

x - alias_db.o

x - alias.o

x - alias_mod.o

x - alias_util.o

% tree

.

|-- alias.o

|-- alias_db.o

|-- alias_mod.o

|-- alias_proxy.o

|-- alias_util.o

`-- libalias.a

0 directories, 6 files

%

% locate alias_mod.c
/usr/src/sys/netinet/libalias/alias_mod.c
% locate alias_util.c
/usr/src/sys/netinet/libalias/alias_util.c
% locate alias_db.c
/usr/src/sys/netinet/libalias/alias_db.c
% locate alias_proxy.c
/usr/src/sys/netinet/libalias/alias_proxy.c
% locate alias.c | grep netinet/libalias
/usr/src/sys/netinet/libalias/alias.c
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% locate alias_mod.c

/usr/src/sys/netinet/libalias/alias_mod.c

% locate alias_util.c

/usr/src/sys/netinet/libalias/alias_util.c

% locate alias_db.c

/usr/src/sys/netinet/libalias/alias_db.c

% locate alias_proxy.c

/usr/src/sys/netinet/libalias/alias_proxy.c

% locate alias.c | grep netinet/libalias

/usr/src/sys/netinet/libalias/alias.c

%

% tree
.
|-- include
|   `-- ore.h
|-- lib
`-- libore
    |-- Makefile
    |-- indent.c
    |-- ore.c
    |-- setmsg.c
    |-- usage.c
    `-- version.c

3 directories, 7 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% tree

.

|-- include

| `-- ore.h

|-- lib

`-- libore

|-- Makefile

|-- indent.c

|-- ore.c

|-- setmsg.c

|-- usage.c

`-- version.c

3 directories, 7 files

%

% cd libore
% make
cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o
cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o
cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o
cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o
cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o
ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o
a - indent.o
a - ore.o
a - setmsg.o
a - usage.o
a - version.o
% cd ..

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

% cd libore

% make

cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o

cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o

cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o

cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o

cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o

ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o

a - indent.o

a - ore.o

a - setmsg.o

a - usage.o

a - version.o

% cd ..

% tree
.
|-- include
|   `-- ore.h
|-- lib
|   `-- libore.a
`-- libore
    |-- Makefile
    |-- indent.c
    |-- indent.o
    |-- ore.c
    |-- ore.o
    |-- setmsg.c
    |-- setmsg.o
    |-- usage.c
    |-- usage.o
    |-- version.c
    `-- version.o

3 directories, 13 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

% tree

.

|-- include

| `-- ore.h

|-- lib

| `-- libore.a

`-- libore

|-- Makefile

|-- indent.c

|-- indent.o

|-- ore.c

|-- ore.o

|-- setmsg.c

|-- setmsg.o

|-- usage.c

|-- usage.o

|-- version.c

`-- version.o

3 directories, 13 files

%

% readelf -c libore.a
Index of archive libore.a: (14 entries)
Binary libore.a(indent.o) contains:
        _usage_msg
        _version_msg
        indent
Binary libore.a(ore.o) contains:
        _usage_msg
        _version_msg
Binary libore.a(setmsg.o) contains:
        _usage_msg
        _version_msg
        setmsg
Binary libore.a(usage.o) contains:
        _usage_msg
        _version_msg
        usage
Binary libore.a(version.o) contains:
        _usage_msg
        _version_msg
        version
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

% readelf -c libore.a

Index of archive libore.a: (14 entries)

Binary libore.a(indent.o) contains:

_usage_msg

_version_msg

indent

Binary libore.a(ore.o) contains:

_usage_msg

_version_msg

Binary libore.a(setmsg.o) contains:

_usage_msg

_version_msg

setmsg

Binary libore.a(usage.o) contains:

_usage_msg

_version_msg

usage

Binary libore.a(version.o) contains:

_usage_msg

_version_msg

version

%

% ar -xv libore.a
x - indent.o
x - ore.o
x - setmsg.o
x - usage.o
x - version.o
% ls
indent.o  libore.a  ore.o     setmsg.o  usage.o   v
ersion.o
%

1

2

3

4

5

6

7

8

9

10

11

12

% ar -xv libore.a

x - indent.o

x - ore.o

x - setmsg.o

x - usage.o

x - version.o

% ls

indent.o libore.a ore.o setmsg.o usage.o v

ersion.o

%

#include "ore.h"

1	#include "ore.h"

#include <stdio.h>

#include "ore.h"

void
version(void)
{
        fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n", 
                _version_msg);
}

1

2

3

4

5

6

7

8

9

10

#include <stdio.h>

#include "ore.h"

void

version(void)

{

fprintf(USAGE_OUT, ES_BOLD("バージョン:") " %s\n",

_version_msg);

}

#include <stdio.h>

#include "ore.h"

void
usage(void)
{
        fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s\n", 
                indent(_usage_msg));
}

1

2

3

4

5

6

7

8

9

10

#include <stdio.h>

#include "ore.h"

void

usage(void)

{

fprintf(USAGE_OUT, ES_BOLD("使い方:") "\n%s\n",

indent(_usage_msg));

}

#include "ore.h"

char *
indent(char *t)
{
        static char buf[BUFFER_SIZE];
        char *p;

        int i = 0;
        p = t;
        buf[i++] = '\t';
        for (; i < BUFFER_SIZE - 1; i++, p++) {
                buf[i] = *p;
                if ('\n' == *p)
                        buf[++i] = '\t';
                if ('\0' == *p)
                        break;
        }
        if ('\0' != buf[i])
                buf[i] = '\0';

        return buf;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#include "ore.h"

char *

indent(char *t)

{

static char buf[BUFFER_SIZE];

char *p;

int i = 0;

p = t;

buf[i++] = '\t';

for (; i < BUFFER_SIZE - 1; i++, p++) {

buf[i] = *p;

if ('\n' == *p)

buf[++i] = '\t';

if ('\0' == *p)

break;

}

if ('\0' != buf[i])

buf[i] = '\0';

return buf;

}

#include <stdlib.h>
#include <string.h>

#include "ore.h"

int
setmsg(char *key, char *value)
{
        if (0 == strcmp("usage", key)) {
                _usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));
                strncpy(_usage_msg, value, BUFFER_SIZE);
                _usage_msg[BUFFER_SIZE - 1] = '\0';
        }
        else if (0 == strcmp("version", key)) {
                _version_msg = calloc(1, BUFFER_SIZE * sizeof(char));
                strncpy(_version_msg, value, BUFFER_SIZE);
                _version_msg[BUFFER_SIZE - 1] = '\0';
        }
        else
                return (-1);

        return 0;
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

#include <stdlib.h>

#include <string.h>

#include "ore.h"

int

setmsg(char *key, char *value)

{

if (0 == strcmp("usage", key)) {

_usage_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_usage_msg, value, BUFFER_SIZE);

_usage_msg[BUFFER_SIZE - 1] = '\0';

}

else if (0 == strcmp("version", key)) {

_version_msg = calloc(1, BUFFER_SIZE * sizeof(char));

strncpy(_version_msg, value, BUFFER_SIZE);

_version_msg[BUFFER_SIZE - 1] = '\0';

}

else

return (-1);

return 0;

}

#ifndef _ORE_H_
#define _ORE_H_

#define BUFFER_SIZE     4096
#define USAGE_OUT       stderr
#define VERSION_OUT     stdout

#define ESC_SEQ_NORM    "\x1b[0m"
#define ESC_SEQ_BOLD    "\x1b[1m"
#define ESC_SEQ_GRAY    "\x1b[2m"
#define ESC_SEQ_UBAR    "\x1b[4m"

#define ES_BOLD(X)      ESC_SEQ_BOLD X ESC_SEQ_NORM
#define ES_LIGHT(X)     ESC_SEQ_GRAY X ESC_SEQ_NORM
#define ES_UBAR(X)      ESC_SEQ_UBAR X ESC_SEQ_NORM

char *_usage_msg;
char *_version_msg;

char *indent(char *);
int setmsg(char *, char *);
void usage(void);
void version(void);

#endif

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

#ifndef _ORE_H_

#define _ORE_H_

#define BUFFER_SIZE 4096

#define USAGE_OUT stderr

#define VERSION_OUT stdout

#define ESC_SEQ_NORM "\x1b[0m"

#define ESC_SEQ_BOLD "\x1b[1m"

#define ESC_SEQ_GRAY "\x1b[2m"

#define ESC_SEQ_UBAR "\x1b[4m"

#define ES_BOLD(X) ESC_SEQ_BOLD X ESC_SEQ_NORM

#define ES_LIGHT(X) ESC_SEQ_GRAY X ESC_SEQ_NORM

#define ES_UBAR(X) ESC_SEQ_UBAR X ESC_SEQ_NORM

char *_usage_msg;

char *_version_msg;

char *indent(char *);

int setmsg(char *, char *);

void usage(void);

void version(void);

#endif

CFLAGS=         -I. -I./../include/ -O2 -pipe 

LIBA=           ./../lib/libore.a
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

.SUFFIXES:      .o .c

.c.o:
        cc ${CFLAGS} -c $< -o $@

all: ${OBJS}
        ar -crv ${LIBA} ${OBJS}

clean:
        rm -f ${LIBA} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

CFLAGS= -I. -I./../include/ -O2 -pipe

LIBA= ./../lib/libore.a

OBJS!= ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

ar -crv ${LIBA} ${OBJS}

clean:

rm -f ${LIBA} ${OBJS}

% tree
.
|-- bin
|-- include
|   `-- ore.h
|-- lib
|-- libore
|   |-- Makefile
|   |-- indent.c
|   |-- ore.c
|   |-- setmsg.c
|   |-- usage.c
|   `-- version.c
`-- src
    `-- bin
        `-- oreapp
            |-- Makefile
            `-- oreapp.c

7 directories, 9 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

% tree

.

|-- bin

|-- include

| `-- ore.h

|-- lib

|-- libore

| |-- Makefile

| |-- indent.c

| |-- ore.c

| |-- setmsg.c

| |-- usage.c

| `-- version.c

`-- src

`-- bin

`-- oreapp

|-- Makefile

`-- oreapp.c

7 directories, 9 files

%

% tree
.
|-- bin
|   `-- oreapp
|-- include
|   `-- ore.h
|-- lib
|   `-- libore.a
|-- libore
|   |-- Makefile
|   |-- indent.c
|   |-- indent.o
|   |-- ore.c
|   |-- ore.o
|   |-- setmsg.c
|   |-- setmsg.o
|   |-- usage.c
|   |-- usage.o
|   |-- version.c
|   `-- version.o
`-- src
    `-- bin
        `-- oreapp
            |-- Makefile
            |-- oreapp.c
            `-- oreapp.o

7 directories, 17 files
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

% tree

.

|-- bin

| `-- oreapp

|-- include

| `-- ore.h

|-- lib

| `-- libore.a

|-- libore

| |-- Makefile

| |-- indent.c

| |-- indent.o

| |-- ore.c

| |-- ore.o

| |-- setmsg.c

| |-- setmsg.o

| |-- usage.c

| |-- usage.o

| |-- version.c

| `-- version.o

`-- src

`-- bin

`-- oreapp

|-- Makefile

|-- oreapp.c

`-- oreapp.o

7 directories, 17 files

%

#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

#include "ore.h"

int
main(int argc, char *argv[])
{
        setmsg("usage", "oreapp [-v] [-h] string...");
        setmsg("version", "1.0");

        int ch;
        while ((ch = getopt(argc, argv, "hv")) != -1) {
                switch (ch) {
                case 'v':
                        version();
                        exit(EX_USAGE);
                        break;
                case '?':
                case 'h':
                        usage();
                        exit(EX_USAGE);
                        break;
                default:
                        usage();
                        exit(EX_USAGE);
                        break;
                }
        }
        argc -= optind;
        argv += optind;

        for (int i = 0; i < argc; i++)  
                printf("%06d %s\n", 1+i, argv[i]);

        return(EX_OK);
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

#include <unistd.h>

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

#include "ore.h"

int

main(int argc, char *argv[])

{

setmsg("usage", "oreapp [-v] [-h] string...");

setmsg("version", "1.0");

int ch;

while ((ch = getopt(argc, argv, "hv")) != -1) {

switch (ch) {

case 'v':

version();

exit(EX_USAGE);

break;

case '?':

case 'h':

usage();

exit(EX_USAGE);

break;

default:

usage();

exit(EX_USAGE);

break;

}

argc -= optind;

argv += optind;

for (int i = 0; i < argc; i++)

printf("%06d %s\n", 1+i, argv[i]);

return(EX_OK);

}

BIN=            ./../../../bin/oreapp
LIBA=           ./../../../lib/libore.a
OBJS!=          ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

CFLAGS=         -I. -I./../../../include/ -O2 -pipe 

.SUFFIXES:      .o .c

.c.o:
        cc ${CFLAGS} -c $< -o $@

all: ${OBJS}
        cc ${CFLAGS} -o ${BIN} ${OBJS} -L./../../../lib/ -lore

clean:
        rm -f ${BIN} ${OBJS}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

BIN= ./../../../bin/oreapp

LIBA= ./../../../lib/libore.a

OBJS!= ls | grep '[.]c$$' 2> /dev/null | sed 's/.c$$/.o/g'

CFLAGS= -I. -I./../../../include/ -O2 -pipe

.SUFFIXES: .o .c

.c.o:

cc ${CFLAGS} -c $< -o $@

all: ${OBJS}

cc ${CFLAGS} -o ${BIN} ${OBJS} -L./../../../lib/ -lore

clean:

rm -f ${BIN} ${OBJS}

% cd libore/
% make
cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o
cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o
cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o
cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o
cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o
ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o
a - indent.o
a - ore.o
a - setmsg.o
a - usage.o
a - version.o
% cd ../src/bin/oreapp/
% make
cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c -o oreapp.o
cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

% cd libore/

% make

cc -I. -I./../include/ -O2 -pipe -c indent.c -o indent.o

cc -I. -I./../include/ -O2 -pipe -c ore.c -o ore.o

cc -I. -I./../include/ -O2 -pipe -c setmsg.c -o setmsg.o

cc -I. -I./../include/ -O2 -pipe -c usage.c -o usage.o

cc -I. -I./../include/ -O2 -pipe -c version.c -o version.o

ar -crv ./../lib/libore.a indent.o ore.o setmsg.o usage.o version.o

a - indent.o

a - ore.o

a - setmsg.o

a - usage.o

a - version.o

% cd ../src/bin/oreapp/

% make

cc -I. -I./../../../include/ -O2 -pipe -c oreapp.c -o oreapp.o

cc -I. -I./../../../include/ -O2 -pipe -o ./../../../bin/oreapp oreapp.o -L./../../../lib/ -lore

%

% ./oreapp -v
バージョン: 1.0
% ./oreapp -h
使い方:
        oreapp [-v] [-h] string...
% ./oreapp a b c d
000001 a
000002 b
000003 c
000004 d
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

% ./oreapp -v

バージョン: 1.0

% ./oreapp -h

使い方:

oreapp [-v] [-h] string...

% ./oreapp a b c d

000001 a

000002 b

000003 c

000004 d

%

% readelf -a oreapp
ELF Header:
  Magic:   7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00
  Class:                             ELF64
  Data:                              2's complement, little endian
  Version:                           1 (current)
  OS/ABI:                            FreeBSD
  ABI Version:                       0
  Type:                              EXEC (Executable file)
  Machine:                           Advanced Micro Devices x86-64
  Version:                           0x1
  Entry point address:               0x4006e0
  Start of program headers:          64 (bytes into file)
  Start of section headers:          4728 (bytes into file)
  Flags:                             0
  Size of this header:               64 (bytes)
  Size of program headers:           56 (bytes)
  Number of program headers:         8
  Size of section headers:           64 (bytes)
  Number of section headers:         29
  Section header string table index: 26

Elf file type is EXEC (Executable file)
Entry point 0x4006e0
There are 8 program headers, starting at offset 64

Program Headers:
  Type           Offset             VirtAddr           PhysAddr
                 FileSiz            MemSiz              Flg    Align
  PHDR           0x0000000000000040 0x0000000000400040 0x0000000000400040
                 0x00000000000001c0 0x00000000000001c0  R E    0x8
  INTERP         0x0000000000000200 0x0000000000400200 0x0000000000400200
                 0x0000000000000015 0x0000000000000015  R      0x1
      [Requesting program interpreter: /libexec/ld-elf.so.1]
  LOAD           0x0000000000000000 0x0000000000400000 0x0000000000400000
                 0x0000000000000d6c 0x0000000000000d6c  R E    0x200000
  LOAD           0x0000000000000d70 0x0000000000600d70 0x0000000000600d70
                 0x0000000000000241 0x0000000000001278  RW     0x200000
  DYNAMIC        0x0000000000000d98 0x0000000000600d98 0x0000000000600d98
                 0x00000000000001a0 0x00000000000001a0  RW     0x8
  NOTE           0x0000000000000218 0x0000000000400218 0x0000000000400218
                 0x0000000000000030 0x0000000000000030  R      0x4
  GNU_EH_FRAME   0x0000000000000c24 0x0000000000400c24 0x0000000000400c24
                 0x0000000000000044 0x0000000000000044  R      0x4
  GNU_STACK      0x0000000000000000 0x0000000000000000 0x0000000000000000
                 0x0000000000000000 0x0000000000000000  RW     0x8


Section to Segment mapping:
  Segment Sections...
   00
   01     .interp
   02     .interp .note.tag .hash .gnu.hash .dynsym .dynstr .gnu.version .gnu.version_r .rela.dyn .rela.plt .init .plt .text .fini .rodata .eh_frame_hdr .eh_frame
   03     .ctors .dtors .jcr .dynamic .got.plt .data .bss
   04     .dynamic
   05     .note.tag
   06     .eh_frame_hdr
   07
There are 29 section headers, starting at offset 0x1278:
Section Headers:
  [Nr] Name              Type             Address           Offset
       Size              EntSize          Flags  Link  Info  Align
  [ 0] (null)            NULL             0000000000000000  00000000
       0000000000000000  0000000000000000           0     0     0
  [ 1] .interp           PROGBITS         0000000000400200  00000200
       0000000000000015  0000000000000000   A       0     0     1
  [ 2] .note.tag         NOTE             0000000000400218  00000218
       0000000000000030  0000000000000000   A       0     0     4
  [ 3] .hash             HASH             0000000000400248  00000248
       0000000000000054  0000000000000004   A       5     0     8
  [ 4] .gnu.hash         GNU_HASH         00000000004002a0  000002a0
       0000000000000038  0000000000000000   A       5     0     8
  [ 5] .dynsym           DYNSYM           00000000004002d8  000002d8
       0000000000000180  0000000000000018   A       6     1     8
  [ 6] .dynstr           STRTAB           0000000000400458  00000458
       0000000000000087  0000000000000000   A       0     0     1
  [ 7] .gnu.version      SUNW_versym      00000000004004e0  000004e0
       0000000000000020  0000000000000002   A       5     0     2
  [ 8] .gnu.version_r    SUNW_verneed     0000000000400500  00000500
       0000000000000020  0000000000000000   A       6     1     8
  [ 9] .rela.dyn         RELA             0000000000400520  00000520
       0000000000000030  0000000000000018   A       5     0     8
  [10] .rela.plt         RELA             0000000000400550  00000550
       00000000000000d8  0000000000000018   A       5    12     8
  [11] .init             PROGBITS         0000000000400628  00000628
       0000000000000013  0000000000000000  AX       0     0     4
  [12] .plt              PROGBITS         000000000040063c  0000063c
       00000000000000a0  0000000000000010  AX       0     0     4
  [13] .text             PROGBITS         00000000004006e0  000006e0
       00000000000004c8  0000000000000000  AX       0     0     16
  [14] .fini             PROGBITS         0000000000400ba8  00000ba8
       000000000000000e  0000000000000000  AX       0     0     4
  [15] .rodata           PROGBITS         0000000000400bb6  00000bb6
       000000000000006d  0000000000000001 AMS       0     0     1
  [16] .eh_frame_hdr     PROGBITS         0000000000400c24  00000c24
       0000000000000044  0000000000000000   A       0     0     4
  [17] .eh_frame         X86_64_UNWIND    0000000000400c68  00000c68
       0000000000000104  0000000000000000   A       0     0     8
  [18] .ctors            PROGBITS         0000000000600d70  00000d70
       0000000000000010  0000000000000000  WA       0     0     8
  [19] .dtors            PROGBITS         0000000000600d80  00000d80
       0000000000000010  0000000000000000  WA       0     0     8
  [20] .jcr              PROGBITS         0000000000600d90  00000d90
       0000000000000008  0000000000000000  WA       0     0     8
  [21] .dynamic          DYNAMIC          0000000000600d98  00000d98
       00000000000001a0  0000000000000010  WA       6     0     8
  [22] .got.plt          PROGBITS         0000000000600f38  00000f38
       0000000000000060  0000000000000008  WA       0     0     8
  [23] .data             PROGBITS         0000000000600f98  00000f98
       0000000000000019  0000000000000000  WA       0     0     8
  [24] .bss              NOBITS           0000000000600fc0  00000fb1
       0000000000001028  0000000000000000  WA       0     0     16
  [25] .comment          PROGBITS         0000000000000000  00000fb1
       00000000000001e3  0000000000000001  MS       0     0     1
  [26] .shstrtab         STRTAB           0000000000000000  00001194
       00000000000000e2  0000000000000000           0     0     1
  [27] .symtab           SYMTAB           0000000000000000  000019b8
       0000000000000810  0000000000000018          28    58     8
  [28] .strtab           STRTAB           0000000000000000  000021c8
       0000000000000363  0000000000000000           0     0     1
Key to Flags:
  W (write), A (alloc), X (execute), M (merge), S (strings)
  I (info), L (link order), G (group), x (unknown)
  O (extra OS processing required) o (OS specific), p (processor specific)

Dynamic section at offset 0xd98 contains 21 entries:
  Tag                Type                  Name/Value
 0x0000000000000001 NEEDED               Shared library: [libc.so.7]
 0x000000000000000c INIT                 0x400628
 0x000000000000000d FINI                 0x400ba8
 0x0000000000000004 HASH                 0x400248
 0x000000006ffffef5 GNU_HASH             0x4002a0
 0x0000000000000005 STRTAB               0x400458
 0x0000000000000006 SYMTAB               0x4002d8
 0x000000000000000a STRSZ                135 (bytes)
 0x000000000000000b SYMENT               24 (bytes)
 0x0000000000000015 DEBUG                0x0
 0x0000000000000003 PLTGOT               0x600f38
 0x0000000000000002 PLTRELSZ             216 (bytes)
 0x0000000000000014 PLTREL               RELA
 0x0000000000000017 JMPREL               0x400550
 0x0000000000000007 RELA                 0x400520
 0x0000000000000008 RELASZ               48 (bytes)
 0x0000000000000009 RELAENT              24 (bytes)
 0x000000006ffffffe VERNEED              0x400500
 0x000000006fffffff VERNEEDNUM           1
 0x000000006ffffff0 VERSYM               0x4004e0
 0x0000000000000000 NULL                 0x0

Relocation section with addend (.rela.dyn):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000600fc0 000e00000005 R_X86_64_COPY       0000000000600fc0 optind + 0
000000600fc8 000f00000005 R_X86_64_COPY       0000000000600fc8 __stderrp + 0

Relocation section with addend (.rela.plt):
r_offset     r_info       r_type              st_value         st_name + r_addend
000000600f50 000200000007 R_X86_64_JUMP_SLOT  0000000000000000 printf + 0
000000600f58 000300000007 R_X86_64_JUMP_SLOT  0000000000000000 atexit + 0
000000600f60 000400000007 R_X86_64_JUMP_SLOT  0000000000000000 _init_tls + 0
000000600f68 000500000007 R_X86_64_JUMP_SLOT  0000000000000000 fprintf + 0
000000600f70 000600000007 R_X86_64_JUMP_SLOT  0000000000000000 getopt + 0
000000600f78 000700000007 R_X86_64_JUMP_SLOT  0000000000000000 calloc + 0
000000600f80 000800000007 R_X86_64_JUMP_SLOT  0000000000000000 strncpy + 0
000000600f88 000900000007 R_X86_64_JUMP_SLOT  0000000000000000 exit + 0
000000600f90 000a00000007 R_X86_64_JUMP_SLOT  0000000000000000 strcmp + 0
Symbol table (.dynsym) contains 16 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
     2: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@FBSD_1.0 (2)
     3: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@FBSD_1.0 (2)
     4: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@FBSD_1.0 (2)
     5: 0000000000000000   239 FUNC    GLOBAL DEFAULT  UND fprintf@FBSD_1.0 (2)
     6: 0000000000000000   617 FUNC    GLOBAL DEFAULT  UND getopt@FBSD_1.0 (2)
     7: 0000000000000000  3171 FUNC    GLOBAL DEFAULT  UND calloc@FBSD_1.0 (2)
     8: 0000000000000000    76 FUNC    GLOBAL DEFAULT  UND strncpy@FBSD_1.0 (2)
     9: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@FBSD_1.0 (2)
    10: 0000000000000000   126 FUNC    GLOBAL DEFAULT  UND strcmp@FBSD_1.0 (2)
    11: 0000000000601fd0     8 OBJECT  GLOBAL DEFAULT   24 environ
    12: 0000000000601fe8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
    13: 0000000000600f98     8 OBJECT  GLOBAL DEFAULT   23 __progname
    14: 0000000000600fc0     4 OBJECT  GLOBAL DEFAULT   24 optind@FBSD_1.0 (2)
    15: 0000000000600fc8     8 OBJECT  GLOBAL DEFAULT   24 __stderrp@FBSD_1.0 (2)
Symbol table (.symtab) contains 86 entries:
   Num:    Value          Size Type    Bind   Vis      Ndx Name
     0: 0000000000000000     0 NOTYPE  LOCAL  DEFAULT  UND
     1: 0000000000400200     0 SECTION LOCAL  DEFAULT    1
     2: 0000000000400218     0 SECTION LOCAL  DEFAULT    2
     3: 0000000000400248     0 SECTION LOCAL  DEFAULT    3
     4: 00000000004002a0     0 SECTION LOCAL  DEFAULT    4
     5: 00000000004002d8     0 SECTION LOCAL  DEFAULT    5
     6: 0000000000400458     0 SECTION LOCAL  DEFAULT    6
     7: 00000000004004e0     0 SECTION LOCAL  DEFAULT    7
     8: 0000000000400500     0 SECTION LOCAL  DEFAULT    8
     9: 0000000000400520     0 SECTION LOCAL  DEFAULT    9
    10: 0000000000400550     0 SECTION LOCAL  DEFAULT   10
    11: 0000000000400628     0 SECTION LOCAL  DEFAULT   11
    12: 000000000040063c     0 SECTION LOCAL  DEFAULT   12
    13: 00000000004006e0     0 SECTION LOCAL  DEFAULT   13
    14: 0000000000400ba8     0 SECTION LOCAL  DEFAULT   14
    15: 0000000000400bb6     0 SECTION LOCAL  DEFAULT   15
    16: 0000000000400c24     0 SECTION LOCAL  DEFAULT   16
    17: 0000000000400c68     0 SECTION LOCAL  DEFAULT   17
    18: 0000000000600d70     0 SECTION LOCAL  DEFAULT   18
    19: 0000000000600d80     0 SECTION LOCAL  DEFAULT   19
    20: 0000000000600d90     0 SECTION LOCAL  DEFAULT   20
    21: 0000000000600d98     0 SECTION LOCAL  DEFAULT   21
    22: 0000000000600f38     0 SECTION LOCAL  DEFAULT   22
    23: 0000000000600f98     0 SECTION LOCAL  DEFAULT   23
    24: 0000000000600fc0     0 SECTION LOCAL  DEFAULT   24
    25: 0000000000000000     0 SECTION LOCAL  DEFAULT   25
    26: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/lib/csu/amd64/crt1.c
    27: 0000000000400218    24 OBJECT  LOCAL  DEFAULT    2 abitag
    28: 0000000000400230    24 OBJECT  LOCAL  DEFAULT    2 crt_noinit_tag
    29: 0000000000400870    83 FUNC    LOCAL  DEFAULT   13 finalizer
    30: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    31: 0000000000600d70     8 OBJECT  LOCAL  DEFAULT   18 __CTOR_LIST__
    32: 0000000000600d80     8 OBJECT  LOCAL  DEFAULT   19 __DTOR_LIST__
    33: 0000000000600d90     0 OBJECT  LOCAL  DEFAULT   20 __JCR_LIST__
    34: 00000000004008d0    53 FUNC    LOCAL  DEFAULT   13 __do_global_dtors_aux
    35: 0000000000600fb0     1 OBJECT  LOCAL  DEFAULT   23 __do_global_dtors_aux.completed
    36: 0000000000600fa8     8 OBJECT  LOCAL  DEFAULT   23 __do_global_dtors_aux.p
    37: 0000000000400910    34 FUNC    LOCAL  DEFAULT   13 frame_dummy
    38: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c
    39: 0000000000600d78     8 OBJECT  LOCAL  DEFAULT   18 __CTOR_END__
    40: 0000000000600d88     8 OBJECT  LOCAL  DEFAULT   19 __DTOR_END__
    41: 0000000000400d68     4 OBJECT  LOCAL  DEFAULT   17 __FRAME_END__
    42: 0000000000600d90     8 OBJECT  LOCAL  DEFAULT   20 __JCR_END__
    43: 0000000000400b70    54 FUNC    LOCAL  DEFAULT   13 __do_global_ctors_aux
    44: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS oreapp.c
    45: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS setmsg.c
    46: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS usage.c
    47: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS version.c
    48: 0000000000000000     0 FILE    LOCAL  DEFAULT  ABS indent.c
    49: 0000000000600fd0  4096 OBJECT  LOCAL  DEFAULT   24 indent.buf
    50: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __preinit_array_start
    51: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __fini_array_end
    52: 0000000000600f38     0 OBJECT  LOCAL  HIDDEN    22 _GLOBAL_OFFSET_TABLE_
    53: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __preinit_array_end
    54: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __fini_array_start
    55: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __init_array_end
    56: 0000000000600d6c     0 NOTYPE  LOCAL  HIDDEN    18 __init_array_start
    57: 0000000000600d98     0 OBJECT  LOCAL  HIDDEN    21 _DYNAMIC
    58: 0000000000600fc0     4 OBJECT  GLOBAL DEFAULT   24 optind@@FBSD_1.0
    59: 00000000004006e0   390 FUNC    GLOBAL DEFAULT   13 _start
    60: 0000000000000000     0 NOTYPE  WEAK   DEFAULT  UND _Jv_RegisterClasses
    61: 0000000000600f98     8 OBJECT  GLOBAL DEFAULT   23 __progname
    62: 0000000000601fd8     8 OBJECT  GLOBAL DEFAULT   24 _usage_msg
    63: 0000000000400ba8     0 FUNC    GLOBAL HIDDEN    14 _fini
    64: 0000000000400a10   160 FUNC    GLOBAL DEFAULT   13 setmsg
    65: 0000000000000000   188 FUNC    GLOBAL DEFAULT  UND printf@@FBSD_1.0
    66: 0000000000000000    71 FUNC    GLOBAL DEFAULT  UND atexit@@FBSD_1.0
    67: 0000000000000000     6 FUNC    GLOBAL DEFAULT  UND _init_tls@@FBSD_1.0
    68: 0000000000000000   239 FUNC    GLOBAL DEFAULT  UND fprintf@@FBSD_1.0
    69: 0000000000000000   617 FUNC    GLOBAL DEFAULT  UND getopt@@FBSD_1.0
    70: 0000000000400b10    90 FUNC    GLOBAL DEFAULT   13 indent
    71: 0000000000600fa0     8 OBJECT  GLOBAL HIDDEN    23 __dso_handle
    72: 0000000000601fe0     8 OBJECT  GLOBAL DEFAULT   24 _version_msg
    73: 0000000000400af0    31 FUNC    GLOBAL DEFAULT   13 version
    74: 0000000000000000  3171 FUNC    GLOBAL DEFAULT  UND calloc@@FBSD_1.0
    75: 0000000000000000    76 FUNC    GLOBAL DEFAULT  UND strncpy@@FBSD_1.0
    76: 0000000000600fb1     0 NOTYPE  GLOBAL DEFAULT  ABS __bss_start
    77: 0000000000601fd0     8 OBJECT  GLOBAL DEFAULT   24 environ
    78: 0000000000601fe8     0 NOTYPE  GLOBAL DEFAULT  ABS _end
    79: 0000000000400ab0    52 FUNC    GLOBAL DEFAULT   13 usage
    80: 0000000000000000    54 FUNC    GLOBAL DEFAULT  UND exit@@FBSD_1.0
    81: 0000000000600fb1     0 NOTYPE  GLOBAL DEFAULT  ABS _edata
    82: 0000000000600fc8     8 OBJECT  GLOBAL DEFAULT   24 __stderrp@@FBSD_1.0
    83: 0000000000000000   126 FUNC    GLOBAL DEFAULT  UND strcmp@@FBSD_1.0
    84: 0000000000400940   196 FUNC    GLOBAL DEFAULT   13 main
    85: 0000000000400628     0 FUNC    GLOBAL HIDDEN    11 _init

Histogram for bucket list length (total of 3 buckets):
 Length Number          % of total      Coverage
      0 0               (  0.0%)          0.0%
      1 0               (  0.0%)          0.0%
      2 1               ( 33.3%)         13.3%
      3 0               (  0.0%)         13.3%
      4 0               (  0.0%)         13.3%
      5 0               (  0.0%)         13.3%
      6 1               ( 33.3%)         53.3%
      7 1               ( 33.3%)        100.0%
Histogram for bucket list length (total of 3 buckets):
 Length Number          % of total      Coverage
      0 0               (  0.0%)          0.0%
      1 1               ( 33.3%)         25.0%
      2 2               ( 66.7%)        125.0%

Version symbol section (.gnu.version):
  000:   0 *local*         0 *local*         2 FBSD_1.0        2 FBSD_1.0
  004:   2 FBSD_1.0        2 FBSD_1.0        2 FBSD_1.0        2 FBSD_1.0
  008:   2 FBSD_1.0        2 FBSD_1.0        2 FBSD_1.0        1 *global*
  00c:   1 *global*        1 *global*        2 FBSD_1.0        2 FBSD_1.0

Version needed section (.gnu.version_r):
  0x0000 vn_version: 1 vn_file: libc.so.7 vn_cnt: 1
  0x0010   vna_name: FBSD_1.0 vna_flags: 0 vna_other: 2
%

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

% readelf -a oreapp

ELF Header:

Magic: 7f 45 4c 46 02 01 01 09 00 00 00 00 00 00 00 00

Class: ELF64

Data: 2's complement, little endian

Version: 1 (current)

OS/ABI: FreeBSD

ABI Version: 0

Type: EXEC (Executable file)

Machine: Advanced Micro Devices x86-64

Version: 0x1

Entry point address: 0x4006e0

Start of program headers: 64 (bytes into file)

Start of section headers: 4728 (bytes into file)

Flags: 0

Size of this header: 64 (bytes)

Size of program headers: 56 (bytes)

Number of program headers: 8

Size of section headers: 64 (bytes)

Number of section headers: 29

Section header string table index: 26

Elf file type is EXEC (Executable file)

Entry point 0x4006e0

There are 8 program headers, starting at offset 64

Program Headers:

Type Offset VirtAddr PhysAddr

FileSiz MemSiz Flg Align

PHDR 0x0000000000000040 0x0000000000400040 0x0000000000400040

0x00000000000001c0 0x00000000000001c0 R E 0x8

INTERP 0x0000000000000200 0x0000000000400200 0x0000000000400200

0x0000000000000015 0x0000000000000015 R 0x1

[Requesting program interpreter: /libexec/ld-elf.so.1]

LOAD 0x0000000000000000 0x0000000000400000 0x0000000000400000

0x0000000000000d6c 0x0000000000000d6c R E 0x200000

LOAD 0x0000000000000d70 0x0000000000600d70 0x0000000000600d70

0x0000000000000241 0x0000000000001278 RW 0x200000

DYNAMIC 0x0000000000000d98 0x0000000000600d98 0x0000000000600d98

0x00000000000001a0 0x00000000000001a0 RW 0x8

NOTE 0x0000000000000218 0x0000000000400218 0x0000000000400218

0x0000000000000030 0x0000000000000030 R 0x4

GNU_EH_FRAME 0x0000000000000c24 0x0000000000400c24 0x0000000000400c24

0x0000000000000044 0x0000000000000044 R 0x4

GNU_STACK 0x0000000000000000 0x0000000000000000 0x0000000000000000

0x0000000000000000 0x0000000000000000 RW 0x8

Section to Segment mapping:

Segment Sections...

00

01 .interp

02 .interp .note.tag .hash .gnu.hash .dynsym .dynstr .gnu.version .gnu.version_r .rela.dyn .rela.plt .init .plt .text .fini .rodata .eh_frame_hdr .eh_frame

03 .ctors .dtors .jcr .dynamic .got.plt .data .bss

04 .dynamic

05 .note.tag

06 .eh_frame_hdr

07

There are 29 section headers, starting at offset 0x1278:

Section Headers:

[Nr] Name Type Address Offset

Size EntSize Flags Link Info Align

[ 0] (null) NULL 0000000000000000 00000000

0000000000000000 0000000000000000 0 0 0

[ 1] .interp PROGBITS 0000000000400200 00000200

0000000000000015 0000000000000000 A 0 0 1

[ 2] .note.tag NOTE 0000000000400218 00000218

0000000000000030 0000000000000000 A 0 0 4

[ 3] .hash HASH 0000000000400248 00000248

0000000000000054 0000000000000004 A 5 0 8

[ 4] .gnu.hash GNU_HASH 00000000004002a0 000002a0

0000000000000038 0000000000000000 A 5 0 8

[ 5] .dynsym DYNSYM 00000000004002d8 000002d8

0000000000000180 0000000000000018 A 6 1 8

[ 6] .dynstr STRTAB 0000000000400458 00000458

0000000000000087 0000000000000000 A 0 0 1

[ 7] .gnu.version SUNW_versym 00000000004004e0 000004e0

0000000000000020 0000000000000002 A 5 0 2

[ 8] .gnu.version_r SUNW_verneed 0000000000400500 00000500

0000000000000020 0000000000000000 A 6 1 8

[ 9] .rela.dyn RELA 0000000000400520 00000520

0000000000000030 0000000000000018 A 5 0 8

[10] .rela.plt RELA 0000000000400550 00000550

00000000000000d8 0000000000000018 A 5 12 8

[11] .init PROGBITS 0000000000400628 00000628

0000000000000013 0000000000000000 AX 0 0 4

[12] .plt PROGBITS 000000000040063c 0000063c

00000000000000a0 0000000000000010 AX 0 0 4

[13] .text PROGBITS 00000000004006e0 000006e0

00000000000004c8 0000000000000000 AX 0 0 16

[14] .fini PROGBITS 0000000000400ba8 00000ba8

000000000000000e 0000000000000000 AX 0 0 4

[15] .rodata PROGBITS 0000000000400bb6 00000bb6

000000000000006d 0000000000000001 AMS 0 0 1

[16] .eh_frame_hdr PROGBITS 0000000000400c24 00000c24

0000000000000044 0000000000000000 A 0 0 4

[17] .eh_frame X86_64_UNWIND 0000000000400c68 00000c68

0000000000000104 0000000000000000 A 0 0 8

[18] .ctors PROGBITS 0000000000600d70 00000d70

0000000000000010 0000000000000000 WA 0 0 8

[19] .dtors PROGBITS 0000000000600d80 00000d80

0000000000000010 0000000000000000 WA 0 0 8

[20] .jcr PROGBITS 0000000000600d90 00000d90

0000000000000008 0000000000000000 WA 0 0 8

[21] .dynamic DYNAMIC 0000000000600d98 00000d98

00000000000001a0 0000000000000010 WA 6 0 8

[22] .got.plt PROGBITS 0000000000600f38 00000f38

0000000000000060 0000000000000008 WA 0 0 8

[23] .data PROGBITS 0000000000600f98 00000f98

0000000000000019 0000000000000000 WA 0 0 8

[24] .bss NOBITS 0000000000600fc0 00000fb1

0000000000001028 0000000000000000 WA 0 0 16

[25] .comment PROGBITS 0000000000000000 00000fb1

00000000000001e3 0000000000000001 MS 0 0 1

[26] .shstrtab STRTAB 0000000000000000 00001194

00000000000000e2 0000000000000000 0 0 1

[27] .symtab SYMTAB 0000000000000000 000019b8

0000000000000810 0000000000000018 28 58 8

[28] .strtab STRTAB 0000000000000000 000021c8

0000000000000363 0000000000000000 0 0 1

Key to Flags:

W (write), A (alloc), X (execute), M (merge), S (strings)

I (info), L (link order), G (group), x (unknown)

O (extra OS processing required) o (OS specific), p (processor specific)

Dynamic section at offset 0xd98 contains 21 entries:

Tag Type Name/Value

0x0000000000000001 NEEDED Shared library: [libc.so.7]

0x000000000000000c INIT 0x400628

0x000000000000000d FINI 0x400ba8

0x0000000000000004 HASH 0x400248

0x000000006ffffef5 GNU_HASH 0x4002a0

0x0000000000000005 STRTAB 0x400458

0x0000000000000006 SYMTAB 0x4002d8

0x000000000000000a STRSZ 135 (bytes)

0x000000000000000b SYMENT 24 (bytes)

0x0000000000000015 DEBUG 0x0

0x0000000000000003 PLTGOT 0x600f38

0x0000000000000002 PLTRELSZ 216 (bytes)

0x0000000000000014 PLTREL RELA

0x0000000000000017 JMPREL 0x400550

0x0000000000000007 RELA 0x400520

0x0000000000000008 RELASZ 48 (bytes)

0x0000000000000009 RELAENT 24 (bytes)

0x000000006ffffffe VERNEED 0x400500

0x000000006fffffff VERNEEDNUM 1

0x000000006ffffff0 VERSYM 0x4004e0

0x0000000000000000 NULL 0x0

Relocation section with addend (.rela.dyn):

r_offset r_info r_type st_value st_name + r_addend

000000600fc0 000e00000005 R_X86_64_COPY 0000000000600fc0 optind + 0

000000600fc8 000f00000005 R_X86_64_COPY 0000000000600fc8 __stderrp + 0

Relocation section with addend (.rela.plt):

r_offset r_info r_type st_value st_name + r_addend

000000600f50 000200000007 R_X86_64_JUMP_SLOT 0000000000000000 printf + 0

000000600f58 000300000007 R_X86_64_JUMP_SLOT 0000000000000000 atexit + 0

000000600f60 000400000007 R_X86_64_JUMP_SLOT 0000000000000000 _init_tls + 0

000000600f68 000500000007 R_X86_64_JUMP_SLOT 0000000000000000 fprintf + 0

000000600f70 000600000007 R_X86_64_JUMP_SLOT 0000000000000000 getopt + 0

000000600f78 000700000007 R_X86_64_JUMP_SLOT 0000000000000000 calloc + 0

000000600f80 000800000007 R_X86_64_JUMP_SLOT 0000000000000000 strncpy + 0

000000600f88 000900000007 R_X86_64_JUMP_SLOT 0000000000000000 exit + 0

000000600f90 000a00000007 R_X86_64_JUMP_SLOT 0000000000000000 strcmp + 0

Symbol table (.dynsym) contains 16 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

2: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@FBSD_1.0 (2)

3: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@FBSD_1.0 (2)

4: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@FBSD_1.0 (2)

5: 0000000000000000 239 FUNC GLOBAL DEFAULT UND fprintf@FBSD_1.0 (2)

6: 0000000000000000 617 FUNC GLOBAL DEFAULT UND getopt@FBSD_1.0 (2)

7: 0000000000000000 3171 FUNC GLOBAL DEFAULT UND calloc@FBSD_1.0 (2)

8: 0000000000000000 76 FUNC GLOBAL DEFAULT UND strncpy@FBSD_1.0 (2)

9: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@FBSD_1.0 (2)

10: 0000000000000000 126 FUNC GLOBAL DEFAULT UND strcmp@FBSD_1.0 (2)

11: 0000000000601fd0 8 OBJECT GLOBAL DEFAULT 24 environ

12: 0000000000601fe8 0 NOTYPE GLOBAL DEFAULT ABS _end

13: 0000000000600f98 8 OBJECT GLOBAL DEFAULT 23 __progname

14: 0000000000600fc0 4 OBJECT GLOBAL DEFAULT 24 optind@FBSD_1.0 (2)

15: 0000000000600fc8 8 OBJECT GLOBAL DEFAULT 24 __stderrp@FBSD_1.0 (2)

Symbol table (.symtab) contains 86 entries:

Num: Value Size Type Bind Vis Ndx Name

0: 0000000000000000 0 NOTYPE LOCAL DEFAULT UND

1: 0000000000400200 0 SECTION LOCAL DEFAULT 1

2: 0000000000400218 0 SECTION LOCAL DEFAULT 2

3: 0000000000400248 0 SECTION LOCAL DEFAULT 3

4: 00000000004002a0 0 SECTION LOCAL DEFAULT 4

5: 00000000004002d8 0 SECTION LOCAL DEFAULT 5

6: 0000000000400458 0 SECTION LOCAL DEFAULT 6

7: 00000000004004e0 0 SECTION LOCAL DEFAULT 7

8: 0000000000400500 0 SECTION LOCAL DEFAULT 8

9: 0000000000400520 0 SECTION LOCAL DEFAULT 9

10: 0000000000400550 0 SECTION LOCAL DEFAULT 10

11: 0000000000400628 0 SECTION LOCAL DEFAULT 11

12: 000000000040063c 0 SECTION LOCAL DEFAULT 12

13: 00000000004006e0 0 SECTION LOCAL DEFAULT 13

14: 0000000000400ba8 0 SECTION LOCAL DEFAULT 14

15: 0000000000400bb6 0 SECTION LOCAL DEFAULT 15

16: 0000000000400c24 0 SECTION LOCAL DEFAULT 16

17: 0000000000400c68 0 SECTION LOCAL DEFAULT 17

18: 0000000000600d70 0 SECTION LOCAL DEFAULT 18

19: 0000000000600d80 0 SECTION LOCAL DEFAULT 19

20: 0000000000600d90 0 SECTION LOCAL DEFAULT 20

21: 0000000000600d98 0 SECTION LOCAL DEFAULT 21

22: 0000000000600f38 0 SECTION LOCAL DEFAULT 22

23: 0000000000600f98 0 SECTION LOCAL DEFAULT 23

24: 0000000000600fc0 0 SECTION LOCAL DEFAULT 24

25: 0000000000000000 0 SECTION LOCAL DEFAULT 25

26: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/lib/csu/amd64/crt1.c

27: 0000000000400218 24 OBJECT LOCAL DEFAULT 2 abitag

28: 0000000000400230 24 OBJECT LOCAL DEFAULT 2 crt_noinit_tag

29: 0000000000400870 83 FUNC LOCAL DEFAULT 13 finalizer

30: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

31: 0000000000600d70 8 OBJECT LOCAL DEFAULT 18 __CTOR_LIST__

32: 0000000000600d80 8 OBJECT LOCAL DEFAULT 19 __DTOR_LIST__

33: 0000000000600d90 0 OBJECT LOCAL DEFAULT 20 __JCR_LIST__

34: 00000000004008d0 53 FUNC LOCAL DEFAULT 13 __do_global_dtors_aux

35: 0000000000600fb0 1 OBJECT LOCAL DEFAULT 23 __do_global_dtors_aux.completed

36: 0000000000600fa8 8 OBJECT LOCAL DEFAULT 23 __do_global_dtors_aux.p

37: 0000000000400910 34 FUNC LOCAL DEFAULT 13 frame_dummy

38: 0000000000000000 0 FILE LOCAL DEFAULT ABS /usr/src/gnu/lib/csu/../../../contrib/gcc/crtstuff.c

39: 0000000000600d78 8 OBJECT LOCAL DEFAULT 18 __CTOR_END__

40: 0000000000600d88 8 OBJECT LOCAL DEFAULT 19 __DTOR_END__

41: 0000000000400d68 4 OBJECT LOCAL DEFAULT 17 __FRAME_END__

42: 0000000000600d90 8 OBJECT LOCAL DEFAULT 20 __JCR_END__

43: 0000000000400b70 54 FUNC LOCAL DEFAULT 13 __do_global_ctors_aux

44: 0000000000000000 0 FILE LOCAL DEFAULT ABS oreapp.c

45: 0000000000000000 0 FILE LOCAL DEFAULT ABS setmsg.c

46: 0000000000000000 0 FILE LOCAL DEFAULT ABS usage.c

47: 0000000000000000 0 FILE LOCAL DEFAULT ABS version.c

48: 0000000000000000 0 FILE LOCAL DEFAULT ABS indent.c

49: 0000000000600fd0 4096 OBJECT LOCAL DEFAULT 24 indent.buf

50: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __preinit_array_start

51: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __fini_array_end

52: 0000000000600f38 0 OBJECT LOCAL HIDDEN 22 _GLOBAL_OFFSET_TABLE_

53: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __preinit_array_end

54: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __fini_array_start

55: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __init_array_end

56: 0000000000600d6c 0 NOTYPE LOCAL HIDDEN 18 __init_array_start

57: 0000000000600d98 0 OBJECT LOCAL HIDDEN 21 _DYNAMIC

58: 0000000000600fc0 4 OBJECT GLOBAL DEFAULT 24 optind@@FBSD_1.0

59: 00000000004006e0 390 FUNC GLOBAL DEFAULT 13 _start

60: 0000000000000000 0 NOTYPE WEAK DEFAULT UND _Jv_RegisterClasses

61: 0000000000600f98 8 OBJECT GLOBAL DEFAULT 23 __progname

62: 0000000000601fd8 8 OBJECT GLOBAL DEFAULT 24 _usage_msg

63: 0000000000400ba8 0 FUNC GLOBAL HIDDEN 14 _fini

64: 0000000000400a10 160 FUNC GLOBAL DEFAULT 13 setmsg

65: 0000000000000000 188 FUNC GLOBAL DEFAULT UND printf@@FBSD_1.0

66: 0000000000000000 71 FUNC GLOBAL DEFAULT UND atexit@@FBSD_1.0

67: 0000000000000000 6 FUNC GLOBAL DEFAULT UND _init_tls@@FBSD_1.0

68: 0000000000000000 239 FUNC GLOBAL DEFAULT UND fprintf@@FBSD_1.0

69: 0000000000000000 617 FUNC GLOBAL DEFAULT UND getopt@@FBSD_1.0

70: 0000000000400b10 90 FUNC GLOBAL DEFAULT 13 indent

71: 0000000000600fa0 8 OBJECT GLOBAL HIDDEN 23 __dso_handle

72: 0000000000601fe0 8 OBJECT GLOBAL DEFAULT 24 _version_msg

73: 0000000000400af0 31 FUNC GLOBAL DEFAULT 13 version

74: 0000000000000000 3171 FUNC GLOBAL DEFAULT UND calloc@@FBSD_1.0

75: 0000000000000000 76 FUNC GLOBAL DEFAULT UND strncpy@@FBSD_1.0

76: 0000000000600fb1 0 NOTYPE GLOBAL DEFAULT ABS __bss_start

77: 0000000000601fd0 8 OBJECT GLOBAL DEFAULT 24 environ

78: 0000000000601fe8 0 NOTYPE GLOBAL DEFAULT ABS _end

79: 0000000000400ab0 52 FUNC GLOBAL DEFAULT 13 usage

80: 0000000000000000 54 FUNC GLOBAL DEFAULT UND exit@@FBSD_1.0

81: 0000000000600fb1 0 NOTYPE GLOBAL DEFAULT ABS _edata

82: 0000000000600fc8 8 OBJECT GLOBAL DEFAULT 24 __stderrp@@FBSD_1.0

83: 0000000000000000 126 FUNC GLOBAL DEFAULT UND strcmp@@FBSD_1.0

84: 0000000000400940 196 FUNC GLOBAL DEFAULT 13 main

85: 0000000000400628 0 FUNC GLOBAL HIDDEN 11 _init

Histogram for bucket list length (total of 3 buckets):

Length Number % of total Coverage

0 0 ( 0.0%) 0.0%

1 0 ( 0.0%) 0.0%

2 1 ( 33.3%) 13.3%

3 0 ( 0.0%) 13.3%

4 0 ( 0.0%) 13.3%

5 0 ( 0.0%) 13.3%

6 1 ( 33.3%) 53.3%

7 1 ( 33.3%) 100.0%

Histogram for bucket list length (total of 3 buckets):

Length Number % of total Coverage

0 0 ( 0.0%) 0.0%

1 1 ( 33.3%) 25.0%

2 2 ( 66.7%) 125.0%

Version symbol section (.gnu.version):

000: 0 *local* 0 *local* 2 FBSD_1.0 2 FBSD_1.0

004: 2 FBSD_1.0 2 FBSD_1.0 2 FBSD_1.0 2 FBSD_1.0

008: 2 FBSD_1.0 2 FBSD_1.0 2 FBSD_1.0 1 *global*

00c: 1 *global* 1 *global* 2 FBSD_1.0 2 FBSD_1.0

Version needed section (.gnu.version_r):

0x0000 vn_version: 1 vn_file: libc.so.7 vn_cnt: 1

0x0010 vna_name: FBSD_1.0 vna_flags: 0 vna_other: 2

%

Vol.47

投稿日：2017.03.24　｜　カテゴリー：　バックナンバー

●UNIXコマンド～シェルスクリプトを「データ処理ツール」として使うためのイロハを学べる、新連載「バーティカルバーの極意」
　普段は文系の大学生にデータ処理を教えている中央大学・飯尾先生が、データ処理の理論から実習まで、余すところなく伝授します。

●通信の仕組みをざっくり理解できる新連載、「もし、インターネットの１秒が１年だったら」。
　引き伸ばされた時間軸の上で、擬人化されたクライアントとサーバーによるインターネットの通信を小説仕立てでお届けします。
　
●久しぶりの連載再開となる「スズラボ通信」と「UNIXネイティブの電子工作塾」。
　「スズラボ」ではIFTTTを利用したIoTを、「電子工作塾」ではシェルスクリプトを使った基盤づくりからの電光掲示板製作をとりあげます。

●街のポイ捨てゴミを拾いたい何十万人もの人々をサポートしてきた、ゴミ拾いSNSアプリ「ピリカ」。
　今回の「技術者哲学」では、アプリ開発まで物語や、裏にある哲学、そして環境問題をビジネスにする企業のあり方について、株式会社ピリカにお話を伺ってきました。

Vol.46

投稿日：2017.01.30　｜　カテゴリー：　バックナンバー

●シェルスクリプトマガジンは次号から、Webと紙のハイブリッド・メディアへとリニューアルします！リニューアル直前企画では、人気の高かった記事を通じてこれまでのシェルマガの足跡を振り返ります。

●さくらインターネットやDMM.makeなどを立ち上げてきた小笠原治さん、HTML5 Experts.jp編集長の白石俊平さん、コワーキングスペース茅場町Co-Edoオーナーの田中弘治さんをゲストにお迎えした”TechLION vol.28″。2017年そしてその先に来るIT/ネットの未来を熱く語ったトークイベントの模様を、ダイジェストでお届けします。

●機械学習を使って、「一握の砂」に収録された”未完の短歌”「大跨に椽側を歩けば」の補完を目指した連載「機械学習で石川啄木を蘇らせる」もいよいよ最終回！”啄木らしさ分類器”によって、遂に石川啄木が蘇ります。

Vol.45

投稿日：2016.12.27　｜　カテゴリー：　バックナンバー

2016年8月のWindows 10 Anniversary Updateで、ついにWindowsでもbashが動くようになりました。
嬉しいニュースだった一方で、これまでのMicrosoftのイメージからすると驚きだったことも事実。
というわけで、IT界の巨人Microsoftの変化について、MSの「それプロ」もといIT Professionalのエバンジェリスト、山本美穂さんと一緒に考えてみませんか？
新連載の初回となる今回は、話題のWindows Subsystem for Linuxに実装された技術を、これまでのWindowsとUNIX系システムの関係の歴史を交えて解説します。
「Bash on Windowsを使ってみた」を超えて、実装された技術の「そもそもの話」を知りたい硬派な読者さんに、愛をこめて贈ります！
　
その他にも、ITエンジニアは顧客に「どんな喜びを与えるべきか」、それを考えるためのストラテジーを紹介する「マーケティング入門」や、
一見誰でも出来そうな「一時ファイルの生成」を、本質から捉え直す「POSIX原理主義」シーズン１最終回などなど
強く、しなやかなITエンジニアを今月も全力で応援するシェルスクリプトマガジン vol.45。

Vol.44

投稿日：2016.11.29　｜　カテゴリー：　バックナンバー

データ分析の分野で、いま最もアツいツール・Python。
特集記事では、プログラミング言語としてだけでなく、MathematicaやMatlabのような科学技術計算ツールとしてPythonを利用する方法や便利なライブラリについて、東京農工大学の石井先生がご紹介します！

名前はよく聞くし、理念も理想的……なのだけれども、いざ実践するにはハードルが高いアジャイルソフトウェア開発。
新連載「アジャイル開発 Let’ Practice!」では、個々のプラクティスを紐解き、開発に成功するチームのあり方に実践的な視点から切り込んでいきます。
連載初回は、日本にアジャイルが普及しない、そもそもの理由を分析します。

その他にも、北の地に生きるITエンジニア達が、自分の土地での仕事そしてコミュニティにあり方を熱く語ったトークライブイベント「TechLION vol.27 みちのくのテクノロジー・エンジニアリング事情の今」の誌上レポートや、
システム管理者がまず抑えるべきネットワークの知識を、著者の失敗談を基に懇切丁寧に解説する「中小企業手作りIT化奮戦記」などなど、
強くしなやかなITエンジニアを今月も全力で応援するシェルスクリプトマガジン vol.44。
お見逃しなく！！

Vol.43

投稿日：2016.10.24　｜　カテゴリー：　バックナンバー

Rapsberry Pi meets Shell script !
金沢大学の大野浩之先生が提唱する「ものグラミング」では、なんとラズパイまでシェルスクリプトで動かします。
シェルスクリプトがものづくりにどう貢献していくのか興味津々の編集部は、早速お話を伺ってきました。

先月号では特集「自分のシェルを造る」が反響を呼んだ連載「漢のUNIX」。
前回はFreeBSDのシェルの書き換えをしましたが、今回はそのLinux編。
「シェルそのものの構造」に親しんでいきたいエンジニア必見です。

その他にも、現在進行形でIT業界を生きる女性を中心にしたLTイベント”TechGIRL”のレポートや、
IoTがもっと身近になる未来を目指す青年社長のインタビューなど、
今月も内容盛りだくさんのシェルマガvol.43。
お見逃しなく！

Vol.42

投稿日：2016.09.26　｜　カテゴリー：　バックナンバー

シェルの役に立つ使い方について、これまでも様々な角度から提案をしてきたシェルスクリプトマガジンですが、今回の特集ではいよいよ「シェルそのものを自分の欲しいように作り替える」方法に迫ります。
手始めに、FreeBSDのシェルを自分好みに書き換えてみましょう！
連載「円滑コミュニケーションが世界を救う！」では、チームで仕事をするときの「あるある」、自分の指示が相手には見当違いに伝わってしまうケースを防ぐための最終手段「IPO」をご紹介します。

Vol.41

投稿日：2016.08.25　｜　カテゴリー：　バックナンバー

UNIXベースで開発されたMacとして2001年に発売されたOS X。今月号の特集では、Macに眠るUNIXを目覚めさせる第一歩として、パッケージ管理システムであるMacPortsの基本的な使い方を解説します。
そして、遂に今年、Windows10でBashが使えるようになりました！シェルスクリプトマガジンとしてはこのニュースを見逃すわけにはいきません。連載「POSIX原理主義」では、Bash on Windows上のシェルスクリプトによって拡がるWindowsの可能性について検討していきます。
ぜひお見逃しなく。

フルスクラッチから1日でCMSを作る　シェルスクリプト高速開発手法入門

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

本書ではUNIXのシェルスクリプトを用いて、Webサイトを作成して、Twitterにツイートしたりログを集計したり、WordPressからデータを抜き取ったりするなど、実用的なアプリケーションを短時間に開発する手法を解説します。
PCやOS、サーバ等の設定や、Open usp Tukubaiコマンドのインストール方法なども詳しく書かれ、非常に実践的な内容です。
※本書は、2014年7月にアスキー・メディアワークス（現KADOKAWA）より出版されたものです。

4.1 Apacheを設定してCGIシェルスクリプトを動かす
4.2 記事の表示
4.3 ログを記録する
4.4 記事の選択機能をつける
4.5 パスを書き換える
4.6 前後の日記記事に移動できるようにする
4.7 記事の属性を埋め込む
4.8 体裁を整える
4.9 ナビゲーション機能を強化する
4.10 プレビュー機能をつける
4.11 処理時間を計測してみましょう
4.12 補足

第5章ウェブサイトを外部とつなぐ

5.1 タイトルに記事名を入れる
5.2 RSSを作成する
5.3 ソーシャルボタン・広告を表示する
5.4 シェルスクリプトでTwitterに記事のタイトルとURLをツイート

第6章シェル芸でログの集計

6.1 logrotateの設定
6.2 ログを眺める
6.3 日付の変換
6.4 主要な指標を端末で取得
6.5 もっと凝った出力を作る
6.6 補足

第7章おわりに

付録A WordPress（MySQL）からデータを抜き取る

A.1 mysqlコマンドを使う
A.2 SQLではなくてシェルスクリプトでデータを整理
A.3 画像等を記事ディレクトリに放り込む
A.4 htmlファイルのリンクを修正
A.5 カテゴリを抜き出す
A.6 記事ディレクトリに時刻を入れる
A.7 アップロードと確認

プログラミング言語AWK

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

1989年に初めての邦訳が刊行され、その後何回か絶版の憂き目にあいつつも、不死鳥のごとく蘇り、様々な出版社から復刊を果たしている「プログラミング言語AWK」。この度、awkファンの熱い声に支えられ、USP出版から3回目の復刊を果たします。
テキスト処理と演算に絶大な効果を発揮する「awk」は、開発当時の1970年代から、開発者たちによって「30年後に真価がわかるだろう」と予言されていたといいます。
本書は、テキスト処理スクリプト言語の原点「awk」開発者たちによる、多種多様な例題を収録した読み応えたっぷりの解説書です。この本でしか味わえない、原著の奥深さを味わってください。

伽藍とバザール

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

Linux、オープンソース（OSS）関係者必読の書。OSSソフトウェア開発の実態と、そのコミュニティ、そしてハッカーたちの価値観を、オープンソースのエバンジェリスト、ESRことエリック・スティーブン・レイモンドが可視化する。
なぜハッカーたちは無償でソフトウェア開発に携わるのか? Linuxが成功した理由とは? OSSの所有権とは? OSSとコミュニティを理解するために避けて通ることができない一冊です。
※本書は1999年に出版されたものを、USP出版より再出版したものです。

　1 伽藍方式とバザール方式
　2 なにはともあれメールは通せ
　3 ユーザは大事な財産
　4 はやめのリリース、しょっちゅうリリース
　5 バラがバラでないのは？
　6 Popclient からFetchmail へ
　7 Fetchmail の成長
　8 続・Fetchmail の教訓
　9 バザール方式の前提条件とは
　10 フリーソフト/オープンソースの社会的な意義
　11 マネジメントとマジノ線について
　12 謝辞
　13 もっと考えたい人のための文献リスト
　14 エピローグ：Netscape もバザール方式を受け入れる
　15 原注
　

第2章ノウアスフィアの開墾

　1 そもそもの矛盾
　2 ハッカーイデオロギーのさまざま
　3 放縦な理論と純潔な実践
　4 所有権とオープンソース
　5 ロックと土地所有権
　6 贈与経済としてのハッカー文化
　7 ハッキングのよろこび
　8 評判のさまざまな相貌
　9 所有権と評判によるインセンティブ
　10 エゴの問題
　11 謙虚さの美徳
　12 評判ゲームモデルが持つ分野全体としての意義
　13 どれほどすばらしい贈り物？
　14 ノウアスフィア的所有権となわばりの動物行動学
　15 紛争の原因
　16 プロジェクト構造と所有権
　17 紛争とその解決
　18 文化への順応過程とアカデミズムとの関連
　19 結論：慣習から慣習法へ
　20 これからの研究の課題
　21 原注、書誌
　22 謝辞
　

第3章魔法のおなべ

　1 魔法と区別がつかない
　2 贈与するおたくたちを超えて
　3 製造業的な誤解
　4 「情報はフリーになりたがっている」というのはウソだ。
　5 逆転した共有地
　6 ソース非公開にする理由
　7 利用価値による開発費用手当
　8 販売価値の困るところ
　9 間接販売価値モデル
　10 オープンにするとき、クローズドにするとき
　11 オープンソースのビジネス生態学
　12 成功に対処する
　13 オープンR&D とパトロン制の再発明
　14 目標到達までの道のり
　15 結論：革命のあとの人生
　16 謝辞
　17 補遺：なぜドライバをクローズドにするとベンダーは損をするのか
　

第4章エリック・Ｓ・レイモンド大いに語る

第5章ノウアスフィアはぼくたちの開墾を待っている

第6章訳者あとがき

覚えて便利いますぐ使える! シェルスクリプトシンプルレシピ54

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

シェルスクリプトを習得するにあたって、越えなければならないいくつかの壁があります。
本書は、変数、数値、文字列、ファイル操作…様々な局面において壁にぶつかったとき、それを乗り越えるための本質的な回答を54本収録したレシピ集です。
本書には、初心者を卒業し、シェルスクリプトの匠を目指す人であれば学んでおきたいノウハウが、薄い本の中にこれでもか！と詰まっています。
収録されている54のレシピを習得すれば、シェルスクリプトの世界がそれを足がかりに広がっていくことを感じられるはずです。
シェルの深みを知り、より高みを目指したいあなたにこそ、手にとっていただきたい一冊です。

レシピ1-1　C言語のようなforループ
レシピ1-2　C言語のようなforループ―その２―（ムダ知識編）
レシピ1-3　誤作動しない正しい文字列評価のしかた
レシピ1-4　対話的な入力受けつけ
レシピ1-5　標準エラー出力を使うプログラムの扱い
レシピ1-6　標準エラー出力を自ら使う

第2章　変数操作

レシピ2-1　変数名の記述ミスへの対策
レシピ2-2　変数を未定義化する
レシピ2-3　変数が未定義かどうか判別する
レシピ2-4　子プロセスへの変数渡し
レシピ2-5　親プロセスへの変数渡し
レシピ2-6　配列変数を使う
レシピ2-7　連想配列を使う

第3章　数値操作

レシピ3-1　Basic並の高度な計算をする
レシピ3-2　四捨五入する
レシピ3-3　乱数を得る
レシピ3-4　10進数⇔16進数および10進数⇔8進数変換
レシピ3-5　10進数⇔2進数変換
レシピ3-6　数字として扱える文字列かどうかの判定

第4章　文字列操作

レシピ4-1　文字列の長さを知る（len）
レシピ4-2　文字列の一部を抽出する（left$,mid$,right$）
レシピ4-3　大文字⇔小文字変換
レシピ4-4　ASCIIコード⇔キャラクタ変換（asc,chr$）
レシピ4-5　正規表現でマッチした文字列の取り出し
レシピ4-6　特定文字のトリミング
レシピ4-7　パス名中のファイル名・ディレクトリ名を抽出する
レシピ4-8　ランダムな文字列の作成

第5章　フィールド・ライン処理

レシピ5-1　コマンド引数を処理する
レシピ5-2　最後からn番目のフィールドを得る
レシピ5-3　特定の業を出力する
レシピ5-4　1行ごとに処理をする―その１―
レシピ5-5　1行ごとに処理をする―その２～４―
レシピ5-6　並べ替え（ソート）をする
レシピ5-7　CSV形式のデータの処理
レシピ5-8　1列ごとに処理をする

第6章　ファイル操作

レシピ6-1　詳細なファイル情報を知る
レシピ6-2　タイムスタンプを変更する
レシピ6-3　指定ディレクトリ以下のファイルの総サイズを知る
レシピ6-4　指定ディレクトリ以下の特定のファイルを操作する
レシピ6-5　安全にテンポラリファイルを作る
レシピ6-6　デッドリンク（無効なシンボリックリンク）を消す
レシピ6-7　外部ファイルのヒアドキュメント

第7章　システム情報収集

レシピ7-1　OSの種類を知る
レシピ7-2　自分のファイルパスを知る
レシピ7-3　自分のプロセスIDを知る
レシピ7-4　現在のプロセス数を知る
レシピ7-5　自ホストのIPアドレスを知る
レシピ7-6　絶対パスを知る
レシピ7-7　多重起動チェック

第8章　デバッグに役立つレシピ

レシピ8-1　実行の様子をトレースする
レシピ8-2　デバッグメッセージを分離する
レシピ8-3　パイプ（標準入出力）の中身を覗き見る
レシピ8-4　パイプ（標準入出力）をゆっくり流す

第9章　シェルスクリプトの応用例

実践ユニケージ開発手法02 シェルスクリプト学習編

投稿日：2016.07.26　｜　カテゴリー：　推薦図書

本書は、独特な方法でシステムを構築するユニケージ開発手法の基本を理解し、習得するための実践教材です。
対象となる読者は、基本的なUNIX/Linux の知識（端末、コマンド、ファイルの概念、パスなど）があること、また、「ユニケージ開発手法01 コマンド学習編」の内容を理解している方です。
ここでは、「コマンド学習編」で学んだコマンドを組み合わせて、データ処理を行うシェルスクリプトの作成に必要なbashの文法や機能について学習し、ユニケージの作法にしたがってシェルスクリプトでプログラミングを行う練習も行います。

第1章　はじめに

1.1 通常のプログラミングとの違い

第2章シェルスクリプト

2.1 シェルスクリプトの書き方と役割
2.2 ちょっとしたルール

第3章ファイル展開（ワイルドカード）

第4章ブレース展開

第5章リダイレクト

5.1 ファイル記述子
5.2 記号

第6章追記・ヒアドキュメント

第7章パイプ（パイプライン）の動作

第8章シェル変数

8.1 定義と代入
8.2 変数の生存期間
8.3 予約シェル変数・特殊なシェル変数
8.4 配列
8.5 コマンド置換

第9章クォートとエスケープ

第10章終了ステータスとパイプステータス

第11章 AND演算子とOR演算子

第12章テストコマンド(test, [)

12.1 テストコマンドの書式
12.2 テストコマンドの機能
12.3 PIPESTATUSとエラー処理

第13章制御構文

13.1 if文
13.2 for文
13.3 while文
13.4 case文
13.5 パイプでつなげたwhile文、for文は要注意！

第14章帳票出力(ITEMRANKING)

14.1 ディレクトリとデータ準備
14.2 データを見る
14.3 出力のイメージ
14.4 シェルスクリプトの記述
14.5 引数の受け入れ
14.6 項目間演算

第15章 POMPAの作成(POMPASAKUSEI）

15.1 想定するアプリケーション
15.2 データ
15.3 URIAGE_TENPO
15.4 URIAGE_HINBETU
15.5 【TRY】

第16章時系列データの帳票(BUMONTREND)

16.1 記述
16.2 解答例

第17章履歴マスタの扱い

17.1 販売履歴(HANBAI_RIREKI)
17.2 実装

Vol.40

投稿日：2016.07.22　｜　カテゴリー：　バックナンバー

今月号の特集では、シェルスクリプトでログを高速処理します。ログというと、Webサーバーのアクセスログ、Syslog、イベントログなど多岐に渡りますが、データ量が膨大だと処理に時間がかかりすぎるという問題があります。それを解決したのが「Tukubai」を用いたユニケージ開発手法です。筆者の実体験をもとに、解析時間が千分の一になった全貌をご紹介します。
巻末資料(6ページ)には、「シェルスクリプトで高速処理! Personal Tukubaiでログを分析しよう! 」「漢のUNIX」「Personal Tukubaiを使ってみた」の3記事で登場した、Tukubaiコマンドの解説集を収録。
ぜひお見逃しなく。

Vol.39

投稿日：2016.06.16　｜　カテゴリー：　バックナンバー

毎月25日発売『シェルスクリプトマガジン』は、日本で唯一のシェルスクリプト総合誌。
最新号 7月号（vol.39）の特集は、「コマンドを作りながら覚えるAWK入門」。日本GNU AWKユーザー会の斉藤氏から、AWKの練習方法を解説していただきます。UNIX系OSに搭載されているコマンド群を、AWKの「一行野郎」で実装していくことで、その習得を目指します。
新連載「Personal Tukubaiを使ってみた前編」では、USP研究所の独自コマンド「mojihamaコマンド」を使ってお手軽メタプログラミングに挑戦。シェルスクリプトで高速処理が可能になる実例を紹介します。
また、5周年を迎えたエンジニアたちのトークライブ「TechLION vol.25」再録版を収録！ IT/Web業界が幸せになるには何が必要なのか、コミュニティ運営・若手育成・キャリア・電子書籍について4人の猛者が登壇しました。残念ながら当日足を運べなかった方は、ぜひお見逃しなく！

Vol.38

投稿日：2016.06.16　｜　カテゴリー：　バックナンバー

今月の特集は、新連載「機械学習で石川啄木を蘇らせる」。
『一握の砂』で有名な石川啄木。彼の作品には「未完の短歌」があるのをご存知でしょうか？たった31音を読み切らずに途中で筆を擱いてしまった末句の生成に、機械学習で挑戦します。著者は東京大学の学生さんです。機械学習の手法だけでなく、本文の端々に現れる石川啄木を愛する言葉にも注目です！
他、新連載「ConoHaでIP電話を使ってみよう！」がスタート！御影けい氏が、IP電話の交換器(IP-PBX)をConoHa上の仮想サーバ (VPS)に構築し、簡単な自動応答システム（IVR）を作れるように解説。また、香川大学の学生さんが執筆する「SLPからお届け！」では、Swift でiOSゲームアプリ開発に挑戦します！

Vol.37

投稿日：2016.05.23　｜　カテゴリー：　バックナンバー

巻頭は、「Angular2でHello world ！」。
JavaScript フレームワークAngular2 を利用してモダンウェブアプリケーションを作成します。前半では開発環境を設定し、後半では「Hello World」的なとても簡単なアプリケーションを作っていきます。「シェルスクリプトマガジン」の読者にはあまり馴染みのないテーマかもしれません。
しかし、アプリケーション開発はシェルスクリプトのみで行うにはどうしても限界があります。むしろ、
違う言語とシェルスクリプトが共存する新たな事例が出るヒントになれば幸いです。
また、特集はUSP研究所より Personal Tukubai について取り上げています。弊所がシステム開発で使っている独自コマンド usp Tukubai と、同等の機能を持つ Personal Tukubai はどんなことができるのか、インターン生が企画部長にインタビュー。また、「ユニケージ開発手法コードレビュー」では、プロトタイプや POC を行う際に本番データを用意できないとき、本番と同等量のダミーデータを作成する方法について解説します。
他、人気連載「漢のUNIX」では、後藤氏がfishのプロンプトをカスタマイズする方法を紹介。

シェルプログラミング実用テクニック

投稿日：2016.04.19　｜　カテゴリー：　推薦図書

Linux/UNIXのコマンドは単独で使うよりも、複数のコマンドを組み合わせてこそ真価を発揮します。テキストデータの検索／置換／並べ替え、ファイルのバックアップや削除、数値や日付の計算など活用範囲は無限大。端末にコマンドを入力してすぐに実行できるのも良いところ。その場かぎりの作業にこそ、シェルプログラミングが使えると便利です。
本書のいくつもの実例を順に見ていけば、コマンドを自在に組み合わせるために必要なシェルの機能と考え方が身につきます。
※本書はSoftwareDesign誌（技術評論社刊）の連載記事「開眼シェルスクリプト」を大幅に加筆修正し、同社から発行されたものです。

第1章　準備運動

1.1　UNIXとは何者なのか?

1.1.1　McIlroyによるパイプの提案
1.1.2　grep，sedの誕生
1.1.3 「ソフトウェアツール」という言葉の誕生
1.1.4　考えられた「もう1つの選択肢」
1.1.5　GancarzのUNIX哲学

1.2　OSや環境について

1.2.1　想定する利用シーン
1.2.2　Ubuntu 14.04 LTS

1.3　基本操作

1.3.1　端末とシェルを開く
1.3.2　シェルにコマンドを入力する
1.3.3　manを使う
1.3.4　ファイルやコマンドの出力を眺める
1.3.5　ディレクトリを理解する
1.3.6　ディレクトリを移動する
1.3.7　ワイルドカードで一度に複数ファイルを指定する
1.3.8　パイプでコマンドをつなぐ
1.3.9　シェルスクリプトを書いて実行する
1.3.10　ファイルを読み書きする
1.3.11　出力を捨てる
1.3.12　日本語と英語を切り替える（ロケール）
1.3.13　パーミッションを理解する
1.3.14　制御構文を使う
1.3.15　その他の文法

1.4　AWKとsed

1.4.1　AWKを使う
1.4.2　sedを使う

1.5　使用するコマンドのインストール

1.5.1　GNU Awkの確認／インストール
1.5.2　Open usp Tukubaiのインストール

1.6　本書におけるPOSIXに対する立場

第2章　不定型な文章や設定ファイルの検索と加工

2.1　テキストの検索

2.1.1　文字列を検索する
2.1.2　複数のファイルから検索する
2.1.3　調査したいファイル一覧を作ってから検索する
2.1.4　ファイル名を検索する
2.1.5　検索対象の前後の行を抽出する
2.1.6　検索語句を含むファイルのリストを作る

2.2　単語や文字の数え上げ

2.2.1　文字数を数える
2.2.2　単語や語句を数える
2.2.3　文字の出現頻度を数える
2.2.4　斉藤さんの数を数える

2.3　テキストの比較

2.3.1　2つのテキストファイルを比較する
2.3.2　ディレクトリのファイルを比較する
2.3.3　ファイルが同じだったら／違ったら××する

2.4　文章の校正

2.4.1　特定の語句を置き換える
2.4.2　複数のファイルで特定の語句を置き換える
2.4.3　表記揺れや記号の不統一をチェックする
2.4.4　スペルチェックを行う
2.4.5　変なバイナリが混入していないか調査する
2.4.6　長い行を折り返す
2.4.7　不必要なマークアップ／コメント／スペースを消す
2.4.8　マークアップ／スペースをあとから差し込む
2.4.9　特定のフォーマットにデータを流し込む

2.5　その他テキストを扱うときの小技

2.5.1　Vimでコマンドを使う
2.5.2　カタカナや数字の全角／半角を相互変換する

第3章　ファイルの取り扱いとシステムの操作

3.1　バックアップ／同期

3.1.1　ディレクトリをバックアップする
3.1.2　2つのディレクトリを同期する
3.1.3　最新ファイルを古いファイルで上書きしないように同期を行う

3.2　圧縮されたファイルの操作

3.2.1　gzip圧縮されたファイルを圧縮されたまま使う
3.2.2　アーカイブの中から特定のファイルだけを抜き出す

3.3　ファイルの整理

3.3.1　重複したファイルを消す
3.3.2　ディレクトリの古いファイルを整理する
3.3.3　複数のテキストファイルを圧縮しないで1つにまとめる

3.4　ファイルの暗号化

3.4.1　ファイルを公開鍵暗号方式で暗号化する
3.4.2　パスワード方式の暗号化を行う／破る

3.5　自動化

3.5.1　プログラムを定期的に自動実行する
3.5.2　ファイルが変更されたらアクションを起こす
3.5.3　service(1)で自作のプログラムを起動／停止する
3.5.4　OS起動時に自作のプログラムを走らせる

3.6　ログからの情報抽出と活用

3.6.1　検索する
3.6.2　日付を正規化する
3.6.3　Apacheのログ（不定長データ）をスペース区切りに整形する
3.6.4　データをキーバリュー形式に整形する

3.7　プロセスに関する注意点

3.7.1　多数のプロセスから1つのファイルにレコードを書き込む
3.7.2　制御構文が動作するプロセスについて

第4章　ファイルシステムをデータベースにする

4.1　データの置き方

4.1.1　RDBで言うところのテーブルを作る
4.1.2　テキスト以外のデータの置き方を決める
4.1.3　データに対するテストを書く

4.2　データの連結や集計

4.2.1　マスタとトランザクションを結合する
4.2.2　集計する

4.3　データの更新

4.3.1　レコードを手動／半自動で追加する
4.3.2　レコードを自動で追加する（排他処理を行う）
4.3.3　レコードを変更する

4.4　データの印刷／アウトプット

4.4.1　住所録を印刷用にフォーマットする
4.4.2　バーコード／QRコードを印刷する

4.5　補足

4.5.1　ダミーデータを作る
4.5.2　別のデータの持ち方を検討する

第5章　大きなデータを処理する

5.1　マシンスペックの調査

5.1.1　CPUの周波数や個数などを調査する
5.1.2　DRAMの量と読み書きの速度を調査する
5.1.3　HDDの容量と読み込み速度，その他の情報を調査する

5.2　マルチスレッド／マルチプロセス

5.2.1　sortを使いこなす
5.2.2　パイプで並列計算する
5.2.3　バックグラウンド処理で並列化する
5.2.4　xargsで並列化する

5.3　計算の効率化

5.3.1　GNU grepに仕事をさせる
5.3.2　ページキャッシュを有効利用する
5.3.3　並列処理時のページキャッシュの効果
5.3.4　圧縮してキャッシュにのせて処理する（場合によっては有効）
5.3.5　ファイルを分割しておく

第6章　画像，表計算ソフト，その他特殊なデータを扱う

6.1　バイナリの読み書き

6.1.1　バイナリを閲覧する
6.1.2　バイナリを編集する

6.2　画像処理

6.2.1　画像のデータ形式／サイズ／向きを変える
6.2.2　アニメーションGIFを作る
6.2.3　画像をテキストにして正規化する
6.2.4　画像の一部分を切り出す
6.2.5　ネガを作る
6.2.6　画像を合成する
6.2.7　画像の情報を調査する
6.2.8　SVG画像を作る

6.3　フォーマットの変換

6.3.1　CSVをパースして読み込む
6.3.2　CSVをパースしないで読み込む
6.3.3　固定長のデータをスペース区切り（SSV）にする
6.3.4　PDFファイルを端末で読む

6.4　オフィススイートとの連携

6.4.1　Excelファイルからデータを抽出する
6.4.2　Word，PowerPointのデータを抽出する
6.4.3　Excel，Word，PowerPointファイルの中を検索する
6.4.4　少しずつ違うWordファイルを大量生成する

第7章　CLI的インターネットとの付き合い方

7.1　Webサイトの活用

7.1.1　Web APIを使う
7.1.2　Webサイトを丸ごとダウンロードする

7.2　HTML文書の加工に特定の要素を抜き出す

7.2.2　マークアップの重複がないかを確認する
7.2.3　リンク切れを見つける

7.3　サーバをまたいだ処理

7.3.1　ポートを操作する
7.3.2　鍵認証でsshを使う
7.3.3　ログインせずにリモートのコンピュータを操作する
7.3.4　リモートの計算リソースを利用する
7.3.5　sshを使わないでデータをやりとりする

7.4　電子メールの活用

7.4.1　電子メールの原本を読む
7.4.2　ファイル名から受信処理時間を抽出する
7.4.3　添付ファイルを抽出する

7.5　IPアドレスの取り扱い

7.5.1　IPv6のIPアドレスを処理する
7.5.2　IPv4のIPアドレスをソートする

第8章　計算

8.1　基本的な計算

8.1.1　端末を電卓代わりにする
8.1.2　文章の中から数字を抽出して計算する
8.1.3　「桁落ち」「丸め誤差」を気にしながら計算する
8.1.4　n進数とm進数を変換する

8.2　日付の計算

8.2.1　各月の最終日を求める
8.2.2　2つの日付の差を計算する
8.2.3　その年の第何週かを求める
8.2.4　n営業日後の日付を求める
8.2.5　西暦／和暦を変換する

8.3　科学計算

8.3.1　一様乱数を作る
8.3.2　ガウス分布に従う乱数を作る
8.3.3　数値積分を行う
8.3.4　数列を作る

8.4　実験データの処理

8.4.1　データのばらつきを評価する
8.4.2　最小二乗法でデータに直線を当てはめる
8.4.3　相関係数を求める
8.4.4　グラフを描く

付録

A.1　Upstart
A.2　Ubuntuの設定メモ
A.2.1　日本語パッケージをインストールする
A.2.2　wkhtmltopdfをインストールする
A.3　cgroupsの設定
A.4　いたずら
A.4.1　見かけよりも大きなファイルを作る（疑似デバイスを使う）
A.4.2　他人の端末に字を送り込む（デバイスファイルを使う）
A.4.3　どうでもよいファイルをダウンロードさせる（拡張子について）
A.4.4　きわどい名前のファイルやディレクトリを作る（ミスでできたファイルの二次被害防止）
A.4.5　ハト語に変換する（シグナル処理）

すべてのUNIXで20年動くプログラムはどう書くべきか

投稿日：2016.04.19　｜　カテゴリー：　推薦図書

プログラミング上よくある課題を、極力POSIXの範囲で、かつUNIX哲学的アプローチで解決したシェルスクリプトを多数例示し、高い可搬性・可用性を実現しつつ実用的なプログラムを書く方法を紹介しています。

下記のような内容を満載しています。

環境に依存せず、長持ちするプログラムの書き方（環境依存を引き起こす落とし穴）
環境に依存しない正規表現の書き方
シェルスクリプトで処理を行うための、たくさんの小技（レシピ）
シェルスクリプトは意外に速くて機能も豊富という事実
プログラム制作で参考になるUNIX哲学

※本書は同人誌として発行されたものを、再編集してC&R研究所より出版されたものです。

序章　POSIX原理主義：その本質と可能性、実践方法を理解する

第1章　どの環境でも使えるシェルスクリプトを書く …… 文法・変数編

1-1　環境変数などの初期化
1-2　シェル変数
1-3　スコープ
1-4　正規表現
1-5　文字クラス
1-6　乱数
1-7　ロケール
1-8　$(( 式 ))
1-9　case文/if 文
1-10　local修飾子
1-11　PIPESTATUS変数

第2章　どの環境でも使えるシェルスクリプトを書く …… 正規表現編

2-1　知っておくべきメタ文字セットは３つ
2-2　BRE（基本正規表現）メタ文字セット
2-3　ERE（拡張正規表現）メタ文字セット
2-4　AWKで使えるメタ文字セット

第3章　どの環境でも使えるシェルスクリプトを書く …… コマンド編

3-1　「[」コマンド
3-2　AWKコマンド
3-3　dateコマンド
3-4　duコマンド
3-5　echoコマンド
3-6　execコマンド
3-7　foldコマンド
3-8　grepコマンド
3-9　headコマンド
3-10　ifconfigコマンド
3-11　killコマンド
3-12　mktempコマンド
3-13　nlコマンド
3-14　printfコマンド
3-15　psコマンド
3-16　readlinkコマンド
3-17　sedコマンド
3-18　sortコマンド
3-19　tacコマンド／tailコマンド+ -rオプションによる逆順出力
3-20　test([)コマンド
3-21　trコマンド
3-22　trapコマンド
3-23　whichコマンド
3-24　xargsコマンド
3-25　zcatコマンド

第4章　Hors d’oeuvre：ちょっとうれしいレシピ

4-1　sedによる改行文字への置換を、キレイに書く
4-2　grepに対するfgrepのような素直なsed
4-3　mkfifoコマンドの活用
4-4　一時ファイルを作らずファイルを更新する
4-5　テキストデータの最後の行を消す
4-6　改行なしの終端テキストを扱う
4-7　IPアドレスを調べる（IPv6も）
4-8　YYYYMMDDhhmmssを年月日時分秒に簡単分離する
4-9　祝日を取得する
4-10　ブラックリスト入りした100件を１万件の名簿から除去する

第5章　POSIX原理主義テクニック

5-1　PIPESTATUSさようなら
5-2　Apacheのcombined形式ログを扱いやすくする
5-3　シェルスクリプトで時間計算を一人前にこなす
5-4　findコマンドで秒単位にタイムスタンプ比較する
5-5　CSVファイルを読み込む
5-6　JSONファイルを読み込む
5-7　XML、HTMLファイルを読み込む
5-8　全角・半角文字の相互変換
5-9　ひらがな・カタカナの相互変換
5-10　バイナリデータを扱う
5-11　ロック（排他・共有）とセマフォ
5-12　デバッグってどうやってるの？

第6章　POSIX原理主義テクニック …… Web編

6-1　URLデコードする
6-2　URLエンコードする
6-3　Base64エンコード・デコードする
6-4　CGI変数の取得（GETメソッド編）
6-5　CGI変数の取得（POSTメソッド編）
6-6　Webブラウザーからのファイルアップロード
6-7　Ajaxで画面更新したい
6-8　シェルスクリプトでメール送信
6-9　メールマガジンを送る
6-10　HTMLテーブルを簡単キレイに生成する
6-11　シェルスクリプトおばさんの手づくりCookie(読み取り編)
6-12　シェルスクリプトおばさんの手づくりCookie(書き込み編)
6-13　シェルスクリプトによるHTTPセッション管理

第7章　知らないとハマるさまざまな落とし穴

7-1　名前付きパイプからリダイレクトするときの落とし穴
7-2　全角文字に対する正規表現の扱い
7-3　sortコマンドの基本と応用と落とし穴
7-4　sedのNコマンドの動きが何かおかしい
7-5　標準入力以外からAWKに正しく文字列を渡す
7-6　AWKの連想配列が読み込むだけで変わる落とし穴
7-7　whlie readで文字列が正しく渡せない
7-8　あなたはいくつ問題点を見つけられるか？

付録　レシピを駆使した調理例

郵便番号から住所欄を満たすアレをシェルスクリプトで

実践ユニケージ開発手法01 コマンド学習編

投稿日：2016.04.19　｜　カテゴリー：　推薦図書

本書は、独特な方法でシステムを構築するユニケージ開発手法の基本を理解し、習得するための実践教材です。

対象となる読者は、基本的なUNIX/Linux の知識（端末、コマンド、ファイルの概念、パス、標準入出力、リダイレクションなど）がある方です。

ここでは、ユニケージ開発手法において使用頻度の高いコマンドの使い方、とくに、高速なテキスト検索ができるgrep コマンド、テキスト置換ができるsed コマンド、高度なテキスト処理ができるawk コマンドをはじめとした基本的なUNIX コマンド、usp Tukubai コマンド（ユニケージコマンド）について詳しく解説します。豊富な練習問題で効果的にコマンド操作を体得できます。

第1章はじめに

1.1 コマンドの機能と役割
1.2 凡例

第2章 AWK

2.1 AWKとは何か
2.2 手を動かす
2.3 フィールド・レコード／パターン・アクション
2.4 レコードの選択
2.5 文字列の出力
2.6 演算
2.7 三項演算子
2.8 変数
2.9 BEGINパターン、ENDパターン
2.10 便利な関数
2.11 AWKの制御文

第3章 sort, msort*, uniq

3.1 sort
3.2 msort
3.3 uniq

第4章 head, tail, ctail, gyo, retu

4.1 head・tail
4.2 ctail
4.3 gyo
4.4 retu

第5章 self, delf

5.1 フィールド形式とキー
5.2 selfによるフィールドの並び替え
5.3 delfによる

第6章 sm2, sm4, sm5*

6.1 sm2
6.2 sm4
6.3 sm5

第7章 ysum, kasan, ratio*

7.1 ysum
7.2 kasan
7.3 ratio

第8章 join0, join1, join2, loopj

8.1 マスタとトランザクション
8.2 join0
8.3 join1
8.4 join2
8.5 loopj

第9章 getfirst, getlast, up3*

9.1 getfirst, getlast
9.2 up3

第10章 tarr, yarr

10.1 基本的な使い方
10.2 応用

第11章 count, juni

11.1 count
11.2 juni

第12章 map, tateyoko

12.1 フィールド形式ファイルのxy展開
12.2 より複雑な展開

第13章 marume, divsen, comma, keta

13.1 marume
13.2 divsen
13.3 comma
13.4 keta

第14章 grepと正規表現

14.1 grep
14.2 正規表現

第15章 tr, sed, calsed, fsed

15.1 tr
15.2 sed
15.3 calsed
15.4 fsed

第16章 han, zen

第17章 mojihame*

第18章 keycut*

第19章その他コマンド

19.1 mdate
19.2 dayslash
19.3 lcalc
19.4 nkf, iconv
19.5 tagシリーズ

Vol.36

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

毎月25日発売『シェルスクリプトマガジン』は、日本で唯一のシェルスクリプト総合誌。
最新号 2016 年４月号（vol.36）の特集は、「Mac OS XでUNIXを使い倒す！」。
Mac OS はバージョン10になってDarwinというUNIXがベースになったのをご存知ですか？
Mac OS Xを使っているけど、UNIXの部分をあまり使いこなせていない、UNIX自体よく知らないでMac OS Xを使っている。そんなMacユーザーの方へ、新しい発見がありますように！
その他、熊野氏の「未来に活きる!現場で使える!データモデリング」ではイベントの流れから業務を読み解くポイントを解説！すずきひろのぶ氏の「スズラボ通信」では、クラウド体温計を使ってIoT的なものづくりをします！
どうぞ、お見逃しなく!

Vol.35

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

毎月25日発売『シェルスクリプトマガジン』は、日本で唯一のシェルスクリプト総合誌。
最新号 2016 March（vol.35）の特集は、「シェルスクリプトでTwitterを制す!」。 Twitter上のつぶやきや位置情報などのビックデータから、情報を整理・分析して、ドラマを掘り出してみます！つぶやきからどのような人間の行動予測が読み取れるのでしょうか？昨年12月のコミケツイートから、ジブリ作品「天空の城ラピュタ」のアノつぶやきまで、シェルスクリプトで収集します！
その他、「香川大学　SLPからお届け！」ではReactを使ってネイティブアプリ開発に挑戦！しょっさんの「40歳から始める、オレとRubyプログラミング」では、開発には欠かせないオブジェクト指向をわかりやすく解説！
今月号も、お見逃しなく!

Vol.34

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

毎月25日発売『シェルスクリプトマガジン』は、日本で唯一のシェルスクリプト総合誌。

最新号 2016 February（vol.34）の巻頭は「技術者哲学」です。はやぶさプロジェクトに携わった、UNIX大好き人間の寺薗淳也先生をクローズアップ！ばりばりの技術者が広報として、はやぶさプロジェクトに関わり、先進的なコンピュータ教育で有名な会津大学で、どのようなことを教えているのか。UNIXの出会いから、読者へのメッセージまで、8ページにわたって詳しくお話していただきます。

その他、人気連載、波田野さんの「IPv6新時代を体感しよう！」が最終回！共感覚ってなんだろう？いつも奥の深い「人間とコンピュータの可能性」、現場目線のアツい連載「中小企業手作りIT化奮戦記」も収録！お見逃しなく!

Vol.33

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

『シェルスクリプトマガジン』（毎月25日発売）は日本で唯一のシェルスクリプト総合誌。
最新号 2015 January（vol.33）の巻頭特集は、「10年後の生活を支える最新IT動向」。エンジニアのトークイベントTechLIONの再録拡大版をお届けしています！IT業界の中でも、IoTのエッジに携わっている猛者4名をゲストに、「10年後実現してほしいことは？」「機械学習・AIはどこまで進むのか？」等について白熱したトークが繰り広げられました！
その他、人気連載「めざせシェル女子！」「漢のUNIX」「ユニケージ開発コードレビュー」も収録！お見逃しなく！

Vol.32

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

『シェルスクリプトマガジン』（毎月25日発売）は日本で唯一のシェルスクリプト総合誌。
最新号 2015 December（vol.32）の巻頭特集は、「慶応義塾大学名誉教授小檜山賢二先生に訊く、技術者哲学」。60年続けてきたのは虫を撮影すること。全てコンピュータ任せでなく、必ず人間を介在させると語る小檜山先生。その理由とは？

そして新連載は、「香川大学SLPからお届け！」と題して、香川大学SLPの学生さんたちが毎号技術的な取り組みについて紹介してくれます。今月号は「イマドキ☆サーバ監視のゆくえ」です！

その他、人気連載「スズラボ通信」「40歳から始める、オレとRubyプログラミング」「ユニケージエンジニアの作法(最終回！)」なども収録！

Vol.31

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 November（vol.31）の巻頭特集は、とがったエンジニアのイベント「TechLION再録拡大版」をお届け！
今回は、関西を舞台に活躍する4名の猛者たちが登壇。優秀なエンジニアを輩出する京大マイコンクラブの逸話から、噂の社員総出ガチインターン裏話、『まにフェス』発起人からイベント開催のコツまでお聞きします！そして、ついに始まったマイナンバー、本当に怖いのは何なのか、個人情報と絡めて伝授！エンジニアに必要なこととは……!?ぜひお見逃しなく！！

人気連載「漢のUNIX」では、ハイスピードなls(1)コマンドをつくっちゃいます！
さあ、コマンドを極めるその先へ……

Vol.30

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 October（vol.30）の巻頭新連載は「POSIX原理主義の逆襲」！！
連載一回目は、「東京五輪まで動くプログラム、書けますか？」バージョンアップやサポート打ち切りのたびに涙をのんでいた私たち…10年、20年もの間、動き続けると期待が持てるものとは？実は書き捨てられてきたあの言語の中にあった！
他にも30回目の大台に突入した大人気連載「人間とコンピュータの可能性」。「ITエンジニアのためのマーケティング入門」、漫画「めざせシェル女子！」なども収録！

Vol.29

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 September（vol.29）の巻頭新連載は「40歳から始める、オレとRubyプログラミング」！！
連載一回目は「Infrastructure as Code」という文化の紹介、インフラ管理のコード化の利点や、今回どうしてRubyを採用したのかについての説明から、実際にRubyを使うための環境の準備までを丁寧に解説。
“時代の流れにしたがって生きるのは、将来を担うエンジニアには必要不可欠です。”
他にも大人気連載「スズラボ通信」や「ユニケージ開発手法コードレビュー」「めざせシェル女子！」なども収録！

Vol.28

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 August（vol.28）はTechLION vol.21の再録記事を拡大版で収録。テコラス株式会社の伊勢幸一さんの語る、次世代データセンターのあり方とは？そして運用エンジニアをなくしていくために設立された日本MSP協会とは？第二部、第三部ではゲームをとりまくインフラ技術について、熱いトークが繰り広げられました！
白羽さんの「縁の木、育てよう」では前回に引き続きCMSコミュニケーションズの寺田さんのお話。コミュニティ活動を中心にお話を伺いました。そんな寺田さんがPlone Anbassadorとして携わっているCMS「Plone」について、アジア初開催のイベント「Plone Symposium Tokyo 2015」で聞いてきたお話も同時掲載しています。
他にも大人気連載「めざせシェル女子！」や「人間とコンピュータの可能性」「IPv6新時代を体感しよう！」なども収録！

Vol.27

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 July（vol.27）は「セキュリティ」に注目。話題のセキュコミュ勉強会CTF for GIRLSに編集部が潜入してきました！そしてShellShockとVENOMについて、スズラボ通信好評連載中のすずきひろのぶさんが解説！大事なのは脆弱性の「名前」ではなくて「評価値」。
よしおかさんのIT散歩日記は今回海を越えてアメリカへ！サンフランシスコで行われたMicrosoft社のカンファレンス「Build 2015」のお話です。
ITエンジニアのためのマーケティング入門、今回は「マーケティングって、どうやって始めるの？」というテーマ。確かにわからないかも･･･おか爺がたのしく解説してくれます。
他にも好評連載「漢のUNIX」や「縁の木、育てよう」「姐のBENTO」「Tech数独」など見所満載です！

Vol.26

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 June（vol.26）特集は「中小企業手作りIT化奮戦記　C言語のススメ」
好評連載中の菅さんの連載、「中小企業手作りIT化奮戦記」が巻頭に登場！C言語を触ったことが無い人向けに、システム管理をする上で持っておいた方がよい知識として、C言語の概略を解説していただきます。
3月24日に開催されたTechLION vol.20 の再録記事も掲載！櫻庭祐一さん、堂前清隆さん、松本直人さんの3名をお招きして、20年のITの歴史を熱く語り合っていただきました。
友の会会長上田さんの「Haskellでやってはいかんのか？」では前回から作成しているHaskell版mojihameコマンドを完成させます。
他にも好評連載「IPv6新時代を体感しよう！」や「ユニケージ開発手法コードレビュー」「円滑コミュニケーションが世界を救う！」など見所満載です！

Vol.25

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

最新号 2015 May（vol.25）特集は「シェルのプロが語る、make ～電車で剛！makefileを実行してみよう！～」
2月末に行われたOSCでのセミナーの再録です！二人のシェルのプロがmakeで成せる技の魅力を語ります。
そしてEjectコマンドユーザー会のあっきぃさんの「電子工作ができなくても大丈夫！CD-ROMドライブではじめるかんたんIoT」も掲載。レッツEjectコマンド工作！カーテン開けるよ！ウィーン！
5月号には詩も掲載。谷川俊太郎さんとも競演されている、現代をロックに生きる詩人、桑原滝弥さんのご寄稿。背景の絵がステキだにゃ～。
他にも好評連載！Twitterで話題沸騰中！「めざせシェル女子！～貝殻高校、パソコン部の日常～」や「ユニケージ開発手法コードレビュー」など見所満載です！

Vol.24

投稿日：2016.04.11　｜　カテゴリー：　バックナンバー

月刊化2年目突入！！最新号 2015 April（vol.24）巻頭はなんと漫画でスタート！「めざせシェル女子！～貝殻高校、パソコン部の日常～」楽しくかわいくプログラミングを学ぼう！
もうひとつの新連載は「ITエンジニアのためのマーケティング入門」。おか爺とタケシくんが、愉快にマーケティングの面白さについて解説してくれます。
スズラボ通信の今回のテーマはシェルスクリプトでプログラミング！「作って使う俺シェルプログラム」とは…！？
他にも好評連載「Haskellでやってはいかんのか？」や「人間とコンピュータの可能性」など見所満載です！