コード « shell-mag

POSIX原理主義の一時的書類（テンポラリーファイル）（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：シェルスクリプトマガジン編集部　松浦智之

会議室にはホワイトボードがあり、机の傍らにはメモ用紙がある。人はそこに、図や文字を書いたり消したりを繰り返すことで、考えを整理する。なぜなら人は、短期記憶の領域が狭いため、考察対象となる物事はホワイトボードや紙等に書き出しておかないと処理しきれないからだ。
そこは、人が創り出したコンピューターも似ている。一定以上の情報はCPU上に置いておけないため、メモリに変数という形で書き出し、それより大きいものはディスクにファイルという形で書き出しながら処理をする。特にUNIX では、ファイルを活用すると上手くいくようにデザインされている。
ところが、POSIX にはその、ホワイトボードやメモ用紙に相当する一時ファイル（テンポラリーファイル）を作るコマンドがない。何も考えずもちろん作るだけなら簡単なのだが、セキュリティーを確保しながら作るには一工夫がいる。今回は、一時ファイル作成時に必要なセキュリティーについて学び、これをPOSIXで実現する。

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

dir=${TMPDIR:-}
[ -d "${TMPDIR:-}" ] || dir='/tmp'

1 2	dir=${TMPDIR:-} [ -d "${TMPDIR:-}" ] \|\| dir='/tmp'

file=$(cat /dev/urandom            |
       dd count=1 bs=8 2>/dev/null |
       od -A n -t x1               |
       tr -d ' '                   )

file=$(cat /dev/urandom |

dd count=1 bs=8 2>/dev/null |

od -A n -t x1 |

tr -d ' ' )

# ディレクトリー名を決める
dir=${TMPDIR:-}
[ -d "${TMPDIR:-}" ] || dir='/tmp'
dir=${dir%/}

# 一時ファイル生成ループ（最大3 回試行）
retry=2
while [ $retry -ge 0 ]; do
  # ファイル名を決める
  file=$(cat /dev/urandom            |
         dd count=1 bs=8 2>/dev/null |
         od -A n -t x1               |
         tr -d ' '                   )
  # 安全に配慮して生成してみる
  (set -C          ;
   umask 177       ;
   : > "$dir/$file") 2>/dev/null

  # 成功していたらループ脱出
  case $? in 0) break;; esac

  # 失敗していたファイル名を消して再試行
  file=''
  retry=$((retry-1))
done

# 成功時→ファイル名表示 失敗時→エラー終了
case "$file" in
  '') echo 'Failed' 1>&2; exit 1;;
  *) echo "$dir/$file"          ;;
esac

# ディレクトリー名を決める

dir=${TMPDIR:-}

[ -d "${TMPDIR:-}" ] || dir='/tmp'

dir=${dir%/}

# 一時ファイル生成ループ（最大3 回試行）

retry=2

while [ $retry -ge 0 ]; do

# ファイル名を決める

file=$(cat /dev/urandom |

dd count=1 bs=8 2>/dev/null |

od -A n -t x1 |

tr -d ' ' )

# 安全に配慮して生成してみる

(set -C ;

umask 177 ;

: > "$dir/$file") 2>/dev/null

# 成功していたらループ脱出

case $? in 0) break;; esac

# 失敗していたファイル名を消して再試行

file=''

retry=$((retry-1))

done

# 成功時→ファイル名表示失敗時→エラー終了

case "$file" in

'') echo 'Failed' 1>&2; exit 1;;

*) echo "$dir/$file" ;;

esac

mktempコマンドをPOSIX原理主義で書き直したものを作りました。
https://github.com/ShellShoccar-jpn/misc-tools/blob/master/mktemp

#! /bin/sh

#############################################
# 初期設定
#############################################
# 始めに、一時ディレクトリーを安全に作る
tmp=`mktemp -d -t "${0##*/}.XXXXXXXXXXXX"` || exit 1
# 各種ディレクトリー設定
datd=/home/URIAGE_KANRI/DATA
# 本日日付
today=$(date '+%Y%m%d')

#############################################
# 商品マスターから価格マスターを作る
#############################################
cat $datd/SHOHIN_MASTER.TXT   |
# 1:商品ID 2:商品名3:価格
self 1 3                      |
sort -k 1,1                   > $tmp-kakakumst

#############################################
# 今日の総売り上げ計算する
#############################################
cat $datd/URIAGE_$today.TXT  |
# 1:時刻2:所品ID 3:売れ数
self 2 3                     |
# 1:所品ID 2:売れ数
sort -k 1,1                  |
join1 key=1 $tmp-kakakumst   |
# 1:所品ID 2:価格3:売れ数
lcalc '$2 * $3'              |
# 1:商品毎の小計             |
sm2 0 0 1 1                  > $datd/TOTAL_$today.TXT

#############################################
# 終了
#############################################
rm -rf "$tmp"
exit 0

#! /bin/sh

#############################################

# 初期設定

#############################################

# 始めに、一時ディレクトリーを安全に作る

tmp=`mktemp -d -t "${0##*/}.XXXXXXXXXXXX"` || exit 1

# 各種ディレクトリー設定

datd=/home/URIAGE_KANRI/DATA

# 本日日付

today=$(date '+%Y%m%d')

#############################################

# 商品マスターから価格マスターを作る

#############################################

cat $datd/SHOHIN_MASTER.TXT |

# 1:商品ID 2:商品名3:価格

self 1 3 |

sort -k 1,1 > $tmp-kakakumst

#############################################

# 今日の総売り上げ計算する

#############################################

cat $datd/URIAGE_$today.TXT |

# 1:時刻2:所品ID 3:売れ数

self 2 3 |

# 1:所品ID 2:売れ数

sort -k 1,1 |

join1 key=1 $tmp-kakakumst |

# 1:所品ID 2:価格3:売れ数

lcalc '$2 * $3' |

# 1:商品毎の小計 |

sm2 0 0 1 1 > $datd/TOTAL_$today.TXT

#############################################

# 終了

#############################################

rm -rf "$tmp"

exit 0

機械学習で石川啄木を蘇らせる（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

written by 高橋光輝

本連載のもとになった同人誌の内容は、以下のURLから閲覧が可能です。（編集部）
https://sunpro.io/c89/pub/hakatashi/introduction

記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

all: tanka-dummy-vectors.txt tanka-takuboku-vectors.txt

tanka-takuboku-vectors.txt: infer_takuboku_vectors.py tanka-tokenized.csv $(AOZORA2VEC_MODELS)
    $(PYTHON) infer_takuboku_vectors.py < tanka-tokenized.csv > "$@"

tanka-dummy-vectors.txt: infer_dummy_vectors.py dummy-tan
ka.txt $(AOZORA2VEC_MODELS)
    $(PYTHON) infer_dummy_vectors.py < dummy-tanka.txt > "$@"

dummy-tanka.txt: marcov-dict.json generate_dummy_tanka.py
    $(PYTHON) generate_dummy_tanka.py < marcov-dict.json > "$@"

all: tanka-dummy-vectors.txt tanka-takuboku-vectors.txt

tanka-takuboku-vectors.txt: infer_takuboku_vectors.py tanka-tokenized.csv $(AOZORA2VEC_MODELS)

$(PYTHON) infer_takuboku_vectors.py < tanka-tokenized.csv > "$@"

tanka-dummy-vectors.txt: infer_dummy_vectors.py dummy-tan

ka.txt $(AOZORA2VEC_MODELS)

$(PYTHON) infer_dummy_vectors.py < dummy-tanka.txt > "$@"

dummy-tanka.txt: marcov-dict.json generate_dummy_tanka.py

$(PYTHON) generate_dummy_tanka.py < marcov-dict.json > "$@"

# -*- coding: utf-8 -*-

import sys
import json
import random

# 標準入力から単語データを読み取る
marcov_json = sys.stdin.read()
marcov = json.loads(marcov_json)

token_dict = marcov['token_dict']
tokens = list(token_dict.keys())

# 1000個のダミーデータを生成する
for i in range(1000):
    # 1データに含まれる単語の数は12個から23個
    token_count = random.randint(12, 23)
    base_forms = []

    # 単語をランダムに選択
    for j in range(token_count):
        token = random.choice(tokens)
        base_form = token_dict[token][3]
        base_forms.append(base_form)

    # 出力
    print(' '.join(base_forms))

# -*- coding: utf-8 -*-

import sys

import json

import random

# 標準入力から単語データを読み取る

marcov_json = sys.stdin.read()

marcov = json.loads(marcov_json)

token_dict = marcov['token_dict']

tokens = list(token_dict.keys())

# 1000個のダミーデータを生成する

for i in range(1000):

# 1データに含まれる単語の数は12個から23個

token_count = random.randint(12, 23)

base_forms = []

# 単語をランダムに選択

for j in range(token_count):

token = random.choice(tokens)

base_form = token_dict[token][3]

base_forms.append(base_form)

# 出力

print(' '.join(base_forms))

$ make dummy-tanka.txt 
python3 generate_dummy_tanka.py < marcov-dict.json > "dummy-tanka.txt"
$ head dummy-tanka.txt 
過つ 聞く 置く 覚える 帽 せる 温かい 情け 泊まる 痛む 優しい 共産 板 帰り来る 焼く 迫る 切り通し 晴れやか 其 恋人 目
働く 消す ひょっと 来し方 逸早い 皿 埋もれる 等 毟る 過ぎ行く 知る 付く 一日 出す 働く 宗教
山間 襟 乾き 悪 盗み聞く 沈む 英語 獣 真似 砂山 彼の 喞筒
列車 矛 紅 句 左 餅 扠 ふと 霙 叱る 青い 得る
満足 怖い 煩い 屑 好く 眺める 冷や冷や 霜 降る 温かい 平復 ちょう 肌 涼しい さ迷う 遂げる 刀 束ね 弟 躍り出でる 演習
見す 淡雪 き 書く 火事 鳴く 会う 呼吸 遊船 残る 見える 羨ましい 隠れる 赤ん坊 喉 水面 好く 猶 羽子 安 閉じる 空く 踊る
博学 邦人 長い 大方 平気 浸す 夜昼 隣り 森林 持つ 襟 かほど 得る 乱れる 送る 頭 買う
術 褒める 求める 訳 珍しい 痺れ 居る 一途 飛び去る 生命 小児 揺籃 吸う 覚える 快い 青い 休む 浮かぶ たり 処する 無くなる 時雨
浸る 初夜 寒い 向かう 降る 砂 嫁 二 唱える 易者 空地 の 三 砲兵 ふやける 我が 眠り 悲しみ 次 よ 罵る
来たる 謀反 甲斐 張り替える 思い出 世渡り 日光 我が 膨れる 乗る 殴る 幾 抜く 怒る

$ make dummy-tanka.txt

python3 generate_dummy_tanka.py < marcov-dict.json > "dummy-tanka.txt"

$ head dummy-tanka.txt

過つ聞く置く覚える帽せる温かい情け泊まる痛む優しい共産板帰り来る焼く迫る切り通し晴れやか其恋人目

働く消すひょっと来し方逸早い皿埋もれる等毟る過ぎ行く知る付く一日出す働く宗教

山間襟乾き悪盗み聞く沈む英語獣真似砂山彼の喞筒

列車矛紅句左餅扠ふと霙叱る青い得る

満足怖い煩い屑好く眺める冷や冷や霜降る温かい平復ちょう肌涼しいさ迷う遂げる刀束ね弟躍り出でる演習

見す淡雪き書く火事鳴く会う呼吸遊船残る見える羨ましい隠れる赤ん坊喉水面好く猶羽子安閉じる空く踊る

博学邦人長い大方平気浸す夜昼隣り森林持つ襟かほど得る乱れる送る頭買う

術褒める求める訳珍しい痺れ居る一途飛び去る生命小児揺籃吸う覚える快い青い休む浮かぶたり処する無くなる時雨

浸る初夜寒い向かう降る砂嫁二唱える易者空地の三砲兵ふやける我が眠り悲しみ次よ罵る

来たる謀反甲斐張り替える思い出世渡り日光我が膨れる乗る殴る幾抜く怒る

# -*- coding: utf-8 -*-

import csv
import sys
import gensim

# doc2vecのモデルを読み込む
model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力から空白区切りのテキストを読み取る
for tokens in csv.reader(iter(sys.stdin.readline, ''), delimiter=' '):
    # doc2vecを用いて特徴ベクトルを推定する
    vector = model.infer_vector(tokens)

    # 出力
    print(' '.join(list(map(str, vector))))

# -*- coding: utf-8 -*-

import csv

import sys

import gensim

# doc2vecのモデルを読み込む

model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力から空白区切りのテキストを読み取る

for tokens in csv.reader(iter(sys.stdin.readline, ''), delimiter=' '):

# doc2vecを用いて特徴ベクトルを推定する

vector = model.infer_vector(tokens)

# 出力

print(' '.join(list(map(str, vector))))

# -*- coding: utf-8 -*-

import sys
import csv
import json
import gensim

# doc2vecのモデルを読み込む
model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力からCSVを読み取る
for row in csv.reader(iter(sys.stdin.readline, '')):
    [tanka, tokens_json] = row
    tokens = list(map(lambda l:l[3], json.loads(tokens_json)))

    # doc2vecを用いて特徴ベクトルを推定する
    vector = model.infer_vector(tokens)

    # 出力
    print(' '.join(list(map(str, vector))))

# -*- coding: utf-8 -*-

import sys

import csv

import json

import gensim

# doc2vecのモデルを読み込む

model = gensim.models.doc2vec.Doc2Vec.load('aozora2vec-iter50.model')

# 標準入力からCSVを読み取る

for row in csv.reader(iter(sys.stdin.readline, '')):

[tanka, tokens_json] = row

tokens = list(map(lambda l:l[3], json.loads(tokens_json)))

# doc2vecを用いて特徴ベクトルを推定する

vector = model.infer_vector(tokens)

# 出力

print(' '.join(list(map(str, vector))))

漢のUNIX　ライブラリをつくってみよう！　#その2（vol.45掲載）

投稿日：2017.06.27　｜　カテゴリー：　コード

著者：後藤大地

C言語は、その誕生以来長きにわたって使われ続けているプログラミング言語だ。Javaが登場してからは第1人気をJavaに譲っているものの、それでも登場から今日までの長きに渡って使われ、さらにこれほど人気を保ち続けているプログラミング言語は他にない。
記事本文掲載のシェルスクリプトマガジンvol.45は以下リンク先でご購入できます。

%?tree
.
|--?Makefile
|--?ore.c
|--?ore.h
|--?usage.c
`--?version.c

0?directories,?5?files
%?

%?tree

|--?Makefile

|--?ore.c

|--?ore.h

|--?usage.c

`--?version.c

0?directories,?5?files

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

int
usage()
{
        fprintf(stderr, "usage: something\n");
        
        exit (EX_USAGE);
}

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

int

usage()

{

fprintf(stderr, "usage: something\n");

exit (EX_USAGE);

}

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

int
version()
{
        fprintf(stderr, "version: 0.0\n");
        
        exit (EX_USAGE);

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

int

version()

{

fprintf(stderr, "version: 0.0\n");

exit (EX_USAGE);

#include <stdlib.h>
#include <sysexits.h>

#include "ore.h"

int
main(int argc, char *argv[])
{
        if (1 == argc)
                usage();
        if (2 == argc)
                version();

        exit(EX_OK);
}

#include <stdlib.h>

#include <sysexits.h>

#include "ore.h"

int

main(int argc, char *argv[])

{

if (1 == argc)

usage();

if (2 == argc)

version();

exit(EX_OK);

}

int usage();
int version();

1 2	int usage(); int version();

OUT=            ore
SRCS!=          ls *.c
OBJS=           ${SRCS:S/.c$/.o/}

.SUFFIXES:      .o .c

.c.o:
        cc -c $< -o $@

objs: ${OBJS}

OUT= ore

SRCS!= ls *.c

OBJS= ${SRCS:S/.c$/.o/}

.SUFFIXES: .o .c

.c.o:

cc -c $< -o $@

objs: ${OBJS}

% ls
Makefile  ore.c    ore.h    usage.c  version.c
% make objs
cc -c ore.c -o ore.o
cc -c usage.c -o usage.o
cc -c version.c -o version.o
% ls
Makefile  ore.c    ore.h    ore.o    usage.c   usage.o   version.c version.o
%

% ls

Makefile ore.c ore.h usage.c version.c

% make objs

cc -c ore.c -o ore.o

cc -c usage.c -o usage.o

cc -c version.c -o version.o

% ls

Makefile ore.c ore.h ore.o usage.c usage.o version.c version.o

cc -c ore.c -o ore.o
cc -c usage.c -o usage.o
cc -c version.c -o version.o

cc -c ore.c -o ore.o

cc -c usage.c -o usage.o

cc -c version.c -o version.o

OUT=            ore
SRCS!=          ls *.c
OBJS=           ${SRCS:S/.c$/.o/}

combine:
        cc -o ${OUT} ${OBJS}

OUT= ore

SRCS!= ls *.c

OBJS= ${SRCS:S/.c$/.o/}

combine:

cc -o ${OUT} ${OBJS}

% make combine
cc -o ore ore.o usage.o version.o
% ls
Makefile  ore.c     ore.o     usage.o   version.o
ore       ore.h     usage.c   version.c
%

% make combine

cc -o ore ore.o usage.o version.o

% ls

Makefile ore.c ore.o usage.o version.o

ore ore.h usage.c version.c

cc -o ore ore.o usage.o version.o

1	cc -o ore ore.o usage.o version.o

$ ./ore
usage: something
$ echo $?
64
$ ./ore 1
version: 0.0
$ echo $?
64
$ ./ore 1 2
$ echo $?
0
$

$ ./ore

usage: something

$ echo $?

$ ./ore 1

version: 0.0

$ echo $?

$ ./ore 1 2

$ echo $?

OUT=            ore
SRCS!=          ls *.c
OBJS=           ${SRCS:S/.c$/.o/}

.SUFFIXES:      .o .c

.c.o:
        cc -c $< -o $@

objs: ${OBJS}

combine: objs
        cc -o ${OUT} ${OBJS}

clean:
        rm -f ${OUT} ${OBJS}

OUT= ore

SRCS!= ls *.c

OBJS= ${SRCS:S/.c$/.o/}

.SUFFIXES: .o .c

.c.o:

cc -c $< -o $@

objs: ${OBJS}

combine: objs

cc -o ${OUT} ${OBJS}

clean:

rm -f ${OUT} ${OBJS}

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

static char *buf = "usage: something";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int
usage()
{
        MESSAGE(buf);

        exit (EX_USAGE);
}

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

static char *buf = "usage: something";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int

usage()

{

MESSAGE(buf);

exit (EX_USAGE);

}

#include <stdlib.h>
#include <stdio.h>
#include <sysexits.h>

static char *buf = "version: 0.0";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int
version()
{
        MESSAGE(buf);
        
        exit (EX_USAGE);

#include <stdlib.h>

#include <stdio.h>

#include <sysexits.h>

static char *buf = "version: 0.0";

#define MESSAGE(X) fprintf(stderr, "%s\n", X)

int

version()

{

MESSAGE(buf);

exit (EX_USAGE);

新しい記事一覧へ戻る

カテゴリーコードのアーカイブを表示しています。

-->

POSIX原理主義の一時的書類（テンポラリーファイル）（vol.45掲載）

機械学習で石川啄木を蘇らせる（vol.45掲載）

漢のUNIX ライブラリをつくってみよう！ #その2（vol.45掲載）

漢のUNIX　ライブラリをつくってみよう！　#その2（vol.45掲載）