test
約7カ月間、「UbuntuではじめるLinuxサーバー」を連載してきました。今回は、その最後としてグループウエアサーバーを構築します。無料で使えるグループウエアサーバーソフトはいくつか存在します。ただし、日本で使うなら国産のグループウエアサーバーソフトがお薦めです。そこで、徳島県のサンブリッジが開発するオープンソースの「Joruri Gw」を使用します（図1）。
図1 グループウエアサーバーソフト「Joruri Gw」の掲示板を表示
Joruri GWは、プログラミング言語「Ruby」とフレームワーク「Ruby on Rails」で開発されています。Webサーバーソフト「Apache HTTP Server」（以下、Apache）、データベース管理システム（DBMS）「MySQL」、分散型メモリーキャッシュシステム「Memcached」と組み合わせて動作します。対応OSはCentOSですが、Ubuntu Server（16.04 LTS）上でも動きます。
著者：すずきひろのぶ
今回はPocketBeagle を取り上げたいと思います。本連載だけではなくシェルスクリプトマガジンでもなんども取り上げているクレジットカードサイズのコンピュータRaspberry Pi は広く知られていますが、それ以外にもカードサイズの小さなコンピュータがあります。その中の1 つがBeagleBoard.orgFoundation が提供するBeagleBone ファミリです。
そのBeagleBone ファミリを、さらに小さくしたボードコンピュータがPocketBeagle です。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
PokectBeagleのブートの様子
https://youtu.be/0dIX4gAv2ZI
著者：米田 聡
シェルスクリプトマガジンでは、小型コンピュータボード「Raspberry Pi」（ラズパイ）のプログラミングが楽しめる拡張ボード「ラズパイ入門ボード」を制作しました。本連載では、ラズパイ入門
ボードを使った電子回路制御を取り上げていきます。第1回はOLEDに日本語文字を表示します。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 |
#!/usr/bin/python3 # -*- coding: utf-8 -*- import time import Adafruit_GPIO.SPI as SPI import Adafruit_SSD1306 from PIL import Image from PIL import ImageDraw from PIL import ImageFont # OLEDのサイズ設定 OLED_WIDTH = 128 OLED_HEIGHT = 64 # OLEDとSPIバスの設定 RST = 24 DC = 23 SPI_PORT = 0 SPI_DEVICE = 0 # フォントの設定 DEFAULT_FONT = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf' FONT_SIZE = 14 # SPIオブジェクト spi = SPI.SpiDev(SPI_PORT, SPI_DEVICE, max_speed_hz=8000000) # 128×64ドットのOLEDオブジェクト disp = Adafruit_SSD1306.SSD1306_128_64(rst=RST, dc=DC, spi=spi) # OLEDオブジェクトのスタート disp.begin() # OLEDオブジェクトのバッファークリア disp.clear() # バッファの表示 disp.display() # Imageオブジェクトの作成 image = Image.new('1', (OLED_WIDTH, OLED_HEIGHT) ,0) # drawオブジェクトの取得 draw = ImageDraw.Draw(image) # TryeTypeフォントオブジェクト jpfont = ImageFont.truetype(DEFAULT_FONT, FONT_SIZE, encoding='unic') # 文字をimageに描く draw.text((0,0), 'こんにちは', font=jpfont, fill=1) draw.text((0,16), 'Hello, World', font=jpfont, fill=1) draw.text((0,32), 'シェルスクリプトマガジン', font=jpfont, fill=1) draw.text((0,48), 'ラズパイ入門ボード', font=jpfont, fill=1) # imageをOLEDバッファーに書き込む disp.image(image) # バッファーを表示 disp.display() |
著者：しょっさん
自動的にホストが登録される部分までのプログラムは、これまでずいぶんとリファクタリングを繰り返しながら作ってきました。今回は、残りのサーバによる定期監視部分です。以前、「TaskControl」クラスを作って、将来の実装に備えました。そのTaskControlクラスの改修と、それを制御するためのメインとなる部分を準備します。
従って、今回のプログラミング作業は次の3点です。
1. 全体を制御するメインルーチンの改修
2. 死活を監視するためのTaskControlクラスの完成
3. サーバ側に合わせたエージェント側の改修
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 |
# coding: utf-8 # filename: lib/reins.rb require "reins/version" require "reins/dispatcher" require "reins/auth_service" require "reins/host_registry" require "reins/task_control" require "reins/config" require "json" require "socket" require "ipaddr" require 'thwait' module Reins class << self # 指定されたポートでサーバを起動する # == パラメータ # port:: 割り当てるポート番号 # == 返り値 # Exception:: サーバが起動できなかった場合、例外を発生させ起動させない # TCPSocket:: 正常に起動した場合、Socket オブジェクトを返す def run_server(port) Reins.logger.info("Reins #{VERSION} を #{port} で起動します") TCPServer.new(port) rescue => e Reins.logger.error("Reins が起動できませんでした: #{e}") puts(e.to_s) exit end # 起動されているサーバを停止する # == パラメータ # server:: 起動中のサーバの Socket # == 返り値 # 特になし def exit_server(server) Reins.logger.info("Reins #{VERSION} を終了します") Reins.regist_host.store server.close exit end # ブロックとして定義されたコードをスレッド化して実行する # == パラメータ # ブロック:: スレッドとして実行したいコード # == 返り値 # Thread:: 生成されたスレッド def threaded Thread.new do loop do yield end end end # クライアントからの接続を待ち受ける # == パラメータ # TCPSocket:: Socket オブジェクト # == 返り値 # Thread:: 生成されたスレッド def connect_client(server) Thread.start(server.accept) do |c| client = Reins::Clients.new(c) status = {} status["keycode"] = client.keycode status["result"] = client.command == 'auth' ? client.run_auth : client.run_command c.puts JSON.pretty_generate(status) c.close end end # クライアントとの定義されたタスクを5秒間隔で実行するよう制御 # == パラメータ # 特になし # == 返り値 # 特になし def check_client threads = [] Reins.regist_host.read_hosts.each do |host| threads << Thread.new do task = TaskControl.new(host) task.check_agent end end ThreadsWait.all_waits(*threads) sleep 5 end end class Clients attr_reader :addr, :keycode, :command, :options def initialize(client) @message = JSON.parse(client.gets) Reins.logger.debug(@message) @addr = IPAddr.new(client.peeraddr[3]).native.to_s @keycode = @message["keycode"] @command = @message["command"] @options = @message["options"] end # 認証処理を行う # == パラメータ # 特になし # == 返り値 # key:: 認証が成功した場合は接続用の認証キーを返す # false:: 認証が失敗した時は "false" 文字列を返す def run_auth Reins.logger.debug("#{addr} : 認証を行います") if (key = Reins.auth_service.authenticate_key(keycode, addr)) key else "false" end end # サーバで実行されるコマンドを受け渡す # == パラメータ # 特になし # == 返り値 # false:: 実行できなければ "false" 文字列を返す # false以外:: 実行された結果を、改行を含む文字列で返す def run_command Reins::Dispatch.new(addr, keycode).command(command, options) end end def start server = run_server(Reins.port) clients_thread = threaded {connect_client(server)} tasks_thread = threaded {check_client} tasks_thread.join clients_thread.join rescue Interrupt exit_server(server) end module_function :start end |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 |
# filename: task_control.rb module Reins class TaskControl # クライアント定義 # == パラメータ # hostname:: 接続先クライアントのホスト名、またはIPアドレス # port:: 接続先クライアントのTCPポート番号。通常は 24368 # == 返り値 # 特になし def initialize(hostname = '127.0.0.1', port = 24_368) @addr = hostname @port = port @keycode = Reins.regist_host.read_hostkeys[@addr] end # クライアントとの接続 # == パラメータ # 特になし # == 返り値 # TCPScoket:: TCPのソケット情報 def connection TCPSocket.open(@addr, @port) rescue => e Reins.logger.error("#{e}: クライアントへの接続でエラーが発生しました") dead end # クライアントとの死活確認 # == パラメータ # 特になし # == 返り値 # true:: 生存確認 # false:: クライアントが停止、またはネットワーク上に問題あり def viability(s) s.puts(JSON.generate("keycode" => @keycode.to_s, "command" => "watch")) raise unless s.gets.chomp == "OK" alive rescue => e Reins.logger.error("#{e}: クライアントへの接続でエラーが発生しました") dead end # ステータスコードを「alive」に変更 # == パラメータ # 特になし # == 返り値 # true:: ステータスの変更に成功 # false:: ステータスの変更に失敗 def alive Reins.regist_host.set_status(@addr, @keycode, "alive") if Reins.regist_host.get_status(@addr, @keycode) == "dead" end # ステータスコードを「dead」に変更 # == パラメータ # 特になし # == 返り値 # true:: ステータスの変更に成功 # false:: ステータスの変更に失敗 def dead Reins.regist_host.set_status(@addr, @keycode, "dead") if Reins.regist_host.get_status(@addr, @keycode) == "alive" end # クライアントエージェントとの応答確認 # == パラメータ # 特になし # == 返り値 # 特になし def check_agent Reins.logger.debug("#{@addr} 宛にチェックを行います...") viability(connection) close end # クライアントとの接続を切断 # == パラメータ # 特になし # == 返り値 # nil:: 正常に切断 def disconnect @s.close end end end |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 |
# filename: reins_agent.rb require "reins_agent/config" require "reins_agent/version" require "json" require "ipaddr" require "socket" module ReinsAgent class << self # サーバへ接続した後、指定したポート番号でサービスを開放する # == パラメータ # port:: エージェントが起動するためのポート番号 # == 返り値 # agent:: 起動されたサービスのソケット情報(@agent でも参照可) def run_agent(port) ReinsAgent.logger.info("Reins Agent #{VERSION} を #{port} で起動します") auth_command = JSON.generate("command" => "auth", "keycode" => ReinsAgent.client_key.to_s) throw unless (status = JSON.parse(ReinsAgent.exec(auth_command))) @cert_key = status["result"] ReinsAgent.logger.debug("認証キー : #{@cert_key} で認証が完了しました") @agent = TCPServer.new(ReinsAgent.client_port) rescue => e ReinsAgent.logger.fatal("Reins Agent が起動できませんでした: #{e}") exit end # サーバからのデータをパースする # == パラメータ # r:: リモートサーバのソケット情報 # == 返り値 # 特になし、ただし @message 連想配列へ、取得した情報を取得 def define_value(r) @message = JSON.parse(r.gets) @message["IP address"] = IPAddr.new(r.peeraddr[3]).native.to_s ReinsAgent.logger.debug("addr = #{@message['IP address']}, keycode = #{@message['keycode']}, command = #{@message['command']}, options = #{@message['options']}") end # ブロックとして定義されたコードをスレッド化して実行する # == パラメータ # ブロック:: スレッドとして実行したいコード # == 返り値 # Thread:: 生成されたスレッド def threaded Thread.new do loop do yield end end end # エージェントの終了処理 # == パラメータ # 特になし # == 返り値 # 常に終了 def exit_agent ReinsAgent.logger.info("Reins Agent #{VERSION} を終了します") delete_command = JSON.generate("command" => "delete", "keycode" => @cert_key.to_s) ReinsAgent.exec(delete_command) @agent.close exit end # サーバへコマンドを送信し、その返り値を取得する # == パラメータ # command:: サーバへ送信するコマンド+オプションを指定 # == 返り値 # response:: サーバからの返り値(改行付き/複数行) def exec(command) ReinsAgent.logger.debug("コマンドを実行します : #{command}") s = TCPSocket.open(ReinsAgent.server_host, ReinsAgent.server_port) s.puts command response = s.read s.close if s response end # サーバからの接続用常駐エージェントを起動 # == パラメータ # 特になし # == 返り値 # 特になし def connect_agent Thread.start(@agent.accept) do |r| define_value(r) r.puts("OK") r.close end end end # def start run_agent(ReinsAgent.client_port) list_command = JSON.generate("command" => "list", "keycode" => @cert_key.to_s) puts ReinsAgent.exec(list_command) server_thread = threaded {connect_agent} server_thread.join rescue Interrupt exit_agent end module_function :start end |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
#!/usr/bin/env ruby # ThreadsWait が使いたくて require 'thwait' # スレッドの実行前に、ひとまず "100" と定義しておく a = 100 threads = [] puts "実行前-親スレッド = #{a}" # 5つのスレッドを起動し、各々で、変数"a"の状態を変更してみる 5.times { |i| threads << Thread.new do a = i puts "子スレッド = #{a}" end } # 全てのスレッドの終了を待つ... ThreadsWait.all_waits(*threads) # さて、実行後、変数"a" はどうなったか？ puts "実行後-親スレッド = #{a}" |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
#!/usr/bin/env ruby # 実行前に親プロセスとなる、自分のプロセスIDを保管しておく a = Process.pid puts "実行前-親プロセス = #{a}" # 子プロセスを5つ起動し、親プロセスから引き継いだ、変数"a"の内容を、子プロセスのプロセスIDで上書きしてみる 5.times do fork do a = Process.pid puts "子プロセス = #{a}" end end # 5つの子プロセスの終了を待つ 5.times do Process.wait end # さて、実行後、変数"a" はどうなったか？ puts "実行後-親プロセス = #{a}" |
著者：後藤大地
今回は前回作ったサンプルコードをベースに、XMLデータをJSON（JavaScript Object Notation）形式に変換する例を紹介する。XMLデータをJSON形式に変換する、またはその逆を実施するのは需要の高い処理だ。今回紹介するのはサンプルレベルのコードだが、それなりに実用的なコードが書けることをわかってもらえるだろう。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 |
#include <stdio.h> #include <expat.h> static void XMLCALL begin(void *, const XML_Char*, const XML_Char**); static void XMLCALL end(void *, const XML_Char *); static int depth = 0; int main(int argc, char *argv[]) { char buf[BUFSIZ]; int len, done; XML_Parser parser = XML_ParserCreate(NULL); XML_SetElementHandler(parser, begin, end); do { len = fread(buf, 1, sizeof(buf), stdin); done = len < sizeof(buf); if (XML_Parse(parser, buf, (int)len, done) == XML_STATUS_ERROR) return 1; } while (!done); XML_ParserFree(parser); return 0; } static void XMLCALL begin(void *d, const XML_Char *name, const XML_Char **attr) { for (int i = 0; i < depth; i++) printf("→"); printf("%s\n", name); ++depth; } static void XMLCALL end(void *d, const XML_Char * name) { --depth; } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
<?xml version="1.0" encoding="UTF-8"?> <document> <docgroup> <docinfo> <title><p>タイトル</p></title> <author><p>名前</p></author> <firstedition><p>編集開始日</p></firstedition> <lastmodified><p>編集終了日</p></lastmodified> </docinfo> <docgroup> <docinfo> <title><p>章タイトル</p></title> </docinfo> <p>説明1</p> <p>説明2</p> </docgroup> </docgroup> </document> |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
CC= cc RM= rm -f EXPAT= -lexpat LIBDIR= /usr/local/lib INCLUDEDIR= /usr/local/include CFLAGS= -I${INCLUDEDIR} -L${LIBDIR} ${EXPAT} SRC= xml2json.c OUT= xml2json build: ${CC} -o ${OUT} ${CFLAGS} ${SRC} clean: ${RM} ${OUT} |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 |
#include <stdio.h> #include <string.h> #include <expat.h> static void XMLCALL begin(void *, const XML_Char*, const XML_Char**); static void XMLCALL end(void *, const XML_Char *); static int depth = 0; static char *struct_elements[] = { "document", "docgroup", "docinfo" }; static char *key_elements[] = { "title", "author", "firstedition", "lastmodified" }; static char *value_elements[] = { "p", }; int main(int argc, char *argv[]) { char buf[BUFSIZ]; int len, done; XML_Parser parser = XML_ParserCreate(NULL); XML_SetElementHandler(parser, begin, end); do { len = fread(buf, 1, sizeof(buf), stdin); done = len < sizeof(buf); if (XML_Parse(parser, buf, (int)len, done) == XML_STATUS_ERROR) return 1; } while (!done); XML_ParserFree(parser); return 0; } static void XMLCALL begin(void *d, const XML_Char *name, const XML_Char **attr) { int len, done; done = 0; len = sizeof(struct_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(struct_elements[i], name)) { printf("構造化要素: %s\n", name); done = 1; } } len = sizeof(key_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(key_elements[i], name)) { printf("鍵要素: %s\n", name); done = 1; } } len = sizeof(value_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(value_elements[i], name)) { printf("値要素: %s\n", name); done = 1; } } ++depth; } static void XMLCALL end(void *d, const XML_Char * name) { --depth; } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 |
#include <stdio.h> #include <string.h> #include <expat.h> static void XMLCALL begin(void *, const XML_Char*, const XML_Char**); static void XMLCALL end(void *, const XML_Char *); static char *struct_elements[] = { "document", "docgroup", "docinfo" }; static char *key_elements[] = { "title", "author", "firstedition", "lastmodified" }; static char *value_elements[] = { "p", }; static int depth = 0; static char *pre_element; int main(int argc, char *argv[]) { char buf[BUFSIZ]; int len, done; XML_Parser parser = XML_ParserCreate(NULL); XML_SetElementHandler(parser, begin, end); do { len = fread(buf, 1, sizeof(buf), stdin); done = len < sizeof(buf); if (XML_Parse(parser, buf, (int)len, done) == XML_STATUS_ERROR) return 1; } while (!done); XML_ParserFree(parser); return 0; } static void XMLCALL begin(void *d, const XML_Char *name, const XML_Char **attr) { int len, done; done = 0; len = sizeof(struct_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(struct_elements[i], name)) { if (0 == strcmp("document", name)) printf("{ "); for (int i = 0; i < depth; i++) printf("\t"); printf("\"%s\": {\n", name); done = 1; pre_element = struct_elements[i]; } } len = sizeof(key_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(key_elements[i], name)) { for (int i = 0; i < depth; i++) printf("\t"); printf("\"%s\":", name); done = 1; pre_element = key_elements[i]; } } int parent_is_key = 0; len = sizeof(value_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(value_elements[i], name)) { for (int j = 0, k = sizeof(key_elements) / sizeof(char*); j < k; j++) { if (key_elements[j] == pre_element) { parent_is_key = 1; } } if (parent_is_key) { printf("\"値\",\n"); } else { for (int i = 0; i < depth; i++) printf("\t"); printf("\"content\": \"値\",\n"); } done = 1; pre_element = value_elements[i]; } } if (!done) pre_element = NULL; ++depth; } static void XMLCALL end(void *d, const XML_Char * name) { int len, done; --depth; done = 0; len = sizeof(struct_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(struct_elements[i], name)) { if (0 == strcmp("document", name)) printf("}\n"); else { for (int i = 0; i < depth; i++) printf("\t"); printf("},\n"); } done = 1; } } len = sizeof(key_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(key_elements[i], name)) { done = 1; } } len = sizeof(value_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(value_elements[i], name)) { done = 1; } } } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 |
#include <stdio.h> #include <string.h> #include <expat.h> static void XMLCALL begin(void *, const XML_Char*, const XML_Char**); static void XMLCALL end(void *, const XML_Char *); static void XMLCALL chardata(void *, const XML_Char *, int); static char *struct_elements[] = { "document", "docgroup", "docinfo" }; static char *key_elements[] = { "title", "author", "firstedition", "lastmodified" }; static char *value_elements[] = { "p", }; static int depth = 0; static char *pre_element; int main(int argc, char *argv[]) { char buf[BUFSIZ]; int len, done; XML_Parser parser = XML_ParserCreate(NULL); XML_SetElementHandler(parser, begin, end); XML_SetCharacterDataHandler(parser, chardata); do { len = fread(buf, 1, sizeof(buf), stdin); done = len < sizeof(buf); if (XML_Parse(parser, buf, (int)len, done) == XML_STATUS_ERROR) return 1; } while (!done); XML_ParserFree(parser); return 0; } static void XMLCALL begin(void *d, const XML_Char *name, const XML_Char **attr) { int len, done; done = 0; len = sizeof(struct_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(struct_elements[i], name)) { if (0 == strcmp("document", name)) printf("{ "); for (int i = 0; i < depth; i++) printf("\t"); printf("\"%s\": {\n", name); done = 1; pre_element = struct_elements[i]; } } len = sizeof(key_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(key_elements[i], name)) { for (int i = 0; i < depth; i++) printf("\t"); printf("\"%s\":", name); done = 1; pre_element = key_elements[i]; } } int parent_is_key = 0; len = sizeof(value_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(value_elements[i], name)) { for (int j = 0, k = sizeof(key_elements) / sizeof(char*); j < k; j++) { if (key_elements[j] == pre_element) { parent_is_key = 1; } } if (parent_is_key) { printf("\""); } else { for (int i = 0; i < depth; i++) printf("\t"); printf("\"content\": \""); } done = 1; pre_element = value_elements[i]; } } if (!done) pre_element = NULL; ++depth; } static void XMLCALL end(void *d, const XML_Char * name) { int len, done; --depth; done = 0; len = sizeof(struct_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(struct_elements[i], name)) { if (0 == strcmp("document", name)) printf("}\n"); else { for (int i = 0; i < depth; i++) printf("\t"); printf("},\n"); } done = 1; } } len = sizeof(key_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(key_elements[i], name)) { done = 1; } } len = sizeof(value_elements) / sizeof(char*); for (int i = 0; !done && i < len; i++) { if (0 == strcmp(value_elements[i], name)) { printf("\",\n"); done = 1; } } } static void chardata(void *data, const XML_Char *cdata, int len) { char *p; p = (char *)cdata; for (int i = 0; i < len; i++) if ('\n' != *p) putchar(*p++); } |
著者：石井一夫（久留米大学）
今回は、機械学習においてよく耳にする正則化とスパースモデリングの話題を取り上げます。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
以下の箇所に文章漏れがございました。謹んで訂正いたします。
p57 右下 下から7行目
誤り
「L2正則化の場合、パラメータの大きさをだけゼロに近づける操作を行っており、」
訂正
「L2正則化の場合、パラメータの大きさを分散の大きさだけゼロに近づける操作を行っており、」
scikit-learnオフィシャル サイト L1 ノルム正則化の解説とサンプルコード（英語・リンク先にpython用コード有り）
MathWorks(MATLAB開発元)によるLasso 正則化の解説（日本語）
scikit-learnオフィシャル サイト L2ノルム正則化の解説とサンプルコード（英語・リンク先にpython用コード有り）
著者：朝野有也
こんにちは、香川大学工学部の朝野です。普段からパソコンを使っている方ならJava というプログラミング言語の名前を一度は聞いたことがあると思います。プラットフォームに依存しないため、クライアント側、サーバ側問わず様々なシステムで使用されている言語です。さらに、Java のプログラムを実行するにあたって必要となるJava 仮想マシン(JVM) を利用したJVM 言語というものがあります。JVM 言語は、Java の資源を利用できるのに加えて、Java より後発であるため便利なライブラリや仕組みが揃っていることが多いです。
今回は、簡単な名簿アプリケーションの開発をとおして、JVM 言語の１つであるScala と、Java とScala のWeb アプリケーションフレームワークであるPlay Framework をご紹介します。
記事本文掲載のシェルスクリプトマガジンvol.53は以下リンク先でご購入できます。
sbt のインストール:
https://www.scala-sbt.org/1.x/docs/ja/Setup.html
|
1 2 3 4 5 6 |
libraryDependencies ++= Seq( ehcache, ws, specs2 % Test, "com.typesafe.play" %% "play-slick" % "3.0.3", "com.typesafe.play" %% "play-slick-evolutions" % "3.0.3", "com.h2database" % "h2" % "1.4.196" ) |
|
1 2 3 4 5 6 7 8 |
# --- !Ups CREATE TABLE users ( id BIGINT(20) NOT NULL PRIMARY KEY AUTO_INCREMENT, name VARCHAR(255) NOT NULL, age INTEGER NOT NULL, ); # --- !Downs DROP TABLE "user"; |
|
1 2 3 4 5 6 7 |
slick.dbs.default { profile = "slick.jdbc.H2Profile$" db.driver = org.h2.Driver db.url = "jdbc:h2:./db/play" db.user = sa db.password = "" } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
package models import javax.inject.Inject import models.User import play.api.db.slick.{DatabaseConfigProvider, HasDatabaseConfigProvider} import slick.jdbc.H2Profile import slick.jdbc.H2Profile.api._ import scala.concurrent.Future /** * Userモデル * * @param id 識別ID * @param name ユーザ名 * @param age 年齢 */ case class User(id: Long, name: String, age: Int) /** 以下DAO関連の定義 **/ object UserDAO { val users = TableQuery[UsersTable] } class UserDAO @Inject()(protected val dbConfigProvider: DatabaseConfigProvider) extends HasDatabaseConfigProvider[H2Profile] { import scala.concurrent.ExecutionContext.Implicits.global //=== 操作 //== 読み込み def all(): Future[Seq[User]] = db.run(UserDAO.users.result) //== 検索 def findOfId(id: Long): Future[Seq[User]] = { db.run(UserDAO.users.filter(_.id === id).result) } //== 削除 def delete(id: Long): Future[Unit] = { db.run(UserDAO.users.filter(_.id === id).delete).map(_ => ()) } //== 登録 def insert(user: User): Future[Unit] = db.run(UserDAO.users += user).map { _ => () } } //=== テーブル定義 class UsersTable(tag: Tag) extends Table[User](tag, "USERS") { def id = column[Long]("ID", O.PrimaryKey, O.AutoInc) def name = column[String]("NAME") def age = column[Int]("AGE") def * = (id, name, age) <> (User.tupled, User.unapply _) } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# トップページ GET / controllers.HomeController.index # 登録 + nocsrf POST /insert/user controllers.HomeController.insertUser # 表示 GET /show/user controllers.HomeController.showUser # 削除 GET /remove/:id controllers.HomeController.deleteUser(id: Long) # リソース GET /assets/*file controllers.Assets.versioned(path="/public", file: Asset) |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 |
package controllers import javax.inject._ import models.{User, UserDAO} import play.api.data.Form import play.api.data.Forms.{mapping, nonEmptyText, number} import play.api.i18n.{I18nSupport, MessagesApi} import play.api.mvc._ import scala.concurrent.ExecutionContext //=== 入力フォームクラス case class UserForm(name: String, age: Int) //=== コントローラクラス @Singleton class HomeController @Inject()(cc: ControllerComponents, val userDao: UserDAO, val messages: MessagesApi)(implicit ec: ExecutionContext) extends AbstractController(cc) with I18nSupport { //== 入力フォーム値受け取り用 val form = Form( mapping( "name" -> nonEmptyText(minLength = 2, maxLength = 20), "age" -> number )(UserForm.apply)(UserForm.unapply) ) //== トップページ def index = Action { implicit request => Ok(views.html.index(form)) } //== 表示 def showUser = Action.async { implicit request => userDao.all().map { users => Ok(views.html.show(users)) } } //== 登録 def insertUser = Action.async { implicit request => form.bindFromRequest.fold( formWithErrors => { userDao.all().map(users => Ok(views.html.index(formWithErrors))) }, userForm => { userDao.insert(User(0, userForm.name, userForm.age)).map(_ => Redirect(routes.HomeController.showUser)) } ) } //== 削除 def deleteUser(id: Long) = Action.async { implicit request => userDao.delete(id).map(_ => Redirect(routes.HomeController.showUser)) } } |
|
1 2 3 4 |
@(userForm: Form[UserForm])(implicit messages: Messages) @import helper._ @main("トップページ") { |
@form(routes.HomeController.insertUser) { @inputText(userForm(“name”), ‘_label -> “名前”) @inputText(userForm(“age”), ‘_label -> “年齢”) }
@form(routes.HomeCon troller.showUser) { }
}
|
1 2 3 4 |
@(users: Seq[User])(implicit messages: Messages) @import helper._ @main("ユーザ一覧") { |
@for(user <- users ) { }
| 名前 | 年齢 | ||
|---|---|---|---|
| @user.name | @user.age | @form(routes.HomeController.deleteUser(user.id)) { } | |
@form(routes.HomeController.index) { }
}
著者：佐々木 敦守、古川 正宏、小薗井 康志
IBMの「Watson」が動くクラウドプラットフォーム「IBM Cloud」を使って、無料でAI、機械学習、ディープラーニングを試してみましょう。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 |
'''Trains a simple convnet on the MNIST dataset. Gets to 99.25% test accuracy after 12 epochs (there is still a lot of margin for parameter tuning). 16 seconds per epoch on a GRID K520 GPU. ''' from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten from keras.layers import Conv2D, MaxPooling2D from keras import backend as K batch_size = 128 num_classes = 10 epochs = 12 # input image dimensions img_rows, img_cols = 28, 28 # the data, shuffled and split between train and test sets (x_train, y_train), (x_test, y_test) = mnist.load_data() if K.image_data_format() == 'channels_first': x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols) x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols) input_shape = (1, img_rows, img_cols) else: x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1) x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1) input_shape = (img_rows, img_cols, 1) x_train = x_train.astype('float32') x_test = x_test.astype('float32') x_train /= 255 x_test /= 255 print('x_train shape:', x_train.shape) print(x_train.shape[0], 'train samples') print(x_test.shape[0], 'test samples') # convert class vectors to binary class matrices y_train = keras.utils.to_categorical(y_train, num_classes) y_test = keras.utils.to_categorical(y_test, num_classes) model = Sequential() model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=input_shape)) model.add(Conv2D(64, (3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.Adadelta(), metrics=['accuracy']) model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(x_test, y_test)) score = model.evaluate(x_test, y_test, verbose=0) print('Test loss:', score[0]) print('Test accuracy:', score[1]) |
シェルスクリプトマガジンvol.53のWeb掲載部分まとめです。
シェルスクリプトマガジンvol.53は以下リンク先でご購入できます。
008 特集1 9のステップでしっかりわかる Python入門/西川公一朗 コード掲載
024 特集2 このまま使える! ITエンジニアのための英文メール&チャット 20のポイント/甲斐荘秀生 監修 Paul McMahon おまけ英文掲載
032 特集3 IBM Cloudで学ぶAI・機械学習・ディープラーニング/佐々木敦守、古川正宏、小薗井康志 コード掲載
049 姐のNOGYO
050 ラズパイ入門ボードで学ぶ電子回路の制御/米田聡 コード掲載
053 スズラボ通信「ネイキッドなGNU/Linuxマシン PocketBeagle」/すずきひろのぶ リンク掲載
056 機械学習のココロ 「正則化とスパースモデリング」/石井一夫 訂正情報およびリンク掲載
060 バーティカルバーの極意/飯尾淳
066 それプロのエバンジェリストから愛をこめて/山本美穂
070 RESEARCHES FOR FUTURE 青山学院大学 社会情報学部 社会情報学科 伊藤研究室/伊藤一成
072 香川大学SLPからお届け! 「Play Frameworkでアプリケーション開発」/朝野有也 コード掲載
078 ITエンジニアのためのマーケティング入門/水間丈博
082 蛇/桑原滝弥・イケヤシロウ
084 法林浩之のFIGHTING TALKS/法林浩之
086 人間とコンピュータの可能性/大岩元
088 円滑コミュニケーションが世界を救う! /濱口誠一
090 中小企業手作りIT化奮戦記「使うと便利SQL」/菅雄一
095 漢のUNIX「XMLをJSONに変換するコードを書いてみよう」/後藤大地 コード掲載
104 アジャイル開発 Let’s Practice!「インセプションデッキ その1」/熊野憲辰
108 40歳から始める、オレとRubyプログラミング/しょっさん コード掲載
118 コボラーによるコボラーのためのユニケージ入門「COBOLプログラムのマイグレーション」/野村祐三
126 Techパズル/gori.sh
128 コラム「自主的に考える力を持てるような教育を」/シェル魔人
執筆：甲斐荘秀生 監修：Doorkeeper Paul McMahon
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
本誌掲載のチャットの前、クライアントとA君との間でつばぜり合いがありました。
クライアント：The budget is decided, but can not you do this bu plugging in as well?（予算は決まってるけど、これも差し込みでお願いできません？）
A：We can not accept it.（できません。）
クライアント：I will put a color on the next month.（来月色を付けますから。）
A：This time only. （今回だけですよ。）
クライアント：I know we’ve already fixed the budget, but can’t you fit this in as well?（予算が決まっていることはわかっていますが、追加でやってもらえませんか？）
“as well”には「おまけで」という意味もあります。
A：Sorry, we’re not able to budge on it.(申し訳ありませんが、これ以上は動けません)
“budge”は「身動きをとる」という意味です。今回のように否定形で使うと”微動だにしない”のような意味になります。
クライアント：How about if we add it to next month’s budget?(来月の予算にその分追加するのではどうでしょう？)
A：OK, just this once. (わかりました。今回だけですよ)
裏にこんなやりとりがあった後、本誌掲載のチャットの続きをご覧ください。
A：At last only one. (さいごにひとつだけ。)
A：There was an additional request from the client. Can you please take action?（クライアントから追加の要望がありました。対応をお願いできますか？）
A：They would like to add a daytime contact to the inquiry form.（問い合わせフォームに日中の連絡先を追加したいとのことです。）
B：What a client. （なんてクライアントだ！）
A：One more thing. (さいごにひとつだけ。)
A：There was a new request from the client. （クライアントから追加の要望がありました。）
A：They would like to add a new field for a phone number.（電話番号用のフィールドを新たに追加したいとのことです。）
「日中の連絡先」は文脈に依存した言い方なので、「電話番号」と直接伝えた方がよいでしょう。
B：I’m getting tired of these last minute requests. （追加要望のせいで嫌になってきた）
著者：西川 公一朗
機械学習やデータ解析、人工知能の需要が高まるにつれ、最近ではさまざまな分野でプログラミング言語「Python」を利用する機会が増えています。本特集では入門者や初心者を対象に、9のステップでPython の基本を分かりやすく説明します。
記事本文掲載のシェルスクリプトマガジンvol.53は以下のリンク先でご購入できます。
|
1 2 3 4 5 6 7 8 |
sushineta = ['マグロ', 'イクラ', 'エビ', 'タコ'] def check_classic_sushineta(name): if name in sushineta: return '{}は定番の寿司ネタです'.format(name) return '{}は定番の寿司ネタではありません'.format(name) def get_classic_sushineta_names(): return sushineta |
機械学習やデータ解析、人工知能、ラズパイ、IoT（モノのインターネット）などのプログラミングで欠かせなくなった言語「Python」（パイソン）。特集1では、九つのステップに分けて、初めての人でもしっかり理解できるようにPythonプログラミングの基礎を解説します。
特集2では、ITエンジニアに向けた、英語のメールやチャットに関する20のポイントを会話形式で紹介します。海外とのやり取りが当たり前になってきた時代にぴったりです。
特集3ではAI・機械学習・ディープラーニングを扱いました。IBM Cloudが用意するライト・アカウントを取得すれば、無料・期間無制限・クレジットカード登録不要でこれらの技術をすべて試せます。
このほか、新連載として「ラズパイ入門ボードで学ぶ電子回路の制御」が始まりました。前回の特集2に続く、シェルスクリプトマガジン特製の「ラズパイ入門ボード」の記事です。この連載から読み始めても十分楽しめます。
今月も読み応え十分のシェルスクリプトマガジン Vol.53。お見逃しなく!
※読者アンケートはこちら
前回は、「GitBucket」を使ってソースコードやドキュメントのバージョンを管理できる共有サーバー（Gitサーバー）を構築しました。今回は、GitBucketの基本的な使い方を紹介します。
前回と同様に、次のコマンドを実行してGitBucketを起動します。
|
1 |
$ java -jar gitbucket.war |
しばらく待ってから、リモートアクセス用パソコンのWebブラウザーで「http://Ubuntu ServerのIPアドレス:8080/」にアクセスし、GitBucketのトップページを開いてください（図1）。
図1 GitBucketのトップページ
ソフトウエア開発のための共有サービスとして「GitHub」を使っている人は多いでしょう。GitHubはソフトウエアのソースコードのみならず、各種文書のバージョン管理にも利用できます（図1）。そのため、会社やグループで自由に使えるGitHubを用意できればとても便利です。
図1 Gitサーバーによるバージョン管理システム
Linuxには、GitHubのようなサーバー（Gitサーバー）を構築できるソフトがいくつかあります。具体的には、GitHubと同様のサービス提供にも利用されている「GitLab」、日本人が開発者の「GitBucket」、Go言語で開発されている「Gogs」などです。今回は、これらの中からインストールが簡単なGitBucketをUbuntu Serverに導入します。
前回構築した、ProFTPDによるFTPSサーバーをインターネットに公開します。インターネットへのサーバー公開については、連載第10回に2種類の方法を紹介しています。「DMZ」と「ポートフォワーディング」です。
DMZの場合、前回の設定のままFTPSサーバーをDMZに配置すれば、そのままインターネットに公開できます。ただし、セキュリティ上あまり好ましくありません。連載第21回で紹介したファイアウォールを自身のサーバー内に構築しましょう。なお、ファイアウォールを経由してFTPSサーバーをインターネットへ公開する場合、FTPSの通信を通過させるための設定が必要です。
ポートフォワーディングの場合も、ファイアウォールと同様にFTPSの通信を通過させる設定が設定が必要です。
FTP/FTPSでは、二つのポートを利用して通信します。一つは「制御」用、もう一つは「データ転送」用です。どちらも通信を開始するときに、サーバーとクライアントの間で「コネクション」（接続）を確立します。
FTP/FTPSでは、このコネクション確立方法の違いで「アクティブ」と「パッシブ」という2種類のモードが用意されています。どちらもFTP/FTPSの通信を開始するのはクライアントからです。ただし、アクティブモードではFTPサーバーから、パッシブモードではFTPクライアントから、データ転送用のコネクションを確立しにいきます（図1）。
図1 アクティブとパッシブ
今回は、インターネットからファイルをダウンロードしたり、アップロードしたりする「FTPサーバー」を構築します（図1）。LinuxでFTPサーバーを構築できるフリーソフトにはいくつかあります。ここでは、「ProFTPD」を用います。
図1 ファイルをダウンロード・アップロードできるFTPサーバー
なお、FTPサーバーの標準プロトコルである「FTP」（File Transfer Protocol）の場合、ユーザー名とパスワード、データがそのまま（平文で）ネットワークを流れます。インターネット上の通信で平文を使用するのはセキュリティ上好ましくありません。そこで、暗号化通信を用いたファイル転送プロトコルの「FTPS」（File Transfer Protocol over SSL/TLS）を利用します。
shell-mag ブログの 2018年3月 のアーカイブを表示しています。