test
004 レポート 進研ゼミに生成AI活用新サービス
005 レポート HHKB Studioのキートップカスタム
006 製品レビュー スマートリング「SOXAI RING 1」
007 NEWS FLASH
008 特集1 Amazon EC2入門/飯村望、清水祥伽
023 Hello Nogyo!
024 特集2 コンテンツクラウドのBox/有賀友三、結城亮史、葵健晴、辰己学
040 Markdownを活用する/藤原由来 コード掲載
050 Raspberry Pi Pico W/WHで始める電子工作/米田聡 コード掲載
054 中小企業手作りIT化奮戦記/菅雄一
058 香川大学SLPからお届け！/宇佐美志久眞
062 Pythonあれこれ/飯尾淳 コード掲載
068 Linux定番エディタ入門/大津真 コード掲載
076 Techパズル/gori.sh
077 コラム「顧客と一心同体の精神を育成」/シェル魔人
著者：米田 聡
本連載では、人気のマイコンボード「Raspberry Pi Pico W/WH」を活用していきます。同ボードは、無線LANやBluetoothの通信機能を搭載し、入手しやすく価格も手頃なので、IoT機器を自作するのに最適なハードウエアです。第5回は、DHT-11で測った湿温度をスマートフォンに通知します。
シェルスクリプトマガジン Vol.89は以下のリンク先でご購入できます。
図4 LINE Notifyを使って通知を送る「notify()」関数を定義したPythonプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import usocket as socket from urequests import post from micropython import const TOKEN = const("your_access_token") def notify(msg): url = 'https://notify-api.line.me/api/notify' rheaders = { 'Content-type':'application/x-www-form-urlencoded', 'Authorization':'Bearer ' + TOKEN } message = "message=" + msg req = post(url,headers=rheaders,data=message) return req.status_code |
図6 1時間おきに湿温度をスマートフォンに通知するサンプルプログラム（sample.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 |
from machine import Pin from machine import Timer from micropython import const from micropython import schedule import _thread import dht import line import time DHT_PIN = const(15) TICK = const(60) class Climate(): def __init__(self, dht_gpio=DHT_PIN, tick=TICK, callback=None, expire=TICK): self.dht = dht.DHT11(Pin(dht_gpio)) self.tick = tick self.lock = _thread.allocate_lock() self.timer = Timer(period=tick*1000, mode=Timer.PERIODIC, callback=self._timer_handler) self._humidity = 0 self._temperature = 0 self._measurement_dt = 0 self.measure() self._callback_func = callback self._expire = expire self._counter = 0 def set_callback(self, callback, expire): self._callback_func = callback self._expire = expire def measure(self, arg=0): self.dht.measure() self.lock.acquire() self._humidity = self.dht.humidity() self._temperature = self.dht.temperature() self._measurement_dt = time.time() self.lock.release() def _timer_handler(self,t): schedule(self.measure, 0) self._counter -= 1 if self._counter <= 0: self._counter = self._expire if self._callback_func is not None: schedule(self._callback_func, self) @property def temp(self): self.lock.acquire() rval = self._temperature self.lock.release() return rval @property def hum(self): self.lock.acquire() rval = self._humidity self.lock.release() return rval @property def measurement_date_time(self): self.lock.acquire() rval = self._measurement_dt self.lock.release() return rval def mycalback(c): tm = time.localtime(c.measurement_date_time) line.notify("temp=%d,hum=%d@%4d/%02d/%02d_%02d:%02d:%02d" % (c.temp, c.hum, tm[0],tm[1],tm[2],tm[3],tm[4],tm[5])) if __name__ == '__main__': cl = Climate(callback = mycalback) while(True): machine.idle() |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温かく見守ってください。皆さんと共に勉強していきましょう。第19回では、データの可視化などにも活用できるWebアプリケーションフレームワーク「Streamlit」の基本的な使い方を紹介します。
シェルスクリプトマガジン Vol.89は以下のリンク先でご購入できます。
図7 「magic.py」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
import streamlit as st # 素のテキストはマークダウンで表示される（docstring以外） ''' # Magicという仕組み 説明を _markdown_ で書けます。 ''' '### 文字列や変数の取り扱い' a = st.number_input("整数aの値を入れてください:+1:", value=0) b = st.number_input("整数bの値を入れてください:+1:", value=0) x = a + b 'a + b = ', x # 文字列と変数の値を並べて直接描画する '### 表の取り扱い' import pandas as pd df = pd.DataFrame({'名前': ['あや','ゆみ','みなこ','とめ'], '年齢': [24,22,32,95]}) df # データフレームを直接描画する '### チャートの取り扱い' import matplotlib.pyplot as plt import numpy as np arr = np.random.normal(1, 1, size=100) fig, ax = plt.subplots() ax.hist(arr, bins=20) fig # チャートも直接描画できる |
図9 キャッシュを設定するコードの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
'### チャートの取り扱い' import matplotlib.pyplot as plt import numpy as np @st.cache_data def make_chart(): arr = np.random.normal(1, 1, size=100) fig, ax = plt.subplots() ax.hist(arr, bins=20) return fig fig = make_chart() fig # チャートも直接描画できる |
図10 山手線の駅の位置を地図上にプロットするWebアプリのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
import streamlit as st import pandas as pd import json with open('yamate.geojson','r') as f: data = json.load(f) coords = [f['geometry']['coordinates'] \ for f in data ['features'] if f['geometry']['type'] == 'Point'] map_data = pd.DataFrame(coords, columns=['lon', 'lat']) st.map(map_data) |
図12 ウィジェットをサイドバーに配置するコードの例
|
1 2 3 4 5 6 7 8 |
import streamlit as st selected = st.sidebar.selectbox( 'なに食べる？', ('ramen', 'curry', 'katsudon'), ) st.image(selected + '.jpg') |
筆者：大津 真
文章の作成やプログラミングに欠かせないのがテキストエディタ（以下、エディタ）です。この連載では、Linuxで利用できる定番エディタの特徴と使い方を解説していきます。最終回となる今回も、LinuxだけでなくWindowsやmacOSでも利用可能なGUIエディタの定番「Visual Studio Code（VSCode）」を引き続き紹介します。
シェルスクリプトマガジン Vol.89は以下のリンク先でご購入できます。
図1 「test1.md」ファイルに記述するテキストデータ
|
1 2 3 4 5 6 7 8 9 10 11 12 |
# VSCode 入門 VSCode はシンプルで扱いやすいエディタです。 ## いろいろなエディタ 1. VSCode 2. Vim 3. nano ## VSCode の特徴 - プラグインによる拡張 - ワークスペースによる管理 - コマンドパレットによるコマンド実行 |
p.14の「Windows 10のサポートが終了する2024年6月末ごろ」は「Windows 10（バージョン22H2）のサポートが終了する2025年10月14日」の誤りです（詳しくサポート期間は、こちら）。お詫びして訂正いたします。
Windows 10（バージョン22H2）は、まだ1年半以上のサポートが受けられますので、安心してお使いください。
情報は随時更新致します。
004 レポート Open Source Summit Japan開催
005 レポート 国内開発の日本語LLM
006 製品レビュー スマートテレビ「32S2」
007 NEWS FLASH
008 特集1 CentOS Linux 7からの移行先を考える/弦本春樹
013 Hello Nogyo!
014 特集2 自宅Linuxサーバー構築/麻生二郎 コード掲載
028 特別企画 ゆっくりMovieMaker4で映像制作 シナリオ作り編/ふる（FuruyamD）
038 Raspberry Pi Pico W/WHで始める電子工作/米田聡 コード掲載
042 大規模言語モデル/桑原滝弥、イケヤシロウ
044 Pythonあれこれ/飯尾淳 コード掲載
049 中小企業手作りIT化奮戦記/菅雄一
054 法林浩之のFIGHTING TALKS/法林浩之
056 タイ語から分かる現地生活/つじみき
062 香川大学SLPからお届け！/谷知紘
068 Linux定番エディタ入門/大津真
076 Techパズル/gori.sh
077 コラム「SELiunxとユニケージ」/シェル魔人
著者：麻生 二郎
Linuxやサーバーソフト、インターネットの仕組みを知りたいのなら、Linuxサーバーを構築するのが一番です。使わなくなった古いノートパソコンを活用し、自宅内にLinuxサーバーを構築してみましょう。本特集では、その手順を分かりやすく紹介します。
シェルスクリプトマガジン Vol.88は以下のリンク先でご購入できます。
図1 Sambaの設定（/etc/samba/smb.conf）
|
1 2 3 4 5 6 7 8 9 10 11 |
[global] workgroup = SHMAG dos charset = CP932 unix charset = UTF8 [share] path = /var/share browsable = yes writable = yes create mask = 0777 directory mask = 0777 |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温かく見守ってください。皆さんと共に勉強していきましょう。第18回では、米Google社が提供する機械学習フレームワーク「MediaPipe」の顔検出機能を用いて、お遊びのプログラム作成に挑戦します。
シェルスクリプトマガジン Vol.88は以下のリンク先でご購入できます。
図1 顔ランドマーク検出をするコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
import cv2 import mediapipe as mp spec = mp.solutions.drawing_utils.DrawingSpec(thickness=1, circle_radius=1) cap = cv2.VideoCapture(0) with mp.solutions.face_mesh.FaceMesh( min_detection_confidence=0.5, min_tracking_confidence=0.5) as face_mesh: while True: success, image = cap.read() if not success: print("Warning: No camera image"); continue image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB) image.flags.writeable = False results = face_mesh.process(image) # Annotate the face mesh image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) if results.multi_face_landmarks: for landmarks in results.multi_face_landmarks: mp.solutions.drawing_utils.draw_landmarks( image=image, landmark_list=landmarks, connections=mp.solutions.face_mesh.FACEMESH_TESSELATION, landmark_drawing_spec=spec, connection_drawing_spec=spec) cv2.imshow('MediaPipe FaceMesh', image) if cv2.waitKey(5) & 0xFF == 27: break cap.release() |
図4 「顔ハメ」アプリのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 |
import cv2 import numpy as np from PIL import Image, ImageDraw import mediapipe as mp def scaleToHeight(img, height): h, w = img.shape[:2] width = round(w * (height / h)) dst = cv2.resize(img, dsize=(width, height)) return dst def convertToRGBA(src, type): return Image.fromarray(cv2.cvtColor(src, type))\ .convert('RGBA') def trimOutside(base, over, loc): drw = ImageDraw.Draw(base) drw.rectangle([(0, 0), (loc[0]-1, over.size[1]-1)], fill=(0, 0, 0)) drw.rectangle([(loc[0]+over.size[0], 0), (base.size[0]-1,over.size[1]-1)], fill=(0, 0, 0)) def overlayImage(src, overlay, location): # convert images to PIL format pil_src = convertToRGBA(src, cv2.COLOR_BGR2RGB) pil_overlay = convertToRGBA(overlay, cv2.COLOR_BGRA2RGBA) # conpose two images pil_tmp = Image.new('RGBA', pil_src.size, (0, 0, 0, 0)) pil_tmp.paste(pil_overlay, location, pil_overlay) trimOutside(pil_tmp, pil_overlay, location) result_image = Image.alpha_composite(pil_src, pil_tmp) # convert result to OpenCV format return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGRA) def decrementTimer(timer, image, p_idx): h, w = image.shape[:2] if timer < 0: p_idx = (p_idx + 1) % len(panels) return TIMER_INITIAL_VALUE, p_idx elif timer == 30: global still still = image cv2.rectangle(image, (0, 0), (w, h), (255,255,255), thickness=-1) return timer - 1, p_idx elif timer < 30: image = still return timer - 1, p_idx d, r = timer // 30, timer % 30 c = 255 / 60 * r + 128 cv2.putText(image, org=(int(w/2-100), int(h/2+100)), text=str(d), fontFace=cv2.FONT_HERSHEY_DUPLEX, fontScale=10.0, color=(c, c, c), thickness=30, lineType=cv2.LINE_AA) return timer - 1, p_idx # prepare the kao_hame_panels panels = [] panels.append(cv2.imread('img1.png', cv2.IMREAD_UNCHANGED)) panels.append(cv2.imread('img2.png', cv2.IMREAD_UNCHANGED)) panels.append(cv2.imread('img3.png', cv2.IMREAD_UNCHANGED)) # capture from a camera cap = cv2.VideoCapture(0) ret, frame = cap.read() # rescale the kao_hame image height, width = frame.shape[:2] for i in range(len(panels)): panels[i] = scaleToHeight(panels[i], height) p_idx = 0 panel = panels[p_idx] p_height, p_width = panel.shape[:2] # timing counter TIMER_INITIAL_VALUE = 119 timer = TIMER_INITIAL_VALUE with mp.solutions.face_mesh\ .FaceMesh(max_num_faces=1, refine_landmarks=True, min_detection_confidence=0.5, min_tracking_confidence=0.5)\ as face_mesh: while cap.isOpened(): success, image = cap.read() if not success: print("Ignoring empty camera frame.") continue image = cv2.flip(image, 1) location = ((width-p_width)//2, 0) image = overlayImage(image, panel, location) image2 = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = face_mesh.process(image2) if results.multi_face_landmarks != None: timer, p_idx = decrementTimer(timer, image, p_idx) panel = panels[p_idx] p_height, p_width = panel.shape[:2] else: timer = TIMER_INITIAL_VALUE # reset timer # triming the image image = image[0:p_height, location[0]:location[0]+p_width] cv2.imshow('Virtual Face-in-Hole Cutout', image) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() |
著者：米田 聡
本連載では、人気のマイコンボード「Raspberry Pi Pico W/WH」を活用していきます。同ボードは、無
線LANやBluetoothの通信機能を搭載し、入手しやすく価格も手頃なので、IoT機器を自作するのに最適なハードウエアです。第4回は、モノクロ有機ELディスプレイと湿温度センサー「DHT-11」で日本語表示の湿温度計を作ります。
シェルスクリプトマガジン Vol.88は以下のリンク先でご購入できます。
図9 温度と湿度を日本語で表示するプログラム（temp_hum.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
from machine import Pin from machine import I2C from ssd1306 import SSD1306_I2C from display import PinotDisplay from pnfont import Font import dht import time # ELパネル i2c=I2C(0, freq=400000) ssd = SSD1306_I2C(128, 32, i2c) # pinotライブラリ fnt = Font('/fonts/shnmk12u.pfn') disp = PinotDisplay(panel = ssd, font = fnt) # DHT-11センサー sensor = dht.DHT11(Pin(15)) while True: os_error = False try: sensor.measure() except OSError as e: os_error = True line1 = "温度: {0:2d} C".format(sensor.temperature()) line2 = "湿度: {0:2d} %".format(sensor.humidity()) line3 = "DHT-11エラー" if os_error else " " # 温度表示 disp.locate(1, 0) disp.text(line1) # 湿度表示 disp.locate(1,12) disp.text(line2) # エラー表示 disp.locate(1,24) disp.text(line3) time.sleep(2) |
004 レポート Raspberry Pi 5が登場
005 レポート キーボード「HHKB Studio」が発売
006 製品レビュー 小型パソコン「X68000 Z PRODUCT EDITION BLACK MODEL」
007 NEWS FLASH
008 特集1 ゆっくりMovieMaker4で映像制作 編集作業編/ふる（FuruyamD）
014 特集2 電子帳簿保存法を知る/永禮啓大
021 Hello Nogyo!
022 特別企画 アプリバで業務システム開発/前佛雅人
032 Raspberry Pi Pico W/WHで始める電子工作/米田聡
035 行動経済学と心理学で円滑に業務を遂行/請園正敏
038 Pythonあれこれ/飯尾淳 コード掲載
044 法林浩之のFIGHTING TALKS/法林浩之
046 中小企業手作りIT化奮戦記/菅雄一 コード掲載
052 エコシステム/桑原滝弥、イケヤシロウ
054 香川大学SLPからお届け！/大村空良
060 タイ語から分かる現地生活/つじみき
066 ユニケージ通信/ぱぺぽ
070 Linux定番エディタ入門/大津真
076 Techパズル/gori.sh
077 コラム「ユニケージが実現・目指しているところ」/シェル魔人
著者：飯尾淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温かく見守ってください。皆さんと共に勉強していきましょう。第17回では、データを記録して残す「永続化」の手法の続編として、O/Rマッパーを使ってデータベースにアクセスする方法について解説します。
シェルスクリプトマガジン Vol.87は以下のリンク先でご購入できます。
図3 宣言的マッピングをするコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
from typing import List from typing import Optional from sqlalchemy import ForeignKey from sqlalchemy import String from sqlalchemy.orm import DeclarativeBase from sqlalchemy.orm import Mapped from sqlalchemy.orm import mapped_column from sqlalchemy.orm import relationship class Base(DeclarativeBase): pass class User(Base): __tablename__ = "user_account" id: Mapped[int] = mapped_column(primary_key=True) name: Mapped[str] = mapped_column(String(30)) fullname: Mapped[Optional[str]] addresses: Mapped[List["Address"]] = relationship( back_populates="user", cascade="all, delete-orphan" ) def __repr__(self) -> str: return f"User(id={self.id!r},\ name={self.name!r}, fullname={self.fullname!r})" class Address(Base): __tablename__ = "address" id: Mapped[int] = mapped_column(primary_key=True) email_address: Mapped[str] user_id: Mapped[int] = mapped_column(ForeignKey("user_account.id")) user: Mapped["User"] = relationship(back_populates="addresses") def __repr__(self) -> str: return f"Address(id={self.id!r},\ email_address={self.email_address!r})" |
図4 データベースエンジンとなるオブジェクトを作成するコード
|
1 2 |
from sqlalchemy import create_engine engine = create_engine("sqlite:///a_db.sqlite3", echo=True) |
図5 発行されるSQL
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
CREATE TABLE user_account ( id INTEGER NOT NULL, name VARCHAR(30) NOT NULL, fullname VARCHAR, PRIMARY KEY (id) ) CREATE TABLE address ( id INTEGER NOT NULL, email_address VARCHAR NOT NULL, user_id INTEGER NOT NULL, PRIMARY KEY (id), FOREIGN KEY(user_id) REFERENCES user_account (id) ) |
図6 データ操作用オブジェクトを作成するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
from sqlalchemy.orm import Session with Session(engine) as session: spongebob = User( name="spongebob", fullname="Spongebob Squarepants", addresses=[Address(email_address="spongebob@sqlalchemy.org")], ) sandy = User( name="sandy", fullname="Sandy Cheeks", addresses=[ Address(email_address="sandy@sqlalchemy.org"), Address(email_address="sandy@squirrelpower.org"), ], ) patrick = User(name="patrick", fullname="Patrick Star") session.add_all([spongebob, sandy, patrick]) session.commit() |
図7 図6のコードを実行した際の画面出力（抜粋）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
BEGIN (implicit) INSERT INTO user_account (name, fullname) VALUES (?, ?) RETURNING id （略）('spongebob', 'Spongebob Squarepants') INSERT INTO user_account (name, fullname) VALUES (?, ?) RETURNING id （略）('sandy', 'Sandy Cheeks') INSERT INTO user_account (name, fullname) VALUES (?, ?) RETURNING id （略）('patrick', 'Patrick Star') INSERT INTO address (email_address, user_id) VALUES (?, ?) RETURNING id （略）('spongebob@sqlalchemy.org', 1) INSERT INTO address (email_address, user_id) VALUES (?, ?) RETURNING id （略）('sandy@sqlalchemy.org', 2) INSERT INTO address (email_address, user_id) VALUES (?, ?) RETURNING id （略）('sandy@squirrelpower.org', 2) COMMIT |
図8 簡単な検索をするコード
|
1 2 3 4 5 6 7 |
from sqlalchemy.orm import Session from sqlalchemy import select session = Session(engine) stmt = select(User).where(User.name.in_(["spongebob", "sandy"])) for user in session.scalars(stmt): print(user) |
図9 図8のコードを実行した際に発行されるSQL
|
1 2 3 4 5 |
BEGIN (implicit) SELECT user_account.id, user_account.name, user_account.fullname FROM user_account WHERE user_account.name IN (?, ?) （略） ('spongebob', 'sandy') |
図10 図8のコードを実行した際に表示される検索結果
|
1 2 |
User(id=1, name='spongebob', fullname='Spongebob Squarepants') User(id=2, name='sandy', fullname='Sandy Cheeks') |
図11 少し複雑な検索をするコード
|
1 2 3 4 5 6 7 |
stmt = ( select(Address) .join(Address.user) .where(User.name == "sandy") .where(Address.email_address == "sandy@sqlalchemy.org") ) sandy_address = session.scalars(stmt).one() |
図12 図11のコードを実行した際に発行されるSQL
|
1 2 3 4 |
SELECT address.id, address.email_address, address.user_id FROM address JOIN user_account ON user_account.id = address.user_id WHERE user_account.name = ? AND address.email_address = ? （略） ('sandy', 'sandy@sqlalchemy.org') |
図13 データ変更のシンプルなコード例
|
1 2 |
sandy_address.email_address = "sandy_cheeks@sqlalchemy.org" session.commit() |
図14 図13のコードを実行した際に発行されるSQL
|
1 2 3 |
UPDATE address SET email_address=? WHERE address.id = ? （略）('sandy_cheeks@sqlalchemy.org', 2) COMMIT |
図15 データ変更の少し複雑なコード例
|
1 2 3 4 5 |
stmt = select(User).where(User.name == "patrick") patrick = session.scalars(stmt).one() patrick.addresses \ .append(Address(email_address="patrickstar@sqlalchemy.org")) session.commit() |
図16 図15のコードを実行した際に発行されるSQL
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
SELECT user_account.id, user_account.name, user_account.fullname FROM user_account WHERE user_account.name = ? （略）('patrick',) SELECT address.id AS address_id, address.email_address AS address_email_address, address.user_id AS address_user_id FROM address WHERE ? = address.user_id （略）(3,) INSERT INTO address (email_address, user_id) VALUES (?, ?) （略）('patrickstar@sqlalchemy.org', 3) COMMIT |
著者：大村 空良
プログラミングにおいて重要な要素の一つが、プログラムの実行速度です。プログラムの実行速度は、より良いアルゴリズムを選択することで大きく改善できます。今回は、巡回セールスマン問題を解くC++プログラムを、アルゴリズムを変更して高速化した例を紹介します。
シェルスクリプトマガジン Vol.87は以下のリンク先でご購入できます。
図2 図1の巡回セールスマン問題を解くC++コード「sample1.cpp」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
#include <bits/stdc++.h> using namespace std; int main() { int n = 4, ans = 1e9-1, sum; int a[4][4] = { {0, 3, 7, 8}, {3, 0, 4, 4}, {7, 4, 0, 3}, {8, 4, 3, 0} }; vector<int> v_ans, v = {0, 1, 2, 3}; do { //初期化 sum = 0; //距離を足す for (int i = 1; i < n; i++) { sum += a[v[i-1]][v[i]]; } sum += a[v[n-1]][v[0]]; //比較 if (ans > sum) { ans = sum; v_ans = v; } } while (next_permutation(v.begin(), v.end())); //結果表示 for_each(v_ans.begin(), v_ans.end(), [](int& item) { item++; }); copy(v_ans.begin(), v_ans.end(), ostream_iterator<int>(cout, "→")); cout << v_ans[0] << endl; cout << ans << endl; return 0; } |
図3 都市数を変えられるように図2のコードを拡張した「sample2.cpp」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
#include <bits/stdc++.h> #include "sales.h" using namespace std; int main() { int ans = 1e9-1, sum; vector<int> v_ans; do { sum = 0; for (int i = 1; i < n; i++) { sum += a[v[i-1]][v[i]]; } sum += a[v[n-1]][v[0]]; if (ans > sum) { ans = sum; v_ans = v; } } while (next_permutation(v.begin(), v.end())); for_each(v_ans.begin(), v_ans.end(), [](int& item) { item++; }); copy(v_ans.begin(), v_ans.end(), ostream_iterator<int>(cout, "→")); cout << v_ans[0] << endl; cout << ans << endl; return 0; } |
図4 ヘッダーファイル生成用のPythonスクリプト「make_header.py」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
import random import sys text = "dummy" while not text.isdecimal(): print("整数値を入力してください: ", file=sys.stderr, end='') text = input() num = int(text) if num > 15 or num < 1: sys.exit(1) array = [[0] * num for i in range(num)] random.seed() for i in range(num): for j in range(num): if i != j: if array[j][i] != 0: array[i][j] = array[j][i] else: array[i][j] = random.randint(1, 9) print('#include <vector>') print('using namespace std;') print(f'int n = {num};') print(f'int a[{num}][{num}] = {{') for i in range(num): line = str(array[i])[1:-1] print('{' + line + '},') print('};') line = list(range(0, num)) line = str(line)[1:-1] print(f'vector<int> v = {{{line}}};') |
図5 フィボナッチ数を求めるC++コード「sample3.cpp」
|
1 2 3 4 5 6 7 8 9 10 11 12 |
#include <bits/stdc++.h> using namespace std; unsigned long long fib(char n) { if ((n <= 0) || (n > 93)) return 0; if (n == 1) return 1; return fib(n - 1) + fib(n - 2); } int main() { char n = 5; cout << fib(n) << endl; return 0; } |
図7 動的計画法を用いて改良したコード「sample4.cpp」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
#include <bits/stdc++.h> using namespace std; unsigned long long fib(char n) { if ((n <= 0) || (n > 93)) return 0; if (n == 1) return 1; unsigned long long f[128]; f[0] = 0; f[1] = 1; for (char i = 2; i <= n; i++) { f[i] = f[i - 1] + f[i - 2]; } return f[n]; } int main() { char n = 5; cout << fib(n) << endl; return 0; } |
図10 動的計画法を用いて改良したコード「sample5.cpp」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
#include <bits/stdc++.h> #include "sales.h" using namespace std; int main() { int dp[(1<<n)][n]; for (int i = 0; i < (1<<n); i++) { for (int j = 0; j < n; j++) { dp[i][j] = 1e9-1; } } dp[0][0] = 0; for (int i = 0; i < (1<<n); i++) { for (int j = 0; j < n; j++) { for (int k = 0; k < n; k++) { if (i==0 || !(i & (1<<k)) && (i & (1<<j))) { if( j != k ) { dp[i | (1<<k)][k] = min(dp[i | (1<<k)][k], dp[i][j] + a[j][k]); } } } } } cout << dp[(1<<n) - 1][0] << endl; return 0; } |
004 レポート Python in Excelの開発版登場
005 レポート iPhone 15シリーズを発表
006 製品レビュー 電子小物「koko Tag（ココタグ）」
007 NEWS FLASH
008 特集1 Markdown入門ガイド/藤原由来 コード掲載
024 特集2 最新COBOL入門/比毛寛之 コード掲載
034 特別企画 CMSのPlone/酒井忠臣、烈
046 Raspberry Pi Pico W/WHで始める電子工作/米田聡 コード掲載
050 CMS/桑原滝弥、イケヤシロウ
052 Pythonあれこれ/飯尾淳 コード掲載
057 Hello Nogyo!
058 中小企業手作りIT化奮戦記/菅雄一
062 法林浩之のFIGHTING TALKS/法林浩之
064 香川大学SLPからお届け！/石上椋一 コード掲載
072 行動経済学と心理学で円滑に業務を遂行/請園正敏
076 タイ語から分かる現地生活/つじみき
082 Linux定番エディタ入門/大津真
088 ユニケージ通信/田渕智也、高橋未来哉 コード掲載
091 Techパズル/gori.sh
093 コラム「ユニケージアーキテクチャ」/シェル魔人
著者：藤原 由来
本特集では、文書の装飾や構造付けを手軽に実施できる記法「Markdown」について解説します。Markdownを使うと、テキストファイルでレポートやスライド、書籍などを作成でき、GitHubなどの各種Webサービスでの投稿やコミュニケーションがより便利になります。
シェルスクリプトマガジン Vol.86は以下のリンク先でご購入できます。
図2 Markdownの記述内容
|
1 2 3 4 5 6 7 8 9 10 11 |
# カレーの作り方 おいしいカレーを作りましょう。 ## 材料 - カレールー - 牛肉 - 野菜 - サラダ油 - 水 |
図19 Markdownテキストの例
|
1 2 3 4 5 6 7 8 9 10 11 |
#␣カレーの作り方 おいしいカレーを作りましょう。 ##␣材料 -␣カレールー -␣牛肉 -␣野菜 -␣サラダ油 -␣水 |
図46 MarpによるスライドのMarkdownテキスト例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
--- marp: true --- # カレーの作り方 おいしいカレーを作りましょう。 --- # 材料 - カレールー - 牛肉 - 野菜 - サラダ油 - 水 |
著者：比毛 寛之
レガシー問題や技術者不足などで話題の多いプログラミング言語が「COBOL」です 。古い言語というイメージがありますが、ISOから2023年の新規格が公表されたことでも分かるように、現在も進化を続けています。本特集では、COBOLの現状を紹介しつつ、「opensource COBOL 4J」というオープンソースソフトウエアのCOBOLコンパイラを使ってCOBOL言語の基本を解説します。
シェルスクリプトマガジン Vol.86は以下のリンク先でご購入できます。
図1 「HELLO WORLD!」という文字列を表示するCOBOLのサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 |
----+----1----+----2----+----3----+----4----+----5 IDENTIFICATION DIVISION. PROGRAM-ID. HELLOWORLD. DATA DIVISION. WORKING-STORAGE SECTION. 01 MY-TEXT PIC X(20). PROCEDURE DIVISION. MAIN-RTN. MOVE "HELLO WORLD!" TO MY-TEXT. DISPLAY MY-TEXT. STOP RUN. ----+----1----+----2----+----3----+----4----+----5 |
図4 COBOLのサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
----+----1----+----2----+----3----+----4----+----5----+----6----+----7----+----8 IDENTIFICATION DIVISION. PROGRAM-ID. MYCOBOL. DATA DIVISION. WORKING-STORAGE SECTION. 01 MY-GRP. * 03 MY-WORK-X PIC X(10). 20230804 03 MY-WORK-X2 PIC X(10). 20230804 03 MY-WORK-9 PIC 9(05). ******************************************** PROCEDURE DIVISION. ******************************************** PROC1 SECTION. PROC1-000. * MOVE "ABC" TO MY-WORK-X. 20230804 MOVE "DEF" TO MY-WORK-X2. 20230804 MOVE 100 TO MY-WORK-9. PROC1-900. STOP RUN. ----+----1----+----2----+----3----+----4----+----5----+----6----+----7----+----8 |
図5 コンソールからの入力と画面への出力をするサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
----+----1----+----2----+----3----+----4----+----5----+ IDENTIFICATION DIVISION. PROGRAM-ID. HELLO. DATA DIVISION. WORKING-STORAGE SECTION. 01 MY-NAME PIC X(20). PROCEDURE DIVISION. MAIN-RTN. DISPLAY "Enter your name: " NO ADVANCING. ACCEPT MY-NAME. DISPLAY "Hello " MY-NAME. MAIN-EXIT. STOP RUN. ----+----1----+----2----+----3----+----4----+----5----+ |
図6 ファイルにデータを出力するサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
----+----1----+----2----+----3----+----4----+----5----+----6----+----7 IDENTIFICATION DIVISION. PROGRAM-ID. EMPWRITE. ENVIRONMENT DIVISION. INPUT-OUTPUT SECTION. FILE-CONTROL. SELECT EMP-FILE ASSIGN TO "EMPFILE" ORGANIZATION IS INDEXED ACCESS MODE IS DYNAMIC RECORD KEY IS EMP-CD FILE STATUS IS EMP-STS. DATA DIVISION. FILE SECTION. FD EMP-FILE. 01 EMP-REC. 03 EMP-CD PIC X(04). 03 EMP-NAME PIC X(20). 03 EMP-DPT-CD PIC X(02). 03 EMP-ENT-DATE PIC 9(08). WORKING-STORAGE SECTION. 01 EMP-STS PIC 9(02). PROCEDURE DIVISION. MAIN-CONTROL SECTION. MAIN-000. DISPLAY "*** Creating Employee file ***". OPEN OUTPUT EMP-FILE. * MOVE "0011" TO EMP-CD. MOVE "Saitama Saburo" TO EMP-NAME. MOVE "01" TO EMP-DPT-CD. MOVE 20020401 TO EMP-ENT-DATE. WRITE EMP-REC. * ----+----+----+----+----+----+----+ WRITE EMP-REC FROM "0012Chiba Jiro 0219990401". WRITE EMP-REC FROM "0013Tokyo Taro 0319970401". WRITE EMP-REC FROM "0014Kanagawa Shiro 0120120401". WRITE EMP-REC FROM "0015Niigata Goroo 0220010401". * ----+----+----+----+----+----+----+ CLOSE EMP-FILE. MAIN-900. STOP RUN. ----+----1----+----2----+----3----+----4----+----5----+----6----+----7 |
図7 ファイル中のレコードを読み出して画面に表示するサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 |
----+----1----+----2----+----3----+----4----+----5----+----6----+ IDENTIFICATION DIVISION. PROGRAM-ID. EMPLIST. ENVIRONMENT DIVISION. INPUT-OUTPUT SECTION. FILE-CONTROL. SELECT EMP-FILE ASSIGN TO "EMPFILE" ORGANIZATION IS INDEXED ACCESS MODE IS DYNAMIC RECORD KEY IS EMP-CD FILE STATUS IS EMP-STS. DATA DIVISION. FILE SECTION. FD EMP-FILE. 01 EMP-REC. 03 EMP-CD PIC X(04). 03 EMP-NAME PIC X(20). 03 EMP-DPT-CD PIC X(02). 03 EMP-ENT-DATE PIC 9(08). WORKING-STORAGE SECTION. 01 EMP-STS PIC 9(02). 01 DSP-REC. 03 DSP-CD PIC X(04). 03 FILLER PIC X. 03 DSP-NAME PIC X(20). 03 FILLER PIC XX. 03 DSP-DPT-CD PIC X(02). 03 FILLER PIC X. 03 DSP-ENT-DATE PIC 9999/99/99. PROCEDURE DIVISION. MAIN-CONTROL SECTION. MAIN-000. OPEN INPUT EMP-FILE. DISPLAY "*** Employee List ***". DISPLAY "ID Employee Name Dpt Enter date". DISPLAY "---- -------------------- --- ----------". PERFORM UNTIL (EMP-STS NOT = ZERO) READ EMP-FILE NEXT AT END DISPLAY "EOF" NOT AT END MOVE EMP-CD TO DSP-CD MOVE EMP-NAME TO DSP-NAME MOVE EMP-DPT-CD TO DSP-DPT-CD MOVE EMP-ENT-DATE TO DSP-ENT-DATE DISPLAY DSP-REC END-READ END-PERFORM. CLOSE EMP-FILE. MAIN-900. STOP RUN. ----+----1----+----2----+----3----+----4----+----5----+----6----+ |
図9 「EMPSEARCH.cbl」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
----+----1----+----2----+----3----+----4----+----5----+----6----+- IDENTIFICATION DIVISION. PROGRAM-ID. EMPSEARCH. DATA DIVISION. WORKING-STORAGE SECTION. 01 WK-AREA. 03 WK-CD PIC X(04). 03 WK-NAME PIC X(20). 03 WK-DPT-CD PIC X(02). 03 WK-ENT-DATE PIC 9(08). 03 WK-RETURN PIC 9(01). PROCEDURE DIVISION. MAIN-RTN. DISPLAY "*** Employee Search ***". DISPLAY "Code: : " NO ADVANCING. ACCEPT WK-CD. CALL "EMPREAD" USING WK-CD, WK-NAME, WK-DPT-CD, WK-ENT-DATE, WK-RETURN. IF WK-RETURN = ZERO DISPLAY "Name : " WK-NAME DISPLAY "Dept code : " WK-DPT-CD DISPLAY "Enter date: " WK-ENT-DATE ELSE DISPLAY "Employee not found!" END-IF. MAIN-EXIT. STOP RUN. ----+----1----+----2----+----3----+----4----+----5----+----6----+- |
図10 「EMPREAD.cbl」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 |
----+----1----+----2----+----3----+----4----+----5----+----6----+----7 IDENTIFICATION DIVISION. PROGRAM-ID. EMPREAD. ENVIRONMENT DIVISION. INPUT-OUTPUT SECTION. FILE-CONTROL. SELECT EMP-FILE ASSIGN TO "EMPFILE" ORGANIZATION IS INDEXED ACCESS MODE IS DYNAMIC RECORD KEY IS EMP-CD FILE STATUS IS EMP-STS. DATA DIVISION. FILE SECTION. FD EMP-FILE. 01 EMP-REC. 03 EMP-CD PIC X(04). 03 EMP-NAME PIC X(20). 03 EMP-DPT-CD PIC X(02). 03 EMP-ENT-DATE PIC 9(08). WORKING-STORAGE SECTION. 01 EMP-STS PIC 9(02). LINKAGE SECTION. 01 LK-CD PIC X(04). 01 LK-NAME PIC X(20). 01 LK-DPT-CD PIC X(02). 01 LK-ENT-DATE PIC 9(08). 01 LK-RETURN PIC 9(01). PROCEDURE DIVISION USING LK-CD, LK-NAME, LK-DPT-CD, LK-ENT-DATE, LK-RETURN. MAIN-CONTROL SECTION. MAIN-000. INITIALIZE EMP-REC. MOVE ZERO TO LK-RETURN. OPEN INPUT EMP-FILE. MOVE LK-CD TO EMP-CD. READ EMP-FILE KEY IS EMP-CD INVALID KEY MOVE 1 TO LK-RETURN END-READ. MOVE EMP-NAME TO LK-NAME. MOVE EMP-DPT-CD TO LK-DPT-CD. MOVE EMP-ENT-DATE TO LK-ENT-DATE. CLOSE EMP-FILE. MAIN-900. EXIT PROGRAM. ----+----1----+----2----+----3----+----4----+----5----+----6----+----7 |
図11 「EmpSearchDemo.java」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
import jp.osscons.opensourcecobol.libcobj.ui.*; public class EmpSearchDemo { public static void main(String[] args) throws Exception { EMPREAD prog = new EMPREAD(); CobolResultSet rs = prog.execute("0011", "", "", 0, 0); System.out.println("*** Employee Search from Java ***"); System.out.println("Code : " + rs.getString(1)); System.out.println("Name : " + rs.getString(2)); System.out.println("Dept code : " + rs.getString(3)); System.out.println("Enter date: " + rs.getInt(4)); } } |
著者：米田 聡
本連載では、人気のマイコンボード「Raspberry Pi Pico W」を活用していきます。同ボードは、無線LANやBluetoothの通信機能を搭載し、入手しやすく価格も手頃なので、IoT機器を自作するのに最適なハードウエアです。第2回は、有機ELディスプレイを取り付けます。
シェルスクリプトマガジン Vol.86は以下のリンク先でご購入できます。
図6 SSD1306搭載有機ELディスプレイを動作させるサンプルプログラム（ssd1306_sample.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
from machine import I2C from ssd1306 import SSD1306_I2C import network i2c = I2C(0) ssd = SSD1306_I2C(width=128, height=32, i2c=i2c, addr=0x3C) ssd.fill(0) # 0クリア ssd.text("Hello, world", 0, 0) # IPアドレスを描画 conn = network.WLAN(network.STA_IF) if conn.isconnected(): conf = conn.ifconfig() ssd.text(conf[0], 0, 8) ssd.show() # フレームバッファをSSD1306に転送 |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第16回では、データを永続的に残す「永続化」の手法の一つとして、Pythonプログラムからデータベースにアクセスする方法について解説します。
シェルスクリプトマガジン Vol.86は以下のリンク先でご購入できます。
図3 データベースにテーブルを作成してデータを格納するコード
|
1 2 3 4 5 6 7 8 |
from sqlalchemy import text with engine.connect() as conn: conn.execute(text("CREATE TABLE a_table (id int, name string)")) conn.execute( text("INSERT INTO a_table (id, name) VALUES (:id, :name)"), [{"id":1, "name":"John"}, {"id":2, "name":"Bob"}], ) conn.commit() |
図5 テーブルのデータを読み出すコード
|
1 2 3 4 |
with engine.connect() as conn: result = conn.execute(text("SELECT * FROM a_table")) for record in result: print(f"id: {record.id}, name: {record.name}") |
図6 commit()を忘れたコードの例
|
1 2 3 4 5 6 |
with engine.connect() as conn: conn.execute( text("INSERT INTO a_table (id, name) VALUES (:id, :name)"), [{"id":3, "name":"Kate"}, {"id":4, "name":"Bob"}], ) conn.commit() |
図8 データベースに含まれるテーブルを表示するコード
|
1 2 3 4 5 6 7 8 |
from sqlalchemy import create_engine engine = create_engine("sqlite:///:memory:", echo=True) with engine.connect() as conn: result = conn.execute( text("SELECT name FROM sqlite_master WHERE type='table'") ) for record in result: print(record) |
図9 ファイル内にデータベースを作成するコード
|
1 2 3 4 5 6 7 8 9 |
from sqlalchemy import create_engine, text engine = create_engine("sqlite:///db.sqlite3") with engine.connect() as conn: conn.execute(text("CREATE TABLE a_table (id int, name string)")) conn.execute( text("INSERT INTO a_table (id, name) VALUES (:id, :name)"), [{"id": 1, "name": "John"}, {"id": 2, "name": "Bob"}], ) conn.commit() |
図10 ファイル内データベースのテーブルからデータを読み出すコード
|
1 2 3 4 5 6 |
from sqlalchemy import create_engine, text engine = create_engine("sqlite:///db.sqlite3") with engine.connect() as conn: result = conn.execute(text("SELECT * FROM a_table")) for record in result: print(f"id: {record.id}, name: {record.name}") |
著者：石上 椋一
今回は、私が開発した文章校正用のWebアプリケーションについて紹介します。文章校正機能は「textlint」というNode.js上で稼働するアプリケーションを使って実現しているため、少ないコード量で実装できました。米Google社のアプリケーション開発プラットフォーム「Firebase」を利用したユーザー認証機能を付加する方法も解説します。
シェルスクリプトマガジン Vol.86は以下のリンク先でご購入できます。
図1 テンプレートファイル「index.html」に記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
<!doctype html> <html lang="ja"> <head> <title>文章校正アプリ</title> </head> <body> <h1>こんにちは！文章校正アプリです</h1> <h2>PDFファイルアップローダー</h2> <form action="/result" method="POST" enctype="multipart/form-data"> <input type=file name="pdf_file"> <button>ファイル送信</button> </form> </body> </html> |
図2 テンプレートファイル「result.html」に記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
<!doctype html> <html lang="ja"> <head> <title>文章校正アプリ 結果表示</title> </head> <body> <h1>こんにちは！文章校閲アプリです</h1> <h2>PDFファイルアップローダー</h2> <form action="/result" method="POST" enctype="multipart/form-data"> <input type=file name="pdf_file"> <button>ファイル送信</button> </form> <table border="1"> <thead> <tr> <th>何行目</th> <th>何文字目</th> <th>修正内容</th> </tr> </thead> <tbody> {% for result in result_table %} <tr> <td>{{result[0]}}</td> <td>{{result[1]}}</td> <td>{{result[2]}}</td> </tr> {% endfor %} </tbody> </table> <br> <p>修正した文章</p> <textarea rows="10" cols="80">{{result_text}}</textarea> </body> </html> |
図3 「web_app.py」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
from flask import Flask, request, render_template, \ redirect, url_for, session import subprocess import re app = Flask(__name__) def upload_pdf_file(pdf_file): pdf_file.save("uploads/target.pdf") def run_pdf2text(): cmd = "pdftotext -nopgbrk uploads/target.pdf uploads/target.md" subprocess.run(cmd, shell=True, capture_output=True, text=True) def run_textlint_and_get_result_list(): cmd = "npx textlint uploads/target.md" result = subprocess.run(cmd, shell=True, capture_output=True, text=True) result_list = result.stdout.split("\n") result_table = [] for result in result_list[2:-4]: tmp_result = result.split(" error ") if len(tmp_result) >= 2: row = int(tmp_result[0].split(":")[0].strip()) colum = tmp_result[0].split(":")[1].strip() error_data = re.sub("ja-technical-writing/[a-z | -]*", "",tmp_result[1]).strip() result_table.append([row, colum, error_data]) return result_table def run_textlint_fix_data(): cmd = "npx textlint --fix ./uploads/target.md" subprocess.run(cmd, shell=True, capture_output=True, text=True) with open("./uploads/target.md", ) as md_file: data_lines = md_file.read() return data_lines @app.route("/index", methods=["GET"]) def index(): return render_template("index.html") @app.route("/", methods=["GET"]) def root(): return redirect(url_for("index")) @app.route("/result", methods=["GET", "POST"]) def result(): if request.method == "POST": pdf_file = request.files["pdf_file"] upload_pdf_file(pdf_file) run_pdf2text() result_table = run_textlint_and_get_result_list() result_text = run_textlint_fix_data() return render_template("result.html", result_table=result_table, result_text=result_text) return redirect(url_for('index')) if __name__ == "__main__": app.debug = True app.run(host='0.0.0.0', port=5000) |
図4 「.textlintrc.json」ファイルに記述する設定の例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 |
{ "rules": { "preset-ja-technical-writing": { "sentence-length": { "max": 100 }, "max-comma": { "max": 4 }, "max-ten": { "max": 4 }, "max-kanji-continuous-len": { "max": 7, "allow": [] }, "arabic-kanji-numbers": true, "no-mix-dearu-desumasu": { "preferInHeader": "", "preferInBody": "である", "preferInList": "である", "strict": true }, "ja-no-mixed-period": { "periodMark": "。" }, "no-double-negative-ja": true, "no-dropping-the-ra": true, "no-doubled-conjunctive-particle-ga": true, "no-doubled-conjunction": true, "no-doubled-joshi": { "min_interval": 1 }, "no-invalid-control-character": true, "no-zero-width-spaces": true, "no-exclamation-question-mark": true, "no-hankaku-kana": true, "ja-no-weak-phrase": true, "ja-no-successive-word": true, "ja-no-abusage": true, "ja-no-redundant-expression": true, "ja-unnatural-alphabet": true, "no-unmatched-pair": true } } } |
図10 「~/webapp/static/json/firebase.json」ファイルに記述する設定の例
|
1 2 3 4 5 6 7 8 9 |
{ "apiKey": "AIzaSyA1LQooSfvSda0jkBQl20ZfGR6lHOC5XBw", "authDomain": "test-1d03e.firebaseapp.com", "databaseURL": "https://test-1d03e-default-rtdb.firebaseio.com", "projectId": "test-1d03e", "storageBucket": "test-1d03e.appspot.com", "messagingSenderId": "919322583901", "appId": "1:919322583901:web:abb5d744e9ed04b8927eb4" } |
図11 テンプレートファイル「create_account.html」に記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
<!doctype html> <html lang="ja"> <head> <title>文章校正アプリ アカウント作成ページ</title> </head> <body> <form class="login-form" action='/create_account' method='POST'> <input type="text" name="email" placeholder="email address"/> <input type="password" name="password" placeholder="password"/> <button>Create an account</button> <p>{{msg}}</p> <p>Already registered? <a href="/login">Login</a> </p> </form> </body> </html> |
図12 テンプレートファイル「login.html」に記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
<!doctype html> <html lang="ja"> <head> <title>文章校正アプリ ログインページ</title> </head> <body> <form class="login-form" action="/login" method="POST"> <input type="text" name="email" placeholder="email address"/> <input type="password" name="password" placeholder="password"/> <button>Login</button> <p>{{msg}}</p> <p>Not registered? <a href="/create_account">Create an account</a> </p> </form> </body> </html> |
図13 「web_app.py」ファイルの「app = Flask(name)」行の前後に追加するコード
|
1 2 3 4 5 6 7 8 9 |
import os, json import pyrebase app = Flask(__name__) app.config["SECRET_KEY"] = os.urandom(24) with open("static/json/firebase.json") as f: firebaseConfig = json.loads(f.read()) firebase = pyrebase.initialize_app(firebaseConfig) auth = firebase.auth() |
図14 「web_app.py」ファイルの既存のルーティング設定にコードを追加
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
（略） @app.route("/index", methods=["GET"]) def index(): if session.get("usr") == None: return redirect(url_for("login")) return render_template("index.html") @app.route("/", methods=["GET"]) def root(): return redirect(url_for("index")) @app.route("/result", methods=["GET", "POST"]) def result(): if session.get("usr") == None: return redirect(url_for("login")) if request.method == "POST": pdf_file = request.files["pdf_file"] （略） |
図15 「web_app.py」ファイルにルーティング設定を追加
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
@app.route("/login", methods=["GET", "POST"]) def login(): if request.method == "GET": return render_template("login.html", msg="") email = request.form["email"] password = request.form["password"] try: auth.sign_in_with_email_and_password(email, password) session["usr"] = email return redirect(url_for("index")) except: message = "メールアドレスまたはパスワードが違います" return render_template("login.html", msg=message) @app.route("/create_account", methods=["GET", "POST"]) def create_account(): if request.method == "GET": return render_template("create_account.html", msg="") email = request.form["email"] password = request.form["password"] try: auth.create_user_with_email_and_password(email, password) session["usr"] = email return redirect(url_for("index")) except: message = "アカウントを作成できませんでした" return render_template("login.html", msg=message) @app.route('/logout') def logout(): del session["usr"] return redirect(url_for("login")) |
004 レポート Wasm向けPOSIX互換ライブラリ「WASIX」
005 レポート 手のひらネットワーク機器
006 製品レビュー ロボット「NICOBO（ニコボ）」
007 NEWS FLASH
008 特集1 ゆっくりMovieMaker4で映像制作 準備編/ふる（FuruyamD）
015 Hello Nogyo!
016 特集2 ZabbixのAWS監視機能を使ってみよう/寺島広大、渡邊隼人、水谷和弘、狩俣樹
026 特集3 ChatGPTで注目の対話型AI/三沢友治
034 特別企画 成功するアジャイル開発/奥村剛史
044 Raspberry Pi Pico W/WHで始める電子工作/米田聡 コード掲載
054 Pythonあれこれ/飯尾淳
060 行動経済学と心理学で円滑に業務を遂行/請園正敏
064 中小企業手作りIT化奮戦記/菅雄一
068 SEO/桑原滝弥、イケヤシロウ
070 タイ語から分かる現地生活/つじみき
076 法林浩之のFIGHTING TALKS/法林浩之
078 香川大学SLPからお届け！/谷知紘 コード掲載
084 Linux定番エディタ入門/大津真
091 ユニケージ通信/田渕智也、高橋未来哉
096 Techパズル/gori.sh
097 コラム「ユニケージはデータ移行も得意」/シェル魔人
著者：米田 聡
本連載では、人気のマイコンボード「Raspberry Pi Pico W/WH」を活用していきます。同ボードは、無線LANやBluetoothの通信機能を搭載し、入手しやすく、価格も手頃なので、IoT機器を自作するのに最適なハードウエアです。第1回は、プログラムの開発環境を構築します。
シェルスクリプトマガジン Vol.85は以下のリンク先でご購入できます。
図17 初期化プログラム（boot.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
import sys import time import network import ntptime from machine import RTC SSID='your_ssid' PASS='your_passphrase' IFCONFIG=('192.168.1.80', '255.255.255.0', '192.168.1.1', '192.168.1.1') def wifi_connect(ssid, passkey, timeout=20): conn = network.WLAN(network.STA_IF) if conn.isconnected(): return conn conn.active(True) conn.connect(ssid, passkey) while not conn.isconnected() and timeout > 0: time.sleep(1) timeout -= 1 if conn.isconnected(): return conn else: return None conn = wifi_connect(SSID, PASS) if conn is None: print('Can not connect to ' + SSID) else: conn.ifconfig(IFCONFIG) print('Connect to ' + SSID) # 日時設定 rtc = RTC() ntptime.host = 'ntp.nict.jp' now = time.localtime(ntptime.time() + 9 * 60 * 60) rtc.datetime((now[0], now[1], now[2], now[6], now[3], now[4], now[5], 0)) now = rtc.datetime() print("%04d-%02d-%02d %02d:%02d:%02d" %(now[0], now[1], now[2], now[4], now[5], now[6])) |
図18 簡易ネットワークサーバー（main.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
import usocket as socket import network import time html = ''' <html> <head><title>Pico W</title></head> <body> <h1>Welcome to Pico W</h1> </body> </html> ''' sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.bind(('', 80)) sock.listen(4) while True: conn, addr = sock.accept() print('Connect from %s' %(str(addr))); req = conn.recv(1024).decode() if not req.startswith('GET / HTTP/1.1'): conn.send('HTTP/1.1 404 Not Found\r\n') conn.close() else: conn.send('HTTP/1.1 200 OK\r\n') conn.send('Content-Type: text/html\r\n') conn.send('Connection: close\r\n\r\n') conn.sendall(html) conn.close() |
著者：谷 知紘
今回は、C言語を用いて作成した、コンピュータと対戦できるリバーシを紹介します。あまり強くはありませんが、きちんとコンピュータが相手をしてくれます。C99以降の規格に対応するCコンパイラと標準Cライブラリがあれば、環境を問わずに動作するプログラムになっていますので、皆さんもコンパイルして楽しんでください。
シェルスクリプトマガジン Vol.85は以下のリンク先でご購入できます。
図5 盤面の生成用コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
//盤面 空白(0) 黒(-1) 白(1) 番兵(2) int board[10][10] = {0}; //スコアを格納する配列 int weightdata[10][10] = { {0, 0, 0, 0, 0, 0, 0, 0, 0, 0}, {0, 30,-12, 0, -1, -1, 0,-12, 30, 0}, {0,-12,-15, -3, -3, -3, -3,-15,-12, 0}, {0, 0, -3, 0, -1, -1, 0, -3, 0, 0}, {0, -1, -3, -1, -1, -1, -1, -3, -1, 0}, {0, -1, -3, -1, -1, -1, -1, -3, -1, 0}, {0, 0, -3, 0, -1, -1, 0, -3, 0, 0}, {0,-12,-15, -3, -3, -3, -3,-15,-12, 0}, {0, 30,-12, 0, -1, -1, 0,-12, 30, 0}, {0, 0, 0, 0, 0, 0, 0, 0, 0, 0} }; //盤面の生成 void make_board(){ //番兵 for(int i = 0; i < 10; i++){ board[0][i] = 2; board[9][i] = 2; board[i][0] = 2; board[i][9] = 2; } //初期配置する石 board[4][4] = 1; board[5][5] = 1; board[4][5] = -1; board[5][4] = -1; } |
図6 check_plc()関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
//指定したマスに石を置けるかどうかを判定する関数 bool check_plc(int i, int j, int now_board[10][10]){ //マスが空かどうか if(board[i][j] == 0){ //全方向を探索 for(int dir_i = -1; dir_i < 2; dir_i++){ for(int dir_j = -1; dir_j < 2; dir_j++){ if(check_dir(i,j,dir_i,dir_j,now_board)){ //配置可能であればtrueを返す return true; } } } } return false; } |
図8 check_dir()関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
//指定方向に何個の石を挟めるかを調べる関数 int check_dir(int i, int j, int dir_i, int dir_j, int now_board[10][10]){ //指定方向に相手の石がある場合は次のマスを探索 int times = 1; while(now_board[i+dir_i*times][j+dir_j*times] == player*-1){ times++; } //指定方向の最後に自分の石がある場合 if(now_board[i+dir_i*times][j+dir_j*times] == player){ //指定方向に相手の石が何個あるかを返す return times-1; } //指定方向の最後に自分の石がなければ0を返す return 0; } |
図9 place_stn()関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
//指定したマスに石を配置して、挟んだ石を自分の石にする関数 void place_stn(int i, int j, int now_board[10][10]){ //全方向を調査 for(int dir_i = -1; dir_i < 2; dir_i++){ for(int dir_j = -1; dir_j < 2; dir_j++){ //挟んだ石の数 int change_num = check_dir(i,j,dir_i,dir_j,now_board); //挟んだ石の数だけ自分の石に変更 for(int k = 1; k < change_num+1; k++){ now_board[i+dir_i*k][j+dir_j*k] = player; } } } //指定したマスに自分の石を配置 now_board[i][j] = player; } |
図10 think()関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
//コンピュータの手番で呼び出される関数 void think(){ //ハイスコアの初期化 int hightscore = -1000; int px, py; for(int y = 0; y < 10; y++){ for(int x = 0; x < 10; x++){ //石を置けない場合はスキップ if(!check_plc(y, x, board)){ continue; } int tmpdata[10][10] = {0}; //盤面データをコピーした仮の盤面を作成 copydata(tmpdata); //仮の盤面に石を置く place_stn(y, x, tmpdata); //総スコアを計算する int score = calcweight(tmpdata); //ハイスコアよりも総スコアが良ければ更新する if(score > hightscore){ hightscore = score; px = x; py = y; } } } //総スコアが最大のマスに石を置く place_stn(py, px, board); printf("ＰＣは(x , y) = (%d , %d)に置きました\n", px, py); } |
図11 copydata()関数のコード
|
1 2 3 4 5 6 7 8 |
//盤面データをコピーする関数 void copydata(int tmpdata[10][10]){ for(int y = 0; y < 10; y++){ for(int x = 0; x < 10; x++){ tmpdata[y][x] = board[y][x]; } } } |
図12 calcweight()関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
//総スコアを計算する関数 int calcweight(int tmpdata[10][10]){ int score = 0; for(int y = 0; y < 10; y++){ for(int x = 0; x < 10; x++){ //番兵はスキップ if(tmpdata[y][x] == 2){ continue; } //自分の石がある場所のスコアを足す if(tmpdata[y][x] == 1){ score += weightdata[y][x]; } } } return score; } |
p.12の表1の一番下の行にある「00d.png」は「00e.png」の誤りです。お詫びして訂正いたします。
p.18に記した「後述するAWS用のテンプレートの利用を含め、すべてAWSの無料利用枠で試せる」という情報は誤りでした。正しくは、AWS用のテンプレート利用時には、CloudWatchからGetMetricData APIでメトリクスを取得する料金がかかります。料金は、メトリクス1000件当たり0.01ドルです。お詫びして訂正いたします。なお、Kindle版とPDF版（定期購読特典）は修正済みです。
情報は随時更新致します。
筆者：菅 雄一
自社サーバーからレンタルサーバーへの移行が世の流れだ。本連載の第58回「PHP+MySQL環境にシステムを移行」に書いたが、筆者の勤務先でも保守作業の軽減や故障回避のためにレンタルサーバーに移行する方針になった。2023年1月に、四苦八苦しながら顧客向けWeb検索システムを移行し、ようやくレンタルサーバーへの移行が一段落した。今回は、この難航した移行作業について書くことにする。
シェルスクリプトマガジン Vol.84は以下のリンク先でご購入できます。
図2 バックアップファイル内の文字コード設定を変更
|
1 2 3 4 5 6 7 8 9 10 |
-- -- PostgreSQL database dump -- SET client_encoding = 'EUC'; SET standard_conforming_strings = off; SET check_function_bodies = false; SET client_min_messages = warning; SET escape_string_warning = off; （略） |
著者：三井 颯剛
SLPでは、Webページの公開などに使用しているサーバーを立て直す計画が進行中です。再建後のサーバーでは、「Traefik（トラフィック） 」というコンテナ環境向けのリバースプロキシソフトウエアを採用する予定です。今回は、Dockerでサーバーコンテナを稼働させて、それに対するアクセスをTraefikで制御する場合を例に、Traefikの利用方法について紹介します。
シェルスクリプトマガジン Vol.84は以下のリンク先でご購入できます。
図3 「docker-compose.yml」ファイルに記述する設定
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
services: reverse-proxy: image: traefik:latest restart: always ports: - "80:80" environment: - TZ=Asia/Tokyo volumes: - /var/run/docker.sock:/var/run/docker.sock command: - "--providers.docker.exposedbydefault=false" - "--entrypoints.web.address=:80" whoami: image: traefik/whoami labels: - "traefik.enable=true" - "traefik.http.routers.whoami.rule=PathPrefix(`/whoami`)" - "traefik.http.routers.whoami.entrypoints=web" |
図6 ダッシュボードを有効にする場合の「docker-compose.yml」ファイルの記述
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
services: reverse-proxy: image: traefik:latest restart: always ports: - "80:80" - "8080:8080" environment: - TZ=Asia/Tokyo volumes: - /var/run/docker.sock:/var/run/docker.sock command: - "--providers.docker.exposedbydefault=false" - "--entrypoints.web.address=:80" - "--entrypoints.dashboard.address=:8080" - "--api.dashboard=true" labels: - "traefik.enable=true" - "traefik.http.routers.api.entrypoints=dashboard" - "traefik.http.routers.api.rule=Host(`localhost`)" - "traefik.http.routers.api.service=api@internal" whoami: image: traefik/whoami labels: - "traefik.enable=true" - "traefik.http.routers.whoami.rule=PathPrefix(`/whoami`)" - "traefik.http.routers.whoami.entrypoints=web" |
図9 「traefik.yml」ファイルに記述する内容
|
1 2 3 4 5 6 7 8 9 10 |
providers: docker: exposedByDefault: false entryPoints: web: address: ":80" dashboard: address: ":8080" api: dashboard: true |
図10 設定を分離した場合の「docker-compose.yml」ファイルの記述例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
services: reverse-proxy: image: traefik:latest restart: always ports: - "80:80" - "8080:8080" environment: - TZ=Asia/Tokyo volumes: - /var/run/docker.sock:/var/run/docker.sock - ./traefik.yml:/etc/traefik/traefik.yml labels: - "traefik.enable=true" - "traefik.http.routers.api.entrypoints=dashboard" - "traefik.http.routers.api.rule=Host(`localhost`)" - "traefik.http.routers.api.service=api@internal" whoami: image: traefik/whoami labels: - "traefik.enable=true" - "traefik.http.routers.whoami.rule=PathPrefix(`/whoami`)" - "traefik.http.routers.whoami.entrypoints=web" - "traefik.http.services.myservice.loadbalancer.server.port=80" |
著者：斉藤 博文
プログラミング言語「AWK」は、データストリーム（データの流れ）を逐次処理するのに適しています。本連載では、電子回路の分野でその特徴を生かし、シェルスクリプトを組み合わせてデジタル信号を処理します。最終回は前回の続きとして、心電図データの解析について解説します。
シェルスクリプトマガジン Vol.84は以下のリンク先でご購入できます。
図5 ecg.awk内のlpf()関数
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
# low pass filter function lpf(arr_x, arr_y, idx_x, idx_y, ord, len_x, len_y, _ret, _gain) { _ret = 0.0; _gain = 1.0 / (ord * ord); _ret += 2.0 * get_buffer(arr_y, idx_y - 1, len_y); _ret -= 1.0 * get_buffer(arr_y, idx_y - 2, len_y); _ret += 1.0 * _gain * arr_x[idx_x]; _ret -= 2.0 * _gain * get_buffer(arr_x, idx_x - ord, len_x); _ret += 1.0 * _gain * get_buffer(arr_x, idx_x - 2 * ord, len_x); return _ret; } |
図6 ecg.awk内の最終結果を出力するprintf()文で群遅延を補正
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
# print results printf("%f,%f,%f,%f,%f,%f,%f,%f\n", get_buffer( \ arr_data_raw, idx_data - (val_gd_lpf + val_gd_hpf + val_gd_dif + val_gd_sma) - 2 * val_fs, len_data), get_buffer( \ arr_data_lpf, idx_data - (val_gd_hpf + val_gd_dif + val_gd_sma) - 2 * val_fs, len_data), get_buffer( \ arr_data_hpf, idx_data - (val_gd_dif + val_gd_sma) - 2 * val_fs, len_data), get_buffer( \ arr_data_dif, idx_data - val_gd_sma - 2 * val_fs, len_data), get_buffer( \ arr_data_squ, idx_data - val_gd_sma - 2 * val_fs, len_data), get_buffer( \ arr_data_sma, idx_data - 2 * val_fs, len_data), cnt_rri_curr * 0.005 * 1000, get_buffer( \ arr_data_flg, idx_data - (val_gd_dif + val_gd_sma) - 2 * val_fs, len_data)); } |
図12 ecg.awk内のしきい値（val_data_sma_threshold）を設定している箇所
|
1 2 3 4 5 6 7 8 9 |
# update threshold every interval if (num_data % tap_interval == 0) { val_data_sma_threshold = val_data_sma_max * val_peak_rate; val_data_sma_max = 0; } else { if (val_data_sma_max < arr_data_sma[idx_data]) { val_data_sma_max = arr_data_sma[idx_data]; } } |
図13 ecg.awk内のval_data_flgを「1」に設定している箇所
|
1 2 3 4 5 |
if (val_data_sma_curr > val_data_sma_threshold && val_data_sma_threshold >= val_data_sma_last) { val_data_hpf_max = 0; idx_data_hpf_max = 0; val_data_flg = 1; } |
図14 ecg.awk内のidx_data_hpf_maxを求めている箇所
|
1 2 3 4 5 6 7 8 9 10 11 12 |
# search maximum index if (val_data_flg == 1) { val_data_hpf_curr = get_buffer(arr_data_hpf, idx_data - (val_gd_dif + val_gd_sma), len_data); idx_data_hpf_curr = idx_data - (val_gd_dif + val_gd_sma); idx_data_hpf_curr = idx_data_hpf_curr >= 0 ? idx_data_hpf_curr : idx_data_hpf_curr + len_data; if (val_data_hpf_max < val_data_hpf_curr) { val_data_hpf_max = val_data_hpf_curr; idx_data_hpf_max = idx_data_hpf_curr; } } |
図15 ecg.awk内のarr_data_flg[idx_data_hpf_max]を「1」に設定している箇所
|
1 2 3 4 |
# end point to detect main peak if (val_data_sma_curr < val_data_sma_threshold && val_data_sma_threshold <= val_data_sma_last) { arr_data_flg[idx_data_hpf_max] = 1; |
図18 ecg.awk内のRRIを求めている箇所
|
1 2 3 4 5 6 7 8 9 |
# calculate peak to peak interval if (idx_data - idx_data_hpf_max >= 0) { cnt_peak_curr = num_data - (idx_data - idx_data_hpf_max); } else { cnt_peak_curr = num_data - (idx_data - idx_data_hpf_max + len_data); } cnt_rri_curr = cnt_peak_curr - cnt_peak_last; cnt_peak_last = cnt_peak_curr; |
著者：大津 真
文章の作成やプログラミングに欠かせないのがテキストエディタ（以下、エディタ）です。この連載では、Linuxで利用できる定番エディタの特徴と使い方を解説していきます。第1回に取り上げるのは、CU（I Character User Interface）環境で利用できるシンプルで扱いやすい「GNU nano」です。
シェルスクリプトマガジン Vol.84は以下のリンク先でご購入できます。
図12 nanoの設定ファイル「~/.nanorc」の記述例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
# バックアップファイルを作成 set backup # 各行の左に行番号を表示 set linenumbers # 文字列検索時に大文字小文字を区別 set casesensitive # 長い行を画面の右端で折り返す set softwrap # オートインデント set autoindent # タブサイズを「4」に（デフォルトは「8」） set tabsize 4 # マウスのサポートを有効に set mouse |
004 レポート オープンソースLLM「MPT-7B」登場
005 レポート メタバースファッションフェア初開催
006 製品レビュー 調理家電「コーヒー豆焙煎機 MR-F60A」
007 NEWS FLASH
008 特集1 pandasを使いこなそう/鶴長鎮一
020 特集2 AutoML徹底解説 応用編/田村孝、山口武彦、新田陸、細野友基
034 特別企画 Raspberry Piを100%活用しよう 拡大版/米田聡 コード掲載
046 注目技術「XR BASE」/井上香
048 Pythonあれこれ/飯尾淳 コード掲載
054 法林浩之のFIGHTING TALKS/法林浩之
056 中小企業手作りIT化奮戦記/菅雄一 コード掲載
060 ツールキット/桑原滝弥、イケヤシロウ
062 タイ語から分かる現地生活/つじみき
068 香川大学SLPからお届け！/三井颯剛 コード掲載
075 Hello Nogyo!
076 行動経済学と心理学で円滑に業務を遂行/請園正敏
080 Linux定番エディタ入門/大津真 コード掲載
086 AWKでデジタル信号処理/斉藤博文 コード掲載
094 Techパズル/gori.sh
095 コラム「ユニケージにおける独特なドキュメント」/シェル魔人
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。本企画では、前回に引き続き、ラズパイと連携して使用するマイコンボードを扱います。
シェルスクリプトマガジン Vol.84は以下のリンク先でご購入できます。
図8 I★2★CアドレスとGPIOピン番号の設定（ADRS2040U_i2c.h）
|
1 2 3 4 5 6 |
// ADRS2040U I2Cアドレス #define I2C0_SLAVE_ADDR 0x41 // I2Cで使うGPIO #define GPIO_SDA0 0 #define GPIO_SCK0 1 |
図9 I2CとI2C Slaveライブラリの初期化
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
#include <stdio.h> #include <pico/stdlib.h> #include "hardware/i2c.h" ← hardware_i2cライブラリのヘッダーファイル #include "pico/i2c_slave.h" ← I2C Slaveライブラリのヘッダーファイル （略） #include "ADRS2040U_i2c.h" （略） static void i2c_slave_handler(i2c_inst_t *i2c, i2c_slave_event_t event) ← I★★2C割り込みコールバック関数 { （略） } void i2c_setup(void) { i2c_init(i2c0, 100 * 1000); ← I★2★Cコントローラの初期化（通信速度100Kビット/秒） gpio_set_function(GPIO_SDA0, GPIO_FUNC_I2C); ← I★2★Cで利用するGPIOピンの設定 gpio_set_function(GPIO_SCK0, GPIO_FUNC_I2C); // ADRS2040Uでは基板上でプルアップされているので // プルアップを無効化する gpio_disable_pulls(GPIO_SDA0); gpio_disable_pulls(GPIO_SCK0); （略） // I2Cスレーブ初期化 i2c_slave_init(i2c0, I2C0_SLAVE_ADDR, &i2c_slave_handler); } |
図10 コールバック関数「i2c_slave_handler()」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
static void i2c_slave_handler(i2c_inst_t *i2c, i2c_slave_event_t event) { （略） switch(event) { // I2Cデータ受信 case I2C_SLAVE_RECEIVE: （略） break; // I2Cデータ要求 case I2C_SLAVE_REQUEST: （略） break; // STOP or RESTARTコンデション case I2C_SLAVE_FINISH: break; default: break; } } |
図11 ADCの初期化で呼び出す関数
|
1 2 3 4 |
adc_init(); adc_gpio_init(26); adc_select_input(0); |
図12 adc_fifo_setup()関数の引数パラメータ
|
1 2 3 4 5 6 7 |
adc_fifo_setup( en, dreq_en, dreq_threash, error_in_fifo, byte_shift ); |
図13 ADCの受信FIFOバッファ割り込み処理のサンプルコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
uint16_t adc_buffer[1024]; static int p = 0; （略） // ADC FIFO割り込み関数 void adc_interrupt(void) { // FIFOが空になるまでデータをadc_bufferに読み取る while(! adc_fifo_is_empty()) { adc_buffer[p++] = adc_fifo_get() & 0xFFF; } } void main(void) { （略） adc_fifo_setup(true, false, 1, true, false); （略） // 排他的割り込みの設定 irq_set_exclusive_handler(ADC_IRQ_FIFO, adc_interrupt); // 割り込みの有効化 irq_set_enabled(ADC_IRQ_FIFO, true); // フリーランスタート adc_run(true); （略） } |
図14 サンプリングレート設定のサンプルコード
|
1 2 3 4 |
int sample_rate = 1000; // 1000 サンプリング/秒 adc_clk = clock_get_hz(clk_adc); adc_set_clkdiv(adc_clk/sample_rate); |
図15 リングバッファのサンプルコード
|
1 2 3 4 5 6 7 8 9 |
uint16_t buffer[0x100]; int write_pointer, read_pointer; write_pointer = read_pointer = 0; // バッファの読み出し data = buffer[(read_pointer++) & 0xFF]; // バッファへの書き込み buffer[(write_pointer++) & 0xFF] = data; |
図16 クリティカルセクションの保護
|
1 2 3 4 5 |
mutex_enter_blocking(&my_mutex); ここがクリティカルセクション mutex_exit(&my_mutex); |
図17 サンプルファームウエアのレジスタ番号定義（ADRS2040U_i2c.h）
|
1 2 3 4 5 6 7 8 9 |
// I2Cレジスタ enum ADRS2040_CMD { ADRS2040_CMD_INVALID, // 無効 ADRS2040_CMD_ADC_START, // ADCフリーラン開始 ADRS2040_CMD_ADC_STOP, // ADCフリーラン停止 ADRS2040_CMD_SET_RATE, // サンプリングレート設定 ADRS2040_CMD_GET_COUNT, // バッファデータ数 ADRS2040_CMD_GET_VALUE, // ADCデータ読み取り }; |
図18 I2Cスレーブ動作時に使えるFIFOバッファ読み書き関数
|
1 2 3 4 5 6 7 8 |
// 1バイト読みだし i2c_read_byte_raw(i2c_inst_t *); // 指定バイト数の読み出し i2c_read_raw_blocking(i2c_inst_t *, uint8_t *, size_t); // 1バイト書き込み i2c_write_byte_raw(i2c_inst_t *, uint8_t); // 指定バイト数の書き込み i2c_write_raw_blocking(i2c_inst_t *, uint8_t *, size_t); |
図19 サンプルファームウエアのi2c_slave_handler()関数とその関連個所（main.cpp）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 |
// ADCドライバ ADC_Driver adcd; typedef union { uint16_t d; uint8_t b[2]; } I2C_WORD_t; static void i2c_slave_handler(i2c_inst_t *i2c, i2c_slave_event_t event) { static uint8_t ADRS2040U_cmd = ADRS2040_CMD_INVALID; switch(event) { // I2Cデータ受信 case I2C_SLAVE_RECEIVE: if(ADRS2040U_cmd == ADRS2040_CMD_INVALID) { ADRS2040U_cmd = i2c_read_byte_raw(i2c); } if(ADRS2040U_cmd == ADRS2040_CMD_ADC_START) { DEBUG_PRINT("ADC START\n"); adcd.run(true); ADRS2040U_cmd = ADRS2040_CMD_INVALID; } else if(ADRS2040U_cmd == ADRS2040_CMD_ADC_STOP) { DEBUG_PRINT("ADC STOP\n"); adcd.run(false); ADRS2040U_cmd = ADRS2040_CMD_INVALID; } else if(ADRS2040U_cmd == ADRS2040_CMD_SET_RATE) { I2C_WORD_t rate; i2c_read_raw_blocking(i2c, rate.b, sizeof(I2C_WORD_t)); DEBUG_PRINT("Rate = %d\n", rate.d * 10); adcd.set_sample_rate(rate.d * 10); ADRS2040U_cmd = ADRS2040_CMD_INVALID; } break; // I2Cデータ要求 case I2C_SLAVE_REQUEST: I2C_WORD_t sdata; sdata.d = 0; if(ADRS2040U_cmd == ADRS2040_CMD_GET_COUNT) { sdata.d = adcd.count(); } else if(ADRS2040U_cmd == ADRS2040_CMD_GET_VALUE) { int value = adcd.get_value(); if( value >= 0) { sdata.d = value & 0xFFF; } else { sdata.d = 0xFFFF; } } i2c_write_raw_blocking(i2c, sdata.b, sizeof(I2C_WORD_t)); ADRS2040U_cmd = ADRS2040_CMD_INVALID; break; // STOP or RESTARTコンデション case I2C_SLAVE_FINISH: break; default: break; } } （略） int main(void) { stdio_init_all(); i2c_setup(); while (true) { ; } } |
図20 受信FIFOバッファからデータを取り出すための前処理
|
1 2 3 4 5 6 7 |
i2c_hw_t *i2chw = i2c_get_hw(i2c0); uint32_t datacmd = i2chw->data_cmd; // FIFOからデータを取り出す uintu_t value = datacmd & I2C_IC_DATA_CMD_DAT_BITS; // 下位8ビットがデータ本体 if(datacmd & I2C_IC_DATA_CMD_FIRST_DATA_BYTE_BITS) { // I2Cアドレスに続く最初の書き込みバイト // つまりレジスタ番号 } |
図22 ADCへアクセスするサンプルプログラム（adcsample.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
from smbus2 import SMBus ADRS2040_ADDR=0x41 ADRS2040_CMD_INVALID = 0 ADRS2040_CMD_ADC_START = 1 ADRS2040_CMD_ADC_STOP = 2 ADRS2040_CMD_SET_RATE = 3 ADRS2040_CMD_GET_COUNT = 4 ADRS2040_CMD_GET_VALUE = 5 with SMBus(1) as i2c: # 500 spsで初期化・スタート self.i2c.write_word_data(ADRS2040_ADDR, ADRS2040_CMD_SET_RATE, 50) self.i2c.write_byte(ADRS2040_ADDR, ADRS2040_CMD_ADC_START) while True: nod = 0 nod = self.i2c.read_word_data(ADRS2040_ADDR,ADRS2040_CMD_GET_COUNT) for i in range(nod): value = self.i2c.read_word_data(ADRS2040_ADDR,ADRS2040_CMD_GET_VALUE) print(value) |
図23 ADCから取得したデータをグラフ化するサンプルプログラム（adctest.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
from smbus2 import SMBus import pyqtgraph as pg from pyqtgraph.Qt import QtCore, QtGui import numpy as np import sys import time # 定数 ADRS2040_ADDR=0x41 ADRS2040_CMD_INVALID = 0 ADRS2040_CMD_ADC_START = 1 ADRS2040_CMD_ADC_STOP = 2 ADRS2040_CMD_SET_RATE = 3 ADRS2040_CMD_GET_COUNT = 4 ADRS2040_CMD_GET_VALUE = 5 class ADCGraph: def __init__(self): # グラフウィンドウ self.win = pg.GraphicsWindow() self.win.setWindowTitle('ADC Input') self.plt = self.win.addPlot() self.plt.setYRange(0,1024) self.curve = self.plt.plot(pen=(0, 0, 255)) # グラフデータを用意 self.data = np.zeros(100) self.i2c = SMBus(1) # 500 spsで初期化・スタート self.i2c.write_word_data(ADRS2040_ADDR, ADRS2040_CMD_SET_RATE, 50) self.i2c.write_byte(ADRS2040_ADDR, ADRS2040_CMD_ADC_START) self.timer = QtCore.QTimer() self.timer.timeout.connect(self.update) # 10msごとに更新 self.timer.start(10) # グラフ更新 def update(self): nod = 0 nod = self.i2c.read_word_data(ADRS2040_ADDR,ADRS2040_CMD_GET_COUNT ) for i in range(nod): value = self.i2c.read_word_data(ADRS2040_ADDR,ADRS2040_CMD_GET_VALUE) self.data = np.delete(self.data, 0) self.data = np.append(self.data, value) self.curve.setData(self.data) if __name__ == "__main__": graphWin = ADCGraph() if (sys.flags.interactive != 1) or not hasattr(QtCore, 'PYQT_VERSION'): QtGui.QApplication.instance().exec_() |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第14回では、話題のAIチャットボット「ChatGPT」を使ったPythonプログ「ラムの作成にチャレンジします。ChatGPTは、どの程度のプログラムを生成してくれるのでしょうか。
シェルスクリプトマガジン Vol.84は以下のリンク先でご購入できます。
図2 1回目にChatGPTが生成したPythonプログラム
|
1 2 3 4 5 6 7 8 9 |
import sys if len(sys.argv) < 3: print("Usage: python program_name.py num1 num2") else: num1 = float(sys.argv[1]) num2 = float(sys.argv[2]) result = num1 + num2 print("Result:", result) |
図3 2回目にChatGPTが生成したPythonプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
import sys from fractions import Fraction if len(sys.argv) < 3: print("Usage: python program_name.py num1 num2") else: try: num1 = float(sys.argv[1]) num2 = float(sys.argv[2]) if num1.is_integer() and num2.is_integer(): num1, num2 = int(num1), int(num2) elif '/' in sys.argv[1] and '/' in sys.argv[2]: num1 = Fraction(sys.argv[1]) num2 = Fraction(sys.argv[2]) result = num1 + num2 print("Result:", result) except ValueError: print("Please enter numbers only.") |
図4 3回目にChatGPTが生成したPythonプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import sys from fractions import Fraction if len(sys.argv) < 3: print("Usage: python program_name.py num1 num2") else: try: num1 = 0 if '/' in sys.argv[1]: num1 = Fraction(sys.argv[1]) else: num1 = float(sys.argv[1]) num2 = 0 if '/' in sys.argv[2]: num2 = Fraction(sys.argv[2]) else: num2 = float(sys.argv[2]) result = num1 + num2 print("Result:", result) except ValueError: print("Please enter numbers only.") |
図5 4回目にChatGPTが生成したPythonプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
import sys from fractions import Fraction def check_arg_validity(arg): try: if '/' in arg: num = Fraction(arg) else: num = float(arg) return num except ValueError: return None if len(sys.argv) < 3: print("Usage: python program_name.py num1 num2") else: try: num1 = check_arg_validity(sys.argv[1]) num2 = check_arg_validity(sys.argv[2]) if num1 is None or num2 is None: print("Please enter numbers only.") else: result = num1 + num2 print("Result:", result) |
図6 5回目にChatGPTが生成したPythonプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
import sys from fractions import Fraction def check_number(num_str): try: float(num_str) except ValueError: try: Fraction(num_str) except ValueError: print(f"{num_str} is not a valid number.") return None return num_str def add2(num1, num2): result = Fraction(num1) + Fraction(num2) print(f"{num1} + {num2} = {result}") if __name__ == '__main__': num1 = check_number(sys.argv[1]) num2 = check_number(sys.argv[2]) if num1 and num2: add2(num1, num2) |
同企画で扱いました、PlatformIO向けのRP2040用ソフトウエア基盤（フレームワーク）が「https://github.com/Wiz-IO/wizio-pico」から入手できなくなってしまいました。原作者に問い合わせましたが、返答はなく理由は不明です。ご迷惑をおかけして申し訳ございません。
「https://github.com/Wiz-IO/wizio-pico」にアクセスして図1のように表示されたときは、以下の方法で入手・導入してください。
（1）特別企画記事の通りに開発ツール「Visual Studio Code」（VSCode）とWindows版Gitクライアント「Git for Windows」をインストールします。
（2）PlatformIO向けのRP2040用ソフトウエア基盤（フレームワーク）を「https://future.quake4.jp/wizio-pico.zip」からダウンロードします。
（3）VSCodeを起動しているならいったん終了します。
（4）「C:￥Users￥ユーザー名￥.platformio￥」（ユーザー名はWindowsのアカウント名）の下にダウンロードした「wizio-pico.zip」ファイルを展開します。
図1 ページが見つからない場合の表示
情報は随時更新致します。
004 レポート モーションキャプチャ「mocopi」 サンプル動画掲載
005 レポート ChatGPT API公開 コード掲載
006 製品レビュー ウエアラブルデバイス「Redmi Smart Band2」
007 NEWS FLASH
008 特集1 Ruby on Rails入門/安川要平 コード掲載
020 特集2 AutoML徹底解説 入門編/田村孝、山口武彦、新田陸、細野友基
034 特別企画 Raspberry Piを100%活用しよう 拡大版/米田聡 コード掲載
044 Pythonあれこれ/飯尾淳 コード掲載
049 Hello Nogyo!
050 香川大学SLPからお届け！/安田大朗 コード掲載
056 法林浩之のFIGHTING TALKS/法林浩之
058 中小企業手作りIT化奮戦記/菅雄一
062 SCM/桑原滝弥、イケヤシロウ
064 タイ語から分かる現地生活/つじみき
070 行動経済学と心理学で円滑に業務を遂行/請園正敏
074 AWKでデジタル信号処理/斉藤博文
082 ユニケージ通信/田渕智也、高橋未来哉
086 Bash入門/大津真 コード掲載
096 Techパズル/gori.sh
097 コラム「ユニケージ式プロジェクト管理法」/シェル魔人
著者：末安 泰三
話題のAIチャットボット「ChatGPT」のAP（I Application Programming Interface）を、開発元の米OpenAIが有償公開した。APIの公開により、自作プロダクトにChatGPTの機能を手軽に組み込めるようになった。2023年3月時点の利用料金は、1000トークン当たり0.002ドルだ。
シェルスクリプトマガジン Vol.83は以下のリンク先でご購入できます。
図1 ChatGPT APIを利用するPythonコードの例
|
1 2 3 4 5 6 7 8 9 10 |
import openai openai.api_key = "ここにAPIキーを記述する" response = openai.ChatCompletion.create( model = "gpt-3.5-turbo", messages = [ {"role":"system", "content":"①ChatGPTの動作をここで指定する"}, {"role":"user", "content":"②ChatGPTに送るメッセージを記述する"} ] ) print(response['choices'][0]['message']['content']) |
著者：安川要平
本特集では、地図アプリの作成を題材に、Webアプリケーションフレームワーク「Ruby on Rails」によるWebアプリの開発手順を紹介します。説明は、米GitHub社が提供するクラウド開発環境「GitHub Codespaces」を使って進めます。そのため、Webブラウザさえあれば紹介する手順を確認できます。Webブラウザだけで体験できるようになった最新のRubyとRailsを一緒に触ってみましょう。
シェルスクリプトマガジン Vol.83は以下のリンク先でご購入できます。
図15 「app/models/spot.rb」ファイルに追加する1行
|
1 2 3 |
class Spot < ApplicationRecord has_one_attached :photo end |
図16 「app/views/apots/_form.html.erb」ファイルに追加する記述
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
（略） <div> <%= form.label :name, style: "display: block" %> <%= form.text_field :name, readonly: false %> </div> <div> <%= form.label :photo, style: "display: block" %> <%= form.file_field :photo, readonly: false %> </div> <div> <%= form.submit %> </div> <% end %> （略） |
図18 「app/controllers/spots_controller.rb」ファイルに追加する記述
|
1 2 3 4 5 6 7 |
（略） # Only allow a list of trusted parameters through. def spot_params params.require(:spot).permit(:lat, :lng, :name, :photo) end end |
図19 「app/helpers/spots_helper.rb」ファイルに追加する記述
|
1 2 3 4 5 6 7 8 |
（略） html << "<strong>Name:</strong> #{spot.name}<br />" if spot.photo.attached? html << "<strong>Photo:</strong> #{image_tag(spot.photo, width: '100%')}<br />" end return html.html_safe end end |
図25 提供されるサンプルデータの内容
|
1 2 3 4 5 6 7 8 9 10 11 |
[ { id: "1037", lat: "35.7087568", lng: "139.7196777", name: "早大で入試「一般選抜」がスタート" photo: "https://localmap.jp/images/takadanobaba/1037.jpg", url: "https://takadanobaba.keizai.biz/headline/1037/", }, （略） ] |
図26 サンプルデータを取得して画面に表示するコード
|
1 2 3 4 5 |
require 'net/http' # 'net-http'ではないことに注意 uri = URI('https://localmap.jp/scaffold.json') response = Net::HTTP.get(uri) # ファイルを取得 map_data = JSON.parse(response) # 結果を変数に格納 p map_data # 画面に表示 |
図28 サンプルデータを自動入力するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
require 'net/http' uri = URI('https://localmap.jp/scaffold.json') response = Net::HTTP.get(uri) map_data = JSON.parse(response) # 各スポットのデータ（map）に対して以下のコードを実行 map_data.each do |map| # 新規スポットにサンプルデータを入力 spot = Spot.new( lat: map['lat'], lng: map['lng'], name: map['name'], ) # 新規スポットに画像を添付 spot.photo.attach( io: URI.open(map['photo']), filename: map['id'] + '.jpg', ) # 新規スポットをDBに保存 spot.save end |
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。本企画では、ラズパイと連携して使用するマイコンボードを扱います。
シェルスクリプトマガジン Vol.83は以下のリンク先でご購入できます。
図A uf2conv.pyの修正箇所
|
1 2 3 4 5 6 7 8 9 10 |
（略） return resfile def to_str(b): # return b.decode("utf-8") return b.decode("cp932") def get_drives(): drives = [] （略） |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第13回では、PyTorchという機械学習ライブラリを使って、手書きの数字を画像認識によって分類してみます。実際に作業することで、機械学習の効果を感じてください。
シェルスクリプトマガジン Vol.83は以下のリンク先でご購入できます。
図1 MNISTデータセットをダウンロードするためのコード
|
1 2 3 4 5 6 7 8 9 |
data_folder = '~/data' BATCH_SIZE = 8 mnist_data = MNIST(data_folder, train=True, download=True, transform=transforms.ToTensor()) data_loader = DataLoader(mnist_data, batch_size=BATCH_SIZE, shuffle=False) |
図4 MNISTデータセットのデータを1セット表示するコード
|
1 2 3 4 5 6 7 8 9 10 |
data_iterator = iter(data_loader) images, labels = next(data_iterator) # 最初の画像を表示 location = 0 # 画像データを28×28画素のデータに変換して表示 data = images[location].numpy() reshaped_data = data.reshape(28, 28) plt.imshow(reshaped_data, cmap='inferno', interpolation='bicubic') plt.show() print('ラベル:', labels[location]) |
図6 学習データと検証データを用意するコード
|
1 2 3 4 5 6 7 8 9 10 |
# 学習データ train_data_loader = DataLoader( MNIST(data_folder, train=True, download=True, transform=transforms.ToTensor()), batch_size=BATCH_SIZE, shuffle=True) # 検証データ test_data_loader = DataLoader( MNIST(data_folder, train=False, download=True, transform=transforms.ToTensor()), batch_size=BATCH_SIZE, shuffle=True) |
図9 ニューラルネットワークモデルを定義するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
from torch.autograd import Variable import torch.nn as nn # 親クラスのnn.Moduleを継承してモデルを作成 class MLP(nn.Module): def __init__(self): super().__init__() self.layer1 = nn.Linear(28 * 28, 100) self.layer2 = nn.Linear(100, 50) self.layer3 = nn.Linear(50, 10) def forward(self, input_data): input_data = input_data.view(-1, 28 * 28) input_data = self.layer1(input_data) input_data = self.layer2(input_data) input_data = self.layer3(input_data) return input_data |
図11 学習前の準備をするコード
|
1 2 3 4 5 6 7 |
import torch.optim as optimizer # モデルの作成 model = MLP() # 評価器（誤差項）と最適化器の作成 lossResult = nn.CrossEntropyLoss() optimizer = optimizer.SGD(model.parameters(), lr=0.01) |
図12 画像認識の精度を検証するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import torch # 検証した数と正解の数 total = 0 count_when_correct = 0 for data in test_data_loader: test_data, teacher_labels = data results = model(Variable(test_data)) _, predicted = torch.max(results.data, 1) total += teacher_labels.size(0) count_when_correct += (predicted == teacher_labels).sum() rate = int(count_when_correct) / int(total) print(f'count_when_correct:{count_when_correct}') print(f'total:{total}') print(f'正解率:{count_when_correct} / {total} = {rate}') |
図13 モデルを学習させるコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
# 最大学習回数 MAX_EPOCH = 4 for epoch in range(MAX_EPOCH): total_loss = 0.0 for i, data in enumerate(train_data_loader): train_data, teacher_labels = data train_data, teacher_labels = \ Variable(train_data), Variable(teacher_labels) # 勾配情報をリセット optimizer.zero_grad() outputs = model(train_data) loss = lossResult(outputs, teacher_labels) loss.backward() # 勾配を更新 optimizer.step() # 誤差を積み上げる total_loss += loss.data if i % 2000 == 1999: print(f'学習進捗:[{epoch+1}, {i+1}]', end='') print(f'学習誤差(loss): {total_loss / 2000:.3f}') total_loss = 0.0 print('学習終了') |
図15 個別の判定結果を確認するコード
|
1 2 3 4 5 6 7 8 9 10 |
# データの取得と検証 test_iterator = iter(test_data_loader) test_data, teacher_labels = next(test_iterator) results = model(Variable(test_data)) _, predicted_label = torch.max(results.data, 1) # 最初のデータを検証して画像を表示 location = 0 plt.imshow(test_data[location].numpy().reshape(28, 28), cmap='inferno', interpolation='bicubic') print('ラベル:', predicted_label[location]) |
著者：安田 大朗
最近、さまざまな場面でチャットbotなどの対話システムを見かけます。その中には、感情表現の機能を持ち、より人間らしい振る舞いをするものもあります。私はそうした対話システムに興味があり、ユーザーが入力したテキストの感情を分析し、それに応じた反応をする対話システムを作成しました。今回は、私が開発したその対話システムについて紹介します。
シェルスクリプトマガジン Vol.83は以下のリンク先でご購入できます。
図4 「telegram-bot.py」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
from telegram.ext import (Updater, CommandHandler, MessageHandler, Filters) TOKEN = "トークン" class TelegramBot: def __init__(self, system): self.system = system def start(self, update, bot): input = {'utt':None, 'sessionId':str(update.message.from_user.id)} update.message.reply_text(self.system.initial_message(input)["utt"]) def message(self, update, bot): input = {'utt':update.message.text, 'sessionId':str(update.message.from_user.id)} system_output = self.system.reply(input) update.message.reply_text(system_output["utt"]) def run(self): updater = Updater(TOKEN, use_context=True) dp = updater.dispatcher dp.add_handler(CommandHandler("start", self.start)) dp.add_handler(MessageHandler(Filters.text, self.message)) updater.start_polling() updater.idle() |
図5 「aim_system1.py」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
import aiml import MeCab from telegram_bot import TelegramBot class AimlSystem: def __init__(self): self.sessiondic = {} self.tagger = MeCab.Tagger('-Owakati') def initial_message(self, input): sessionId = input['sessionId'] kernel = aiml.Kernel() kernel.learn("aiml.xml") self.sessiondic[sessionId] = kernel return {'utt':'はじめまして，雑談を始めましょう', 'end':False} def reply(self, input): sessionId = input['sessionId'] utt = input['utt'] utt = self.tagger.parse(utt) response = self.sessiondic[sessionId].respond(utt) return {'utt':response, 'end':False} if __name__ == '__main__': system = AimlSystem() bot = TelegramBot(system) bot.run() |
図6 「aim.xml」ファイルに記述するルールの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
<?xml version="1.0" encoding="UTF-8"?> <aiml version="1.0.1" encoding="UTF-8"> <category> <pattern>* へ 旅行 に 行き まし た</pattern> <template><star/>に旅行ですか，いいなー．</template> </category> <category> <pattern>私 の 名前 は * です</pattern> <template><set name="username"><star/></set>さん、よろしくね！．</template> </category> <category> <pattern>じゃあね</pattern> <template><get name="username"/>さん、バイバイー．</template> </category> </aiml> |
図8 「aim_system2.py」ファイルに記述するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
response = self.sessiondic[sessionId].respond(utt) emotion_dic = {'suki':'🥰', 'ikari':'😡', 'kowa':'😱', 'yasu':'😊', 'iya':'😫', 'aware':'😭', 'takaburi':'🤩', 'odoroki':'🙄', 'haji':'🤭', 'yorokobi':'😄'} emotion_analyzer = MLAsk() json_emot = emotion_analyzer.analyze(utt) if json_emot['emotion'] == None: return {'utt':response, 'end':False} else: emotion = json_emot['representative'][0] return {'utt':response + emotion_dic[emotion], 'end':False} if __name__ == '__main__': |
著者：大津 真
LinuxやmacOSなど、UNIX系OSのコマンドラインで使用されるコマンドインタプリタをシェルと呼びます。本連載では高機能シェルとして人気の高い「Bash」の基本操作について説明していきます。最終回となる今回は、シェルで実行可能なプログラミング言語である「シェルスクリプト」について解説します。
シェルスクリプトマガジン Vol.83は以下のリンク先でご購入できます。
図2 図1のコマンド行と同様の処理をするシェルスクリプトの例
|
1 2 3 4 5 6 |
# サイズの大きなファイルを見つける echo "--「~/ピクチャ」以下にある1Mバイト以上のファイル--" find ~/ピクチャ -type f -size +1M -print0 | \ xargs -0 du | \ sort -nr | \ head -n 5 |
図5 図2のシェルスクリプトを変数を使うように書き換えた例
|
1 2 3 4 5 6 7 8 |
#!/usr/bin/bash dir=~/ピクチャ size="1M" echo "--「${dir}」以下にある${size}バイト以上のファイル--" find "$dir" -type f -size "+${size}" -print0 | \ xargs -0 du | \ sort -nr | \ head -n 5 |
図6 図5のシェルスクリプトをコマンドライン引数を参照するように書き換えた例
|
1 2 3 4 5 6 7 8 |
#!/usr/bin/bash dir=$1 size="1M" echo "--「${dir}」以下にある${size}バイト以上のファイル--" find "$dir" -type f -size "+${size}" -print0 | \ xargs -0 du | \ sort -nr | \ head -n 5 |
図7 if文を使用したシェルスクリプトの例
|
1 2 3 4 5 6 7 |
#!/usr/bin/bash if cd $1 2>/dev/null then echo "${1}に移動しました" else echo "${1}に移動できませんでした" fi |
図8 図6のシェルスクリプトを条件式とif文を使って書き換えた例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
#!/usr/bin/bash if [ $# -eq 0 ] then echo "エラー: 引数でディレクトリを指定してください" exit 1 ←③ fi if [ ! -d "$dir" ] then echo "エラー: ${dir}が見つかりません" exit 1 fi size="1M" echo "--「${dir}」以下にある${size}バイト以上のファイル--" find "$dir" -type f -size "+${size}" -print0 | \ xargs -0 du | \ sort -nr | \ head -n 5 |
図9 for文を使ったシェルスクリプトの例
|
1 2 3 4 5 6 |
#!/usr/bin/bash four_seasons="春 夏 秋 冬" for season in $four_seasons do echo "$season" done |
図10 図8のシェルスクリプトをfor文を使って書き換えた例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
#!/usr/bin/bash if [ $# -eq 0 ] then echo “エラー: 引数でディレクトリを指定してください” exit 1 fi size="1M" for dir in "$@" do if [ ! -d “$dir” ] then echo "エラー: ${dir}が見つかりません" else echo "--「${dir}」以下にある${size}バイト以上のファイル--" find $dir -type f -size "+${size}" -print0 | \ xargs -0 du | \ sort -nr | \ head -n 5 fi done |
図12 配列を使ったシェルスクリプトの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
#!/usr/bin/bash if [ $# -eq 0 ] || [ ! -d $1 ] then echo "エラー: 引数でディレクトリを指定してください" exit 1 fi target=~/公開/pictures extensions=(jpg jpeg png gif pdf) for ext in "${extensions[@]}" do for file in "$1"/*.${ext} do if [ -f "$file" ] then cp -v "$file" $target fi done done |
著者：荒川 雄介
オープンソースのオフィスソフト「LibreOffice」は、Pythonで記述されたマクロ（簡易スクリプト）を実行できます。しかしデフォルト状態では、Pythonマクロを作成しやすい環境が整備されていません。本特集では、開発環境を整備する手順を中心に、Pythonマクロ作成についての基礎知識を紹介します。使い慣れた言語を使って、LibreOfficeのさまざまな処理を効率化しましょう。
シェルスクリプトマガジン Vol.82は以下のリンク先でご購入できます。
図3 「Hello!」と書かれたダイアログを表示するPythonマクロのコード
|
1 2 3 4 5 |
from scriptforge import CreateScriptService def hello(): bas = CreateScriptService("Basic") bas.MsgBox("Hello!") g_exportedScripts = (hello,) |
図9 CSVファイルからCalcのシートにデータを読み込むPythonマクロのコード
|
1 2 3 4 5 |
from scriptforge import CreateScriptService def load_csv(): cal = CreateScriptService("Calc") cal.ImportFromCSVFile(r"C:\test.csv", "A1") g_exportedScripts = (load_csv, ) |
図11 図9のコードを新規のCalcシートを開くように変更したもの
|
1 2 3 4 5 6 |
from scriptforge import CreateScriptService def load_csv(): ui = CreateScriptService("UI") cal = ui.CreateDocument("Calc") cal.ImportFromCSVFile(r"C:\test.csv", "A1") g_exportedScripts = (load_csv, ) |
図12 文書ファイルがある場所からCSVファイルを読み込めるように図9のコードを変更したもの
|
1 2 3 4 5 6 7 8 9 10 |
from scriptforge import CreateScriptService import uno import os.path def load_csv(): doc = XSCRIPTCONTEXT.getDocument() path = uno.fileUrlToSystemPath(doc.URL) cdir = os.path.dirname(path) cal = CreateScriptService("Calc") cal.ImportFromCSVFile(cdir + r"\test.csv", "A1") g_exportedScripts = (load_csv, ) |
図13 データベースからデータを読み込んで集計/グラフ表示をするPythonマクロのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
from scriptforge import CreateScriptService def importdata(): # データベースからデータを取得 db=CreateScriptService('database',registrationname='Bibliography') sql='SELECT [Custom1] AS [Language],[Identifier] FROM [biblio] ORDER BY [Language] ASC' data=db.GetRows(sql,header=True) db.CloseDatabase() # 取得したデータをシートにコピー calc=CreateScriptService("Calc") datarange=calc.setArray('Sheet1.A1',data) # ピボットテーブルを作成して集計 pivot=calc.CreatePivotTable('Pivot1',datarange,targetcell='D1', datafields='Identifier;Count',rowfields='Language', rowtotals=False,columntotals=False,filterbutton=False) # グラフを作成 chart=calc.CreateChart('NumberByLanguage','Sheet1',pivot,rowheader=True, columnheader=True) chart.ChartType, chart.Dim3D,chart.Legend='Pie',True,True chart.Resize(4000, 3000, 7000, 2500) g_exportedScripts = (importdata, ) |
図18 図9のコードをイベント駆動できるように修正
|
1 2 3 4 5 |
from scriptforge import CreateScriptService def load_csv(args=None): cal = CreateScriptService("Calc") cal.ImportFromCSVFile(r"C:\test.csv", "A1") g_exportedScripts = (load_csv, ) |
図19 Calcのシート（Sheet1）の内容をすべて消去するPythonマクロのコード
|
1 2 3 4 5 |
from scriptforge import CreateScriptService def clear(args=None): calc=CreateScriptService("Calc") calc.ClearAll('Sheet1.*') g_exportedScripts = (clear, ) |
図20 外部ライブラリ（NumPy）を利用するythonマクロのサンプルコード
|
1 2 3 4 5 6 7 8 |
from scriptforge import CreateScriptService import numpy as np def test_numpy(): A = np.array([1, 2, 3, 4, 5, 6]).reshape(2,3) B = A + 10 cal = CreateScriptService("Calc") cal.setArray("A1", B.tolist()) g_exportedScripts = (test_numpy, ) |
著者：谷﨑 勇太
最近、さまざまな場面で「VTuber」が活躍しています。VTuberとは、2D/3Dアバターの表情や身体をリアルタイムに動かしながら動画配信をする人、あるいはそのアバターのことです。多くの場合は、カメラで人の動きを検知し、それをトレースするようにアバターを動かしています。今回は、私がPythonを使って作成した簡易VTuberシステムについて紹介します。
シェルスクリプトマガジン Vol.82は以下のリンク先でご購入できます。
図1 Webカメラの映像を読み取るためのベースコード
|
1 2 3 4 5 6 7 8 9 10 |
import cv2 camera = cv2.VideoCapture(0) while True: ret,image = camera.read() image = cv2.cvtColor(image,BGR2RGB) cv2.imshow("frame", image) if cv2.waitKey(1) & 0xFF == ord('q'): break camera.release() cv2.destroyAllWindows() |
図2 感情を検出するためのコード
|
1 2 3 4 5 |
from paz.pipelines import DetectMiniXceptionFER pipeline = DetectMiniXceptionFER([0.1, 0.1]) output = pipeline(image) if len(output["boxes2D"]) == 1: emotion = output["boxes2D"][0].class_name |
図3 左右の目の縦横比の平均値を算出する関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
import cv2 from imutils import face_utils import dlib face_detector = dlib.get_frontal_face_detector() face_parts_detector = \ dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") def face_landmark_find(img): eye = 10 img_gry = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_detector(img_gry, 1) for face in faces: landmark = face_parts_detector(img_gry, face) landmark = face_utils.shape_to_np(landmark) left_eye_ear = calc_ear(landmark[42:48]) right_eye_ear = calc_ear(landmark[36:42]) eye = (left_eye_ear + right_eye_ear) / 2.0 return eye |
図5 目の縦横比を計算する関数の定義コード
|
1 2 3 4 5 6 7 |
from scipy.spatial import distance def calc_ear(eye): A = distance.euclidean(eye[1], eye[5]) B = distance.euclidean(eye[2], eye[4]) C = distance.euclidean(eye[0], eye[3]) eye_ear = (A + B) / (2.0 * C) return eye_ear |
図6 目の開閉を判定して処理を分岐させるコード
|
1 2 3 4 5 |
if w != 0: if eye < EYE_AR_THRESH: image = overlayImage(image,close,(x,y),(w,h)) elif eye >= EYE_AR_THRESH: image = overlayImage(image,overlay,(x,y),(w,h)) |
図7 顔の座標と幅の情報を取得するコード
|
1 2 3 4 |
if len(output["boxes2D"]) ==1: x_min, y_min, x_max, y_max = output["boxes2D"][0].coordinates w,h = (x_max-x_min,y_max-y_min) x,y =x_min,y_min |
図8 overlayImage ()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import cv2 from PIL import Image import numpy as np def overlayImage(image, overlay, location, size): image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) pil_image = Image.fromarray(image) pil_image = pil_image.convert('RGBA') overlay = cv2.cvtColor(overlay, cv2.COLOR_BGRA2RGBA) pil_overlay = Image.fromarray(overlay) pil_overlay = pil_overlay.convert('RGBA') pil_overlay = pil_overlay.resize(size) pil_tmp = Image.new('RGBA', pil_image.size, (255, 255, 255, 0)) pil_tmp.paste(pil_overlay, location, pil_overlay) result_image = Image.alpha_composite(pil_image, pil_tmp) return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGRA) |
図9 insert()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
import os def insert(): r = os.path.exists('user.txt') if r == False: print("初期設定を行います") print("目を閉じてください") setting() eye_int() elif r == True: count = len(open('user.txt').readlines()) if count == 0: print("初期設定を行います") print("目を閉じてください") setting() eye_int() elif count == 1: eye_int() |
図10 setting ()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import cv2 import math def setting(): f = open('user.txt', 'w') count = 0 eye_sum=0 while True: ret,rgb = cap.read() eye = face_landmark_find(rgb) if ret == True: if eye != 10: count +=1 eye_sum += eye if(count > 50): x=eye_sum/50+0.01 break cap.release() cv2.destroyAllWindows() x = math.floor(x*100)/100 f.write(str(x)+'\n') f.close() |
図11 eye_int()関数の定義コード
|
1 2 3 4 5 6 |
def eye_int(): f = open('user.txt','r+') lins = f.readlines() print('推奨する設定値は'+lins[0]+'です') tmp = input('設定値を入力してください:') f.write(tmp) |
著者：斉藤博文
プログラミング言語「AWK」は、データストリーム（データの流れ）を逐次処理するのに適しています。本連載では、電子回路の分野でその特徴を生かし、シェルスクリプトを組み合わせてデジタル信号を処理します。第4回は「微分フィルタ」を使って目的の波形を取り出す方法を紹介します。
シェルスクリプトマガジン Vol.82は以下のリンク先でご購入できます。
図10 微分フィルタの差分方程式のAWKプログラム（dif.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 |
#! /usr/bin/gawk -f BEGIN { # define number of order num_ord = num_ord ? num_ord : 31; # define length of ring buffers len_data_raw = num_ord + 1; len_data_dif = 1; # initialize ring buffers for (i = 0; i < len_data_raw; i++) { arr_data_raw[i] = 0.0; } for (i = 0; i < len_data_dif; i++) { arr_data_dif[i] = 0.0; } # initialize index of ring buffers idx_data_raw = 0; idx_data_dif = 0; # initialize number of data num_data_raw = 0; } { # add number of data num_data_raw++; # update index of ring buffers (write pointers) idx_data_raw = num_data_raw % len_data_raw; idx_data_dif = num_data_raw % len_data_dif; # clear number of data if (idx_data_raw == 0 && idx_data_dif == 0) { num_data_raw = 0; } # store input raw data val_data_raw = $0; arr_data_raw[idx_data_raw] = val_data_raw; # apply differential filter arr_data_dif[idx_data_dif] = dif(arr_data_raw, idx_data_raw, num_ord, len_data_raw); # print results print arr_data_dif[idx_data_dif]; } # get value of ring buffer function get_buffer(arr, idx, len) { if (idx < 0) { return arr[idx + len]; } return arr[idx]; } # differential filter function dif(arr_x, idx_x, ord, len_x, _ret, _half, i) { _ret = 0.0; _half = int((ord - 1) / 2); for (i = 0; i < ord; i++) { _ret += (_half - i) * get_buffer(arr_x, idx_x - i, len_x); } return _ret; } |
図12 群遅延を考慮したAWKプログラム（dif_gd.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 |
#! /usr/bin/gawk -f BEGIN { # define number of order num_ord = num_ord ? num_ord : 31; # define group delay val_gd = int((num_ord - 1) / 2); # define length of ring buffers len_data_raw = num_ord + 1; len_data_dif = 1; # initialize ring buffers for (i = 0; i < len_data_raw; i++) { arr_data_raw[i] = 0.0; } for (i = 0; i < len_data_dif; i++) { arr_data_dif[i] = 0.0; } # initialize index of ring buffers idx_data_raw = 0; idx_data_dif = 0; # initialize number of data num_data_raw = 0; } { # add number of data num_data_raw++; # update index of ring buffers (write pointers) idx_data_raw = num_data_raw % len_data_raw; idx_data_dif = num_data_raw % len_data_dif; # clear number of data if (idx_data_raw == 0 && idx_data_dif == 0) { num_data_raw = 0; } # store input raw data val_data_raw = $0; arr_data_raw[idx_data_raw] = val_data_raw; # apply differential filter arr_data_dif[idx_data_dif] = dif(arr_data_raw, idx_data_raw, num_ord, len_data_raw); # print results print get_buffer(arr_data_raw, idx_data_raw - val_gd, len_data_raw), arr_data_dif[idx_data_dif]; } # get value of ring buffer function get_buffer(arr, idx, len) { if (idx < 0) { return arr[idx + len]; } return arr[idx]; } # differential filter function dif(arr_x, idx_x, ord, len_x, _ret, _half, _gain i) { _ret = 0.0; _half = int((ord - 1) / 2); _gain = 0.0; for (i = 0; i < ord; i++) { _gain += (_half - i)^2; } for (i = 0; i < ord; i++) { _ret += (_half - i) * get_buffer(arr_x, idx_x - i, len_x); } return _ret / _gain; } |
図14 係数の補正を加えた関数dif()
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
# differential filter function dif(arr_x, idx_x, ord, len_x, _ret, _half, _gain i) { _ret = 0.0; _half = int((ord - 1) / 2); _gain = 0.0; for (i = 0; i < ord; i++) { _gain += (_half - i)^2; } for (i = 0; i < ord; i++) { _ret += (_half - i) * get_buffer(arr_x, idx_x - i, len_x); } return _ret / _gain; } |
004 レポート ポッキーでプログラミング
005 レポート WebAssembly対応Ruby 3.2.0
006 製品レビュー 制御機器「NFCタグ」
007 NEWS FLASH
008 特集1 LibreOfficeでPythonマクロ/荒川雄介 コード掲載
016 特集2 Dropboxを活用しよう/岡崎隆之、進藤麻礼子、井川恵理
028 緊急企画 Mastodonサーバーを構築しよう/麻生二郎
046 Raspberry Piを100%活用しよう/米田聡
050 行動経済学と心理学で円滑に業務を遂行/請園正敏
052 中小企業手作りIT化奮戦記/菅雄一
057 Hello Nogyo!
058 Pythonあれこれ/飯尾淳
066 法林浩之のFIGHTING TALKS/法林浩之
068 タイ語から分かる現地生活/つじみき
072 Emotet/桑原滝弥、イケヤシロウ
074 香川大学SLPからお届け！/谷﨑勇太 コード掲載
080 AWKでデジタル信号処理/斉藤博文 コード掲載
086 ユニケージ通信/田渕智也、高橋未来哉
090 Bash入門/大津真
098 Techパズル/gori.sh
099 コラム「ユニケージ流思考法」/シェル魔人
記事中で使用するデータファイルは以下のWebページから入手できます。
https://github.com/shellscript-magazine/python_this_and_that/releases/tag/ver2.0
情報は随時更新致します。
004 レポート Windows 11が動くVirtualBox
005 レポート Webブラウザ動作のPostgreSQL
006 製品レビュー 玩具「coemo（コエモ）」
007 NEWS FLASH
008 特集1 本格的なホームサーバーを構築/麻生二郎 コード掲載
018 特集2 Google AppSheet入門/伊藤勇斗、石野耀久、江口隆司
038 特集3 さくらのクラウド/前佛雅人
050 特別企画 MySQL HeatWave Database Serviceの新機能/生駒眞知子
057 Hello Nogyo!
058 Raspberry Piを100%活用しよう/米田聡 コード掲載
062 Pythonあれこれ/飯尾淳 コード掲載
066 法林浩之のFIGHTING TALKS/法林浩之
068 中小企業手作りIT化奮戦記/菅雄一
074 メタバース/桑原滝弥、イケヤシロウ
076 タイ語から分かる現地生活/つじみき
080 香川大学SLPからお届け！/永田歩 コード掲載
086 AWKでデジタル信号処理/斉藤博文 コード掲載
094 ユニケージ通信/田渕智也、高橋未来哉
098 Bash入門/大津真
104 Techパズル/gori.sh
105 コラム「ユニケージの学術論文が出ました」/シェル魔人
著者：麻生 二郎
小型コンピュータボードの最上位モデルである「Raspberry Pi 4 Model B」の4G/8Gバイト版と、人気のLinuxディストリビューション「Ubuntu」のサーバー版を組み合わせて、本格的なサーバーを構築しましょう。本特集では、サーバーの可用性や信頼性を向上する方法を紹介します。
シェルスクリプトマガジン Vol.81は以下のリンク先でご購入できます。
図A3 ラズパイサーバーの初期設定（ubuntu_init1.sh）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
#!/bin/sh ##日本のタイムゾーン設定 sudo timedatectl set-timezone Asia/Tokyo ##全ソフトウエア更新 sudo apt update sudo apt -y upgrade sudo apt -y autoremove sudo apt clean ##ファームウエアアップデート sudo apt -y install rpi-eeprom sudo rpi-eeprom-update ##完了後の再起動 read -p "再起動しますか [y/N]:" YN if [ " $YN" = " y" ] || [ " $YN" = " Y" ]; then sudo reboot fi |
図A4 ラズパイサーバーの初期設定（ubuntu_init2.sh）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
#!/bin/sh ##固定IPアドレスとルーターのIPアドレス IP_ADDRESS="192.168.10.100" ROUTER_IP="192.168.10.1" ##旧設定バックアップ mkdir -p ~/old_settings sudo mv /etc/netplan/50-cloud-init.yaml ~/old_settings/. ##新ネットワーク設定作成 cat << EOF | sudo tee /etc/netplan/50-cloud-init.yaml > /dev/null network: ethernets: eth0: dhcp4: false addresses: [ip_address/24] gateway4: router_ip nameservers: addresses: [8.8.8.8] version: 2 EOF sudo sed -i -e "s%ip_address%$IP_ADDRESS%" /etc/netplan/50-cloud-init.yaml sudo sed -i -e "s%router_ip%$ROUTER_ip%" /etc/netplan/50-cloud-init.yaml ##ネットワーク設定反映 sudo netplan apply |
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。第14回は、高品質なアナログ音声を出力する拡張基板を扱います。
シェルスクリプトマガジン Vol.81は以下のリンク先でご購入できます。
図7 MP3形式の音楽ファイルを再生するPythonプログラム（player.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import time from pydub import AudioSegment from pydub.playback import _play_with_simpleaudio audio = AudioSegment.from_file("sample.mp3", "mp3") play = _play_with_simpleaudio(audio) try: while True: time.sleep(1) except KeyboardInterrupt: pass play.stop() |
筆者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第11回では、永続的な非同期通信を簡単に実現できる「WebSocket」というプロトコルを利用するシンプルなチャットアプリの作成に挑戦しま
す。
シェルスクリプトマガジン Vol.81は以下のリンク先でご購入できます。
図1 エコーサーバーを実現するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
import asyncio import websockets async def echo(soc): async for msg in soc: print(f'RECV: {msg}') await soc.send(msg) async def main(): async with websockets.serve(echo, port=8765, ping_timeout=None): await asyncio.Future() asyncio.run(main()) |
図2 エコーサーバーに接続するクライアントのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
import asyncio import websockets async def client(): uri = "ws://localhost:8765/" async with websockets.connect(uri, ping_timeout=None) as soc: while True: msg = input('> ') await soc.send(msg) msg = await soc.recv() print(f'< {msg}') asyncio.run(client()) |
図4 チャットサーバーのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
import asyncio import websockets clients = {} async def echo(soc): async for msg in soc: if not (soc in clients): clients[soc] = msg print(f'{msg} is registered') for s in clients: await s.send(f'{clients[soc]} が参加しました') else: print(f'RECV: {msg}') for s in clients: await s.send(f'{clients[soc]}: {msg}') async def main(): async with websockets.serve(echo, port=8765, ping_timeout=None): await asyncio.Future() asyncio.run(main()) |
図5 チャットクライアントのHTMLコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
<!doctype html> <html lang="ja"> <head> <meta charset="utf-8"> <title>A Simple BBS</title> <meta name="description" content="WebSockets TEST"> <meta name="author" content="Jun IIO"> <script src="jquery-3.6.1.min.js"></script> <script src="scripts.js"></script> </head> <body> <h1>シンプル・チャット・システム</h1> <div> 名前: <input id="regname" type="text"> <button id="register">登録</button> </div> <div> <textarea id="msgarea" cols=80 rows=10 readonly disabled="disabled"></textarea> </div> <div> <input id="chatmsg" type="text" size=80 disabled="disabled"> <button id="send" disabled="disabled">送信</button> </div> </body> </html> |
図6 チャットクライアントのJavaScriptコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
$(function(){ let socket = new WebSocket("ws://localhost:8765/"); $("#register").on("click", function(event) { name = $("#regname").val(); if (name != "") { socket.send(name); $("#register").prop("disabled", true); $("#regname").prop("disabled", true); $("#msgarea").prop("disabled", false); $("#chatmsg").prop("disabled", false); $("#send").prop("disabled", false); }; }); socket.onmessage = function(event) { text = $("#msgarea").val(); $("#msgarea").val(text + event.data + "\n"); }; $("#send").on("click", function(event) { msg = $("#chatmsg").val(); if (msg != "") { socket.send(msg); $("#chatmsg").val(""); }; }); }); |
著者：永田 歩
今回は、米Google社が提供するメディアデータ向けの機械学習ライブラリ「MediaPiPe」を用いて、動画内にある人の顔を検出し、そのデータを基に3D CGアニメーションを生成するプログラムを紹介します。AIを3D CGに利用する試みの一つとして参考にしてください。
シェルスクリプトマガジン Vol.81は以下のリンク先でご購入できます。
図1 動画をフレームに分割するプログラム「video2img.py」のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
import cv2 as cv import os video_path = './video/test_video.mp4' dir_path = './image' basename = 'img_frame' ext = 'jpg' # 動画を読み込んで存在しなければ終了 cap = cv.VideoCapture(video_path) if not cap.isOpened(): exit() os.makedirs(dir_path, exist_ok=True) base_path = os.path.join(dir_path, basename) # 画像保存名のためにフレームの桁数をカウント digit = len(str(int(cap.get(cv.CAP_PROP_FRAME_COUNT)))) n = 0 while True: ret, frame = cap.read() if ret: # 画像の保存 cv.imwrite('{}_{}.{}'.format(base_path, str(n).zfill(digit), ext), frame) n += 1 else: exit() |
図2 顔のランドマーク座標を出力するコード「images2npy.py」のメイン部分
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import cv2 as cv import mediapipe as mp import os import glob import numpy as np # 使用する画像のパス名を取得してリスト化 resource_dir = r'./image' file_list = glob.glob(os.path.join(resource_dir, "*.jpg")) xyzval = [] for file_path in file_list: # 画像を読み込む image = cv.imread(file_path) xyzval.append(get_landmark(image, file_path)) # 3次元numpy配列のバイナリファイルとして保存 np.save('result/np_save', xyzval) |
図3 get_landmark()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
def get_landmark(image, file_path): # 顔のランドマークを取得する準備 mp_face_mesh = mp.solutions.face_mesh face_mesh = mp_face_mesh.FaceMesh( static_image_mode=True, max_num_faces=1, min_detection_confidence=0.5) rgb_image = cv.cvtColor(image, cv.COLOR_BGR2RGB) # ランドマーク検出 results = face_mesh.process(rgb_image) # 顔が検出されなければ終了 if not results.multi_face_landmarks: exit() face_landmarks = results.multi_face_landmarks[0] file_path = os.path.splitext(file_path)[0] file_name = file_path.split('/')[-1] # 保存先のフォルダ作成 result_txt_dir = 'result/txt' os.makedirs(result_txt_dir, exist_ok=True) txtfile_path = result_txt_dir+'/'+file_name+'.txt' # テキストファイルにRawデータを書き込む f = open(txtfile_path, 'w') f.write(str(face_landmarks)) f.close() make_landmarkimg(image, face_landmarks, file_name, mp_face_mesh) face_mesh.close() return get_original_scalexyz(image, txtfile_path) |
図5 get_original_scalexyz()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
def get_original_scalexyz(image, txtfile_path): height, width = image.shape[:2] vers = [] i = 0 with open(txtfile_path) as ft: lines = ft.read() for l in lines.split("\n"): if i%5 == 0 or i%5 == 4: i += 1 continue elif i%5 == 1: tmp = l.split() x = f'{float(tmp[1]) *width:.5f}' elif i%5 == 2: tmp = l.split() y = f'{float(tmp[1]) *height:.5f}' else: tmp = l.split() z = f'{float(tmp[1]) *width:.5f}' vers.append([float(x), float(y), float(z)]) i += 1 return vers |
図6 make_landmarkimg()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
def make_landmarkimg(image, face_landmarks, file_name, mp_face_mesh): result_image_dir = 'result/image' os.makedirs(result_image_dir, exist_ok=True) # 顔のランドマークを画像上に出力する準備 mp_drawing = mp.solutions.drawing_utils drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1) # 元画像のコピーを作成 annotated_image = image.copy() # 顔のランドマークを描画した画像を生成 mp_drawing.draw_landmarks( image=annotated_image, landmark_list=face_landmarks, connections=mp_face_mesh.FACEMESH_TESSELATION, landmark_drawing_spec=drawing_spec, connection_drawing_spec=drawing_spec) cv.imwrite(result_image_dir+'/'+file_name+'.png', annotated_image) |
図8 3D CGアニメーションを作成するコード「npy2blender.py」のメイン部分
|
1 2 3 4 5 6 7 8 9 |
import numpy as np import bpy filepath = r'3次元numpy配列のバイナリファイルのパス名' # 例 → r'C:/Users/user1/python/shellmag/result/np_save.npy' xyzval = np.load(filepath) ver_count = len(xyzval[0]) frame_count = len(xyzval) generate_ver(ver_count) move_ver_anyframe(xyzval, frame_count) |
図9 generate_ver()関数の定義コード
|
1 2 3 4 5 6 7 8 9 |
def generate_ver(ver_count): # 点群オブジェクトの生成 bpy.data.meshes.new(name='shellmag_Mesh') bpy.data.objects.new(name='shellmag_Obj', object_data=bpy.data.meshes['shellmag_Mesh']) bpy.context.scene.collection.objects.link(bpy.data.objects['shellmag_Obj']) Obj = bpy.data.objects['shellmag_Obj'].data Obj.vertices.add(ver_count) return |
図10 move_ver_anyframe()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
def move_ver_anyframe(xyzval, frame_count): ob = bpy.data.objects['shellmag_Obj'].data for frame_num in range(frame_count): i = 0 # XYZ座標を各点ごとに定義してフレームとして保存 for p in xyzval[frame_num]: X = p[0] Y = p[1] Z = p[2] ver = ob.vertices[i] ver.co.x = X ver.co.y = Y ver.co.z = Z i += 1 ver.keyframe_insert('co',index = -1,frame = frame_num) return |
著者：斉藤 博文
プログラミング言語「AWK」は、データストリーム（データの流れ）を逐次処理するのに適しています。本連載では、電子回路の分野でその特徴を生かし、シェルスクリプトを組み合わせてデジタル信号を処理します。第3回は低周波成分を減らす「ハイパスフィルタ」について解説します。
シェルスクリプトマガジン Vol.81は以下のリンク先でご購入できます。
図7 ハイパスフィルタの移動平均プログラム（hpf.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 |
#! /usr/bin/gawk -f BEGIN { # define number of order num_ord = num_ord ? num_ord : 255; # define length of ring buffers len_data_raw = num_ord + 1; len_data_hpf = 2; # initialize ring buffers for (i = 0; i < len_data_raw; i++) { arr_data_raw[i] = 0.0; } for (i = 0; i < len_data_hpf; i++) { arr_data_hpf[i] = 0.0; } # initialize index of ring buffers idx_data_raw = 0; idx_data_hpf = 0; # initialize number of data num_data_raw = 0; } { # add number of data num_data_raw++; # update index of ring buffers (write pointers) idx_data_raw = num_data_raw % len_data_raw; idx_data_hpf = num_data_raw % len_data_hpf; # clear number of data if (idx_data_raw == 0 && idx_data_hpf == 0) { num_data_raw = 0; } # store input raw data val_data_raw = $0; arr_data_raw[idx_data_raw] = val_data_raw; # apply high pass filter arr_data_hpf[idx_data_hpf] = hpf( \ arr_data_raw, arr_data_hpf, idx_data_raw, idx_data_hpf, num_ord, len_data_raw, len_data_hpf); # print results print arr_data_hpf[idx_data_hpf]; } # get value of ring buffer function get_buffer(arr, idx, len) { if (idx < 0) { return arr[idx + len]; } return arr[idx]; } # high pass filter function hpf(arr_x, arr_y, idx_x, idx_y, ord, len_x, len_y, _ret, _gain) { _ret = 0.0; _gain = 1.0 / ord; _ret += get_buffer(arr_y, idx_y - 1, len_y); _ret -= _gain * get_buffer(arr_x, idx_x, len_x); _ret += get_buffer(arr_x, idx_x - int((ord - 1) / 2), len_x); _ret -= get_buffer(arr_x, idx_x - int((ord + 1) / 2), len_x); _ret += _gain * get_buffer(arr_x, idx_x - ord, len_x); return _ret; } |
図12 群遅延を補正したプログラム（hpf_gd.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 |
#! /usr/bin/gawk -f BEGIN { # define number of order num_ord = num_ord ? num_ord : 255; # define group delay val_gd = int((num_ord - 1) / 2); # define length of ring buffers len_data_raw = num_ord + 1; len_data_hpf = val_gd + 1; # initialize ring buffers for (i = 0; i < len_data_raw; i++) { arr_data_raw[i] = 0.0; } for (i = 0; i < len_data_hpf; i++) { arr_data_hpf[i] = 0.0; } # initialize index of ring buffers idx_data_raw = 0; idx_data_hpf = 0; # initialize number of data num_data_raw = 0; } { # add number of data num_data_raw++; # update index of ring buffers (write pointers) idx_data_raw = num_data_raw % len_data_raw; idx_data_hpf = num_data_raw % len_data_hpf; # clear number of data if (idx_data_raw == 0 && idx_data_hpf == 0) { num_data_raw = 0; } # store input raw data val_data_raw = $0; arr_data_raw[idx_data_raw] = val_data_raw; # apply high pass filter arr_data_hpf[idx_data_hpf] = hpf( \ arr_data_raw, arr_data_hpf, idx_data_raw, idx_data_hpf, num_ord, len_data_raw, len_data_hpf); # print results print get_buffer(arr_data_raw, idx_data_raw - val_gd, len_data_raw), arr_data_hpf[idx_data_hpf]; } # get value of ring buffer function get_buffer(arr, idx, len) { if (idx < 0) { return arr[idx + len]; } return arr[idx]; } # high pass filter function hpf(arr_x, arr_y, idx_x, idx_y, ord, len_x, len_y, _ret, _gain) { _ret = 0.0; _gain = 1.0 / ord; _ret += get_buffer(arr_y, idx_y - 1, len_y); _ret -= _gain * get_buffer(arr_x, idx_x, len_x); _ret += get_buffer(arr_x, idx_x - int((ord - 1) / 2), len_x); _ret -= get_buffer(arr_x, idx_x - int((ord + 1) / 2), len_x); _ret += _gain * get_buffer(arr_x, idx_x - ord, len_x); return _ret; } |
004 レポート 6GHz帯の無線LAN国内解禁
005 レポート Zen 4採用のRyzenプロセッサ出荷
006 製品レビュー パソコン「LAVIE GX（GX750/EAB）」
007 NEWS FLASH
008 特集1 Red Hat Enterprise Linux 9/森若和雄
022 特集2 Linux初心者テストにチャレンジ！/長原宏治 コード掲載
042 緊急特集 チャットサービスを立ち上げよう/麻生二郎
058 Raspberry Piを100%活用しよう/米田聡 コード掲載
062 Pythonあれこれ/飯尾淳 コード掲載
068 NFT/桑原滝弥、イケヤシロウ
070 中小企業手作りIT化奮戦記/菅雄一
075 Hello Nogyo!
076 法林浩之のFIGHTING TALKS/法林浩之
078 香川大学SLPからお届け！/佐々木龍之介 コード掲載
082 タイ語から分かる現地生活/つじみき
088 AWKでデジタル信号処理/斉藤博文 コード掲載
096 Bash入門/大津真
104 Techパズル/gori.sh
105 コラム「ユニケージ黎明（れいめい）期」/シェル魔人
著者：長原 宏治
Linuxエンジニアの認定試験としては「LPIC」が有名ですが、より幅広くLinux初学者を対象とする「Linux Essentials」という認定試験が2020年から開始されています。本特集では出題範囲に対する理解を確認できる例題を挙げながら、Linux Essentials試験の内容を紹介します。つまずきがちな部分について問う例題を盛り込みましたので、腕に覚えがある人もぜひチャレンジしてみてください。
シェルスクリプトマガジン Vol.80は以下のリンク先でご購入できます。
図1 問3-3-1の解答例
|
1 2 3 4 |
#!/bin/bash codefile=data.csv prefecture=$1 grep $prefecture $codefile | sort -t , -k 5 | cut -d , -f 3 | tail -n +2 |
図2 問3-3-2の解答例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#!/bin/bash codefile=data.csv if [ $# -le 0 ] then echo Usage: $0 PREFACTURE... >&2 exit 1 fi for prefecture in $* do echo ${prefecture}: grep $prefecture $codefile | sort -t , -k 5 | cut -d, -f 3 | tail -n +2 done exit 0 |
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。第13回は、照明用などの高輝度LEDの明るさを制御できる拡張基板を扱います。
シェルスクリプトマガジン Vol.80は以下のリンク先でご購入できます。
図5 LEDの明るさを制御するプログラム（ADRSZSW.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 |
import RPi.GPIO as GPIO import smbus import time ADDR=0x56 # I2Cアドレス SW=5 # スイッチのGPIO bus = None value: int = 0x0 # 明るさの値 # スイッチのコールバック関数 def switch(ch): global value value += 0x05 # デューティ比を書き込む bus.write_byte_data(ADDR, 0x01, (value & 0xFF)) # デューティー比を読み出す current = bus.read_byte_data(ADDR,0) print(current) if __name__ == "__main__": bus = smbus.SMBus(1) bus.write_byte_data(ADDR, 0x01, 0) # GPIOの設定 GPIO.setmode(GPIO.BCM) GPIO.setup(SW, GPIO.IN) GPIO.add_event_detect(SW, GPIO.FALLING, callback=switch, bouncetime=200) try: while True: time.sleep(30) except KeyboardInterrupt: pass GPIO.remove_event_detect(SW) GPIO.cleanup(SW) |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第10回は、データを可視化する例として、プログラムの対話型実行環境「Jupyter Notebook」をローカル環境で動かして簡単な地理情報を表示させてみます。
シェルスクリプトマガジン Vol.80は以下のリンク先でご購入できます。
図7 町丁目データを地図上に重ねて表示するためのコード
|
1 2 3 4 5 6 7 8 9 |
for _, r in df.iterrows(): sim_geo = gpd.GeoSeries(r['geometry']) geo_j = sim_geo.to_json() geo_j = folium.GeoJson(data=geo_j, style_function=lambda x: {'fillColor': 'grey', 'color': 'grey', 'weight': 0.5, 'fill_opacity': 0.3, 'line_opacity': 0.1 }) folium.Popup(r['Name']).add_to(geo_j) geo_j.add_to(m) m |
図10 駅の位置と乗降客数のデータをまとめるためのコード
|
1 2 3 |
df2 = pd.merge(df_stations.drop('Description', axis=1), \ df_passengers, on='Name') df2.head() |
図12 駅の位置を地図に表示するためのコード（その1）
|
1 2 3 4 5 6 |
for _, row in df2.iterrows(): folium.Marker( location=[row['geometry'].y, row['geometry'].x], popup=row['Name'] ).add_to(m) m |
図14 駅の位置を地図に表示するためのコード（その2）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
m = folium.Map(location=[35.65, 139.34], \ zoom_start=12, tiles=‘openstreetmap’) for _, r in df.iterrows(): sim_geo = gpd.GeoSeries(r['geometry']) geo_j = sim_geo.to_json() geo_j = folium.GeoJson(data=geo_j, style_function=lambda x: {'fillColor': 'grey', 'color': 'grey', 'weight': 0.5, 'fill_opacity': 0.3, 'line_opacity': 0.1 }) folium.Popup(r['Name']).add_to(geo_j) geo_j.add_to(m) for _, row in df2.iterrows(): folium.CircleMarker( location=[row['geometry'].y, row['geometry'].x], radius=3, color='red', fill_color='red', weight=2 ).add_to(m) m |
図16 「緯度」「経度」「乗降客数」のカラムを持つデータフレームを作成するためのコード
|
1 2 3 4 5 |
df3 = pd.DataFrame(data={'Lat': df2[‘geometry'].y, 'Lng': df2['geometry'].x, 'Passengers': df2['Passengers']}) df3.head() |
著者：佐々木 龍之介
今回は、数値解析アルゴリズムの一つである「ニュートン法」を紹介します。ニュートン法を利用すると、反復計算によって方程式の解を近似的に求められます。C言語を使ったサンプルプログラムを挙げながら、同手法について簡単に解説します。
シェルスクリプトマガジン Vol.80は以下のリンク先でご購入できます。
図3 「x2 – 1 = 0」という方程式の解を求めるCプログラムの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
#include <stdio.h> #include <math.h> #define e 0.000001 double f(double x) { return x*x - 1; } double df(double x) { return 2*x; } int main() { double x1 = 2.5, x2; while(1) { x2 = x1 - f(x1)/df(x1); if(fabs(f(x2)) < e) { break; } x1 = x2; } printf("%f\n", x2); } |
図4 「x2 – 1 = 0」という方程式の解を求めるCプログラムの改良版
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
#include <stdio.h> #include <math.h> #define e 0.000001 double f(double x) { return x*x - 1; } double df(double x) { return 2*x; } int main() { double x1 = 2.5, x2; while(1) { x2 = x1 - f(x1)/df(x1); if(fabs(x2 - x1) < e) { break; } x1 = x2; } printf("%f\n", x2); } |
図5 √2の近似解を求めるCプログラムの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
#include <stdio.h> #include <math.h> #define e 0.000001 double f(double x) { return x*x - 2; } double df(double x) { return 2*x; } double g(double x) { return x - f(x) / df(x); } int main() { double x1 = 2.0, x2; while(1){ x2 = g(x1); if(fabs(x2 - x1) < e) { break; } x1 = x2; printf("%f\n", x2); } printf("√2= %f\n", x2); } |
著者：斉藤 博文
プログラミング言語「AWK」は、データストリーム（データの流れ）を逐次処理するのに適しています。本連載では、電子回路の分野でその特徴を生かし、シェルスクリプトを組み合わせてデジタル信号を処理します。第2回は、高周波ノイズを除去する「ローパスフィルタ」について解説します。
シェルスクリプトマガジン Vol.80は以下のリンク先でご購入できます。
図6 移動平均のプログラム（lpf.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
#! /usr/bin/gawk -f BEGIN { # define number of order num_ord = num_ord ? num_ord : 7; # define length of ring buffers len_data_raw = num_ord + 1; len_data_lpf = 2; # initialize ring buffers for (i = 0; i < len_data_raw; i++) { arr_data_raw[i] = 0.0; } for (i = 0; i < len_data_lpf; i++) { arr_data_lpf[i] = 0.0; } # initialize index of ring buffers idx_data_raw = 0; idx_data_lpf = 0; # initialize number of data num_data_raw = 0; } { # add number of data num_data_raw++; # update index of ring buffers (write pointers) idx_data_raw = num_data_raw % len_data_raw; idx_data_lpf = num_data_raw % len_data_lpf; # clear number of data if (idx_data_raw == 0 && idx_data_lpf == 0) { num_data_raw = 0; } # store input raw data val_data_raw = $0; arr_data_raw[idx_data_raw] = val_data_raw; # apply low pass filter arr_data_lpf[idx_data_lpf] = lpf( \ arr_data_raw, arr_data_lpf, idx_data_raw, idx_data_lpf, num_ord, len_data_raw, len_data_lpf); # print results print arr_data_lpf[idx_data_lpf]; } |
図10 ずれ補正を加えた移動平均のプログラム（lpf_gd.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 |
#! /usr/bin/gawk -f BEGIN { # define number of order num_ord = num_ord ? num_ord : 7; # define group delay val_gd = int((num_ord - 1) / 2); # define length of ring buffers len_data_raw = num_ord + 1; len_data_lpf = val_gd + 1; # initialize ring buffers for (i = 0; i < len_data_raw; i++) { arr_data_raw[i] = 0.0; } for (i = 0; i < len_data_lpf; i++) { arr_data_lpf[i] = 0.0; } # initialize index of ring buffers idx_data_raw = 0; idx_data_lpf = 0; # initialize number of data num_data_raw = 0; } { # add number of data num_data_raw++; # update index of ring buffers (write pointers) idx_data_raw = num_data_raw % len_data_raw; idx_data_lpf = num_data_raw % len_data_lpf; # clear number of data if (idx_data_raw == 0 && idx_data_lpf == 0) { num_data_raw = 0; } # store input raw data val_data_raw = $0; arr_data_raw[idx_data_raw] = val_data_raw; # apply low pass filter arr_data_lpf[idx_data_lpf] = lpf( \ arr_data_raw, arr_data_lpf, idx_data_raw, idx_data_lpf, num_ord, len_data_raw, len_data_lpf); # print results print get_buffer(arr_data_raw, idx_data_raw - val_gd, len_data_raw), arr_data_lpf[idx_data_lpf]; } # get value of ring buffer function get_buffer(arr, idx, len) { if (idx < 0) { return arr[idx + len]; } return arr[idx]; } # low pass filter function lpf(arr_x, arr_y, idx_x, idx_y, ord, len_x, len_y, _ret, _gain) { _ret = 0.0; _gain = 1.0 / ord; _ret += get_buffer(arr_y, idx_y - 1, len_y); _ret += _gain * get_buffer(arr_x, idx_x, len_x); _ret -= _gain * get_buffer(arr_x, idx_x - ord, len_x); return _ret; } |
記事中で使用するデータファイルは以下のWebページから入手できます。
https://github.com/shellscript-magazine/python_this_and_that/releases/tag/ver1.0
情報は随時更新致します。
p.30の中央右段に「163mm」の不要な文字が入り込み、本文と重なってしまいました。お詫びして訂正いたします。
p.46の左段にある「$ wget -O /home/pi/DDNSNow_update.log “https://f5.si/update.php?domain=ユーザー名&password=パスワード”」の「pi」は「Ubuntu Serverのユーザー名」の誤り、右段にある「0-59 * * * * wget -O DDNSNow_update.log “https://f5.si/update.php?domain=ユーザー名&password=パスワード”」の「 -O DDNSNow_update.log」は「 -O /home/Ubuntu Serverのユーザー名/DDNSNow_update.log」の誤りです。お詫びして訂正いたします。
ルーターのDHCP（Dynamic Host Configuration Protocol）のリース情報から、Raspberry Piに割り当てられたIPアドレスを、次のように調べます。
パソコンのWebブラウザを開いて、ルーターの管理画面にログインします。ログイン方法は、ルーターのマニュアルや、インターネットの情報で調べてください。
管理画面が開いたら、DHCPのリース情報を表示します。こちらもルーターの機種によって操作方法や名称が異なりますが、一般的な家庭用ルーターには必ずあります。例にしたルーターでは、「詳細設定」から「LAN」「DHCPリース」でネットワーク機器に割り当てられているIPアドレスを表示できます（図1）。
リース情報を表示した状態で、Raspberry Piを起動するとRaspberry Piに割り当てられたIPアドレスの情報が追加されます（図2の赤枠）。IPアドレスを使ってリモートからアクセスできます。
ちなみに、このリース情報画面でRaspberry PiのMACアドレスと、割り当てたいIPアドレスを設定すれば、Raspberry Pi側のネットワーク設定を変更せずとも常に同じIPアドレス、固定IPアドレスを設定できます。
p.64の右上に前号で掲載した詩の一部（複雑のひと 単純のこころ 唯一のひかり 無限のやみ）が入ってしまいした。お詫びして訂正いたします。
情報は随時更新致します。
004 レポート テキストエディタ「Vim 9.0」リリース コード掲載
005 レポート 「Raspberry Pi Zero 2 W」国内版発売 コード掲載
006 製品レビュー イヤホン「LinkBuds」
007 NEWS FLASH
008 特集1 仮想化ソフト「VirtualBox」 徹底活用/麻生二郎
020 特集2 FlutterでGUIアプリを開発しよう/三好文二郎 コード掲載
030 特集3 ユニケージ開発のシステム/松浦智之 コード掲載
042 特別企画 本格的なホームサーバーを構築 インターネット公開編/麻生二郎 コード掲載
051 Hello Nogyo!
052 Raspberry Piを100%活用しよう/米田聡 コード掲載
056 Pythonあれこれ/飯尾淳
064 マルウエア/桑原滝弥、イケヤシロウ
066 中小企業手作りIT化奮戦記/菅雄一
070 タイ語から分かる現地生活/つじみき
076 法林浩之のFIGHTING TALKS/法林浩之
078 香川大学SLPからお届け！/岩本和真 コード掲載
084 AWKでデジタル信号処理/斉藤博文 コード掲載
090 Bash入門/大津真
098 Techパズル/gori.sh
099 コラム「こうしてユニケージは生まれた」/シェル魔人
著者：末安 泰三
テキストエディタ「Vim」の最新版「Vim 9.0」が2022年6月28日に公開された。前版「Vim 8.2」の公開は2019年12月のため、約2年半ぶりのリリースとなる。Vim 9.0の目玉となる新機能は、文法を見直して大幅な高速化を実現したスクリプト言語「Vim9 Script」のサポートである。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図2 新旧のコードで定義した関数の実行結果と実行時間を表示するコードの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
command! -bar TimerStart let start_time = reltime() command! -bar TimerEnd echo reltimestr(reltime(start_time)) \ | unlet start_time function Add_old() let a = 0 for i in range(1, 1000000) let a += i endfor return a endfunction def Add_new(): number var a = 0 for i in range(1, 1000000) a += i endfor return a enddef TimerStart echo Add_old() TimerEnd TimerStart echo Add_new() TimerEnd |
著者：末安 泰三
超小型コンピュータボード「Raspberry Pi Zero」シリーズの最新版、「Raspberry Pi Zero 2 W」の国内版が2022年6月に発売された。Raspberry Pi財団が2021年10月に発売した製品だが、国内版には技適マークが付く。同シリーズの従来製品と比べ、マルチスレッド性能が4～5倍程度向上した。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図2 LinuxカーネルのRaspberry Pi Zero 2 W用のDTSファイルの内容
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
（略） compatible = "raspberrypi,model-zero-2-w", "brcm,bcm2837"; model = "Raspberry Pi Zero 2 W"; memory@0 { device_type = "memory"; reg = <0 0x20000000>; }; chosen { /* 8250 auxiliary UART instead of pl011 */ stdout-path = "serial1:115200n8"; }; （略） |
著者：三好 文二郎
「Flutter」は、米Google社がOSS（オープンソースソフトウエア）として提供する、GUI アプリ開発用のSDK（Software Development Kit）です。単一のコードで複数のプラットフォーム向けのGUIアプリを作成できるほか、標準で用意されるUIコンポーネントが豊富、Hot Reloadによる開発者体験が素晴らしいことなどから開発者の間で人気が高まっています。Flutterの概要と、Flutterを利用したアプリ開発方法について紹介します。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図18 ウィジェットに関する記述の例
|
1 2 3 4 5 6 7 8 9 |
children: <Widget>[ const Text( 'You have pushed the button this many times:', ), Text( '$_counter', style: Theme.of(context).textTheme.headline4, ), ], |
図19 ボタンウィジェットを追加するコードの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
children: <Widget>[ const Text( 'You have pushed the button this many times:', ), Text( '$_counter', style: Theme.of(context).textTheme.headline4, ), MaterialButton ( color: Colors.cyan.withOpacity(0.7), shape: RoundedRectangleBorder(borderRadius:BorderRadius.circular(30.0)), onPressed: () {}, child: const Text('this is a button widget'), ), ], |
図21 my_first_appプロジェクトの「pubspec.yaml」ファイルの内容
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
name: my_first_app description: A new Flutter project. publish_to: "none" version: 1.0.0+1 environment: sdk: ">=2.16.2 <3.0.0" dependencies: flutter: sdk: flutter cupertino_icons: ^1.0.2 dev_dependencies: flutter_test: sdk: flutter flutter_lints: ^1.0.0 flutter: uses-material-design: true |
図22 go_routerパッケージを利用する場合の記述例
|
1 2 3 4 5 |
dependencies: flutter: sdk: flutter cupertino_icons: ^1.0.2 go_router: ^3.1.1 |
図23 画面を追加するためのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
class NavigatedPage extends StatelessWidget { const NavigatedPage({Key? key}) : super(key: key); @override Widget build(BuildContext context) { return Scaffold( appBar: AppBar( title: const Text('navigated page'), ), body: const Center( child: Text('navigated with go_router'), ), ); } } |
図24 画面遷移のためのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
class MyApp extends StatelessWidget { MyApp({Key? key}) : super(key: key); final _router = GoRouter( routes: [ GoRoute( path: '/', builder: (context, state) => const MyHomePage(title: 'Flutter Demo Home Page'), ), GoRoute( path: '/navigated', builder: (context, state) => const NavigatedPage(), ), ], ); @override Widget build(BuildContext context) { return MaterialApp.router( title: 'Flutter Demo', theme: ThemeData( primarySwatch: Colors.blue, ), routeInformationParser: _router.routeInformationParser, routerDelegate: _router.routerDelegate); } } |
図25 ボタンウィジェットに画面遷移処理を割り当てるコード
|
1 2 3 4 5 6 7 8 |
MaterialButton ( color: Colors.cyan.withOpacity(0.7), shape: RoundedRectangleBorder(borderRadius:BorderRadius.circular(30.0)), onPressed: () { GoRouter.of(context).go('/navigated'); }, child: const Text('Navigate'), ), |
図26 main()関数のコードを変更
|
1 2 3 |
void main() { runApp(MyApp()); } |
著者：松浦 智之
システム開発手法「ユニケージ」では、データ保存用に「ファイル」を使い、ユニケージ専用コマンド群「usp Tukubai」と「シェルスクリプト」で業務システムを開発します。usp Tukubaiは有償ソフトですが、無償のオープンソース版「Open usp Tukubai」もあります。このOpen usp Tukubaiを使って、ユニケージ開発を無料で始めてみましょう。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図6 Apache HTTP Serverの郵便番号・住所検索システム用設定ファイル（/etc/apache2/sites-available/zip2addr.conf）
|
1 2 3 4 5 6 7 8 |
<IfModule alias_module> Alias /zip2addr /home/ユーザー名/ZIP2ADDR/public_html <Directory /home/ユーザー名/ZIP2ADDR/public_html> AddHandler cgi-script .cgi Options all Require all granted </Directory> </IfModule> |
図10 MK_ZIPTBL.SHのソースコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
#!/bin/sh -u （略） homd=$(d=${0%/*}/; [ "_$d" = "_$0/" ] && d='./'; cd "$d.."; pwd) datd=$homd/DATA shld=$homd/SHELL webd=$homd/public_html url_ken=https://www.post.japanpost.jp/zipcode/dl/oogaki/zip/ken_all.zip url_jig=https://www.post.japanpost.jp/zipcode/dl/jigyosyo/zip/jigyosyo.zip export LC_ALL=C （略） nocmds='' type wget >/dev/null 2>&1 || { nocmds="$nocmds,wget" ; } type gunzip >/dev/null 2>&1 || { nocmds="$nocmds,gunzip"; } type iconv >/dev/null 2>&1 || { nocmds="$nocmds,iconv" ; } if [ -n "$nocmds" ]; then echo "${0##*/}: ${nocmds#,} not found. Install them in advance." 1>&2 exit 1 fi （略） wget -q -O - "$url_ken" | gunzip | tr -d '\r' | iconv -c -f Shift_JIS -t UTF-8 | tr -d '"' | awk -F , '{print $3,$7,$8,$9}' > $datd/ziptbl_ken.txt if [ ! -s $datd/ziptbl_ken.txt ]; then echo "${0##*/}: Failed to make zip_ken.txt" 1>&2; exit 1 fi （略） wget -q -O - "$url_jig" | gunzip | tr -d '\r' | iconv -c -f Shift_JIS -t UTF-8 | tr -d '"' | awk -F , '{print $8,$4,$5,$6 $7}' > $datd/ziptbl_jig.txt if [ ! -s $datd/ziptbl_jig.txt ]; then echo "${0##*/}: Failed to make zip_ken.txt" 1>&2; exit 1 fi （略） exit 0 |
図12 ZIP2ADDR.AJAX.cgiのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 |
#!/bin/sh -u （略） homd=$(d=${0%/*}/; [ "_$d" = "_$0/" ] && d='./'; cd "$d.."; pwd) datd=$homd/DATA shld=$homd/SHELL webd=$homd/public_html export LC_ALL=C （略） exit_trap() { set -- ${1:-} $? # $? is set as $1 if no argument given trap '' EXIT HUP INT QUIT PIPE ALRM TERM [ -d "${tmpd:-}" ] && rm -rf "$tmpd" trap - EXIT HUP INT QUIT PIPE ALRM TERM exit $1 } error500_exit() { echo 'Status: 500 Internal Server Error' echo 'Content-Type: text/plain' echo echo '500 Internal Server Error' echo "($@)" exit 1 } error400_exit() { echo 'Status: 400 Bad Request' echo 'Content-Type: text/plain' echo echo '400 Bad Request' echo "($@)" exit 1 } （略） trap 'exit_trap' EXIT HUP INT QUIT PIPE ALRM TERM tmpd=$(mktemp -d -t "_${0##*/}.$$.XXXXXXXXXXX") [ -d "$tmpd" ] || error500_exit 'Failed to mktemp' （略） printf '%s\n' "${QUERY_STRING:-}" | cgi-name > $tmpd/cgivars zip=$(nameread zipcode $tmpd/cgivars) printf '%s\n' "$zip" | grep -qE '^[0-9]{7}$' || error400_exit 'Invalid zipcode' （略） echo $homd/DATA/ziptbl* | grep -qF '*' && error500_exit 'No table files exist' cat $homd/DATA/ziptbl* | awk '$1=="'"$zip"'"{print "pref",$2; print "city",$3; print "town",$4;}' > $tmpd/address123 [ -s $tmpd/address123 ] || error400_exit 'No address found' （略） echo 'Content-Type: text/html; charset=utf-8' echo 'Cache-Control: private, no-store, no-cache, must-revalidate' echo 'Pragma: no-cache' echo formhame $webd/ZIP2ADDR.html $tmpd/address123 | sed -n '/BEGIN ADDRESS123/,/END ADDRESS123/p' （略） [ -d "${tmpd:-}" ] && rm -rf "$tmpd" exit 0 |
図13 ZIP2ADDR.htmlのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
<!DOCTYPE html> （略） <script type="text/javascript" src="ZIP2ADDR.js"></script> （略） </head> <body> <h1>郵便番号→住所検索 デモ</h1> <form action="#dummy"> <table border="0" id="addressform"> <tr> <td> <dl> <dt>郵便番号</dt> <dd><input id="zipcode1" type="text" name="zipcode1" value="" size="3" maxlength="3" />-<input id="zipcode2" type="text" name="zipcode2" value="" size="4" maxlength="4" /></dd> <dd><input id="run" type="button" name="run" value="検索実行!" onclick="zip2addr();"></dd> </dl> </td> </tr> <tr> <td> <dl id="adress123"> <!-- BEGIN ADDRESS123--> <dt>住所(都道府県名)</dt> <dd> <select id="pref" name="pref"> <option value="(未選択)">(未選択)</option> （略） <option value="沖縄県" >沖縄県</option> </select> </dd> <dt>住所(市区町村名)</dt><dd><input id="city" type="text" size="60" name="city" value="" /></dd> <dt>住所(町名以降)</dt><dd><input id="town" type="text" size="60" name="town" value="" /></dd> <!-- END ADDRESS123--> </dl> </td> </tr> </table> </form> </body> </html> |
図14 ZIP2ADDR.jsのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 |
（略） function zip2addr() { var url; var zipcode; var xhr; （略） if (! document.getElementById('zipcode1').value.match(/^([0-9]{3})$/)) { alert('郵便番号(前の3桁)が正しくありません'); return; } zipcode = RegExp.$1; if (! document.getElementById('zipcode2').value.match(/^([0-9]{4})$/)) { alert('郵便番号(後の4桁)が正しくありません'); return; } zipcode += RegExp.$1; （略） xhr = createXMLHttpRequest(); if (xhr) { url = 'ZIP2ADDR.AJAX.cgi?zipcode='+zipcode; url += '&dummy='+parseInt((new Date)/1); xhr.open('GET', url, true); xhr.onreadystatechange = function(){zip2addr_callback(xhr)}; xhr.send(null); } （略） return; } （略） function zip2addr_callback(xhr) { var e; （略） if (xhr.readyState != 4) {return;} if (xhr.status == 0 ) {return;} if (xhr.status == 400) { alert('郵便番号が正しくありません'); return; } else if (xhr.status != 200) { alert('アクセスエラー(' + xhr.status + ')'); return; } （略） e = document.getElementById('adress123'); if (!e) {alert('エラー: 住所欄が存在しない!'); return;} e.innerHTML = xhr.responseText; （略） return; } |
著者：麻生 二郎
小型コンピュータボードの最上位モデルである「Raspberry Pi 4 Model B」の2G/4G/8Gバイト版と、人気のLinuxディストリビューション「Ubuntu」のサーバー版を組み合わせて、本格的なサーバーを構築しましょう。本特集では、サーバーをインターネットに公開する方法を紹介します。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図A3 ラズパイサーバーの初期設定（ubuntu_init1.sh）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
#!/bin/sh ##日本のタイムゾーン設定 sudo timedatectl set-timezone Asia/Tokyo ##全ソフトウエア更新 sudo apt update sudo apt -y upgrade sudo apt -y autoremove sudo apt clean ##ファームウエアアップデート sudo apt -y install rpi-eeprom sudo rpi-eeprom-update ##完了後の再起動 read -p "再起動しますか [y/N]:" YN if [ " $YN" = " y" ] || [ " $YN" = " Y" ]; then sudo reboot fi |
図A4 ラズパイサーバーの初期設定（ubuntu_init2.sh）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
#!/bin/sh ##固定IPアドレスとルーターのIPアドレス IP_ADDRESS="192.168.10.100" ROUTER_IP="192.168.10.1" ##旧設定バックアップ mkdir -p ~/old_settings sudo mv /etc/netplan/50-cloud-init.yaml ~/old_settings/. ##新ネットワーク設定作成 cat << EOF | sudo tee /etc/netplan/50-cloud-init.yaml > /dev/null network: ethernets: eth0: dhcp4: false addresses: [ip_address/24] gateway4: router_ip nameservers: addresses: [8.8.8.8] version: 2 EOF sudo sed -i -e "s%ip_address%$IP_ADDRESS%" /etc/netplan/50-cloud-init.yaml sudo sed -i -e "s%router_ip%$ROUTER_ip%" /etc/netplan/50-cloud-init.yaml ##ネットワーク設定反映 sudo netplan apply |
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。第12回は、電流を測定するクランプメーターを搭載する拡張基板を扱います。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図6 本連載で作成したサンプルプログラム（sample.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 |
import time import board import math import busio import adafruit_ads1x15.ads1115 as ADS from adafruit_ads1x15.ads1x15 import Mode from adafruit_ads1x15.analog_in import AnalogIn GAIN = 1 RATE = 860 i2c = busio.I2C(board.SCL, board.SDA, frequency=1000000) ads = ADS.ADS1115(i2c, GAIN) # 差動入力で初期化 in0 = AnalogIn(ads, ADS.P0, ADS.P1) # 連続モードの設定 ads.mode = Mode.CONTINUOUS ads.data_rate = RATE SAMPLE_INTERVAL = 1.0 / ads.data_rate # ADS1115のCONTINUOUSモードは初回読み取り実行後に設定が行われ # 設定に2サンプリングクロックが必要になる _ = in0.voltage # 設定用の空読み込み value = 0.0 current_value = 0.0 sqrtI = 0.0 time_next_sample = time.monotonic() + SAMPLE_INTERVAL for i in range(ads.data_rate): while time.monotonic() < (time_next_sample): pass # 前回と同じ値が読み取られた場合は読み飛ばす current_value = in0.voltage while current_value == value: current_value = in0.voltage value = current_value sqrtI += value * value time_next_sample = time.monotonic() + SAMPLE_INTERVAL # 電流値（RMS）の計算 ampere = math.sqrt(sqrtI/ads.data_rate) * 20.0 print(ampere) |
著者：岩本 和真
人間の言語をコンピュータで処理する自然言語処理の分野は、近年、急速に進歩しています。それによって例えば、自然な翻訳や文章生成をする技術などが開発されています。同分野の学習成果として筆者は、「秘書チャット」と名付けたチャットボットアプリを作成しました。今回は、このアプリに盛り込んだ機能について、技術的に解説します。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図5 形態素解析処理をするmorpheme()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
def morpheme(self, input, speech=False): input=unicodedata.normalize('NFKC', input) if speech: speech_list = [] sentence = self.wakati.parse(input).split() node = self.wakati.parseToNode(input) while node: if node.feature.split(",")[0] != "BOS/EOS": speech_list.append(node.feature.split(",")[0]) node = node.next return sentence, speech_list else: sentence = self.wakati.parse(input).split() return sentence |
図8 予定の内容を抽出するcontent_extract()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
def content_extract(self, input_list, speech_list): out_list = [] ban_word = ["覚え", "記憶"] pass_word = ["予定", "こと"] for i, input in enumerate(input_list): if input in ban_word: break elif input in pass_word: continue elif input.isdecimal() and \ input_list[i+1] in self.date_key: continue elif (input_list[i-1]).isdecimal() and \ input in self.date_key: continue elif out_list != [] and speech_list[i-1] == "名詞" and \ speech_list[i+1] == "名詞" and \ input_list[i+1] not in pass_word: out_list.append(input_list[i]) elif speech_list[i] == "名詞": out_list.append(input) else: continue return ''.join(out_list) |
図9 Webページのテキスト情報を抽出するscraping()関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 |
from bs4 import BeautifulSoup import requests def scraping(url, file_path): responses = requests.get(url) soup = BeautifulSoup(responses.content, 'html.parser') text_list = soup.get_text().splitlines() text_list = list(set(text_list)) text_list = [text.replace('\u3000', '') for text in text_list] text = '\n'.join(text_list) with open(file_path, 'w', encoding='utf_8') as f: f.write(text) |
図12 曜日や豆知識を答える機能のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
def week_teach(self, input): year = None month = None day = None input = self.date_update.convert(input) input_list = self.morpheme(input) if "年" in input_list: year = self.date_specify("年", input_list) else: year = self.year if "月" in input_list: month = self.date_specify("月", input_list) else: month = self.month day = self.date_specify("日", input_list) d_key = dt.date(year, month, day) week_key = d_key.weekday() return year, month, day, self.week_list[week_key] def knowledge_teach(self): file_path = "text_data/min_kl.txt" with open(file_path, 'r', encoding='UTF-8') as f: knowledge_data = f.readlines() knowledge = random.choice(knowledge_data) return knowledge |
著者：斉藤 博文
プログラミング言語「AWK」は、データストリーム（データの流れ）を逐次処理するのに適しています。本連載では、電子回路の分野でその特徴を生かし、シェルスクリプトを組み合わせてデジタル信号を処理します。第1回は「デジタルフィルタ」と「リングバッファ」について解説します。
シェルスクリプトマガジン Vol.79は以下のリンク先でご購入できます。
図14 1～10000の出力データから末尾の10行を取り出すAWKプログラム（tail.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 |
#! /usr/bin/gawk -f { lines[NR] = $0; } END { for (i = NR - 9; i <= NR; i++) { print lines[i]; } } |
図15 リングバッファを用いたAWKプログラム（tail_ring.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
#! /usr/bin/gawk -f BEGIN { len = 10; } { idx = NR % 10; buf[idx] = $0; } END { for (i = 9; i >= 0; i--) { print get_buf(buf, idx - i, len); } } function get_buf(buf, idx, len) { if (idx < 0) { return buf[idx + len]; } else { return buf[idx]; } } |
図17 「get_buf」関数をPythonのプログラムで記述
|
1 2 3 4 5 |
def get_buf(buf, idx, len): if (idx < 0): return buf[idx + len] else: return buf[idx] |
著者：松井 恵一、木下 舜、上原 将司
デスクトップパソコンやモバイル、Web、クラウドなど、さまざまな環境で動作するアプリケーションを開発できる基盤が「.NET」です。昨年11月に初の長期サポート版となる.NET 6がリリースされました。本特集では、最新の.NET 6を含め、.NETについて分かりやすく解説します。
シェルスクリプトマガジン Vol.78は以下のリンク先でご購入できます。
図13 Program.csファイルの中身
|
1 2 |
// See https://aka.ms/new-console-template for more information Console.WriteLine("Hello, World!"); |
図14 C#で記述した、「Hello World」を表示するプログラムの例
|
1 2 3 4 5 6 7 8 9 10 11 12 |
using System; namespace ConsoleApplication { public class Program { public static void Main() { Console.WriteLine("Hello World!"); } } } |
図15 MyFirstDotnetApp.csprojファイルの中身
|
1 2 3 4 5 6 7 8 9 10 |
<Project Sdk="Microsoft.NET.Sdk"> <PropertyGroup> <OutputType>Exe</OutputType> <TargetFramework>net6.0</TargetFramework> <ImplicitUsings>enable</ImplicitUsings> <Nullable>enable</Nullable> </PropertyGroup> </Project> |
筆者：魔法少女
マイコン「ESP32」と小型コンピュータボード「Raspberry Pi」を使って本格的なIoT（Internet of Things、モノのインターネット）環境を構築してみましょう。本企画では、3軸の加速度センサーを用いて簡易地震計を作成し、リアルタイムに揺れをグラフで表示します。
シェルスクリプトマガジン Vol.78は以下のリンク先でご購入できます。
図4 Eclipse Mosquittoの設定スクリプト（mosquitto_setting.sh）
|
1 2 3 4 5 6 7 8 9 |
#!/bin/sh sudo tee /etc/mosquitto/conf.d/confer.conf << EOF >dev/null listener 1883 allow_anonymous true listener 8081 protocol websockets sudo systemctl reload mosquitto |
図18 ESP32搭載ボートの起動時に無線LANに接続するプログラム（boot.py）
|
1 2 3 4 5 6 7 8 9 |
import network SSID = 'SSID' PASSWORD = 'パスワード' wlan_if = network.WLAN(network.STA_IF) wlan_if.active(True) wlan_if.connect(SSID, PASSWORD) |
図19 パブリッシャのプログラム（main.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
import time from machine import Pin, SoftI2C import mpu6050 from umqtt.simple import MQTTClient import json mqtt_topic = "home/seismometer1" publisher_id = "place_esp32" broker_address = "192.168.1.100" interval_time = "1" i2c = SoftI2C(scl=Pin(22), sda=Pin(21)) accelerometer = mpu6050.accel(i2c) time.sleep(5) while True: iot_value = accelerometer.get_values() iot_value_json = json.dumps(iot_value) print(iot_value_json) publisher = MQTTClient(publisher_id,broker_address) publisher.connect() publisher.publish(mqtt_topic, msg=str(iot_value_json)) publisher.disconnect() time.sleep(int(interval_time)) |
図24 ブスクライバとなるJavaScriptプログラムを含んだHTMLファイル（seismometer.html）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 |
<!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <title>簡易地震計</title> <script src="https://cdnjs.cloudflare.com/ajax/libs/Chart.js/2.9.3/Chart.bundle.min.js"></script> <script src="https://cdn.jsdelivr.net/npm/chartjs-plugin-streaming@1.9.0"></script> <script src="https://unpkg.com/mqtt/dist/mqtt.min.js"></script> </head> <body> <canvas id="myChart"></canvas> <script> const client = mqtt.connect('ws://raspibroker.local:8081'); const ctx = document.getElementById('myChart').getContext('2d'); var chart = new Chart(ctx, { type: 'line', data: { datasets: [{ data: [], label: 'X軸', borderColor: 'rgb(255, 0, 255)', backgroundColor: 'rgba(255, 255, 255, 0)', lineTension: 0, }, { data: [], label: 'Y軸', borderColor: 'rgb(0, 255, 0)', backgroundColor: 'rgba(255, 255, 255, 0)', lineTension: 0, }, { data: [], label: 'Z軸', borderColor: 'rgb(0, 0, 255)', backgroundColor: 'rgba(255, 255, 255, 0)', lineTension: 0, }] }, options: { scales: { xAxes: [{ type: 'realtime', realtime: { delay: 2000, }, }], yAxes: [{ ticks: { min: -32767, max: 32767 } }] } } }); client.on('connect', () => { console.log('connected'); client.subscribe('home/seismometer1'); }); client.on('message', (topic, message) => { console.log(message.toString()); acc_json = JSON.parse(message.toString()); chart.data.datasets[0].data.push({ x: Date.now(), y: acc_json.AcX }); chart.data.datasets[1].data.push({ x: Date.now(), y: acc_json.AcY }); chart.data.datasets[2].data.push({ x: Date.now(), y: acc_json.AcZ - 16384 }); chart.update(); }); </script> </body> </html> |
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。第11回は、光の反射で物体との距離を調べるセンサー搭載の拡張基板を扱います。
シェルスクリプトマガジン Vol.78は以下のリンク先でご購入できます。
図4 VCNL4010から値を読み出すPythonプログラム（sample.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import time import Adafruit_VCNL40xx vcnl = Adafruit_VCNL40xx.VCNL4010() try: while True: prox = vcnl.read_proximity() ambient = vcnl.read_ambient() print('Proximity = ' + str(prox)) print('Ambient = ' + str(ambient) + ' Lux') time.sleep(0.5) except KeyboardInterrupt: pass |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第8回は、Webアプリケーションフレームワーク「Flask」を使って基本的なWebアプリを作成する方法を紹介します。データベースにアクセスする方法やテンプレートの利用方法も解説します。
シェルスクリプトマガジン Vol.78は以下のリンク先でご購入できます。
図1 「Hello World」に相当するシンプルなWebアプリのコード（app.py）
|
1 2 3 4 5 6 |
from flask import Flask app = Flask(__name__) @app.route('/') def hello(): return '<h1>Hello World!</h1>' |
図4 ルーティングの記述を追加したWebアプリのコード
|
1 2 3 4 5 6 7 8 9 10 |
from flask import Flask app = Flask(__name__) @app.route('/hello') def hello(): return '<h1>Hello World!</h1>' @app.route('/goodbye') def goodbye(): return '<h1>Good-bye World!</h1>' |
図5 パスパラメータを使うWebアプリのコードの例
|
1 2 3 4 5 6 |
from flask import Flask app = Flask(__name__) @app.route('/hello/<name>') def hello(name): return f'<h1>Hello {name}!</h1>' |
図7 クエリーパラメータを使うWebアプリのコードの例
|
1 2 3 4 5 6 7 |
from flask import Flask, request app = Flask(__name__) @app.route('/hello') def hello(): name = request.args['name'] return f'<h1>Hello {name}!</h1>' |
図9 メモ帳Webアプリのひな型コード
|
1 2 3 4 5 6 7 8 9 10 11 12 |
from flask import Flask, request app = Flask(__name__) @app.route('/addMemo') def addMemo(): name = request.args['name'] description = request.args['description'] return f'ADD: name = {name}, desc = {description}' @app.route('/getMemo') def getMemo(): return f'[TBD]' |
図10 データベースを使うメモ帳Webアプリのコード（その1）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
from flask import Flask, request from flask_sqlalchemy import SQLAlchemy from sqlalchemy import Integer, String, Text app = Flask(__name__) app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///memo.sqlite' db = SQLAlchemy(app) class Memo(db.Model): __tablename__ = 'memo' ID = db.Column(Integer, primary_key=True) NAME = db.Column(String(500)) DESCRIPTION = db.Column(Text) db.create_all() @app.route('/addMemo') def addMemo(): name = request.args['name'] description = request.args['description'] return f'ADD: name = {name}, desc = {description}' @app.route('/getMemo') def getMemo(): return f'[TBD]' |
図12 データベースを使うメモ帳Webアプリのコード（その2）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
from flask import Flask, request from flask_sqlalchemy import SQLAlchemy from sqlalchemy import Integer, String, Text app = Flask(__name__) app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///memo.sqlite' db = SQLAlchemy(app) class Memo(db.Model): __tablename__ = 'memo' ID = db.Column(Integer, primary_key=True) NAME = db.Column(String(500)) DESCRIPTION = db.Column(Text) db.create_all() @app.route('/addMemo') def addMemo(): name = request.args['name'] description = request.args['description'] db.session.add(Memo(NAME=name, DESCRIPTION=description)) db.session.commit() db.session.close() return f'ADD: name = {name}, desc = {description}' @app.route('/getMemo') def getMemo(): memos = db.session.query( Memo.ID, Memo.NAME, Memo.DESCRIPTION).all() return str(memos) |
図14 テンプレートファイル「index.html」の内容
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
<!DOCTYPE html> <html> <head> <title>Flask Test</title> </head> <body> <h1>The Memo List</h1> <table> <tr><th>ID</th><th>Name</th><th>Description</th></tr> {% for memo in memos: %} <tr><td>{{ memo.0 }}</td> <td>{{ memo.1 }}</td> <td>{{ memo.2 }}</td></tr> {% endfor %} </table> </body> </html> |
図15 テンプレートを使うメモ帳Webアプリのコード（その1）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
from flask import Flask, request, render_template from flask_sqlalchemy import SQLAlchemy from sqlalchemy import Integer, String, Text app = Flask(__name__) app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///memo.sqlite' db = SQLAlchemy(app) class Memo(db.Model): __tablename__ = 'memo' ID = db.Column(Integer, primary_key=True) NAME = db.Column(String(500)) DESCRIPTION = db.Column(Text) db.create_all() @app.route('/addMemo') def addMemo(): name = request.args['name'] description = request.args['description'] db.session.add(Memo(NAME=name, DESCRIPTION=description)) db.session.commit() db.session.close() return f'ADD: name = {name}, desc = {description}' @app.route('/getMemo') def getMemo(): memos = db.session.query( Memo.ID, Memo.NAME, Memo.DESCRIPTION).all() return render_template('index.html', memos=memos) |
図17 修正したテンプレートファイル「index.html」の内容
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
<!DOCTYPE html> <html> <head> <title>Flask Test</title> </head> <body> <h1>The Memo List</h1> <table border="1" width="500" cellspacing="0" cellpadding="5" bordercolor="#333333"> <tr><th>ID</th><th>Name</th><th>Description</th></tr> {% for memo in memos: %} <tr><td>{{ memo.0 }}</td> <td>{{ memo.1 }}</td> <td>{{ memo.2 }}</td></tr> {% endfor %} </table> <h2>New Memo</h2> <form action="/addMemo" method="post"> <table style="text-align: left;"> <tr style="vertical-align: top;"><th>Name:</th> <td><input type="text" name="name"></input></td></tr> <tr style="vertical-align: top;"><th>Description:</th> <td><textarea name="description" rows="4" cols="40"> </textarea></td></td> </table> <input type="submit" value="Submit"> <input type="reset" value="Reset"> </form> </body> </html> |
図18 テンプレートを使うメモ帳Webアプリのコード（その2）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
from flask import Flask, request, render_template, redirect, url_for from flask_sqlalchemy import SQLAlchemy from sqlalchemy import Integer, String, Text app = Flask(__name__) app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///memo.sqlite' db = SQLAlchemy(app) class Memo(db.Model): __tablename__ = 'memo' ID = db.Column(Integer, primary_key=True) NAME = db.Column(String(500)) DESCRIPTION = db.Column(Text) db.create_all() @app.route('/addMemo', methods=['POST']) def addMemo(): name = request.form['name'] description = request.form['description'] db.session.add(Memo(NAME=name, DESCRIPTION=description)) db.session.commit() db.session.close() return redirect(url_for('getMemo')) @app.route('/getMemo') def getMemo(): memos = db.session.query( Memo.ID, Memo.NAME, Memo.DESCRIPTION).all() return render_template('index.html', memos=memos) |
著者：菅 雄一
筆者は2001年、PHP言語とOSS（オープンソースソフトウエア）データベース管理システムのPostgreSQLに出会った。それ以降、データベースが絡んだWebシステムを構築する際は、PHPとPostgreSQLを組み合わせて使っていた。しかし2021年に社内Web業務システムなどをレンタルサーバーに移行させた際には、PHPとOSSデータベース管理システムのMySQLを初めて組み合わせて使った。今回は、その移行作業について紹介する。
シェルスクリプトマガジン Vol.78は以下のリンク先でご購入できます。
図1 自作のメール送信用関数の定義コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
function Send_Mail($addr,$content) { $fp = fsockopen(" メールサーバーのアドレス ",25, &$errno , &$errstr); if(!$fp) { print "$errstr ($errno)<br>n" ; } else { $subject = "Subject: 発送依頼書" ; $subject = mb_convert_encoding($subject,"UTF-8"); $content = mb_convert_encoding($content,"JIS"); fwrite($fp,"HELO server.example.co.jp\n"); fwrite($fp,"MAIL FROM:chohyo@example.co.jp\n"); fwrite($fp,"RCPT TO:$addr\n"); fwrite($fp,"DATA\n"); fwrite($fp,"From: chohyo@example.co.jp\n"); fwrite($fp,"$subject\n"); fwrite($fp,"Content-Type: text/plain; charset=ISO-2022-JP\n"); fwrite($fp,"$content\n"); fwrite($fp,".\n"); fwrite($fp,"QUIT\n"); } fclose($fp); } |
著者：樋口 史弥
アプリケーションやサービスは、ユーザーの意見や技術状況に合わせた変更をしやすいように開発するのが理想的です。そうした開発を実現するための設計手法の一つが「クリーンアーキテクチャ」です。今回は、クリーンアーキテクチャを用いて簡単な匿名掲示板を作る方法を解説します。
シェルスクリプトマガジン Vol.78は以下のリンク先でご購入できます。
図4 投稿削除機能を追加した場合のコード例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
// メッセージを表す構造体 type struct Message { （略） } // 全メッセージを取得する関数 func (m *Message)GetAllMessages() error { （略） } // メッセージを投稿する関数 func (m *Message)Post() error { （略） } // メッセージを削除する関数 func (m *Message)Delete() error { （略） } |
図6 単一責任原則に沿ったコードの例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
// メッセージを表す構造体 type struct Message { （略） } // 一般ユーザーを表す構造体 type struct User { Message （略） } // メッセージを投稿する関数 func (u *User)Post() error { （略） } // 全メッセージを取得する関数 func (u *User)GetAllMessages() error { （略） } // 管理者を表す構造体 func type struct Administrator { Message （略） } // メッセージを削除する関数 func (a *Administrator)Delete() error { （略） } |
図8 モジュールに依存したコードの例
|
1 2 3 4 5 6 |
func (m *Message)Post() error { （略） // MySQLHandlerモジュールのExecute関数を直接実行 err := MySQLHandler.Execute(sql) （略） } |
図10 モジュールに依存したコードの例
|
1 2 3 4 5 6 7 8 9 10 11 |
type struct Message { （略） i DBInterface } func (m *Message)Post() error { （略） // MySQLHandlerモジュールのExecute関数を // 直接実行せず、DBInterface経由で実行 err := m.i.Execute(sql) （略） } |
図19 messageモジュールのコード
|
1 2 3 4 5 6 7 8 |
type Message interface { // メッセージの文字列を返却する関数 Message() string } type message struct { // メッセージの文字列を格納するメンバー detail string } |
図20 投稿時刻やハンドルを付加する場合のmessageモジュールのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 |
type Message interface { // メッセージの文字列を返却する関数 Message() string // 投稿したユーザーのハンドルを返却する関数 HandleName() string } type message struct { // メッセージの文字列を格納するメンバー detail string // 投稿ユーザーのハンドルを格納るメンバー handleName string } |
図21 ログイン機能を付加するためのuserモジュールのコード
|
1 2 3 4 5 6 7 8 9 10 |
type User interface { // ユーザーIDを返却する関数 ID() string // パスワードが適切かどうかを検査する関数 MatchPassword(string) bool } type user struct { id string password string } |
図22 メッセージを投稿するというユースケースに対応するコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
type controller struct { // データベースに保存するモジュールに // アクセスするためのインタフェース database db_gateway.DB } func (c *controller)Post(m message.Message) error { // Messageの中身の検証 if len(m.Message()) == 0 { return MessageNotFound } // インタフェースを用いてメッセージを保存 err := c.database.RecordMessage(m) （略） } |
図23 メッセージを保存するRecordMessageメソッドのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
type mySQLHandler struct { // Frameworks&Drivers層のデータベースクライアントライブラリ // のモジュールを呼び出すインタフェース database mysql_gateway.MySQLHandler } // メッセージを保存するためのハンドラメソッド func (m *mySQLHandler)RecordMessage( message message.Message, ) error { // SQL文を生成 sql := ` INSERT INTO messages (message) VALUES (?) ` // インタフェースを介してSQL文を実行 _, err := m.database.Execute(sql, message.Message()) （略） } |
図24 mySQLHandler 構造体のdatabaseメンバーに所属するインタフェースの定義コード
|
1 2 3 4 |
type MySQLHandler interface { Query(string, ...interface{}) (Row, error) Execute(statement string, args ...interface{}) (Result, error) } |
図25 MySQLHandler インタフェースで定義されるExecute メソッドのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
import ( （略） // データベースクライアントライブラリをインポート "database/sql" ) type mysql struct { // データベースに問い合わせるためのコネクション Conn *sql.DB } func (handler *mysql) Execute( statement string, args ...interface{}, ) (worker.Result, error) { res := new(SQLResult) // コネクションを用いてSQL文を実行 result, err := handler.Conn.Exec(statement, args...) （略） res.Result = result return res, nil } |
図26 匿名掲示板のMainコンポーネントのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
func main() { // External Interfaceのdatabaseモジュールを初期化 mysqlDB, f, err := database.NewMySQL(db_user, db_password, db_ip, db_port, db_name) （略） // Interface Adaptersのdb_handlerモジュールを初期化 DBHandler := db_handler.NewMySQL(mysqlDB) // Application Business Rulesのcontrollerモジュールを初期化 controller := interactor.NewController(DBHandler) // External Interfaceのserverモジュールを初期化 server := server.New(port, controller) // Application Business Rulesのinteractorモジュールを初期化 interactor := interactor.NewInteractor(server) // Application Business Rulesに制御を渡す e := interactor.Run() （略） } |
図27 データの保存先を変更する際のMainコンポーネント書き換え箇所
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
func main() { // External Interfaceのdatabaseモジュールを初期化 textDB, err := database.NewText(TextPath) （略） // Interface Adaptersのdb_handlerモジュールを初期化 DBHandler := db_handler.New(textDB) // Application Business Rulesのcontrollerモジュールを初期化 controller := interactor.NewController(DBHandler) // External Interfaceのserverモジュールを初期化 server := server.New(port, controller) // Application Business Rulesのinteractorモジュールを初期化 interactor := interactor.NewInteractor(server) // Application Business Rulesに制御を渡す e := interactor.Run() （略） } |
004 レポート OpenSSH 9.0/9.0p1リリース
005 レポート ゲームエンジンのUnreal Engine 5
006 製品レビュー マグカップ型電気鍋「Cook Mug」
007 NEWS FLASH
008 特集1 アプリケーション開発基盤 .NET/松井恵一、木下舜、上原将司 コード掲載
023 Hello Nogyo!
024 特集2 UMLを使い始めてみよう/森三貴
040 特別企画 ESP32とラズパイで作る本格IoT 簡易地震計/魔法少女 コード掲載
058 Raspberry Piを100%活用しよう/米田聡 コード掲載
060 Pythonあれこれ/飯尾淳 コード掲載
066 法林浩之のFIGHTING TALKS/法林浩之
068 中小企業手作りIT化奮戦記/菅雄一 コード掲載
072 ダークウェブ/桑原滝弥、イケヤシロウ
074 香川大学SLPからお届け！/樋口史弥 コード掲載
084 タイ語から分かる現地生活/つじみき
092 Bash入門/大津真
098 Techパズル/gori.sh
099 コラム「計画は全体を、問題は点を追求する」/シェル魔人
004 レポート 古いPC向けOS「Chrome OS Flex」
005 レポート WebブラウザでDebianが動作
006 NEWS FLASH
008 特集1 AWKプログラミング入門/斉藤博文 コード掲載
017 Hello Nogyo!
018 特集2 MIRACLE LINUXという選択肢/弦本春樹
022 特集3 デスクトップ版Power Automateを活用しよう/三沢友治
032 特別企画 ESP32とラズパイで作る本格IoT/魔法少女 コード掲載
050 先端技術 量子コンピュータ
052 Raspberry Piを100%活用しよう/米田聡 コード掲載
056 機械学習ことはじめ/川嶋宏彰 コード掲載
068 Pythonあれこれ/飯尾淳 コード掲載
074 JSON/桑原滝弥、イケヤシロウ
076 中小企業手作りIT化奮戦記/菅雄一
080 法林浩之のFIGHTING TALKS/法林浩之
082 タイ語から分かる現地生活/つじみき
088 香川大学SLPからお届け！/石上椋一 コード掲載
094 Bash入門/大津真
104 Techパズル/gori.sh
105 コラム「ユニケージ流の業務システム開発」/シェル魔人
著者：斉藤 博文
シェルスクリプトで複雑なテキストデータ処理を実行する場合、「AWK」（オーク）というプログラミング言語が利用されます。AWKの処理系（実行環境）はとても小さく、シェルスクリプトと組み合わせて使うのに適しています。本特集では、このAWKのプログラミングを分かりやすく解説します。
シェルスクリプトマガジン Vol.77は以下のリンク先でご購入できます。
図8 ユーザー定義関数「factorial」の実装例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
{ print factorial($0); } function factorial(n, i, ret) { ret = 1; for (i = 1; i <= n; i++) { ret *= i } return ret; } |
図9 改変した階乗処理のAWKプログラム（factorial.awk）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
BEGIN { n = n ? n : 5; print factorial(n); } function factorial(n) { ret = 1; for (i = 1; i <= n; i++) { ret *= i } return ret; } |
著者：魔法少女
マイコン「ESP32」と小型コンピュータ「Raspberry Pi」を使って本格的なIoT（モノのインターネット）環境を構築してみましょう。本企画では、五つの会議室の温度、湿度、利用状況を監視・分析し、会議室内の電源を制御するシステムを構築します。
シェルスクリプトマガジン Vol.77は以下のリンク先でご購入できます。
図4 ユーザー名とパスワードの生成スクリプト（user_create.sh）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
#!/bin/sh tee ~/confer_pw.txt << EOF > /dev/null pub1:passwd1 pub2:passwd2 pub3:passwd3 pub4:passwd4 pub5:passwd5 sub1:passwd6 EOF for i in $(seq 6) do sed -i -e "s|passwd${i}|$(pwgen 8 1)|" ~/confer_pw.txt done |
図5 Eclipse Mosquittoの認証設定スクリプト（mosquitto_setting.sh）
|
1 2 3 4 5 6 7 8 9 10 |
#!/bin/sh sudo cp ~/confer_pw.txt /etc/mosquitto/confer_pwfile sudo mosquitto_passwd -U /etc/mosquitto/confer_pwfile sudo tee /etc/mosquitto/conf.d/confer.conf << EOF > /dev/null listener 1883 allow_anonymous false password_file /etc/mosquitto/confer_pwfile EOF sudo systemctl reload mosquitto |
図7 サブスクライバのプログラム（subscriber.py)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
#!/bin/env python3 import paho.mqtt.client as mqtt import time ## mqtt_topic = "confer/#" csv_file = "./room1.csv" subscriber_username = "sub1" subscriber_password = "IBehie1h" broker_hostname = "localhost" ## def on_connect(client, userdata, flags, rc): print("Connected with result code "+str(rc)) client.subscribe(mqtt_topic) def on_message(client, userdata, msg): now_unixtime = time.time() iot_device = msg.topic + "," + str(msg.payload, encoding='utf-8', errors='replace') + "," + str(now_unixtime) print(iot_device) with open(csv_file, mode='a') as f: f.write(iot_device + "\n") ## client = mqtt.Client() client.on_connect = on_connect client.on_message = on_message client.username_pw_set(username=subscriber_username, password=subscriber_password) client.connect(broker_hostname) client.loop_forever() |
図24 ESP32搭載ボートの起動時に無線LANに接続するプログラム（boot.py）
|
1 2 3 4 5 6 7 8 9 |
import network SSID = 'USP_OFFICE_B' PASSWORD = 'uspuspusp1234' wlan_if = network.WLAN(network.STA_IF) wlan_if.active(True) wlan_if.connect(SSID, PASSWORD) |
図25 パブリッシャのプログラム（main.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
import time import dht from machine import Pin from umqtt.simple import MQTTClient mqtt_topic = "confer/room1" publisher_username = "pub1" publisher_password = "パスワード" publisher_id = "room1_esp32" broker_address = "192.168.1.100" interval_time = "1" hf_sensor = Pin(5, Pin.IN, Pin.PULL_UP) th_sensor = dht.DHT11(Pin(22)) time.sleep(5) while True: value1 = hf_sensor.value() th_sensor.measure() value2 = th_sensor.temperature() value3 = th_sensor.humidity() iot_value = str(value1)+","+str(value2)+","+str(value3) print(iot_value) publisher = MQTTClient(publisher_id,broker_address,user=publisher_username,password=publisher_password) publisher.connect() publisher.publish(mqtt_topic, msg=iot_value) publisher.disconnect() time.sleep(int(interval_time)) |
筆者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。第10回は、サーボモーターを制御できる拡張基板を扱います。
シェルスクリプトマガジン Vol.77は以下のリンク先でご購入できます。
図6 チャンネル1に接続したSG90を動かすサンプルプログラム（sv.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
import smbus, SVO import time servo = SVO.SVO() #init servo.Servo_Switch('b', '0') # 両チャンネルオフ servo.Set_servo_cycle('20000') # PWMピリオド20ミリ秒 servo.Set_servo_duty_min('b','500') # 最小デューティサイクル0.5ミリ秒 servo.Set_servo_duty_max('b','2400') # 最大デューティサイクル2.4ミリ秒 servo.Set_servo_duty('b', '500') # -90度に初期化 servo.Set_servo_Write() # 初期値を書き込み # 作動 servo.Servo_Switch('b', '1') # 両チャンネルオン time.sleep(3) for r in range(10, 190, 10): # 10度から180度まで print("r=" + str(r)) sval = str(int( r*1900/180 + 500 )) servo.Set_servo_duty('1', sval) servo.Set_servo_Write() time.sleep(3) |
筆者：川嶋 宏彰
本連載では、機械学習の基礎となるさまざまな手法の仕組みや、それらの手法のPythonでの利用方法を解説していきます。最終回となる今回は、ニューラルネットの仕組みと、基本的なモデルについて解説します。
シェルスクリプトマガジン Vol.77は以下のリンク先でご購入できます。
図3 単純パーセプトロンを学習するための関数を定義するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 |
import numpy as np def h_step(x): """ ステップ関数: 0より大きければ1、それ以外は0 """ return int(x > 0) def train_perceptron(X, y, lr=0.5, max_it=20, random_state=None): """ パーセプトロンの学習アルゴリズム lr: 学習率 (learning rate) max_it: 最大反復回数 (maximum number of iterations) """ N, d = X.shape # データ数x次元 X1 = np.c_[np.ones(N), X] # 1だけの列を1列目に追加 d1 = d + 1 # バイアス項込みの次元数 np.random.seed(random_state) w = np.random.rand(d1) # (w0, w1, w2) print('initial w', w) w_log = [w.copy()] # 初期の重み係数 info_log = [[-1] * 5] # [it, i, y, o, y-o] for it in range(max_it): # ① 反復 (iteration) print('--- iteration:', it) err = 0 for i in range(N): # ② 各データを入力 x = X1[i, :] y_pred = h_step(np.dot(w, x)) err += (y[i] - y_pred) ** 2 print('yhat:', y_pred, 'y:', y[i]) if y_pred != y[i]: w += lr * (y[i] - y_pred) * x # ③ wを更新 w_log.append(w.copy()) info_log.append([it, i, y[i], y_pred, y[i] - y_pred]) print('err:', err) if err == 0: print('## converged @ it=', it) break return w_log, info_log def get_fourpoints(xor_flag=False): """4点のデータを準備 xor_flag: 各データのラベルをどう設定するか True: 入力が異なる符号なら1, False: 入力が共に正なら1 """ X = np.array([[-1, -1], [-1, 1], [1, -1], [1, 1]]) y = np.array([0, 1, 1, 0]) if xor_flag else np.array([0, 0, 0, 1]) return X, y |
図4 単純パーセプトロンの学習過程を可視化する関数を定義するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
import matplotlib.pyplot as plt import seaborn as sns plt.rcParams['font.size'] = 14 def plot_2dline_with_data(X, y, w, title='', i=-1): """ データと w0 + w1 x1 + w2 x2 = 0 をプロット """ fig = plt.figure(figsize=(5, 5)) sns.scatterplot(x=X[:, 0], y=X[:, 1], hue=y, s=150) xlim = [-1.5, 1.5] ylim = [-1.5, 1.5] plt.xlim(xlim) plt.ylim(ylim) plt.xticks([-1, 1]) plt.yticks([-1, 1]) # w0 + w1*x1 + w2*x2 = 0 のプロット if w[2] == 0: # w2 == 0 のとき: x1 = -w0/w1 x2 = np.linspace(*ylim, 2) plt.plot([-w[0]/w[1]] * x2.size, x2, '-', linewidth=3, color='r') else: # w2 != 0 のとき: x2 = -(w0 + w1*x1)/w2 x1 = np.linspace(*xlim, 2) plt.plot(x1, -(w[0] + w[1]*x1)/w[2], '-', linewidth=3, color='r') if i >= 0: plt.scatter(X[i, 0], X[i, 1], s=300, facecolor='none', edgecolor='r', linewidth=2) plt.title(title) return fig |
図5 単純パーセプトロンの学習と結果表示をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
# データの読み込みと学習 xor_flag = False # (★) True: XOR, False: AND X, y = get_fourpoints(xor_flag) # 学習データを取得 print(f' X:\n{X},\n y: {y}') w_log, info_log = train_perceptron(X, y, random_state=0) # 学習過程の表示 for step in range(len(w_log)): title = 'it: {}, i: {}, y: {}, y_pred: {}, y - y_pred:{}'\ .format(*info_log[step]) print(title) w = w_log[step] it = info_log[step][0] i = info_log[step][1] print('w:', w) plot_flag = False if (it >= 3) and (it % 5 != 0) else True if plot_flag: plot_2dline_with_data(X, y, w, title, i) plt.show() |
図12 決定境界を可視化するための関数を定義するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
import seaborn as sns import matplotlib as mpl def plot_decision_boundary(X, y, clf, xylabels=None, palette=None, fig=None, ngrid=50): """ 分類器 clf の決定境界を描画 """ if fig is None: fig = plt.figure(figsize=(5, 5)) else: plt.figure(fig.number) # 2次元空間にグリッド点を準備 xmin = X.min(axis=0) # 各列の最小値 xmax = X.max(axis=0) # 各列の最大値 xstep = [(xmax[j]-xmin[j]) / ngrid for j in range(2)] # グリッドのステップ幅 xmin = [xmin[j] - 8*xstep[j] for j in range(2)] # 少し広めに xmax = [xmax[j] + 8*xstep[j] for j in range(2)] aranges = [np.arange(xmin[j], xmax[j] + xstep[j], xstep[j]) for j in range(2)] x0grid, x1grid = np.meshgrid(*aranges) # 各グリッド点でクラスを判定 y_pred = clf.predict(np.c_[x0grid.ravel(), x1grid.ravel()]) y_pred = y_pred.reshape(x0grid.shape) # 2次元へ y_pred = np.searchsorted(np.unique(y_pred), y_pred) # 値をindexへ clist = palette.values() if type(palette) is dict else palette cmap = mpl.colors.ListedColormap(clist) if palette is not None else None plt.contourf(x0grid, x1grid, y_pred, alpha=0.3, cmap=cmap) sns.scatterplot(x=X[:, 0], y=X[:, 1], hue=y, palette=palette) plt.legend() plt.xlim([xmin[0], xmax[0]]) plt.ylim([xmin[1], xmax[1]]) if xylabels is not None: plt.xlabel(xylabels[0]) plt.ylabel(xylabels[1]) return fig |
図13 多層パーセプトロンによる学習をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 |
from sklearn.neural_network import MLPClassifier clf = MLPClassifier(hidden_layer_sizes=3, learning_rate_init=0.05, random_state=0) # XORデータの準備 xor_flag = True # True: XOR, False: AND X, y = get_fourpoints(xor_flag) # 学習データを取得 print(f' X:\n{X},\n y: {y}') clf.fit(X, y) # 学習（誤差逆伝播法）の実行 plot_decision_boundary(X, y, clf) # 決定境界 plt.show() |
図15 学習曲線や結合荷重などを表示するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 |
# 学習曲線の表示 plt.plot(range(1, clf.n_iter_ + 1), clf.loss_curve_) plt.xlabel('Epoch') plt.ylabel('Loss') plt.ylim(0,) plt.show() # 構造を確認 print('n_outputs:', clf.n_outputs_) # 出力層の素子数 print('n_layers (with input layer):', clf.n_layers_) # 入力層を含めた層の数 # 結合荷重 print('coefs:\n', clf.coefs_) # バイアス項以外の結合荷重（行列のリスト） print('intercepts:\n', clf.intercepts_) # バイアス項（ベクトルのリスト） |
図17 Breast Cancerデータセットの準備をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.metrics import roc_curve, roc_auc_score from sklearn.preprocessing import StandardScaler data = load_breast_cancer() # データセット読み込み X_orig = data['data'] y = 1 - data['target'] # 悪性を1、良性を0とする正解ラベル X = X_orig[:, :10] # 一部の特徴量を利用する # 訓練データとテストデータに2分割する（検証データは今回は切り分けない） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1) # ROCカーブの表示用に関数を準備 def plot_roc(fpr, tpr, marker=None): plt.figure(figsize=(5, 5)) plt.plot(fpr, tpr, marker=marker) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.grid() |
図18 Breast Cancerデータセットによる学習と評価をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
clf = MLPClassifier(hidden_layer_sizes=(5, 3), learning_rate_init=0.005, random_state=1) with_scaling = False # （★）標準化するか否か if with_scaling: # 標準化によるスケーリングあり scaler = StandardScaler().fit(X_train) # 訓練データで平均と標準偏差を求める Xscaled_train = scaler.transform(X_train) # X_train -> Xscaled_train Xscaled_test = scaler.transform(X_test) # X_test -> Xscaled_test clf.fit(Xscaled_train, y_train) # 学習 y_proba_train = clf.predict_proba(Xscaled_train) # 訓練データで事後確率予測 y_proba_test = clf.predict_proba(Xscaled_test) # テストデータ事後確率予測 else: # 標準化なし（そのまま） clf.fit(X_train, y_train) # 学習 y_proba_train = clf.predict_proba(X_train) # 訓練データで事後確率予測 y_proba_test = clf.predict_proba(X_test) # テストデータ事後確率予測 # テストデータに対するROCカーブ fpr, tpr, threshold = roc_curve(y_test, y_proba_test[:, 1]) plot_roc(fpr, tpr) plt.show() # 訓練・テストデータのAUC（Area Under the Curve）スコア print('AUC (train):', roc_auc_score(y_train, y_proba_train[:, 1])) print('AUC (test):', roc_auc_score(y_test, y_proba_test[:, 1])) |
図21 PyTorchによる画像認識の準備をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 |
import torch import torch.nn as nn import torch.nn.functional as F import torchvision from torchvision import datasets from torchvision import transforms as transforms import matplotlib.pyplot as plt import numpy as np # GPUが使えるか否かでデータの転送先を指定 device = 'cuda:0' if torch.cuda.is_available() else 'cpu' img_mean, img_std = (0.1307, 0.3081) # 画素値の標準化用 # 標準化などの前処理を設定 trans = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((img_mean,), (img_std,)) ]) # データセットのダウンロード rootdir = './data' # ダウンロード先 train_dataset = datasets.MNIST(root=rootdir, train=True, transform=trans, download=True) test_dataset = datasets.MNIST(root=rootdir, train=False, transform=trans, download=True) # データを読み込む専用のクラスDataLoaderを準備 batch_size = 32 train_loader = torch.utils.data.DataLoader( dataset=train_dataset, batch_size=batch_size, shuffle=True) test_loader = torch.utils.data.DataLoader( dataset=test_dataset, batch_size=batch_size, shuffle=False) # クラス情報 num_classes = len(train_dataset.classes) cls_names = [f'{i}' for i in range (num_classes)] # 画像表示用の関数を定義しておく def tensor_imshow(img, title=None): """ Tensorを画像として表示 """ img = img.numpy().transpose((1, 2, 0)) # (C,H,W)->(H,W,C) img = img_std * img + img_mean plt.imshow(np.clip(img, 0, 1)) if title is not None: plt.title(title) plt.show() def test_with_examples(model, loader): """ loaderのミニバッチの画像を予測結果と共にグリッド表示 model: 予測に用いるニューラルネット loader: DataLoader """ model.eval() # 推論モード with torch.no_grad(): # 推論のみ（勾配計算なし） imgs, labels = next(iter(loader)) # ミニバッチ取得 imgs_in = imgs.view(-1, imgs.shape[2]*imgs.shape[3]) outputs = model(imgs_in.to(device)) # 順伝播による推論 _, pred = torch.max(outputs, 1) # 予測ラベル grid = torchvision.utils.make_grid(imgs) # グリッド画像生成 title_str1 = '\n'.join( [', '.join([cls_names[y] for y in x]) for x in pred.view(-1, 8).tolist()]) title_str2 = '\n'.join( [', '.join([cls_names[y] for y in x]) for x in labels.view(-1, 8).tolist()]) tensor_imshow(grid, title='Predicted classes:\n' + f'{title_str1}\n\nTrue classes:\n{title_str2}\n') # 訓練データ例の表示 print('\n--- Training data (example) ---\n') imgs, labels = next(iter(train_loader)) grid = torchvision.utils.make_grid(imgs) title_str = '\n'.join([', '.join([cls_names[y] for y in x]) for x in labels.view(-1, 8).tolist()]) tensor_imshow(grid, title=f'True classes:\n{title_str}\n') # ニューラルネットの構造を定義 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(28*28, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, num_classes) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) # 活性化関数なし（損失関数側でsoftmax） return x net = Net() # インスタンス生成 net = net.to(device) # モデルをGPUへ転送（もしGPUがあれば） # 学習前にテストデータを入力してみる print('\n--- Result BEFORE training ---\n') test_with_examples(net, test_loader) |
図22 PyTorchによるニューラルネットの学習と結果表示をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 |
# 損失関数（softmax + cross entropy） criterion = nn.CrossEntropyLoss() # 最適化手法の選択 optimizer = torch.optim.SGD(net.parameters(), lr=0.01) # 学習のループ num_epochs = 5 train_loss_log = [] train_acc_log = [] for epoch in range(num_epochs): print(f'Epoch {epoch + 1}/{num_epochs}\n', '-' * 10) # 訓練フェーズ sum_loss, sum_ok = [0.0, 0] for inputs, labels in train_loader: # ミニバッチ入力 inputs = inputs.view(-1, 28*28).to(device) labels = labels.to(device) # deviceに転送 outputs = net(inputs) # 順伝播 loss = criterion(outputs, labels) # 損失計算 optimizer.zero_grad() # 勾配をクリア loss.backward() # 誤差逆伝播 optimizer.step() # パラメータ更新 # ミニバッチの評価値（1バッチ分）を計算 _, preds = torch.max(outputs, 1) # 予測ラベル sum_loss += loss.item() * inputs.size(0) # 損失 sum_ok += torch.sum(preds == labels.data) # 正解数 # 1エポック分の評価値を計算 e_loss = sum_loss / len(train_dataset) # 平均損失 e_acc = sum_ok.cpu().double() / len(train_dataset) # 正解率 print(f'Loss: {e_loss:.4f} Acc: {e_acc:.4f}') train_loss_log.append(e_loss) train_acc_log.append(e_acc) # 学習曲線をプロット fig = plt.figure(figsize=(12, 6)) fig.add_subplot(121) # 損失 plt.plot(range(1, num_epochs + 1), train_loss_log, '.-') plt.title('Training data') plt.xlabel('Epoch') plt.ylabel('Loss') plt.ylim(0) fig.add_subplot(122) # 正解率 plt.plot(range(1, num_epochs + 1), train_acc_log, '.-') plt.title('Training data') plt.xlabel('Epoch') plt.ylabel('Accuracy') plt.show() # テストデータを入力してみる print('\n--- Result AFTER training ---\n') test_with_examples(net, test_loader) |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温
かく見守ってください。皆さんと共に勉強していきましょう。第7回は、Pythonで実装されたWebアプリケーションフレームワーク「Flask」の使い方と、Pythonのユニークな文法である「デコレータ」について紹介します。
シェルスクリプトマガジン Vol.77は以下のリンク先でご購入できます。
図5 ルーティングのサンプルWebアプリケーションのコード
|
1 2 3 4 5 6 7 8 |
from flask import Flask app = Flask(__name__) @app.route('/hello') def hello_flask(): return '<h1>Hello, Flask!</h1>' @app.route('/goodbye') def goodbye_flask(): return '<h1>Good bye, Flask!</h1>' |
図7 簡単なメッセージを表示するプログラム
|
1 2 3 4 5 6 7 8 9 10 11 |
#!/usr/bin/env python def hello(): print('Hello, World') def goodbye(): print('Goodbye, World') def main(): hello() goodbye() if __name__ == '__main__': main() |
図9 デコレータを追加したプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
#!/usr/bin/env python def deco(func): def decorator(): print('-- start --') func() print('-- end --') return decorator @deco def hello(): print('Hello, World') @deco def goodbye(): print('Goodbye, World') def main(): hello() goodbye() if __name__ == '__main__': main() |
図11 Flaskのルーティング設定処理を模したプログラム
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
#!/usr/bin/env python class Flask(): def __init__(self): self.url_map = {} print(f'url_map on init: {self.url_map}') def add_url_rule(self, rule, func): self.url_map[rule] = func def route(self, rule): def decorator(f): self.add_url_rule(rule, f) return f return decorator def dispatch_request(self, rule): return self.url_map[rule]() app = Flask() print(f'url_map after create: {app.url_map}') @app.route('/index') def index(): print("hello world") print(f'url_map after function def: {app.url_map}') app.dispatch_request('/index') |
図13 図9のプログラムを修正した「greeting_deco2.py」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#!/usr/bin/env python def deco(rule): def decorator(func): print(f'rule = \'{rule}\', func = {func}') return func return decorator @deco('/hello') def hello(): print('Hello, World') @deco('/goodbye') def goodbye(): print('Goodbye, World') |
図15 デコレータを使わないように修正した「greeting_deco3.py」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#!/usr/bin/env python def deco(rule): def decorator(func): print(f'rule = \'{rule}\', func = {func}') return func return decorator def hello(): print('Hello, World') hello = deco('/hello')(hello) def goodbye(): print('Goodbye, World') goodbye = deco('/goodbye')(goodbye) |
図16 関数の挙動を変えるデコレータの使用例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
#!/usr/bin/env python def plus_n(n): def decorator(func): def func_modified(*args, **kwargs): return (func(*args, **kwargs) + n) return func_modified return decorator @plus_n(3) def square(x): return x*x def main(): print(square(2)) if __name__ == '__main__': main() |
図17 関数に複数のデコレータを適用したプログラム「greeting_deco4.py」
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
#!/usr/bin/env python def DECO(func): def decorator(): print('-- START --') func() print('-- END --') return decorator def deco(func): def decorator(): print('-- start --') func() print('-- end --') return decorator @DECO @deco def hello(): print('Hello, World') def main(): hello() if __name__ == '__main__': main() |
著者：石上椋一
毎年年末に開催されている競馬の「有馬記念」というレースをご存知でしょうか。今回は、その有馬記念の順位を予測するAIを開発した話を紹介します。2021年12月には、開発したAIを使って第66回有馬記念の順位を予測してみました。結果がどうだったのかについては、記事の最後に書いています。
シェルスクリプトマガジン Vol.77は以下のリンク先でご購入できます。
図2 RankNetを実装するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
from tensorflow.keras import layers, Model, Input from tensorflow.nn import leaky_relu class RankNet(Model): def __init__(self): super().__init__() self.dense = [layers.Dense(16, activation=leaky_relu), layers.Dense(8, activation=leaky_relu)] self.o = layers.Dense(1, activation='linear') self.oi_minus_oj = layers.Subtract() def call(self, inputs): xi, xj = inputs densei = self.dense[0](xi) densej = self.dense[0](xj) for dense in self.dense[1:]: densei = dense(densei) densej = dense(densej) oi = self.o(densei) oj = self.o(densej) oij = self.oi_minus_oj([oi, oj]) output = layers.Activation('sigmoid')(oij) return output |
図3 データの整理とラベル付けをするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
import pandas as pd import numpy as np from itertools import combinations years = [2020,2019,2018,2017,2016,2015,2014,2013,2012,2011] # ここで任意のCSVファイルを指定する # 今回はCSVにデータを残しているため、CSVから読み込んでいる df = pd.read_csv(CSVFile) df["タイム指数2-3"] = df["タイム指数2"] - df["タイム指数3"] index_num = 0 xi = xj = pij = pair_ids = pair_query_id = [] for year in years: one_year_Data = df[df['年数'] == year] index_list = [i for i in range(len(one_year_Data))] random.shuffle(index_list) for pair_id in combinations(index_list, 2): pair_query_id.append(year) pair_ids.append(pair_id) i = pair_id[0] j = pair_id[1] xi.append([one_year_Data.at[i+index_num,"タイム指数2"], one_year_Data.at[i+index_num,"タイム指数2-3"], one_year_Data.at[i+index_num,"上り"]]) xj.append([one_year_Data.at[j+index_num,"タイム指数2"], one_year_Data.at[j+index_num,"タイム指数2-3"], one_year_Data.at[j+index_num,"上り"]]) if one_year_Data.at[i+index_num,"順位"] == one_year_Data.at[j+index_num,"順位"] : pij_com = 0.5 elif one_year_Data.at[i+index_num,"順位"] > one_year_Data.at[j+index_num,"順位"] : pij_com = 0 else: pij_com = 1 pij.append(pij_com) index_num += len(one_year_Data) index_list.clear() xi = np.array(xi) xj = np.array(xj) pij = np.array(pij) pair_query_id = np.array(pair_query_id) |
図4 学習用データと評価用データを仕分けるPythonコード
|
1 2 3 4 5 |
from sklearn.model_selection import train_test_split xi_train, xi_test, xj_train, xj_test, pij_train, pij_test, \ pair_id_train, pair_id_test = train_test_split( xi, xj, pij, pair_ids, test_size=0.2, stratify=pair_query_id) |
図5 コンパイルと学習を実施するPythonコード
|
1 2 3 4 5 6 7 |
ranknet = RankNet() # コンパイル ranknet.compile(optimizer='sgd', loss='binary_crossentropy',metrics=['accuracy']) # 学習 ranknet.fit([xi_train, xj_train], pij_train, epochs=85, batch_size=4, validation_data=([xi_test, xj_test], pij_test)) |
図8 ResNet50を使った学習モデルを実装するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
from tensorflow.keras.applications.resnet50 import ResNet50 from keras.layers import Dense, Dropout, Input, Flatten # ResNetの準備 input_tensor = Input(shape=(64, 64, 3)) resnet50 = ResNet50(include_top=False, weights='imagenet', input_tensor=input_tensor) # FC層の準備 fc_model = Sequential() fc_model.add(Flatten(input_shape=resnet50.output_shape[1:])) fc_model.add(Dense(512, activation='relu')) fc_model.add(Dropout(0.3)) fc_model.add(Dense(2, activation='sigmoid')) # モデルの準備 resnet50_model = Model(resnet50.input, fc_model(resnet50.output)) # ResNet50の一部の重みを固定 for layer in resnet50_model.layers[:100]: layer.trainable = False |
図9 コンパイルと学習を実施するPythonコード
|
1 2 3 4 5 6 7 8 9 |
# コンパイル resnet50_model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy']) # 学習 history = resnet50_model.fit(train_generator, batch_size=4, epochs=50, verbose=1, validation_data=val_generator) |
004 レポート Visual Studio 2022と.NET 6
005 レポート 超高速リンカー「mold」
008 特集1 Linuxカーネルの仕組み/平田豊 コード掲載
024 特集2 micro:bit v2を使おう/斉暁
034 特集3 国産のGroupSession/大場雄一郎
048 Raspberry Piを100%活用しよう/米田聡 コード掲載
050 機械学習ことはじめ/川嶋宏彰 コード掲載
061 Hello Nogyo!
062 香川大学SLPからお届け！/三枝泰士
066 法林浩之のFIGHTING TALKS/法林浩之
068 タイ語から分かる現地生活/つじみき
072 中小企業手作りIT化奮戦記/菅雄一
076 デジタル庁/桑原滝弥、イケヤシロウ
078 Pythonあれこれ/飯尾淳 コード掲載
084 特別レポート/松浦智之 コード掲載
090 Bash入門/大津真
098 Techパズル/gori.sh
099 コラム「ユニケージ流プロジェクトの初期段階」/シェル魔人
著者：平田 豊
LinuxというOSの中核となるのが「Linuxカーネル」というソフトウエアです。Linuxカーネルの動作を理解するには、ソースコードを追いかける必要があります。しかし、いきなりソースコードを読んでもよく分からないものです。本特集記事では、学習の「入り口」となるように、学習用の環境を構築する方法を紹介します。また、Linuxカーネルの一部の機能をピックアップして、その実装について解説します。本特集をきっかけにLinuxカーネルのソースコード読解を始めましょう。
シェルスクリプトマガジン Vol.76は以下のリンク先でご購入できます。
図1 OS レスプログラムのイメージ
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
for (;;) { // スイッチが押された if (isSwitchOn()) { // 要因クリア ClearSwitch(); // LED点灯 TurnOnLED(); } // スイッチが離された if (isSwitchOff()) { // 要因クリア ClearSwitch(); // LED点灯 TurnOffLED(); } // ディレー delay(); } |
図7 QEMU の起動用シェルスクリプト
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
#!/bin/sh BUILD_PATH="${HOME}/buildroot-2021.08.1" IMAGE_DIR="${BUILD_PATH}/output/images" exec qemu-system-aarch64 \ -M virt \ -cpu cortex-a53 \ -nographic \ -smp 2 \ -m 512 \ -kernel ${IMAGE_DIR}/Image \ -append "rootwait root=/dev/vda console=ttyAMA0" \ -drive file=${IMAGE_DIR}/rootfs.ext4,if=none,format=raw,id=hd0 \ -device virtio-blk-device,drive=hd0 \ -netdev user,id=eth0 \ -device virtio-net-device,netdev=eth0 \ -object rng-random,filename=/dev/urandom,id=rng0 \ -device virtio-rng-pci,rng=rng0 |
図8 Linux カーネルに追加するコード
|
1 2 3 4 5 6 7 |
（略） static int run_init_process(const char *init_filename) { const char *const *p; printk("hoge 0x%016lx (%zu)\n", jiffies, sizeof(jiffies)); argv_init[0] = init_filename; （略） |
図11 init デーモンを起動する箇所のソースコード
|
1 2 3 4 5 6 7 8 |
if (!try_to_run_init_process("/sbin/init") || !try_to_run_init_process("/etc/init") || !try_to_run_init_process("/bin/init") || !try_to_run_init_process("/bin/sh")) return 0; panic("No working init found. Try passing init= option to kernel. " "See Linux Documentation/admin-guide/init.rst for guidance."); |
図12 buildroot 環境のC ライブラリにおけるsyscall 関数の実装
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
ENTRY (syscall) uxtw x8, w0 mov x0, x1 mov x1, x2 mov x2, x3 mov x3, x4 mov x4, x5 mov x5, x6 mov x6, x7 svc 0x0 cmn x0, #4095 b.cs 1f RET |
図13 システムコールに対応する関数を呼び出すためのマクロ定義の例
|
1 2 3 4 5 6 7 8 |
#define __SYSCALL_DEFINEx(x, name, ...) \ （略） asmlinkage long __arm64_sys##name(const struct pt_regs *regs) \ { \ return __se_sys##name(SC_ARM64_REGS_TO_ARGS(x,__VA_ARGS__)); \ } \ （略） static inline long __do_sys##name(__MAP(x,__SC_DECL,__VA_ARGS__)) |
図14 machine_halt() 関数のコード
|
1 2 3 4 5 6 |
void machine_halt(void) { local_irq_disable(); smp_send_stop(); while (1); } |
図15 machine_power_off() 関数のコード
|
1 2 3 4 5 6 7 |
void machine_power_off(void) { local_irq_disable(); smp_send_stop(); if (pm_power_off) pm_power_off(); } |
図17 schedule() 関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
asmlinkage __visible void __sched schedule(void) { struct task_struct *tsk = current; sched_submit_work(tsk); do { preempt_disable(); __schedule(false); sched_preempt_enable_no_resched(); } while (need_resched()); sched_update_worker(tsk); } EXPORT_SYMBOL(schedule); |
図18 FIFO からのデータを出力するプログラムのコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
#include <stdio.h> #include <stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> int main(int argc, char **argv){ int i, fd = -1; ssize_t sz; char *filename, buf[64]; if (argc == 1) { printf("Usage: %s fifo\n", argv[0]); exit(1); } filename = argv[1]; fd = open(filename, O_RDWR); if (fd == -1) { perror("open"); goto error; } sz = read(fd, buf, sizeof(buf)); if (sz == -1) { perror("read"); goto error; } for (i = 0 ; i < sz ; i++) { printf("%02x ", buf[i]); } printf("\n"); error: if (fd != -1) close(fd); } |
図19 wait_event_interruptible_exclusive() 関数のマクロ定義
|
1 2 3 4 5 6 7 8 9 10 11 12 |
#define __wait_event_interruptible_exclusive(wq, condition) \ ___wait_event(wq, condition, TASK_INTERRUPTIBLE, 1, 0, \ schedule()) #define wait_event_interruptible_exclusive(wq, condition) \ ({ \ int __ret = 0; \ might_sleep(); \ if (!(condition)) \ __ret = __wait_event_interruptible_exclusive(wq, condition); \ __ret; \ }) |
図20 msleep() 関数のコード
|
1 2 3 4 5 6 7 |
void msleep(unsigned int msecs) { unsigned long timeout = msecs_to_jiffies(msecs) + 1; while (timeout) timeout = schedule_timeout_uninterruptible(timeout); } |
図21 process_timeout() 関数とschedule_timeout() 関数のコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
static void process_timeout(struct timer_list *t) { struct process_timer *timeout = from_timer(timeout, t, timer); wake_up_process(timeout->task); } （略） signed long __sched schedule_timeout(signed long timeout) { （略） expire = timeout + jiffies; timer.task = current; timer_setup_on_stack(&timer.timer, process_timeout, 0); __mod_timer(&timer.timer, expire, MOD_TIMER_NOTPENDING); schedule(); （略） } |
図22 mutex_lock() 関数のコード
|
1 2 3 4 5 6 7 |
void __sched mutex_lock(struct mutex *lock) { might_sleep(); if (!__mutex_trylock_fast(lock)) __mutex_lock_slowpath(lock); } |
図23 preempt_enable() 関数のマクロ定義
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#ifdef CONFIG_PREEMPTION #define preempt_enable() \ do { \ barrier(); \ if (unlikely(preempt_count_dec_and_test())) \ __preempt_schedule(); \ } while (0) #else /* !CONFIG_PREEMPTION */ #define preempt_enable() \ do { \ barrier(); \ preempt_count_dec(); \ } while (0) |
図24 ヘッダーファイルでのjiffies 変数の宣言
|
1 2 |
extern u64 jiffies_64; extern unsigned long volatile jiffies; |
図25 jiffies_64 変数の実体の定義
|
1 |
u64 jiffies_64 = INITIAL_JIFFIES; |
図26 INITIAL_JIFFIES 定数の定義
|
1 |
#define INITIAL_JIFFIES ((unsigned long)(unsigned int) (-300*HZ)) |
著者：米田 聡
小型コンピュータボード「Raspberry Pi」（ラズパイ）向けにさまざまな拡張ボードが発売されています。その拡張ボードとラズパイを組み合わせれば、ラズパイでいろいろなことが簡単に試せます。第9回は、人感センサーを搭載する拡張基板を扱います。
シェルスクリプトマガジン Vol.76は以下のリンク先でご購入できます。
図3 焦電赤外線センサ拡張基板のサンプルプログラム（ADRSZPY.py）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
import RPi.GPIO as GPIO import time IR_PORT=5 GPIO.setmode(GPIO.BCM) GPIO.setup(IR_PORT, GPIO.IN) try: while True: if GPIO.input(IR_PORT) == GPIO.HIGH: print("There is human") else: print("Nothing") time.sleep(1) except KeyboardInterrupt: pass GPIO.cleanup() |
著者：川嶋 宏彰
本連載では、機械学習の基礎となるさまざまな手法の仕組みや、それらの手法のPythonでの利用方法を解説していきます。今回は、複数のモデルを束ねて用いるアンサンブル学習について解説します。
シェルスクリプトマガジン Vol.76は以下のリンク先でご購入できます。
図2 データセットの読み込みから、散布図のプロットまでを実施するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
import seaborn as sns import matplotlib.pyplot as plt plt.rcParams['font.size'] = 14 penguins = sns.load_dataset('penguins') # 取り出す特徴量 features = ['bill_depth_mm', 'body_mass_g'] # （★） # features = ['bill_depth_mm', 'bill_length_mm'] # 取り出す特徴量を変える # 対象とするペンギン種 target_species = ['Adelie', 'Gentoo'] # （★） # target_species = ['Adelie', 'Chinstrap', 'Gentoo'] # 3種のペンギンにする # 今回用いる特徴量をクラスラベルと共に取り出す df = penguins[['species'] + features].copy() df.dropna(inplace=True) # NaN が含まれる行は削除 # 今回用いるペンギン種のみとする df2 = df[df['species'].isin(target_species)].copy() print(df2.shape) # (274, 3) と表示される # 現在のパレットから用いる種 (target_species) に合わせたパレットを作成 palette = {c: sns.color_palette()[k] for k, c in enumerate(df['species'].unique()) if c in target_species} plt.figure(figsize=(5, 5)) sns.scatterplot(data=df2, x=features[0], y=features[1], hue='species', palette=palette) plt.show() X = df2[features].values # 各個体の2次元特徴量（行数=個体数） y = df2['species'].values # 各個体のクラスラベル |
図3 決定木による2クラス分類をするPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 |
import matplotlib as mpl import numpy as np from sklearn.tree import DecisionTreeClassifier, export_text, plot_tree def plot_decision_boundary(X, y, clf, xylabels=None, palette=None, fig=None, ngrid=50): """ 分類器 clf の決定境界を描画 """ if fig is None: fig = plt.figure(figsize=(5, 5)) else: plt.figure(fig.number) # 2次元空間にグリッド点を準備 xmin = X.min(axis=0) # 各列の最小値 xmax = X.max(axis=0) # 各列の最大値 xstep = [(xmax[j]-xmin[j]) / ngrid for j in range(2)] # グリッドのステップ幅 xmin = [xmin[j] - 8*xstep[j] for j in range(2)] # 少し広めに xmax = [xmax[j] + 8*xstep[j] for j in range(2)] aranges = [np.arange(xmin[j], xmax[j] + xstep[j], xstep[j]) for j in range(2)] x0grid, x1grid = np.meshgrid(*aranges) # 各グリッド点でクラスを判定 y_pred = clf.predict(np.c_[x0grid.ravel(), x1grid.ravel()]) y_pred = y_pred.reshape(x0grid.shape) # 2次元に y_pred = np.searchsorted(np.unique(y_pred), y_pred) # 値をインデックスに clist = palette.values() if type(palette) is dict else palette cmap = mpl.colors.ListedColormap(clist) if palette is not None else None plt.contourf(x0grid, x1grid, y_pred, alpha=0.3, cmap=cmap) sns.scatterplot(x=X[:, 0], y=X[:, 1], hue=y, palette=palette) plt.legend() plt.xlim([xmin[0], xmax[0]]) plt.ylim([xmin[1], xmax[1]]) if xylabels is not None: plt.xlabel(xylabels[0]) plt.ylabel(xylabels[1]) return fig # 決定木 max_depth = 2 #（★）木の深さ clf_dt = DecisionTreeClassifier(max_depth=max_depth) clf_dt.fit(X, y) # 学習 # 決定境界を可視化 plot_decision_boundary(X, y, clf_dt, features, palette) plt.show() # 決定木をテキストで表示 tree_text = export_text(clf_dt) print(tree_text) # 木の可視化 plt.figure(figsize=(10, 8)) plot_tree(clf_dt, class_names=target_species, feature_names=features) plt.show() |
図13 アンサンブル学習された決定木の表示用関数を定義するPythonコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
from sklearn.base import is_classifier def plot_trees_and_boundaries(clf, X, y): # 決定境界を可視化 plot_decision_boundary(X, y, clf, features, palette) plt.show() # 各ベースモデル（決定木）を表示 for i, clf_dt in enumerate(clf.estimators_[:3]): print('-' * 10, i, '-' * 10) plt.figure(figsize=(10, 8)) plot_tree(clf_dt, class_names=target_species, feature_names=features) plt.show() if is_classifier(clf_dt): # 分類木ならば決定境界を可視化 plot_decision_boundary(X, y, clf_dt, features, palette) plt.show() |
図14 ランダムフォレストによる分類器の学習をするPythonコード
|
1 2 3 4 5 |
from sklearn.ensemble import RandomForestClassifier clf_rf = RandomForestClassifier(n_estimators=100, random_state=1) clf_rf.fit(X, y) plot_trees_and_boundaries(clf_rf, X, y) |
図16 構成モデルに決定木を用いたバギングをするPythonコード
|
1 2 3 4 5 |
from sklearn.ensemble import BaggingClassifier clf_bag = BaggingClassifier(DecisionTreeClassifier(), n_estimators=100, random_state=1) clf_bag.fit(X, y) |
図18 構成モデルに決定木を用いたアダブーストをするPythonコード
|
1 2 3 4 5 6 |
from sklearn.ensemble import AdaBoostClassifier clf_ada = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2), n_estimators=100) clf_ada.fit(X, y) plot_trees_and_boundaries(clf_ada, X, y) |
図20 構成モデル（回帰木）の数を変えながら勾配ブースティングをするPythonコード
|
1 2 3 4 5 6 7 8 |
from sklearn.ensemble import GradientBoostingClassifier for m in [2, 4, 10, 20, 50]: clf_gbdt = GradientBoostingClassifier(n_estimators=m) clf_gbdt.fit(X, y) # 学習 plot_decision_boundary(X, y, clf_gbdt, features, palette) plt.title(f'GradientBoosting m = {m}') plt.show() |
図22 XGBoost による学習をするPythonコード
|
1 2 3 4 5 6 7 8 |
from xgboost import XGBClassifier # クラスラベルを整数0、1、2に変換 y_int = df2['species'].map({'Adelie': 0, 'Chinstrap': 1, 'Gentoo': 2}).values clf_xgb = XGBClassifier(use_label_encoder=False, eval_metric='mlogloss') clf_xgb.fit(X, y_int) plot_decision_boundary(X, y, clf_xgb, features, palette) plt.show() |
著者：飯尾 淳
本連載では「Pythonを昔から使っているものの、それほど使いこなしてはいない」という筆者が、いろいろな日常業務をPythonで処理することで、立派な「蛇使い」に育つことを目指します。その過程を温かく見守ってください。皆さんと共に勉強していきましょう。第6回は、やや趣向を変えてアルゴリズムを解説します。前半では関数の再帰的定義とその効率化、後半ではソーティングアルゴリズムについて紹介します。
シェルスクリプトマガジン Vol.76は以下のリンク先でご購入できます。
図1 再帰を使わずに階乗を求める関数を定義した例
|
1 2 3 4 5 |
def factorial(n): retvar = 1 for i in range(n): retvar = retvar * i return retvar |
図4 メモ化アルゴリズムを使って効率化したfib() 関数の定義例
|
1 2 3 4 5 6 7 |
memo = [0] * 100 memo[0] = memo[1] = 1 def fib(n): if memo[n-1] == 0: memo[n-1] = fib(n-1) if memo[n-2] == 0: memo[n-2] = fib(n-2) if memo[n] == 0: memo[n] = memo[n-1] + memo[n-2] return memo[n] |
図7 バブルソートを実施する関数の実装例
|
1 2 3 4 5 6 7 8 |
def bubble_sort(x): y = x[:] for i in range(len(y)-1): for j in range(len(y)-1,i,-1): if y[j-1] > y[j]: tmp = y[j-1]; y[j-1] = y[j]; y[j] = tmp print(y) return y |
図9 マージソートを実施する関数の実装例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
def merge_sort(x): retary = [] if len(x) <= 1: retary.extend(x) else: m = len(x) // 2 first = merge_sort(x[:m]) second = merge_sort(x[m:]) while len(first) > 0 and len(second) > 0: retary.append(first.pop(0) \ if first[0] < second[0] else second.pop(0)) retary.extend(first if len(first) > 0 else second) return retary |
図11 ヒープソートを実施する関数の実装例
|
1 2 3 4 5 6 7 8 |
from heapq import heappush, heappop def heap_sort(x): retary = [] heap = [] for i in x: heappush(heap, i) while len(heap) > 0: retary.append(heappop(heap)) return retary |
著者：松浦智之
2021年6月2～4日に技術カンファレンス「ソフトウェア・シンポジウム 2021 in 大分」がオンラインで開催されました。筆者が所属するユニバーサル・シェル・プログラミング研究所は、そのカンファレンスに二つの論文を投稿しました。その中で最優秀発表賞に選ばれた「UNIX機におけるIoT機器制御のためのタイミング管理」を紹介します。
シェルスクリプトマガジン Vol.76は以下のリンク先でご購入できます。
図2 シェルスクリプト（Accurate_interval.sh）
|
1 2 3 4 5 6 7 8 9 |
#!/bin/bash i=1 yes | valve -l 5s | while read dummy; do wget WebサイトのURL/${i}.txt [ $i -ge 100 ] && break i=$((i+1)) done |
004 レポート Windows 11の導入メディア作成
005 レポート YouTube配信に便利なOBS Studio
006 NEWS FLASH
008 特集1 Windows 11 徹底解説/三沢友治
022 特集2 Javaの最新動向/伊藤智博 コード掲載
036 特集3 Debian 11の新機能＆改善点/やまねひでき
044 特別企画 ラズパイで作る簡単VPN環境/魔法少女 コード掲載
058 Raspberry Piを100%活用しよう/米田聡 コード掲載
061 Hello Nogyo!
062 機械学習ことはじめ/川嶋宏彰 コード掲載
072 テレワーク/桑原滝弥、イケヤシロウ
074 Pythonあれこれ/飯尾淳 コード掲載
080 タイ語から分かる現地生活/つじみき
084 法林浩之のFIGHTING TALKS/法林浩之
086 中小企業手作りIT化奮戦記/菅雄一
090 香川大学SLPからお届け！/平西宏彰 コード掲載
096 Bash入門/大津真
104 Techパズル/gori.sh
105 コラム「システムエンジニアを育てる」/シェル魔人
著者：伊藤 智博
エンタープライズシステムの分野で活用されている、プログラミング言語および開発・実行環境の「Java」。開発元である米旧Sun Microsystems社の買収、OpenJDKとしてのオープンソース化など、さまざまな変化がありました。本特集では、Javaの最新動向について分かりやすく解説します。
シェルスクリプトマガジン Vol.75は以下のリンク先でご購入できます。
図13 HelloWorld.javaのソースコード
|
1 2 3 4 5 6 7 |
public class HelloWorld { public static void main(String... args) { String message = "Hello World"; System.out.println(message); } } |
図17 GreetingResource.javaのソースコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
package org.acme; import javax.ws.rs.GET; import javax.ws.rs.Path; import javax.ws.rs.Produces; import javax.ws.rs.core.MediaType; @Path("/hello") public class GreetingResource { @GET @Produces(MediaType.TEXT_PLAIN) public String hello() { return "Hello RESTEasy"; } } |
図20 変更後のソースコード
|
1 2 3 4 5 |
@GET @Produces(MediaType.TEXT_PLAIN) public String hello() { return "Hello World"; } |
図23 NullPointerExceptionが発生するコード
|
1 2 3 4 5 6 7 8 9 10 |
public class NullPo { public static void main(String[] args) { Object o = createObject(); o.toString(); } private static Object createObject(){ return null; } } |
図26 HTMLによるコード
|
1 2 3 4 5 |
<html> <body> <p>Hello, world</p> </body> </html> |
図27 HTMLによるコードをJavaでエスケープと結合で実装
|
1 2 3 4 5 6 |
String html = "<html>\n" + " <body>\n" + " <p>Hello, world</p>\n" + " </body>\n" + "</html>\n"; |
図28 HTMLによるコードをテキストブロックで実装
|
1 2 3 4 5 6 7 8 |
String html = """ <html> <body> <p>Hello, world</p> </body> </html> """; |
カテゴリー コード のアーカイブを表示しています。
