投稿

9月, 2023の投稿を表示しています

全文検索エンジン「Elasticsearch」とは?特徴と使いどころ

前にparsedmarcをインストールしたときに登場したElasticsearch。 その時はとりあえずインストールしてみたけど、改めて調査したときの覚書。 1.Elasticsearchとは? Elastic社が開発しているJava製の全文検索エンジン。 独自ライセンス。 配布パッケージ(yumやdnf経由)を利用する場合は無料で利用できる。 ソースコードを改変する場合は公式サイトをよく読む必要がある。 参考:  2021年のライセンス変更に関するFAQ | Elastic 検索エンジンでは一番人気らしい。 Elastic社はデータを可視化するソリューションを提供している。 またElasticsearchの商用サポートを提供している。 Elasticsearch Platform — 答えをリアルタイムで大規模に検索 | Elastic Elasticsearch - Wikipedia 有料のElastic Cloudでサーバー保守管理をElastic社に任せて、最新のElasticsearchを利用できる。 2.Elasticsearchの特徴 検索が高速。 データのインデックス化と検索がほぼリアルタイム。 クラスタ化してデータを分散して保持可能。 データの格納や検索クエリはJSON形式。 プラグインで拡張可能。 3.Elasticsearchの使いどころ 用途 ホームページ(WordPress)のサイト内検索。 WordPressであれば公式プラグインがある。 参考:  Elastic Site Search:Wordpress検索プラグイン | Elastic Blog DMARCレポート情報の表示。 Logstashを用いたサーバーのアクセスログの分析。 SIEM(Security Information and Event Management)などのセキュリティログの分析。 大規模データのデータ分析。 Elastic Cloudを使いたいけれど月額95ドル(14,000円)は結構高い。 参考:  オフィシャルのElasticsearch料金:Elastic Cloud、マネージドのElasticsearch | Elastic まずは無料のパッケージ版を自サーバーにインストールして試すのが良さそう。 【関連記事】 DMAR...

DMARCレポートツール「parsedmarc」をインストール

前に試したオープンソースのツールはうまくインストールできなかったので、他にいいツールはないものかと検索し、parsedmarcをインストールしたときの覚書。 環境: CentOS Stream 9, Python 3.9.17 1.parsedmarcとは? オープンソースのDMARC解析ツール。 IMAPやAPI経由でDMARCレポートのメールを解析して、他のシステムが使いやすい形式で出力する。 Python製。 オープンソースの全文検索エンジン「Elasticsearch 」とダッシュボード可視化ツール「Kibana」と組み合わせることで、グラフ形式で分かりやすく可視化することが可能。 公式サイト parsedmarc documentation - Open source DMARC report analyzer and visualizer — parsedmarc 8.6.1 documentation GitHub | domainaware/parsedmarc: A Python package and CLI for parsing aggregate and forensic DMARC reports parsedmarc · PyPI ここで 「GoogleのLooker StudioでDMARCレポートを表示できる方法があるのでは?」 と思って調べたけど、今はないみたい。 2.parsedmarcをインストール 公式サイトに従ってPythonの環境を整える。 # dnf install python39 python3-virtualenv python3-setuptools python3-devel libxml2-devel libxslt-devel parsedmarcユーザーを追加する。 # useradd parsedmarc -r -s /bin/false -m -b /opt parsedmarcユーザー権限でPython仮想環境を作る # sudo -u parsedmarc virtualenv /opt/parsedmarc/venv Python仮想環境に入る。 # source /opt/parsedmarc/venv/bin/activate parsedmarcユー...

Open DMARC Analyzer + Open Report ParserをCentOSにインストール→諦めた

毎日送られてくるDMARCレポートを可視化したいと調査しているときの覚書。 環境: CentOS Stream 9, Nginx 1.22.1, PHP 8.1.14, MariaDB Server 10.5.16 オープンソースのOpen DMARC Analyzerをインストールしてみた。 1.Open DMARC Analyzerをインストール GitHubの公式Readmeを参考に。 userjack6880/Open-DMARC-Analyzer: Open DMARC Analyzer is an Open Source DMARC Report Analyzer to be used with DMARC reports that have been parsed by John Levine's rrdmarc script or techsneeze's dmarcts-report-parser. 適当な場所にcloneする。 # cd /home/httpd/httpdocs/ # git clone https://github.com/userjack6880/Open-DMARC-Analyzer.git # cd Open-DMARC-Analyzer/ config.phpを設定する。 # cp config.php.pub config.php # less config.php phpMyAdminで接続用ユーザーを作成して設定する。 これでブラウザからinstall.phpにアクセスしてみる。 http://vm-dev1/Open-DMARC-Analyzer/install.php エラー connecting to database... success opening file... success → CREATE VIEW IF NOT EXISTS report_stats AS ( → SELECT → report.serial, domain, rcount, disposition, reason, → policy_p, policy_pct, dkimdomain, dkimresult, dkim_align, → spfdomain, spfresult, sp...

事前確定届出給与とは?メリットと申請方法

事前確定届出給与というのがあるのを知って調査したときの覚書。 環境: 株式会社、一人社長 1.事前確定届出給与とは?そのメリット 社長(役員)向け賞与。 事前に税務署に届け出をすることで損金に算入できる。 メリット 健康保険は賞与573万円を超えると保険料が掛からなくなる。 厚生年金は賞与150万円を超えると保険料が掛からなくなる。 高額医療費の自己負担上限額が低くなる。 (高額医療費は月額給与で計算されるから) 必要なら会社から前借りして賞与で相殺すれば決算書に載らないという方法もある。 つまり、月額給与を低くして事前確定届出給与を多めにすると社会保険料を抑えることができる。 「社会保険料削減スキーム」というらしい。 結局、税金対策として事前確定届出給与を考えるなら法人税+所得税+社会保険料で計算するので、税理士に相談して決めた方がいい。 YouTubeで「事前確定届出給与」と検索するとたくさん解説動画が出てくる。 参考:  【注意喚起】事前確定届出給与(役員賞与)による社会保険料削減スキームに潜む落とし穴6選!実はデメリットだらけでオススメ出来ません。。【法人向け/会社経営初心者必見】 - YouTube とりあえず事前確定届出給与を申請しておいて、実際に全額支給するかしないかを期末に判断する方法もある。 この場合は、株主総会で不支給の決議が必要など税法上やることがある。 参考:  役員賞与(事前確定届出給与)を全額不支給とした場合の取り扱いはどうなる? | 辻・本郷 税理士法人 2.事前確定届出給与の申請方法 e-Taxで電子申告できる。 参考:  申請・届出手続(法人税関係) | 【e-Tax】国税電子申告・納税システム(イータックス) 提出期限: 株主総会の1ヶ月後 or 会計年度開始から4ヶ月後。 株式会社は株主総会の開催が法的義務。 株主総会は決算後3ヶ月以内の開催が法的義務。 その他注意点 役員報酬の変更は会計年度開始から3ヶ月以内。 原則、期中の変更不可。 賞与を実際に支払った際に被保険者賞与支払届の提出が必要。 届出を無視して毎月支払うと給与とみなされる。 3.実際活用するかどうか 今回調べてみて、月額報酬8万円して事前確定届出給与を〇百万円にすることはしない。 一般的な月額報酬のまま、経常利益が増えてきたら、その分を...

Azure OpenAIのAPIをPostmanで確認してPHPで実装する。

イメージ
前の記事でAzure OpenAI Serviceを利用する目途が立ったので、API経由でリクエストを投げてみたときの覚書。 参考サイト Azure OpenAI Service の REST API リファレンス - Azure OpenAI | Microsoft Learn 1.PostmanからAPIを叩く APIを試すならPostmanが便利。 Azure OpenAI Studio → Chat → View code → curl で分かる。 パラメータに関しては公式のREST APIリファレンスを参考に。 2.PHPからAPIを利用する 下記ライブラリがGitHubで公開されている。 GitHub - openai-php/client: ⚡️ OpenAI PHP is a supercharged community-maintained PHP API client that allows you to interact with OpenAI API. API Keyがあればリクエストを送信できるので、個人的にライブラリを使うまでもないと思う。 WordPressのプラグインとして実装するなら、API用のクラス内でwp_remote_postした方が保守しやすくなると思う。 wp_remote_post() | Function | WordPress Developer Resources timeoutはデフォルトで5秒なので設定するのを忘れずに。 APIからのレスポンスが10秒くらい掛かるのでWp-cronを使って非同期処理する。 Cron | Plugin Developer Handbook | WordPress Developer Resources 【関連記事】 Azure OpenAI Serviceの調査と利用申請してデプロイ(配備) Microsoft Graph API + PostmanでOneDriveにファイルアップロード

Azure OpenAI Serviceの調査と利用申請してデプロイ(配備)

ChatGPTをPHPから利用する方法を調査しているときの覚書。調査編。 1.ChatGPT EnterpriseとAzure OpenAI Service 2023年8月28日に企業向けChatGPTがアナウンスされた。 参考: Introducing ChatGPT Enterprise ChatGPT Enterpriseは企業向けに制限緩和やレスポンス速度が改善されている。 ChatGPTのAPIは 平均37秒 。 Azure OpenAIは 平均12秒 。 参考:  ChatGPT API の速度をシュッと比較してみる|bbz Azure OpenAIは企業向けにセキュリティなどカスタマイズ性が高い 参考:  What is Azure OpenAI Service? - Azure AI services | Microsoft Learn まずはAzure OpenAIで試すことにした。 2.料金/費用 トークン数というテキスト構成単位で課金される。 文字数に近い。日本語だと文字数よりトークン数が大きくなる。 例えば「おはようございます。」は文字数10、トークン数14。 公式サイトのツールでトークン数が分かる。 参考: Tokenizer | OpenAI Platform GPT-4はGPT-3.5の価格の20倍。 参考:  Azure OpenAI Service - 価格 | Microsoft Azure GPT-3.5で1000文字入力して、1000文字の答えが返ってきたらおおよそ1円掛かるイメージ。 3.Azure OpenAI Serviceの利用申請してデプロイ(配備) 現在Azure OpenAI Serviceは利用申請する必要がある。 使える言語モデルはGPT-3.5。 GPT-4を利用するには別途Azure OpenAI GPT-4 Waitlistで申請する必要がある。 手順メモ Azure ポータルにアクセス Azure AI services multi-service accountを選択 「Azure の無料試用版から開始する」から従量制を契約サインアップする。 テクニカルサポートはなし 「お探しのページが見つかりません」になった。 Azure ポータルへ移動 Azure AI servic...

Google Nest Wifiを初期化して設定

Google Nest Wifiルーター+Google Nest Wifi 拡張ポイントの中古品を購入して設定したときの覚書。 Google公式サイトはこちら。 Nest Wifi Tech Specs - Google Store 初期化(工場出荷状態にリセット)する方法 中古品なので初期化したい。 Google Nest WifiルーターとGoogle Nest Wifi 拡張ポイントの裏面の小さいなボタンを長押しする(5秒以上?)。 参考:  Factory reset your Wifi device - Google Nest ヘルプ Google Nest Wifiルーターはインジケーターが点滅する。 Google Nest Wifi 拡張ポイントは「初期化しようとしています」と音声が流れる。 リセットまで数分かかるので慌てずに待つ。 Google Nest Wifi 拡張ポイントは再起動が音声が流れるのでそれまで待つ。 ネットワーク設定など 初期化後はスマホにHomeアプリをインストールして指示に従って設定する。 参考になりそうな公式ヘルプ PPPoEの設定方法|WAN 設定 - Google Nest ヘルプ