SE奮闘記

Google Analytics 4(GA4)のデータを機械学習で活用したいと調査しているときの覚書。 １．機械学習とは？ 機械学習とは、過去のデータから自動的にパターンやルールを学習することで何らかのタスクをこなす技術。 実世界の複雑に絡み合う事象から法則を見つけ、予測や課題解決につなげることができる。 Googleデジタルワークショップの教材が分かりやすい。 参考：  機械学習の基礎 - Google Digital Workshop (デジタルワークショップ) ２．GA4のデータをBigQueryへエクスポート GA4のデータは14ヵ月しか保存されない。 参考：  データの保持 - アナリティクス ヘルプ 過去のデータをBigQueryに簡単に保存する仕組みはないので、データ分析として利用する場合はBigQueryにエクスポートしておく必要がある。 （API経由でプログラムを組めば多分出来る） 前の記事を参考に：  Google Analytics4とBigQueryを接続して生データを確認する ３．BigQuery MLとは？ BigQueryのデータを用いて簡単に機械学習（Machine Learning）モデルを作成し、実行できるサービス。 プログラミングの必要なくSQL言語だけで実行できる。 BigQuery ML とは  |  Google Cloud ４．BigQuery MLのチュートリアル まずは大人しく公式サイトのクイックスタートをやってみる。 クイックスタート: BigQuery ML で機械学習モデルを作成する  |  Google Cloud サンプルがGoogleアナリティクスのデータなのでちょうどよさそう。 注意事項など ロケーションタイプはマルチリージョン sample_modelを生成するのに3分 16秒掛かった。 分類子とか意味不明。 とりあえずチュートリアルを終わっても分かった気がしない。 ページ下部のリンクにあった機械学習集中講座をやってみることにした。 Machine Learning  |  Google Developers 【関連記事】 Google Analytics(GA4)はデータ保存、可視化するのはLooker Studioの役目。 Google Analytics4とBigQueryを接続して生データを確

KernelでTLSの暗号化と複合化を行うことでNginxのパフォーマンスを向上させる記事を読んだときの覚書。 環境： CentOS Stream 9, nginx 1.22.1, OpenSSL 3.0.7 Kernel TLSとSSL_sendfile()によるNGINXのパフォーマンス向上 - NGINX １．Kernel TLS(kTLS)とは？ TLSをカーネルで実装して処理を高速化する仕組み。 Linuxカーネル4.17 + OpenSSL 3.0.0以上が必要。 RHEL9(CentOS Stream 9)から使える。 ２．Kernel TLS(kTLS)が使えるか確認 カーネルのバージョンを確認。 # uname -a Linux vm-dev1.hoge.co.jp 5.14.0-285.el9.x86_64 #1 SMP PREEMPT_DYNAMIC Tue Mar 7 17:32:48 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux 現在ロードされているカーネルモジュールの一覧。 参考：  第31章 カーネルモジュールの使用 Red Hat Enterprise Linux 6 | Red Hat Customer Portal # lsmod tlsカーネルモジュール情報の情報。 # modinfo tls nginxのビルドオプションを確認。 # nginx -V nginx version: nginx/1.22.1 built by gcc 11.3.1 20221121 (Red Hat 11.3.1-4) (GCC) built with OpenSSL 3.0.7 1 Nov 2022 TLS SNI support enabled configure arguments: (略) --with-openssl-opt=enable-ktls (略) appstreamリポジトリからインストールしたNginx。 OpenSSLが対応しているスイートの一覧。 # openssl ciphers -v OpenSSLの設定は「/etc/pki/tls/openssl.cnf」。 OpenSSLのバージョン確認。 # openssl version OpenSSL 3.0.7 1 Nov 2022 (L

FreeBSDにImageMagickをインストールしてAVIF(AV1 Image File Format)への変換を試したときの覚書。 環境： FreeBSD 13.1, ImageMagick 7.1.0-50 FreeBSDのバージョン確認。 # uname -a FreeBSD vm-dev2 13.1-RELEASE-p6 FreeBSD 13.1-RELEASE-p6 GENERIC amd64 pkg経由でImageMagickインストールする。 まずは依存関係を知りたかったのでpkg経由でインストールしてみた。 # pkg search ImageMagick # pkg install ImageMagick7 New packages to be INSTALLED:         ImageMagick7: 7.1.0.50         Imath: 3.1.6         aom: 3.5.0         brotli: 1.0.9,1         cairo: 1.17.4_2,3         cups: 2.4.2         dav1d: 1.1.0         dejavu: 2.37_1         encodings: 1.0.5,1         fftw3: 3.3.10_2         font-bh-ttf: 1.0.3_4         font-misc-ethiopic: 1.0.4         font-misc-meltho: 1.0.3_4         fontconfig: 2.14.0,1         freetype2: 2.12.1_2         fribidi: 1.0.12         gdk-pixbuf2: 2.42.10         ghostscript9-agpl-base: 9.56.1_7         ghostscript9-agpl-x11: 9.56.1         giflib: 5.2.1         graphite2: 1.3.14         gsfonts: 8.11_8         harfbuzz: 7.0.1         highway: 1.0.2         j

FreeBSDを試したくなってインストールしてみたときの覚書。 環境： VMware Fusion 13.0.1 １．FreeBSD13.1をインストール 公式サイトから「FreeBSD-13.1-RELEASE-amd64-disc1.iso」をダウンロードして、VMware Fusionで仮想マシンを作成。 FreeBSD プロジェクト ネットワークをBridgeにして仮想マシン起動。 インストールする機能でportsを選択。 インストール後、IPアドレス確認。 # ifconfig sshからrootでログインできるようにsshdの設定変更 # less /etc/ssh/sshd_config PermitRootLogin yes PasswordAuthentication yes sshdを再起動。 # /etc/rc.d/sshd restart Windowsからログインする。 # ssh root@192.168.10.100 FreeBSDをアップデート。 # freebsd-update fetch # freebsd-update install パッケージマネージャをアップデート。 # pkg update # pkg upgrade ２．Bashをインストール デフォルトのcshが使いにくいので慣れているbashをインストールする。 # pkg search bash # pkg install bash bash-completion 画面の指示通りにする。 # vi .bashrc [[ $PS1 && -f /usr/local/share/bash-completion/bash_completion.sh ]] && \         source /usr/local/share/bash-completion/bash_completion.sh bashに切り替え。 # bash デフォルトをBashにする。 # chsh -s /usr/local/bin/bash 別コンソールでログインして確認。 ３．gitをインストール よく使うgitはインストールしておく。 # pkg search git # pkg install git python39もインストールされた。バージョン確認

Google WorkspaceからMicrosoft 365へ移行したときの覚書。 環境： Google Workspace Business Starter １．事前準備 別記事にした。 参考： Google Workspaceのデータを個人アカウントへ移行 ２．コアサービスをオフ Google Workspaceの管理画面で アプリ ＞ Google Workspace ＞ サービス のステータスの全部選択してオフにする。 これで運用してみて問題ないか確認する。 ３．Google Workspace解約 Gmail ＞ 設定 ＞ この組織の管理 ＞ お支払い ＞ Google Workspace Business Starter 年契約だったので契約満了日は2024年1月。 更新設定の変更 ＞ サブスクリプション を解約する 解約したら追記予定。 【関連記事】 Google Workspaceのデータを個人アカウントへ移行 Google WorkspaceからMicrosoft 365への移行を検討

3ヵ月前に刷新した仕事用PCの調子が悪くなってマザーボードとCPUを交換。 現在のPCパーツ構成 Intel Core i5 13500(Raptor Lake) BOX 14Core 2.5GHz LGA1700 ／35,676円 ASUS TUF GAMING B660M-PLUS D4 ／17,904円 MSI GeForce RTX 3060 VENTUS 2X 8G OC ／52,442円 Team DDR4 3200Mhz PC4-25600 8GBx2枚／6,480円 Crucial DDR4 3200Mhz PC4-25600 8GBx2枚／5,780円 合計金額： 118,282円 PCケースと電源は変えてない。 【関連記事】 自作PCのパーツ一覧（2022年12月） Windows11をクリーンインストール（2022年12月）

SemrushBotから短時間に大量のアクセスがあるので拒否する設定にしたときの覚書。 環境： CentOS Stream 8, Nginx 1.22.1 アクセスログ確認。 # less /var/log/nginx/access.log  185.191.171.12 - - [08/Mar/2023:04:29:33 +0900] "GET /dr.htm/page/6/page/7/page/4/page/13/page/9/page/2/page/9/page/3/ HTTP/1.1" 301 169 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)" "-" nginxの設定ファイルでユーザーエージェントにマッチしたらコネクションを閉じる（return 444）。 参考：  NGINX to block bad bots. (add Twenga|TwengaBot if you want to exclude them too) # cd /etc/nginx/conf.d/global/ # less wordpress_restrictions.conf # # Block bots # if ($http_user_agent ~* (SemrushBot|MJ12bot) ) {     return 444; } テストしてnginxリロード # nginx -t # systemctl reload nginx 全サーバーで共有するのでコミットを忘れずに。 # git add --all # git commit -m 'Update block bot list' # git push origin master お行儀がいいbotは何もしない。 botの一覧と簡単な説明。 2023年1月更新！迷惑なbotをアクセス拒否・除外する設定方法まとめ（Nginx・Apache・.htaccess） 【関連記事】 nginxで国単位のIPアドレス制限 WordPressの「/?author=1」をブロックする

突然Windowsの電源が落ちたのでdmpファイルを解析してみたときの覚書。 環境： Windows 11 Pro 22H2, GeForce Game Ready ドライバー v531.18 イベントビューアーを開いてみると下記エラー このコンピューターはバグチェック後、再起動されました。バグチェック: 0x00000119 (0x0000000000000002, 0xffffffffc000000d, 0xfffff58965e7f860, 0xffff8006a39afcc0)。ダンプの保存先: C:\Windows\Minidump\030623-11046-01.dmp。レポート ID: f4b00ede-78f6-49ce-8a0b-85193a5f4c46。 この保存されたdmpファイルを開くためにはWinDbh Previewというソフトを使うらしい。 ミニ ダンプ ファイルを読み取る方法 | Dell 日本 書いてある通りにインストールして「!analyze -v」してみる。 VIDEO_SCHEDULER_INTERNAL_ERROR (119) The video scheduler has detected that fatal violation has occurred. This resulted in a condition that video scheduler can no longer progress. Any other values after parameter 1 must be individually examined according to the subtype. Arguments: Arg1: 0000000000000002, The driver failed upon the submission of a command. SYMBOL_NAME:  dxgmms2!VidSchiSendToExecutionQueue+19fb2 MODULE_NAME: dxgmms2 要は「モジュール名”dxgmms2”というWindowsのグラフィックドライバーがコマンドの送信時に失敗しました。」ということみたい。 nVidiaのGeForceドライバーは最新のv531.18。 頻繁に起こるわけではな

Windowsが突然再起動するようになったのでメモリの原因かなと思って調査したときの覚書。 環境： Windows 11 Pro 22H2,  Windows標準の「Windows メモリ診断」より定評のあるフリーのメモリ診断ツールを使ってみる。 MemTest86 - Download now! 6時間ぐらい掛かり問題なくPASSした。 メモリの故障ではないらしい。 診断結果logはUSBメモリに保存しておく。 2023-02-27 10:24:36 - Attempting to retrieve the root directory of the data partition. 2023-02-27 10:24:36 - Found 6 handles that supported SimpleFileSystem 2023-02-27 10:24:36 - Checking handle 0 (C7028F98) 2023-02-27 10:24:36 - Handle is own partition 2023-02-27 10:24:36 - Checking handle 1 (C7019018) 2023-02-27 10:24:36 - HD node found: MBR type(2), Signature type(2), Part #(2), Start LBA(524288), Num Sectors(524288) 2023-02-27 10:24:36 - Self node: MBR type(2), Signature type(2), Part #(1), Start LBA(2048), Num Sectors(522240) 2023-02-27 10:24:36 - Checking handle 2 (C8D8E298) 2023-02-27 10:24:36 - Checking handle 3 (C8D8DD18) 2023-02-27 10:24:36 - Checking handle 4 (C8D8DA98) 2023-02-27 10:24:36 - Checking handle 5 (C71F4598) 2023-02-27 10:24:36 - Found 13 handles that suppor

メインのWindows PCが故障して、新しい PCが届くまでにMac miniで作業している時の覚書。 環境： Mac mini(2018) Ventura 13.2.1 １．キーボードショートカット設定 MacはデフォルトでEmac風のキーバインドになっているのでキータイピングは快適。 ウィンドウの操作はWindowsに慣れているので下記のように変更。 System Settings > Keyboard > Keyboard Shortcuts... Mission Control > Mission Control: Alt + up Mission Control > Application Windows: Alt + down Mission Control > Mission Control > Move left a space: Alt + left Mission Control > Mission Control > Move right a space: Alt + right App Shortcuts > Google Chrome.app: Reload This Page: F5 App Shortcuts > Google Chrome.app: New Tab: Ctrl + T App Shortcuts > Google Chrome.app: Close Tab: Ctrl + W App Shortcuts > Finder.app: Rename: F2 App Shortcuts > Finder.app: Move to Trash: Ctrl + D Function Keys > User F1, F2, etc. ....: On ２．AltTabをインストール Alt + Tabでアプリケーションを切り替えたい。 Command + Tabは押しにくいから嫌。 オープンソースで公開されているのでGitHubからダウンロードする。 参考：  lwouis/alt-tab-macos: Windows alt-tab on macOS ３．その他 忘れそうなのを覚書 Finderで隠しファイルを表示する: Command + S

Windowsがブルースクリーンになって再起動を繰り返すようになって、原因はQuadro P1000かな？と思って急遽ビデオカードを購入した時の覚書。 環境： Windows 11 Pro 購入したのはこちら。 MSI GeForce RTX 3060 VENTUS 2X 8G OC | Graphics Card | MSI Global 価格.com - MSI GeForce RTX 3060 VENTUS 2X 8G OC [PCIExp 8GB] 価格比較 Amazonで52,442円。 GeForce RTXは10bit colorに対応している。 Adobe IllustratorのGPUパフォーマンス機能を有効にするにはOpenGL 4.0以上をサポートしている必要がある。 参考：  Adobe Illustrator の必要システム構成 もっと落ち着いてどれを買うか吟味したかった。 【関連記事】 自作PCのパーツ一覧（2022年12月） NVIDIA Quadro P1000を購入。SW271+10bitカラー設定

突然Windowsが落ちた後、それが繰り返されるようになったので調査したときの覚書。 環境： Windows 11 Pro 22H2, Ryzen 7 5700X, ASUS TUF GAMING B550-PLUS, NVIDIA Quadro P1000 イベントビューアーを見てみるとそれらしいエラー https://AMD-KeyId-1234.microsoftaik.azure.net/templates/Aik/scep を経由した WORKGROUP\MY-WIN$ のSCEP証明書登録の初期化が失敗しました。 GetCACaps GetCACaps: Not Found {"Message":"The authority \"amd-keyid-1234.microsoftaik.azure.net\" does not exist."} HTTP/1.1 404 Not Found Date: Sat, 25 Feb 2023 01:35:25 GMT Content-Length: 121 Content-Type: application/json; charset=utf-8 X-Content-Type-Options: nosniff Strict-Transport-Security: max-age=31536000;includeSubDomains x-ms-request-id: 91a4477d-1059-4295-92d5-abed7b44f569 やったこと マザーボードのBIOSをv2803からv2806へアップデート。 NVIDIA Quadro P1000ドライバーv527.27からv528.49へアップデート。 BIOSのSecurity Device Supportを無効に。 → ログイン時のPINが無効になり、再設定も出来なくなったので元に戻した。 Google Chromeを最新版に更新。 ディスククリーンアップを起動 ＞ システムファイルのクリーンアップ でCドライブとDドライブ両方を実行。 BIOSでSVM Modeを有効化。 「ハイパーバイザーの起動に失敗しました。SVM が存在しないか、BIOS で有効になっていません。」とイベントビューアー

Google WorkspaceからMicrosoft 365へ移行するので、Google Workspaceのデータを個人Googleアカウントへコピーしているときの覚書。 環境： Google Workspace Business Starter メールは元々個人Gmailへ転送していたので何もする必要はない。 １．Googleドライブ Google Takeoutを使う。 Googleアカウントを管理 ＞ データとプライバシー ＞ （一番下にスクロール）アプリとサービス ＞ ドライブ のダウンロード。 スプレッドシートはxlsx形式でダウンロードされる。 ２．Googleカレンダー Google Takeoutを使う。 Googleアカウントを管理 ＞ データとプライバシー ＞ （一番下にスクロール）アプリとサービス ＞ カレンダー のダウンロード。 ics形式でダウンロードできる。 Googleカレンダー 設定 ＞ カレンダーを追加 ＞ 新しいカレンダーを作成 作成後、左メニューのインポート／エクスポートを選択。 ダウンロードしたicsファイルとさっき作成したカレンダーを選択しインポート。 必要な数だけ繰り返す。 【関連記事】 Google WorkspaceからMicrosoft 365への移行を検討 【G Suite】ドメインエイリアスをプライマリドメインに。無償版から有償版に切り替え