投稿

BigQuery ML(Machine Learning)のチュートリアルをやってみる

Google Analytics 4(GA4)のデータを機械学習で活用したいと調査しているときの覚書。 1.機械学習とは? 機械学習とは、過去のデータから自動的にパターンやルールを学習することで何らかのタスクをこなす技術。 実世界の複雑に絡み合う事象から法則を見つけ、予測や課題解決につなげることができる。 Googleデジタルワークショップの教材が分かりやすい。 参考:  機械学習の基礎 - Google Digital Workshop (デジタルワークショップ) 2.GA4のデータをBigQueryへエクスポート GA4のデータは14ヵ月しか保存されない。 参考:  データの保持 - アナリティクス ヘルプ 過去のデータをBigQueryに簡単に保存する仕組みはないので、データ分析として利用する場合はBigQueryにエクスポートしておく必要がある。 (API経由でプログラムを組めば多分出来る) 前の記事を参考に:  Google Analytics4とBigQueryを接続して生データを確認する 3.BigQuery MLとは? BigQueryのデータを用いて簡単に機械学習(Machine Learning)モデルを作成し、実行できるサービス。 プログラミングの必要なくSQL言語だけで実行できる。 BigQuery ML とは  |  Google Cloud 4.BigQuery MLのチュートリアル まずは大人しく公式サイトのクイックスタートをやってみる。 クイックスタート: BigQuery ML で機械学習モデルを作成する  |  Google Cloud サンプルがGoogleアナリティクスのデータなのでちょうどよさそう。 注意事項など ロケーションタイプはマルチリージョン sample_modelを生成するのに3分 16秒掛かった。 分類子とか意味不明。 とりあえずチュートリアルを終わっても分かった気がしない。 ページ下部のリンクにあった機械学習集中講座をやってみることにした。 Machine Learning  |  Google Developers 【関連記事】 Google Analytics(GA4)はデータ保存、可視化するのはLooker Studioの役目。 Google Analytics4とBigQueryを接続して生データを確

NginxのKernel TLS(kTLS)

KernelでTLSの暗号化と複合化を行うことでNginxのパフォーマンスを向上させる記事を読んだときの覚書。 環境: CentOS Stream 9, nginx 1.22.1, OpenSSL 3.0.7 Kernel TLSとSSL_sendfile()によるNGINXのパフォーマンス向上 - NGINX 1.Kernel TLS(kTLS)とは? TLSをカーネルで実装して処理を高速化する仕組み。 Linuxカーネル4.17 + OpenSSL 3.0.0以上が必要。 RHEL9(CentOS Stream 9)から使える。 2.Kernel TLS(kTLS)が使えるか確認 カーネルのバージョンを確認。 # uname -a Linux vm-dev1.hoge.co.jp 5.14.0-285.el9.x86_64 #1 SMP PREEMPT_DYNAMIC Tue Mar 7 17:32:48 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux 現在ロードされているカーネルモジュールの一覧。 参考:  第31章 カーネルモジュールの使用 Red Hat Enterprise Linux 6 | Red Hat Customer Portal # lsmod tlsカーネルモジュール情報の情報。 # modinfo tls nginxのビルドオプションを確認。 # nginx -V nginx version: nginx/1.22.1 built by gcc 11.3.1 20221121 (Red Hat 11.3.1-4) (GCC) built with OpenSSL 3.0.7 1 Nov 2022 TLS SNI support enabled configure arguments: (略) --with-openssl-opt=enable-ktls (略) appstreamリポジトリからインストールしたNginx。 OpenSSLが対応しているスイートの一覧。 # openssl ciphers -v OpenSSLの設定は「/etc/pki/tls/openssl.cnf」。 OpenSSLのバージョン確認。 # openssl version OpenSSL 3.0.7 1 Nov 2022 (L

FreeBSD13.1にImageMagick7をインストール

FreeBSDにImageMagickをインストールしてAVIF(AV1 Image File Format)への変換を試したときの覚書。 環境: FreeBSD 13.1, ImageMagick 7.1.0-50 FreeBSDのバージョン確認。 # uname -a FreeBSD vm-dev2 13.1-RELEASE-p6 FreeBSD 13.1-RELEASE-p6 GENERIC amd64 pkg経由でImageMagickインストールする。 まずは依存関係を知りたかったのでpkg経由でインストールしてみた。 # pkg search ImageMagick # pkg install ImageMagick7 New packages to be INSTALLED:         ImageMagick7: 7.1.0.50         Imath: 3.1.6         aom: 3.5.0         brotli: 1.0.9,1         cairo: 1.17.4_2,3         cups: 2.4.2         dav1d: 1.1.0         dejavu: 2.37_1         encodings: 1.0.5,1         fftw3: 3.3.10_2         font-bh-ttf: 1.0.3_4         font-misc-ethiopic: 1.0.4         font-misc-meltho: 1.0.3_4         fontconfig: 2.14.0,1         freetype2: 2.12.1_2         fribidi: 1.0.12         gdk-pixbuf2: 2.42.10         ghostscript9-agpl-base: 9.56.1_7         ghostscript9-agpl-x11: 9.56.1         giflib: 5.2.1         graphite2: 1.3.14         gsfonts: 8.11_8         harfbuzz: 7.0.1         highway: 1.0.2         j

FreeBSD13.1の仮想マシンをインストールして初期設定

FreeBSDを試したくなってインストールしてみたときの覚書。 環境: VMware Fusion 13.0.1 1.FreeBSD13.1をインストール 公式サイトから「FreeBSD-13.1-RELEASE-amd64-disc1.iso」をダウンロードして、VMware Fusionで仮想マシンを作成。 FreeBSD プロジェクト ネットワークをBridgeにして仮想マシン起動。 インストールする機能でportsを選択。 インストール後、IPアドレス確認。 # ifconfig sshからrootでログインできるようにsshdの設定変更 # less /etc/ssh/sshd_config PermitRootLogin yes PasswordAuthentication yes sshdを再起動。 # /etc/rc.d/sshd restart Windowsからログインする。 # ssh root@192.168.10.100 FreeBSDをアップデート。 # freebsd-update fetch # freebsd-update install パッケージマネージャをアップデート。 # pkg update # pkg upgrade 2.Bashをインストール デフォルトのcshが使いにくいので慣れているbashをインストールする。 # pkg search bash # pkg install bash bash-completion 画面の指示通りにする。 # vi .bashrc [[ $PS1 && -f /usr/local/share/bash-completion/bash_completion.sh ]] && \         source /usr/local/share/bash-completion/bash_completion.sh bashに切り替え。 # bash デフォルトをBashにする。 # chsh -s /usr/local/bin/bash 別コンソールでログインして確認。 3.gitをインストール よく使うgitはインストールしておく。 # pkg search git # pkg install git python39もインストールされた。バージョン確認

Google Workspaceを解約

Google WorkspaceからMicrosoft 365へ移行したときの覚書。 環境: Google Workspace Business Starter 1.事前準備 別記事にした。 参考: Google Workspaceのデータを個人アカウントへ移行 2.コアサービスをオフ Google Workspaceの管理画面で アプリ > Google Workspace > サービス のステータスの全部選択してオフにする。 これで運用してみて問題ないか確認する。 3.Google Workspace解約 Gmail > 設定 > この組織の管理 > お支払い > Google Workspace Business Starter 年契約だったので契約満了日は2024年1月。 更新設定の変更 > サブスクリプション を解約する 解約したら追記予定。 【関連記事】 Google Workspaceのデータを個人アカウントへ移行 Google WorkspaceからMicrosoft 365への移行を検討

自作PCのパーツ一覧(2023年3月)

3ヵ月前に刷新した仕事用PCの調子が悪くなってマザーボードとCPUを交換。 現在のPCパーツ構成 Intel Core i5 13500(Raptor Lake) BOX 14Core 2.5GHz LGA1700 /35,676円 ASUS TUF GAMING B660M-PLUS D4 /17,904円 MSI GeForce RTX 3060 VENTUS 2X 8G OC /52,442円 Team DDR4 3200Mhz PC4-25600 8GBx2枚/6,480円 Crucial DDR4 3200Mhz PC4-25600 8GBx2枚/5,780円 合計金額: 118,282円 PCケースと電源は変えてない。 【関連記事】 自作PCのパーツ一覧(2022年12月) Windows11をクリーンインストール(2022年12月)

NginxでSemrushBotをアクセス拒否

SemrushBotから短時間に大量のアクセスがあるので拒否する設定にしたときの覚書。 環境: CentOS Stream 8, Nginx 1.22.1 アクセスログ確認。 # less /var/log/nginx/access.log  185.191.171.12 - - [08/Mar/2023:04:29:33 +0900] "GET /dr.htm/page/6/page/7/page/4/page/13/page/9/page/2/page/9/page/3/ HTTP/1.1" 301 169 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)" "-" nginxの設定ファイルでユーザーエージェントにマッチしたらコネクションを閉じる(return 444)。 参考:  NGINX to block bad bots. (add Twenga|TwengaBot if you want to exclude them too) # cd /etc/nginx/conf.d/global/ # less wordpress_restrictions.conf # # Block bots # if ($http_user_agent ~* (SemrushBot|MJ12bot) ) {     return 444; } テストしてnginxリロード # nginx -t # systemctl reload nginx 全サーバーで共有するのでコミットを忘れずに。 # git add --all # git commit -m 'Update block bot list' # git push origin master お行儀がいいbotは何もしない。 botの一覧と簡単な説明。 2023年1月更新!迷惑なbotをアクセス拒否・除外する設定方法まとめ(Nginx・Apache・.htaccess) 【関連記事】 nginxで国単位のIPアドレス制限 WordPressの「/?author=1」をブロックする