技術ブログ– category –

NeeNetです。 今回はAWS環境でAmazon EMRを用いて、Apache Sparkを実行してみたいと思います。 【はじめに】 Amazon EMRとは Amazon EMR（Elastic MapReduce）は、AWSが提供するマネージドクラウドサービスで、Hadoop, Spark, HBaseなどのビッグデータフレ...

NeeNetです。 今回はAWS環境でLambdaを用いて、Seleniumによるスクレイピングを定期実行してみたいと思います。 以前AWS環境上でSeleniumを動かすのにECS (Fargate)を利用した方法をご紹介しましたが、今回はそのLambda版です。 https://neenet-pro.com/ec...

NeeNetです。 今回はAWS環境でECS (Fargate)を用いて、Seleniumによるスクレイピングを定期実行してみたいと思います。 AWS環境で定期実行するため、スクレイピングをするために自分のPCを立ち上げて手動実行する必要がなくなります。 また、今回作成する...

NeeNetです。 今回は、既存で設定されているEC2のSSHキーを変更する方法をご紹介します。 なお、既存のSSHキー情報は持っていることを前提としています。 【対応手順】 EC2キーペアの作成 まず、AWSのEC2のサービスページから、「ネットワーク＆セキュリテ...

NeeNetです。 今回はS3のPutイベントで起動するLambdaをAWS SAMでデプロイする方法をご紹介します。 具体的には、以下のリソースをAWS SAMで作成したいと思います。 S3バケット バケットポリシー Lambda Lambdaの実行ロール 構成図 【事前準備】 AWS SAM C...

【はじめに】 SSMのポートフォワーディングを利用することで、ローカルの端末からプライベートサブネット内のRDSに簡単に接続することができます。 構成図 AWS CLIでは接続に踏み台EC2のインスタンスIDとRDSのホスト名を指定する必要があるのですが、マネ...

NeeNetです。 2023年にAWS LambdaでランタイムとしてRuby 3.2が利用できるようになりました。 ※2023年12月末現在、Ruby 2.7のサポートは終了しています。 今回はLambda (Ruby 3.2ランタイム) についてgemのLambda Layerを簡単に作成する方法をご紹介します...

NeeNetです。 今回はPySimpleGUIを利用して「Parquet Viewer」というGUIツールを作成してみたいと思います。 実際に作成したツール 【はじめに】 Apache Parquet は、効率的なデータの保存と検索のために設計された、オープンソースの列指向データファイル...

NeeNetです。 今回はPythonのモジュールであるkeras_efficientnetでファインチューニングを行い、Grad-CAMを適用して予測根拠を可視化してみたいと思います。 【環境】 今回、実行を行った環境は以下の通りです。 OSWindows 11 ProGPUGeForce RTX 3060 TiP...

NeeNetです。 今回はPythonを利用して、証明写真の背景色を変更してみたいと思います。 iPhoneやAndroidで似たようなことができるアプリも存在するのですが、右下にウォーターマークが付いてしまうことも多いので、今回は純粋にPythonのみを用いて実行しま...

NeeNetです。 PythonのWebアプリケーションフレームワークであるFlaskは非常に使い勝手の良いフレームワークなので、皆さんも利用することが多いかと思います。 「世界に公開したい！」と思った際は今だとAWSのEC2などクラウドを利用するのが一般的です。 ...

VPNクライアントルーターを作成することで、例えばテレビやゲーム機など、VPNアプリをインストールすることができない端末でもVPN経由でアクセスできるようになり、より効率的にセキュリティとプライバシーを確保したり、柔軟にVPN接続の切り替えを行うこ...