こんにちは！ AI技術の「なぜ？」を解き明かす、現役インフラエンジニアのコシです。 前回は、Transformerが「語順」を理解するための独創的な仕組み、「Positional Encoding」について解説しました。 これにより、Self-Attentionが苦手としていた語順の問題を克服 ...

Fast Feedforward Networksは、分割されたニューロンブロックを利用して、膨大なネットワークを高速化する新しいアーキテクチャです。また、根本の性能劣化が少ないことが示されています。さらに、Vision Transformersやモジュール式のエキスパート混合モデルにも ...

一般社団法人日本ネットワーク技術者協会は2022年12月19日、ネットワーク検定試験「Pythonとネットワーク自動化基礎検定試験」の申し込み受付を開始した。試験は、2023年1月16日から全国350カ所で実施する。Python言語によるネットワーク管理スキルを検定する ...