異常検知とは?概要と業界別の実例、その実現方法をご紹介
近年、機械学習を用いた異常検知システムの開発がさかんになってきています。 日本の製造業は、従来より世界的に見てもとりわけ優秀ですが、現在は少子高齢化による後継者不足などの課題に直面しているのが現状です。 このような国家の危機的状況ともいえる大きな課題を解消するために、機械学習による異常検知システムが脚光を浴びています。 異常とは、通常と異なる振る舞いをすることで、日常生活においても、安定していた株価が急変したり、動きを保っていた機械が急におかしな動きをしだしたり、アカウントごとの投稿が一定量だったSNSの投稿量が激増した(炎上)など、「いつもと違う」ことに気が付く急激な変化は、私たちの身の回りでもよく起こっています。 今回の記事では、製造業や金融業などで活用されている、機械学習における異常検知の手法やアルゴリズムなどをご紹介します。機械学習を用いた異常検知による自動化を検討している方は、ぜひご活用ください。
-
目次
異常検知とは?
異常検知実例6選
異常検知を導入するメリット
異常検知の種類・方法
AI異常検知を行う際のポイント
統計知識・プログラミング不要でAI異常検知モデルの構築 -
異常検知とは?
異常検知とは「蓄積された大多数のデータ(ビッグデータ)群と比べて、挙動が異なるデータを検出するための技術」です。
機械学習による異常検知では、「簡単な異常の検知」から、人が認識するのは不可能な微細な変化や機器が故障する前兆といった「難しい異常の検知」まで、さまざまな異常検知が可能です。活用される分野として、次の章でご紹介する、クレジットカードの不正使用検知、予測も含めたシステムの故障検知、人間や動物などの異常行動検知などがあります。
異常検知の手法には、大きく分けて「統計モデルに基づいた手法」と「データ間の距離に基づいた手法」があります。また、異常検知手法を活用する際には、どんな統計モデルによって仮定を行うのか、またはデータ間の距離における定義の仕方がいくつか存在するため、それぞれどの条件を使った異常検知手法なのかを意識して使用する必要があります。
-
異常検知実例6選
異常検知の技術は、現在さまざまな業務や生活の場面で活用されています。
次に、異常検知の手法がどのように活用されているかについて例を交えながら紹介していきます。1.不正アクセスの検知
異常検知の技術は、インターネット上における不正アクセスの検知にも利用されています。
システムに異常な通信が起きた際に検知を行い、管理者にアラートを通知し不正アクセスの侵入を防ぐ方法です。2.IT業界で活用される「スパム検知」
異常検知技術は、IT業界においてネットワークの侵入のみではなく、スパムメール検知にも活用されています。
IT企業では、セキュリティは自社の信用に関わる大変重要な課題です。
機械学習やAI技術を駆使し、組織内に蓄積されているメールやチャット上のメッセージからセキュリティリスクの傾向をリアルタイムで分析することで、情報漏洩などの重大なセキュリティインシデントを未然に防ぐことができます。3.カードの不正利用の検知
異常検知の技術は、クレジットカードの不正使用検知の場面でも利用されています。
例えば、あるクレジットカードの場合、AIを用いて24時間365日カードをモニタリングしています。もしこれらの異常検知技術をもってしても、不正利用が発生した際には、会員保障制度に基づいて紛失・盗難の届け出日の60日前から損害補償を行うサービスを取り入れています。4.異常動作の検知
近年、人々のセキュリティ意識が高まっており、市中の至る所に監視カメラが設置されているのを見かけるようになりました。
実際、これらすべての監視カメラの映像に対して人が監視する行為は現実的ではありません。
そこで、監視カメラの異常動作を判別する際に、異常検知技術が活用されています。5.不良品の検知
異常検知技術は、不良品を検品する際の業務にも応用されています。
主な実用例として、ある大手電機メーカーが画像データを用いた検品作業の効率化などを実現するために、ディープラーニング技術を搭載したソフトウェア製品を開発し、不良品の検品作業に活用されています。6.医療業界での活用
医療の現場において、異常検知技術はAIを組み合わせた画像診断に用いられています。
医療機関が過去に蓄積した膨大なカルテの情報やCT画像のデータをAIが学習することにより、画像に現れた兆候や病変部位を異常として検知できるようになります。
これにより、従来画像専門の技師が行っていた診断が自動化でき、医療における運用コストの効率化や画像の読み取り精度の向上が期待されています。 -
異常検知を導入するメリット
異常検知技術を導入することにより、利用者には以下のようなメリットがあります。以下のようなものがあります。
1.事故や問題の防止
2.工数の削減
3.ヒューマンエラーの予防では具体的に見ていきましょう。
1.事故や問題発生の防止
AIによる異常検知技術を用いると、機械の異常動作も検知することが可能です。
あらかじめ予測のためにデータを用いてを学習させておけば、事前に異常を検知することができるため、事故や問題発生を未然に防ぐことができ、システムなどの安全性向上につながります。2. 検査などの工数の削減
AIによる異常検知システムを導入することにより、従来人の手によって行われていた検査工数が削減可能です。検査の精度やスピードが上がるだけではなく、人手が大幅に削減できるため、人件費などの人的コストや工数の削減が見込めます。3.ヒューマンエラーの予防
検査員によるチェックは、人の手によるものなので、欠陥品を間違えて合格品としてしまうなど、ミスが起きてしまうことは避けられません。
AIによる異常検知技術は、多くのデータから正確な分析・分類を実施するのが得意としているため、結果的にヒューマンエラーの予防も促進されます。 -
異常検知の種類・方法
1の統計モデルに基づく場合は、どのような統計モデルを仮定するかが重要です。また、2のデータ間の距離に基づく場合は、距離をどのように定義するのかによってさまざまな異常検知手法が提案されています。
ここでは統計モデルに基づく手法として「ホテリング理論」を、データ間の距離に基づく手法のうち、「k近傍法」と「LOF法」を紹介します。ホテリング理論
統計モデルに基づく異常検知技術で最もよく利用されているものとしてホテリング理論を紹介します。異常検知の例として、まず一番簡単な変数が1つの場合を見てみましょう。
ある集団の身長データのヒストグラムがあったとき、1つのデータを除いて140cm~200cmの間にデータが分布しており、いわゆる釣鐘型の正規分布の形をしていたとします。
この例ではおそらく誰が見ても60cm付近にある1点は異常値と判定できますが、もし仮に110cm付近にデータがあった場合これは異常値と言いきれるでしょうか。
このように、人の主観に左右されない異常データを検知するための客観的な評価基準が必要です。
ホテリング理論は、統計的モデルを用いて客観的に評価できるようにしたものです。ホテリング理論ではデータの分布として正規分布を仮定します。
正規分布の母平均をμ、母標準偏差をσとすると、計測データxは、以下の確率密度分布に従って現れると考えます。ホテリング理論を用いる際、定義した異常度はデータ数nが十分に大きい時、「自由度1のカイ二乗分布に従う」ということが数学的に証明されています。
これによって分析者の主観によらずに、「異常度a(x’)が10以上をとる確率は0.16%しかないので、偶然に基づく正常なデータとは考えにくく、このデータは異常値に違いない」と客観的な主張が可能となります。
ホテリング理論の問題点
ホテリング理論は、異常値を検出する際の最も基礎的な方法として知られていますが、以下のような問題点もあります。1.データが単純な正規分布から発生していると仮定しているため、データの分布が、正規分布から著しく外れている場合、また分布が複数の山を持つ場合などは異常値を正しく判断できなくなることがあります。
2.正規分布のパラメータはあらかじめ決められ、変化しない値であるとしているために、分布のパラメータが時間とともに変化するような時系列データには適用することができないことがあります。
ホテリング理論はこれらのような問題点は持ってはいるものの、半導体などの工場において管理された条件下では、長い利用実績があるという特徴もあります。
k近傍法
k近傍法は、教師あり学習と呼ばれるカテゴリの一種であり、事前に正解としてラベリングしてあるデータセットの用意が必要となります。ホテリング理論では、データが正規分布となっていると仮定しているため、正常なデータが多数のクラスターで構成されている場合には、うまく異常値を検知することができません。
そこで、確率分布を明確には仮定せず、データ各点から最も近いデータへの距離をそれぞれ計算することで、異常値を検知する手法(最近傍法)がよく利用されます。異常値の点だけ突出して各クラスターからの距離が大きくなっている場合、最近傍法を用いることで、あるデータからほかのデータの最も近くにあるデータ(最近傍点)までの距離がある閾値を越えた場合に、その点を異常値であると判定します。
この際、閾値は分析者があらかじめ何らかの方法で、決める必要があります。最近傍法では最も近い点までの距離を用いて異常値を判別しますが、最も近い点の代わりに、2番目に近い点、さらに3番目に近い点までの距離を用いることも可能です。
これらをまとめてk近傍法と呼んでいます。LOF(Local Outlier Factor)法〔局所外れ値因子法〕
LOF法とは、データの集まりの中から外れ値を見つけ出す局所外れ値因子法とも言われ、外れ値を検知するアルゴリズムのひとつです。
k近傍法では、あらかじめ閾値を決めておく必要がありますが、どのような値を選ぶかはデータの特性に強く依存しており、特に多次元の場合などには作業が複雑になります。
また、各クラスターでクラスター内におけるデータ密度が全く異なる場合には最近傍法は利用不可となる可能性がありますこれらの問題点を解決するためによく利用される手法を局所外れ値因子(LOF: Local Outlier Factor)法といいます。
異常値をp、またpに最も近い点をp’とすると、p’から見た最近傍点はpではなく、あるクラスターのなかのどれかとなります。
点pの最近傍点までの距離r(p)は点p’の最近傍点までの距離r(p’)よりも非常に大きくなると考えられます。
このとき、任意の点pにおける異常度a(p)を以下のように定義します。異常度a(p)が1より大きな閾値を超えた際に、そのデータを異常値とみなすこととします。この手法もk>1の場合に拡張できます。
LOF法はk近傍法が利用できないような問題でも、比較的もっともらしい結果となることが経験的に知られています。k近傍法、LOF法では閾値をどのように定めるかということについて、統計モデルを用いた方法ほどには明確に定められていませんが、距離に基づく異常検知技術も実社会では広く使われています。
-
統計知識・プログラミング不要でAI異常検知モデルの構築
AIを活用することで、異常検知が可能であり、実際に利用されている場面をご紹介しました。
MatrixFlowでは、異常検知AIを手軽に、スピーディに作成し、実現することが可能です。MatrixFlowはプログラミング不要のAI構築プラットフォームです。
アルゴリズムの開発は、処理単位のブロックをドラッグ&ドロップし、繋ぐだけで手軽に実現します。
またデータの管理や作成したアルゴリズムの管理などのAI構築に関わるすべての工程をプラットフォーム上で一元的に管理することができます。
この開発スキームは、業種・業界によらないものである上、開発を続けることで開発ノウハウがブロックで構成されたテンプレートとしてプラットフォーム上に順次蓄積されていくため、今後のAI開発においてはさらなる開発の早期化、開発費用の低減が期待されます。MatrixFlowは精度の高い異常検知AIの作成だけではなく、需要予測、在庫最適化、生産計画立案、人員配置など、製造業でのさまざまな課題も解決することができます。
ぜひ、詳細はお問い合わせください。
MatrixFlow関連記事
製造業において、日々稼働している生産ラインの中には、製品を作るためのさまざまな機器があります。これらの機器が突然、なんの前触れもなく故障し、停止してしまうと、生産ライン全体の停止、修理にかかる費用、新しい機器のリース代など、さまざまなコストがかかり、製造する上でのデメリットとなります。
上記から、異常検知は製造業においてクリティカルな問題です。また、異常検知の実施にあたっては現場の長い経験や、高度な技術も求められるため、工場や生産管理の現場担当者から見ると、異常検知は頭を悩ませる課題のひとつとなります。
今回は、そのような異常検知について、その概要、方法、さらには最新のAI・機械学習を活用した異常検知の方法についてもご紹介します。
編集部Pickup記事
-
ノーコードでAIを開発する方法とは?開発事例・無料の開発プラットフォームを紹介
ここ数年、国内外の開発者の間で「ノーコード(NoCode)」という言葉がよく聞かれます。 ノーコードとは、文字通りコードいらずでWebサイトやWebサービスを開発する手法のことです。 このノーコードの開発手法を使って、AI(人工知能)を開発しようとする動きが出てきています。 本記事では、ノーコードでAIを開発して自社課題を解決したい方に向けて、ノーコードでどんなことができるのかを解説していきます。 ノーコードを使ってAIを開発した事例も紹介しているので、ぜひ参考にしてみてください。
-
機械学習のビジネスにおける活用事例を徹底解説
様々な分野・企業で、AIや機械学習の活用が進んでいます。 iPhoneのSiriやGoogleのアレクサなど、日常生活にも溶け込んでいるほどです。 AIにデータを機械学習させれば、膨大な時間がかかる作業も分析も一瞬で終えることができます。 AIは学習させるデータでどんな使い方もできるため、その可能性は無限大です。 本記事では、AIや機械学習をビジネスに活用する方法や、導入事例をご紹介します。
-
AIツール・開発プラットフォームおすすめ13選!無料AIツールも?
AI(人工知能)を使ったツールやアプリは、ここ数年で急激に増えました。身近なところだと、有名画家風のイラストが作成できるアプリや音声読み上げソフトなど、一度は耳にしたことがある方もいるのではないでしょうか。 企業においても課題解決ができるAIツールや、AIを開発できるプラットフォームへ注目が集まっています。ですが、AIツールと一口にいっても、開発できるAIの種類や解決できる課題も様々です。 本記事では、AIを開発できるプラットフォームや、無料で使える便利なAIツールをご紹介します。AIツールを使ってどんなことができるのか、ツールによる違いを知りたい方は必見です。
-
AIによる需要予測の仕組みとは?導入事例・費用・アルゴリズムを解説
過去の販売データを元に商品の発注数や売れ行きを予測するのは、小売業界では当たり前に行われています。 ですが、経験や勘に頼った予測は個人の力量に依存するため、予測に再現性がありません。予測の精度も人によってバラバラなため、常に高い精度で予測することは難しいです。 こうした課題を解決する方法の1つとして、AIを使った需要予測が注目されています。AIを使うことで、スキルに依存しない高精度で需要予測が期待されているのです。 本記事では、AIを使った需要予測の仕組みや導入事例について解説していきます。需要予測をして在庫管理の最適化や売上増加を狙っている方は、ぜひ参考にしてみてください。
-
製造業におけるAI活用事例23選!各社の導入方法・例をご紹介
ここ数年でAi技術は格段に進化を遂げています。様々な領域でAIの活用が進んでいますが、製造業ではどのくらいAIの導入が進んでいるのでしょうか。製造現場での実用化にはいまだ課題も残っています。AIを活用できる人材がいない、AIの導入方法がわからず、活用が進んでいない企業も多いのではないでしょうか。 この記事では、実際にその仕組みや導入のメリット、成功・失敗事例を紹介していきます。製造業でAIを導入するうえでの注意点についても解説していますので、ぜひ参考にしてください。
-
ディープラーニング(深層学習)とは?AI・機械学習との違いを簡単に解説
ディープラーニング、AI、機械学習。誰しも、テレビや本で一度は耳にしたことがあると思います。 ですがこれらが何を指しているのか、なぜ注目を集めているのか知っている方は少ないのではないでしょうか。 本記事ではAIを学んだことがない方向けに、ディープラーニングとは何なのかを簡単に解説します。 ディープラーニングと機械学習の違いがわからない方や、ディープラーニングの活用事例を知りたい方も必見です。
関連した事例
-
予測分析ツールおすすめ7選比較!AIで予測できること・無料ツールはある?
将来の売上や株価を予測することができれば、ビジネスや投資において非常に有利に動けます。しかし、人の勘や経験に頼った予測には限界があり、正確な予測をすることは困難です。 そこで、あらゆる業界で「予測分析ツール」が注目されています。予測分析ツールを使えば、膨大なデータを分析し、過去の傾向をもとに未来を予測できます。さらに、機械学習や人工知能を使った予測分析ツールを活用すれば、誤差を減らしてより高い精度で予測を行うことができます。 本記事では、予測分析ツールでどんなことが予測できるのか、おすすめの予測分析ツールをご紹介します。AIやツールを使った予測に興味がある方は、ぜひ参考にしてみてください。
-
AI開発外注の費用相場・期間は?おすすめ開発会社を解説
AIを開発したいと思った時にまずぶつかる壁は、「自社内で開発するか外注するか」です。 社内に開発人材がいる場合もいない場合も、AI開発の外注は選択肢の1つとして考えられます。 AI開発の外注にはメリット・デメリットがあるため、AI開発において重視する内容によって外注が最適かどうか変わってきます。 本記事では、AI開発を外注しようか検討している方に向けて、AI開発の外注にかかるコストやメリット・デメリットを解説します。さらに、AI開発に強いおすすめの外注先もご紹介するので、開発会社選びの参考にしてみてください。
-
ノーコードでAIを開発する方法とは?開発事例・無料の開発プラットフォームを紹介
ここ数年、国内外の開発者の間で「ノーコード(NoCode)」という言葉がよく聞かれます。 ノーコードとは、文字通りコードいらずでWebサイトやWebサービスを開発する手法のことです。 このノーコードの開発手法を使って、AI(人工知能)を開発しようとする動きが出てきています。 本記事では、ノーコードでAIを開発して自社課題を解決したい方に向けて、ノーコードでどんなことができるのかを解説していきます。 ノーコードを使ってAIを開発した事例も紹介しているので、ぜひ参考にしてみてください。
-
プログラミングでAIを開発する方法!必須のプログラミング言語・入門知識を解説
近年急速に進化しているAI(人工知能)。 AIを活用すれば、今まで大量の人と時間を投下していた業務も効率よく精度高く遂行できます。 人と同じような動きができるためすごい存在に思えるAIですが、プログラミングを学べば初心者でも開発が可能です。 本記事では、プログラミングをしてAIを開発する方法やAI開発におすすめのプログラミング言語をご紹介します。
-
機械学習(ML)とは? メリット・種類・業界や課題別の活用例・実施方法を解説
機械学習(Machine Learning)とは、コンピューター(Machine)が与えられた大量のデータを処理・分析することでルールやパターンを発見する技術・手法のことです。学習の結果明らかになったルール・パターンを現状に当てはめることで、精度の高い将来予測が可能となります。 高度なコンピューターを使用することで、人間の脳では処理しきれない複雑な要素を加味した分析・学習が可能となりました。その結果、近年ではさまざまな領域において人間による作業の精度向上・効率化に役立てられています。自動運転や医療、人間の購買行動の分析など、さまざまなビジネス領域で機械学習が実用化されており、今後のマーケットで生き残っていくためには必須の技術になりつつあるといえるでしょう。 本記事では、機械学習(ML)の概要やメリット、種類に加え、業種別・課題別の活用例を紹介します。実際に取り入れる際の作業フローも紹介しているので、機械学習の活用に興味がある方はぜひ参考にしてみてください。
-
AIやExcelを活用したコールセンターの入電数予測の方法
コールセンターにおけるコール予測(呼量予測、forecaster)とは、お客様からの問い合わせなどセンターで受信する電話の量を予測することをいいます。 コールセンターの運用コストを増加させる要因のうち大きなものが、コミュニケーターの人件費です。コミュニケーターは顧客からの入電に応じてオペレーションの対応をするため、実際の入電数よりも多くのコミュニケーターを配置すると、対応がなく待ち状態のコミュニケーターが増えて、不要な人件費の増加に繋がります。また、逆に配置人数が少ないと呼び出し中でつながらないなどのクレームの要因になりかねません。適正な人員をコンタクトセンターに配置することで、十分な顧客満足度が提供できる状態でオペレーションを行っていることが理想です。今回は、Excelを活用したコール予測、AI(人工知能)による機械学習を用いた時系列分析で、コール予測を実現する方法をご紹介します。
-
予測分析とは?活用事例とその手法・ツールをご紹介
予測分析とは、過去の行動パターンを特定し、将来の結果を予測するために、大量のデータに数理モデルを適用する手法です。 機械学習、データマイニング、統計アルゴリズムなどの複数の組み合わせがもたらす「予測的手法」により、予測分析ツールは、単純な相関付け以上の機能を実装できます。ビジネス分野では、予測分析が以下に示すようなさまざまな用途に利活用されています。 ・需要と供給のより正確な予測コンピューターネットワークに悪影響を及ぼす脅威と潜在的問題の特定 ・保険サービスや金融サービスにおけるセキュリティリスクの低減 ・クレジットカード詐欺のリアルタイム検出 予測分析機能を組み込んだソフトウェアが増えつつあり、これはあらゆる規模の組織体でユーザーにとって身近なものになっています。予測分析はデータサイエンスや高度な分析に関する訓練を受けていないエンドユーザーにも実務上の価値をもたらします。これは、まさにすべてのユーザーが恩恵を受ける機会を提供することに値します。この概念を「データの民主化」と呼びます。誰もがデータを利用してより良い意思決定を下せるように、組織全体でデータを誰もが利用できるようにするという概念です。 本記事では、予測分析がなぜ重要なのか、予測分析の実活用例、予測分析の手法、機械学習やデータマイニングなどの他のテクノロジーとの関係、モデルの役割、予測分析を始めるにあたってのヒントについてご紹介します。
-
ディープラーニング(深層学習)とは?概要や、業界・課題別の活用例・導入手法を解説
AI(人工知能)という言葉は昔からありましたが、近年いよいよ本格的に生活のなかで活用されるようになってきました。そのなかで重要な役割を果たしているのがディープラーニング(深層学習)です。従来は機械に任せるのが難しかったケースにも対応できるようになり、さまざまな形で日常生活やビジネスに変革をもたらしています。 しかし、ディープラーニングがどのような仕組みなのか、具体的に理解している方は少ないでしょう。本記事では、ディープラーニング(深層学習)の仕組みや、AI・機械学習との違い、さらに業種別のビジネスへの活用例を紹介します。 ディープラーニングを事業活動に活かしたいとお考えの経営者・事業担当者の方は、ぜひ参考にしてみてください。
-
製造業におけるAI活用事例23選!各社の導入方法・例をご紹介
ここ数年でAi技術は格段に進化を遂げています。様々な領域でAIの活用が進んでいますが、製造業ではどのくらいAIの導入が進んでいるのでしょうか。製造現場での実用化にはいまだ課題も残っています。AIを活用できる人材がいない、AIの導入方法がわからず、活用が進んでいない企業も多いのではないでしょうか。 この記事では、実際にその仕組みや導入のメリット、成功・失敗事例を紹介していきます。製造業でAIを導入するうえでの注意点についても解説していますので、ぜひ参考にしてください。