日々刻々と膨れ上がる情報をどのように処理し、迅速に意思決定するかは現代の企業や個人にとって大きな課題です。ビジネス課題を洗い出すためにビッグデータの分析や可視化が有効だとわかっていても、扱いきれないこともあると思います。
キーウォーカーでは、自然言語処理の技術を使ってお客様のビジネス課題を抽出するお手伝いをしています。膨大なテキストデータをAIで分析することによって、課題が明確化され、より適切な意思決定につながります。本記事では、自然言語処理の技術のひとつ「BERT」を利用してECサイトレビューの感情分析を行った例を紹介し、このような分析を行うメリットについて述べていきます。
Keywalker データ分析サービスの詳細BERTでできること
BERT(Bidirectional Encoder Representations from Transformers) は2018年10月にGoogleのチームが公開した論文で発表され、自然言語処理の多様なタスクで当時の最高性能をマークしました。
BERTはAttentionと呼ばれる仕組みを組み合わせることにより、前後の文脈を考慮した解析が可能になります。文書分類、文書内の単語同士の関係抽出（例えば「新型コロナウイルスの感染拡大により休校になった」の「感染拡大」と「休校」は因果関係）、類似度の高い文章の抽出などの様々なタスクに用いることができます。
感情分析
キーウォーカーが過去に集めたECサイトのレビューデータについて、BERTを用いた感情分析（ネガポジ分析）を行いました。膨大な文章を人手で読み込むことはほぼ不可能ですが、自然言語処理によって自動的にネガティブ・ポジティブに仕分けることができます。
ネガティブな文章の例
- 1ヶ月で壊れた。
- 品質管理の問題があります！プラスチックの蓋に焼けたゴミが混ざってたり、新品なのに、傷が最初から入っているものがありました！検品の徹底をきちんとしてください！
ポジティブな文章の例
- 簡単に組み立てできて、座り心地もいいです。
- この価格でこの音質ならば大変満足です。久々にいい買い物をしました。デザインも気にいりました。今後もこのメーカーに注目していきたいと思います。
従来手法では学習データ1000で精度71%、10000で精度75%のところ、BERTを用いると、学習データ1000で80%、10000で83%の精度を記録しました。
ポジティブな評価とその特徴語、ネガティブな評価とその特徴語を抽出することで、何が売上に影響しているのかを推定することができます。売上とともにレビューのネガポジ分析を行うことで、売上の良くない商品の改善につなげることが可能です。例えば、レビュー内容から、自然言語処理によるリスクワードの抽出を行い、アラート発信などによるリスク管理を行うことができます。感情分析によって、キャンペーンなどの施策の効果を定量的に測ることもできます。
さらに発展させれば、デザイン、機能、サービスなど、項目ごとの評価を文章から自動抽出してスコアリングし、分析に役立てることも可能です。スコアの低い商品を洗い出し、売上・収益実績別に整理し、要改善商品リストを作成することで、ボトルネック商品を優先的に改善する施策を打つことができます。このような施策により、中長期的に収益や顧客満足度を向上させることができるでしょう。
感情分析のようなVOC分析と売上実績データ・外部データを掛け合わせることで、 様々な集計・可視化、時系列・相関分析が可能です。自社サイトと他サイトのレビューの傾向を比較し、戦略に反映することもできます。このような分析は、Web上の膨大な情報を収集するキーウォーカーのWebクローリング技術によって可能となります。Webクローリング技術と自然言語処理の合わせ技で、客観的かつ合理的な事業計画・営業戦略・商品企画を実現することができます。
まとめ
BERTでは少ないデータでも高い精度を得ることができました。キーウォーカーのWebクローリング技術と組み合わせることで、より効果を発揮すると考えられます。
「BERT」による感情分析（ネガポジ分析）の詳細（エンジニア向け）はこちら
参考文献
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” arXiv, 2018 https://arxiv.org/pdf/1810.04805.pdf
小川雄太郎「つくりながら学ぶ！ PyTorchによる発展ディープラーニング」マイナビ出版，2019
siny 「BERTを用いたネガポジ分類機の作成」Qiita, 2019 https://qiita.com/ysiny/items/b01250228e0c5cc0e647
Keywalker データ分析サービスの詳細