Webコンテンツの企画から制作・システム受託開発を行う株式会社テンダ（東京都豊島区、以下テンダ）は、Webサイト上にある最新情報を自動で収集するWebクローラーサービス「Crawl Krei（クロールクレイ）」を7月25日（火）にリリースした。

　「Webクローリング」 とは、プログラムでインターネット上にあるWebサイトのリンクを辿り、さまざまなWebサイトを巡回することをといい、そのWebクローリングを実行するためのプログラムを「Webクローラー」と言う。現在、AIが注目されるとともに活用するデータにも注目が集まっており、ビッグデータを効率的に集める方法のひとつとして、Webクローラーへの需要も急増している。

【Webクローラー「Crawl Krei」の特長】

・定期的に自動でデータ取得
　対象となるデータを、定期的に自動でデータ取得することが可能。

・大量のサイト数やページ数にも対応
　クロール対象のサイト、ページ数に上限が無く、大規模データのクロールやスクレイピングに適している。

・短期間での導入が可能
　契約から最短5営業日でクロール結果のデータ提供が可能。

・目的に合わせたカスタマイズが可能
　利用者の目的に合わせてカスタマイズを行う。
　目的に合わせたクローリングを行うことで、データ提供からすぐに利用、活用ができる。

・小規模から大規模まで対応
　他システムとデータ連携したり、独自の管理画面で設定情報の変更を可能とする大規模開発から、簡易にASPサービスとして使用出来る小規模のお客様まで双方に対応可能。

・柔軟な設定変更が可能（オプション）
　クロール対象のサイト、キーワード情報（製品情報）、巡回の頻度などの変更を管理画面から柔軟に操作できる。

―――――　想定されるターゲット　―――――

■エンドユーザー企業
　・多品目を取り扱う販売会社(同業他社の情報収集)　(営業、販促)
　・自社/他社製品の市場動向チェック　(営業、マーケティング)

■データ活用会社
　・リスト作成などのデータ収集会社
　・AIで活用するためのデータを収集したい方

■パートナー企業
　・AIエンジンを持っている会社
　・各種システム開発を行っている会社

【導入事例】 ファッションサイト・大手量販店

【導入事例】①ファッションサイト
　新規にファッションサイト構築を検討していたが、会員向けに発信するニュースリリースのコンテンツ不足で悩んでいた。 そこで提携サイトのニュース情報をクロールし、 ファッション情報など会員に関心あるキーワードでニュースを自動取得する機能を導入。

→ファッションサイト構築：1ヶ月～2ヶ月、ニュース自動取得：0.5ヶ月でシステムを構築。

【効果】
複数ある提携サイトとのシステム連携をクロールシステムで行うことにより、導入費用を大幅に削減できた。

【導入事例】②大手量販店
　インターネットで掲載されている商品の情報を マンパワーで調査していたが、調査する商品が多くなり、限られた時間では対応できない状況が発生。 そこでクローリングによる情報調査の自動化を行い、 収集した情報を加工し自社サイトに自動設定できる機能を導入した。

【効果】
本システム導入で、マンパワーに依存していた 商品情報調査・自社サイトへの情報反映を自動化することにより、業務が大幅に短縮することができた。

マンパワー依存からの脱却

　これまでマンパワーに頼ってきた情報収集やマーケティング等を自動化した結果、業務が大幅に効率化したのがこの例だ。EC業界と切り離すことのできないAIの進歩と非常に濃密に関わっている Webクローラー。AIそのものだけでなく、その活用データの収集についても大いに注目していかねばならない。

　この２つが揃って初めて、それぞれの本領を発揮し、マンパワーの依存から脱却できるのである。