Monacaで画像解析

こんにちは、佐藤です。
営業開発部では日々さまざまな技術検証をしています。
今回は画像解析による文字抽出のデモを作成したので、解析精度や活用案を紹介します。
 
デモアプリはHTML5マルチプラットフォームアプリ開発プラットフォームのMonaca(https://ja.monaca.io/)で開発をしています。
 
実は弊社はMonaca開発パートナーなのです。
 

 
Monacaを使えば同一ソースでiOS、Androidのアプリ開発ができるため弊社では積極的に活用をしています。
 
さて本題に入ります。
今回作成をしたアプリはスマホのカメラで写真を撮影し、撮影した画像から文字を抽出してテキスト化をする物です。
 
電子データの書類やWebページであれば、コピーガード対策をされていない限り、自由にテキストとしてデータを扱うことができますが、紙であったり、画像であったりする物は書き写したり、OCRソフトで取り込むしかテキスト化する方法がありません。
スマホで気軽にテキスト抽出ができれば、様々な業種に応用ができると思い、プロトタイプを開発してみました。
 
まず、適当なテキストを用意してみます。
いきなり難易度を上げて、多国語で用意してみました。

 
こちらを開発したアプリのカメラで撮影をしてみます。

 
はい、上手に撮れました。

 
こちらを分析にかけてみましょう。
数秒で以下のように画像から文字を検出した部分にマークがされます。

 
アラビア語みたいなのは認識されなかったようです・・・
しかし、アラビア語みたいなのは右から左に書かれるのだろうか。
 
そして、テキストタブを押すと

 
ババァアン！
見事、画像からテキストが抽出されました。
日本語と英語は正しいことが分かりますが、それ以外の言語は馴染みがないので、なんとなくOKという感じでしょうか。
 
ついでにアプリに翻訳機能もつけてみました。
文章全体の言語を判定して日本語に翻訳する機能なので、このように複数の言語が混ざると使えないことは明白ですが、いちおうポチっと。

 
どうやら、一番初めに出てきた日本語以外の言語が英語だったので、文章全体を英語として判定したようです。
 
次に、長文の解析と翻訳力を試してみましょう。
英語では普通すぎるので、なじみの無い韓国語にチャレンジをしてみます。
 
韓国のニュースサイトから以下の文章を無作為にコピーしてみました。

 
正直、何が書いてあるのかさっぱりわかりません。
想像すらできない・・・
 
こちらを撮影して解析すると

 
すべての文字を拾えたようです。

 
これを見ても誤認識無く抽出できたかは分かりませんが・・・
 
翻訳の結果は

 
予想に反してポケモンの記事だったようです。
ポケモンのリリースにより、コーヒー豆の売上がくちこみでひょろっと伸びたというような記事でしょうか。
韓国語がまったく分からなくてもある程度ニュアンスが伝わります。
 

• 書類などを簡易にテキスト化し、サーバーに蓄積して活用
  あくまで紙で管理している書類の中身をフリーワード検索できる検索サーバーの構築、郵便物や伝票などから手入力でデータ化する業務などの補助。
• 文章をテキスト化して活用
  新聞や雑誌記事などをテキスト化し、音声出力などをすることで、福祉への応用。
  記事内のワードから各種情報を収集し、記事を簡単にスクラップ。
• 既存の資産を活かした管理
  二次元バーコード、RFIDなど新規のコストをかけずに、ファイルの背表紙等の文字情報から書類管理。

などなど、業種に合わせて様々な活用方法が考えられます。自社のシステムに組み込みたい、画像解析を活用したサービスを検討したいなどございましたら、お気軽にお問合せください。