華為云文字識別服務關鍵技術、能力和產品落地需要注意的事宜（OCR系列二）

下面首先簡單的介紹一下華為云文字識別產品，隨后重點講我們的關鍵技術、關鍵能力，產品的優化之路，做產品需要注意到問題以及踩過的坑。其中很多點是整個人工智能或者以數據為驅動的產品都需要注意的。

華為云OCR技術團隊是做產品的，但是也會參與一些比賽，或者是寫一些論文，來提升技術影響力，比如說2019年ICDAR SROIE票據識別比賽，協同華中大聯合一起參與了這次比賽。在端到端文字識別賽道上，以96.43的超高精度取得了世界第一，超過了2至5名大概是兩個點左右，同時也會申請一些專利。因為我們的創新性，我們獲得了2019數博會領先科技成果獎的新產品獎。

這是我們華為云文字識別服務的全景圖，主要包含五大類，包括通用類，票據類，證件類，行業類，和定制類，通用類包括通用文字，通用表格，網絡截圖等。票據類呢，是指各種票，只是比如說是增值稅發票，火車票，出租車票等。證件類呢，則是各種證件，比如身份證，駕駛證，行駛證，護照等。行業類是面向特定行業的，比如說物流行業的電子面單，紙質面單，比如說生活方面的燃氣表，比如說醫療行業的醫學檢驗單等。定制類呢，則是對客戶進行特殊定制的，比如說是海外的身份證。助力企業生產效率提升，降低運營成本

華為的OCR處理流程，融合了多種圖像處理技術，具有高精度，魯棒性和自適應性等特點。文字識別精度特別高，支持錯行，蓋章，文字疊加等復雜場景，支持多種類型單據，自適應不同質量圖片。整個流程呢，主要包括圖像預處理，表格提取，有沒有表格進一步處理，文字定位，其中可能會有文字矯正，文字識別，文字后處理等，最后返回給客戶的是結構化的json數據。

那么這些能力是如何實現的呢。首先呢，是從硬件開始，我們協同華為云的昇騰（Ascend）芯片做了底層的優化。比如說LSTM多算子融合，比如說算子重寫。其實做深度學習，最好能夠從底層硬件優化開始，當然很多小公司做不到這一點，那就需要在上層優化算法了。還有一點是我們會對圖像進行多種預處理，以提高訓練速度，比如說是我們會把不同的文字成長度，基于多線程放在多個隊列里，然后提高讀取數據的速度。也會對累計梯度聚合優化等，一億的切片數據，10小時完成訓練。

做產品的時候會遇到各種各樣的場景，比如說下圖的的蓋章檢測。這是我們廣東的一個客戶的實際場景，需要識別蓋章里的內容。蓋章除了我圖上的橢圓章，其實還有圓形章、方形章、三角形的章等。我們用了各種弧形文字檢測算法，檢測性能都達不到客戶的需求，后來我們做了基于字符的一些優化之后，大概準確率達到了96%左右，基本上可以滿足了客戶的需求。所以說呢。無論是做寫論文兒還是做產品，一定要針對性的持續優化算法。很多原始的論文即使實驗證明性能很好，但在實際場景往往達不到論文里描述的效果。文字識別不優化算法，不如回家賣地瓜。

在深度學習時代，數據成為關鍵，對數據的需求量非常大。但是數據總是有限的，標注數據的成本也巨大，同時需要時間，合成數據基本上成了必選之路。最左邊的是syntext，相信很多團隊都在用，首先使用分割提取到了幾何信息和分割結果，隨后計算景深，然后找到平滑區域生成文字。

我們也會使用傳統方法，比如說opencv、pillow等用來合成整張圖片。我們針對文字自研了一套豐富的增強的算子庫，增加了很多開源工程沒有的算子。同時呢，我們會也會通過GAN轉換一些切片。當然啦，GAN有的時候轉換過的內容會比較莫名其妙。這也是深度學習的問題，很多時候因為不可解釋，結果出來之前你永遠不知道你得到的會是什么。

自動學習，可以錦上添花，比如說我們基于種群增強算法PBA。它能夠快速高效的學到一個神經網絡訓練數據增強方法。在有的場景下，日常情況訓練需要三天，通過PBA生成了生成的數據增強方法后，在實際情況下提高到半天左右。

同時呢，在一些算法模型上，性能也得到了一定的提高，比如說是。在我們一個模型上，它的性能提高了大概三個點左右。我們會基于華為自研的ModelArts平臺進行NAS搜索。然后自動的找出最優的模型。我們的一個海外研究所，在進行模型剪枝的優化等。

自動化是未來，因為現在很多產品都是需要定制的，在人工智能界流傳著有一句話叫做有多少人工就有多少智能，所以說是很多工作是需要大量人工的。為了快速迭代我們的產品，我們構建了自定義平臺。輸入的一定量的原始圖片之后，會進行迅速的用這些圖片兒進行數據增強，然后基于模型進行訓練，得到一個可部署的API接口。我們也會把我們的模型通過模型市場共享出來。

客戶可以繼續我們的模型進行fine-tuning，形成他們獨有的模型，或者是用這些模型來提供服務。

速度和性能需要同時兼顧。下面也是我們實際的一個場景，就是從視頻中識別文字，我們如果基于逐幀進行檢測，然后前后聯系的話，可以大幅度提高性能。大家可以看一下這這個視頻。其中有一部分視頻文字是漏檢的、或者基本識別不出來的，但是我們基于前后聯系，可以修正一部分錯誤結果。但是這里有個問題，因為大部分視頻，一秒大概是25幀，如果我們逐幀識別的話，會對大大地提高了我們的成本。所以說，我們會基于抽幀等優化措施來提高速度。如果我們做產品不考慮成本和速度的話，很多時候是沒有意義的。

對數據懷有敬畏之心，深度學習時代數據很重要，但是切莫貪心，取之有道。我們在海外市場嚴格遵守當地的法律，比如說遵循歐盟的GDPR等隱私保護條例，圖片在內存中運行后，返回結果，圖片直接銷毀。這也是華為30多年服務經驗留下的經驗和教訓，如果我們不注意這一點，很多時候會造成名譽和經濟上重大的損失。

更可怕的是，很多時候這個就可能轉換成政治事件，對我們公司、對我們團隊都帶來了不可估量的影響和損失。而且中國近些年來也越來越注意隱私保護，最近也有相關的立法等。這可能跟我的安全方面的工作經歷也有關，以前我們在給法國電信、德國電信提供華為云PaaS產品服務的時候，任何一點隱私方面的問題都可能牽扯到很多東西。還有一個例子，比如說5g，現在華為就在反復在向全世界證明我們是安全的，是非常尊重客戶隱私的。

方案跟著需求走。這也是實際情況教育我們的。最開始的時候，我們的服務是API的形式，在云上更供客戶調用。但是我們后來遇到了很多客戶，比如說是金融的，比如說是保險的，比如說是醫療的。他們雖然相信華為會遵循數據保護條例。但是依然不會把數據傳出他們的系統。所以說這個時候我們就需要考慮一些其他的服務模式，比如說是邊側，比如說是端側。

除了云側服務器，我們會在邊側提供基于Atlas等的邊側服務器。客戶不需要把他們的數據傳出系統就可以在邊側進行推理，如果客戶對性能要求沒有那么高，也可以使用端側的一些設備，比如說Hilens盒子，比如智能攝像頭等。現在我們做的是云邊端協同部署。基于客戶需求調整業務模式，也是產品成功的關鍵之一。

最后想說的是產品很多時候不僅僅是產品。今年上半年，華為云OCR團隊協助辦了一次文化傳承漢字書法多場景識別的比賽，這也是數字中國大賽的一部分。數字中國大賽中國是工信部和福建省人民政府指導，主題是軟件賦能數字經濟，創新驅動數字中國。這是數字中國的一部分，數字中國是***近幾年提出的，是要把中國建設成數字化社會。

我們的大賽中協助出題，數據，答疑，現場點評等全程參與。我們本來的目的是既宣傳了華為的產品，也看看能不能得到一些新技術。但是大賽之后呢，很多高校的古文系。或者博物館都找到了我們，希望我們共同來做一些古代文識別的項目，幫助他們來解決問題。因為現在很多人不愿意從事這方面的工作，而且很多字認識的人也不是很多，比如小篆。

當然，也遇到了很多難點，比如說是古代很多書法文字，為了避諱，多寫了或者少寫了幾劃。在這里我特別提一下這個事情，就是說是很多時候我們做了產品，是用來賺錢的。但是很多時候也可以用來做一些更有意義的事情，比如說是來解決一些社會問題，比如說來傳承一些文化。當然，這也可能是我們作為技術人員的一種情懷吧。這個事情我們非常高興和自豪，所以特地單獨提一下。

人工智能 深度學習 文字識別

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。