圖形辨識理論與應用課程

Post date: 2013/3/24 下午 12:47:49

課程投影片

  • 課程簡介(投影片下載
  • OCR的概況及其在文件管理的應用(投影片下載
  • 中文文件分析與辨識(投影片下載)
  • ADMS 文件管理系統(投影片下載)

補充投影片

範例程式與資料

以內容為基礎之影片檢索(Content-Based Video Retrieval,CBVR)

  • 系統整合雛形系統展示,影片擷取自『一家之鼠2,Stuart Little 2』(here,Under Construction)

Video 字幕標準字集樣本收集

簡易辨識器設計

  • 正規化(Normalization)
    • 將文字樣本進行尺度正規化(Scale Normalization)處理(程式下載,範例字『』)
  • 分類器設計 (Classifier Design)
    • 利用距離分類器(Distance Classifier)設計的簡易文字辨識器(程式下載,2004/10/12 修正版)
      • 範例字『茶』原始, 修改1, 修改2
      • 簡易文字辨識器之樣本庫(字典)(下載,約 7.5M)
      • 加速樣本庫讀入版本(程式下載,使用二進位化的樣本庫,直接整塊讀取)
    • 利用 K-NN 分類器(K Nearest Neighbor Classifier)設計的簡易文字辨識器(程式下載
  • 特徵抽取(Feature Extraction)
    • 利用文字樣本之特徵抽取(Feature Extraction)模組,以取得較穩定可靠的特徵,作為辨識時所用樣本庫字典較為濃縮有效的儲存方式(程式下載)(所產生之特徵資料庫檔案下載,約 15M)
    • 常用中文字特徵
    • PJF:Projection(投影)Feature
    • PHF:Peripheral(周邊)Feature
    • XCF:Cross Count(穿越數)Feature
    • DNF:Density(密度)Feature
    • 、、、、、、
  • 特徵抽取+分類器整體設計
    • 利用所抽取特徵設計的 K-NN 分類器
      • 藉由分類器的辨識率來評估各種特徵的優劣
      • 如何綜合各種特徵的優點? (距離的定義?加權距離?)
    • 利用多階段(Multi-staged)加快分類器計算速度
      • 快速候選字篩選(Candidate Filtering or Candicate Reduction)
      • 速度加快,然而,邊際效應(Side Effect)是辨識率下降
      • 範例程式(下載,Not Yet)
  • 系統評估(System Evaluation)
    • 有效性(Effectiveness):Peformance
      • Recognition Rate
      • Recognition Rate v.s. Accumulated Recognition Rate
      • Precision v.s. Recall
    • 效率(Efficiency):Computational time
    • 公平性(Fairness):
      • Training samples v.s. Testing samples
      • Leave-one-out test
        • 以 Distance Classifier 為例(程式與樣本庫下載,約 6M,因為樣本庫太大,辨識速度太慢,只辨識前 100 個樣本)
        • 以 K-NN Classifier 為例(程式下載,樣本庫與上例相同,只辨識前 100 個樣本)
        • 以 DNF 所建構之 K-NN Classifier 為例(程式與樣本庫下載,約 11M,只辨識前 100 個樣本)
        • K-NN Classifier 在不同 K 值時,辨識效果隨問題的不同而改變,可評估 K 值對辨識率的影響
      • Supervised Learning v.s. Unsupervised Learning
  • Classification(分類)v.s. Clustering(分群、群聚)
    • Classification by supervised learning
    • Clustering by unsupervised learning
  • Clustering 應用領域
    • 範例:色彩量化(Color Quantization)(K-means 色彩量化程式下載範例圖片
    • 範例:極大類別(class)數分類時的加速方法,如:中文字辨識的加速

Popular Data Set for Pattern Recognition Research

  • Data Set (下載,Including IRIS data)

Bayes Classifier Design

  • 貝氏定理(Bayes Theory)
    • a priori probability v.s. a posteriori probability
    • likelyhood function
  • 貝氏分類規則(Bayes Classification Rule)
    • If P{ wi | x } > P{ wj | x }, i <> j, then x is classified to wi
  • Discriminant Function and Decision Surface
  • Multivariate Normal Distribution
    • mean vector
    • covariance matrix
    • MLE(Maximum Likelyhood Estimate)
      • mean vector
      • covariance matrix
      • 以 IRIS data 為範例樣本(程式下載,2004/11/27 修正版)
    • matrix inverse & determinant(程式下載,利用數學軟體 Maple 輔助)
  • 利用 IRIS Data 作為 training samples 所設計的 Bayes Classifier(程式下載,Leave-one-out test)
  • Unknown Distribution
    • Nonparametric Estimation
      • Histogram
      • Parzen Window

Video 中出現文字之偵測與切割

  • 參考文獻
    • Keechul Jung, Kwang In Kim, and Anil K. Jain, "Text information extraction in images and video: a survey," Pattern Recognition 37, pp.977–997 , (2004).
  • 早期研究之雛形系統(BCB 版本程式下載範例影像

Linear Classifier Design

  • Linear Discriminant Function g(x) = wT x + w0
  • Decision Rule
    • If g(x) > 0, x is assigned into C1
    • If g(x) < 0, x is assigned into C2
  • Linearly Separable
  • Learning Rule
    • Training w by training samples
    • Perceptron Algorithm(Gradient Descent Method)
      • Perceptron Cost(Error Function)J(w)
      • w(t+1) = w(t) - s (dJ(w)/dw)
    • 範例程式(下載
    • Variations of perceptron algorithm
      • Reward and Punishment Scheme(範例程式,下載,Not Yet)
      • The Pocket Algorithm(範例程式,下載,Not Yet)
      • 、、、、、、
  • Perceptron(Neuron)
    • A simple example of learning machine
    • Learning machine
      • A learning machine is a device (or program) whose free parameters are updated by a learning algorithm, such as the perceptron algorithm, in order to learn a specific task, based on a set of training data.
    • The Perceptron is too simple to solve complex problems.
    • 範例程式(下載,Not Yet)
  • Least Square Method
    • Least Mean Square Error (MSE) Estimation
      • MSE J(w) = E{ | y- x^tw |^2 }
      • To find w = arg min_w J(w)
      • w = (Rx)^-1 E{ xy }, where Rx is the autocorrelation matrix of x
      • Probability distribution?
      • 範例程式(下載,Not Yet)
    • Stochastic approximation

Nonlinear Classifier Design

  • Support Vector Machine
    • Tutorial resources:
      • Hearst M.A., Dumais S.T., Osman E., Platt J., and Scholkopf B., "Support vector machines," IEEE Intelligent Systems, vol.13, Iss. 4, p.18-28, July-Aug. (1998).
      • http://www.kernel-machines.org/
      • LIBSVM(林智仁教授,台灣大學資訊工程系,here
        • 外部程式與 LIBSVM 的連結範例(下載
        • 原本的 LIBSVM 已經略作修改(修改後的版本,下載
  • Artificial Neural Networks
    • Tutorial resources:
      • Tutorial introduction report of ANN(here
    • Source code collection:
      • Neural Networks at your Fingertips(here
    • Development Tools:
      • NeuroSolutions(here
      • Matlab Neural Networks Toolbox(here
    • Multi-layer Perceptron(MLP)應用於 IRIS Data 的範例
      • 啟始 MLP 的範例程式(下載
      • 分類 IRIS Data 的範例程式(下載
      • 訓練調整 MLP 的範例程式(下載,只訓練一回合)
      • 疊代式(Iterative)訓練調整 MLP 的範例程式(下載,疊代若干回合)
      • 訓練 5,000,000 回合後的 weights 資料檔(下載
  • Fuzzy System
    • (Not Yet)
  • Kernel-based Approach
    • (Not Yet)

Clustering

  • 兩種典型叢集方法
    • C-means method(Crisp/Fuzzy C-means 範例程式,下載
    • Competitive method(TSVQ 範例程式,下載
  • 重要應用
    • 色彩量化(Color Quantization)
    • 特徵分析(Feature Analysis)
    • 加速辨識
    • 影像壓縮(Image Compression)
  • 相關領域
    • 向量量化(Vector Quantization)
    • Kohonen's Self-Organized Map(SOM)

圖形識別理論之應用實例

  • 人臉偵測(Face Detection)
  • 姿勢辨認(Gesture Recognition)
  • 文字偵測(Text Detection)
  • 數位網點型態辨識(Configuration Recognition of Digital Halftoning Cells)
  • 色彩量化(Color Quantization)
  • 彩色影像分割(Color Image Segmentation)
  • 中文字辨識加速方法(Speedup Method of Chinese Character Recognition)
  • 中文混淆字集的辨識(Chinese Character Recognition in a Confusing Set)
  • 字型鑑定(Font Identification)
  • 簽名鑑識(Signature Verification)
  • 微陣列狀態辨識(Recognition of Micro-array Status)
  • 以內容為基礎之影像檢索(Content Based Image Retrieval)
  • 以內容為基礎之影片檢索(Content Based Video Retrieval)
  • 數位影像光源特性偵測
  • 印刷網點濃度度量
  • 色彩校正
  • 、、、、、、