����������������������������������������������������������������� 1 Learning-based Contour Detection & Contour-based Object Detection Iasonas Kokkinos Department of Applied Mathematics Galen Group Ecole Centrale de Paris INRIA-Saclay 21 January, 2011 Visual Geometry Group, Oxford
����������������������������������������������������������������� 2 Talk outline Boundary Detection (35’) Logistic regression and Anyboost F-measure Boosting MIL and boundary detection Monte Carlo approximations for large-scale datasets Monte Carlo approximations for large-scale datasets Appearance descriptors and boundary detection Object Detection (15’) Coarse-to-fine inference (parsing) Model learning
����������������������������������������������������������������� 3 Image Contours Object/Surface Boundaries (edges)
����������������������������������������������������������������� 4 Image Contours Symmetry axes (ridges/valleys)
����������������������������������������������������������������� 5 A biref anlaogy wtih txet Waht mttares is waht hppaens on wrod bandouries Mocpera iwht htsi (compare with this) Concrete evidence that our visual system employs boundary detection Contour-based approaches: shape matching, segmentation, recognition,..
����������������������������������������������������������������� 6 How can we detect boundaries? Filtering approaches Canny (1984), Morrone and Owens (1987), Perona and Malik (1991),.. Scale-Space approaches Witkin, A. P. "Scale-space filtering", IJCAI (1983) Tony Lindeberg `Edge Detection and Ridge Detection with Automatic Scale Selection.’, IJCV, 30(2), 117-156, (1998) Variational approaches M. Kass, A. Witkin and D. Terzopoulos, `Snakes: Active Contour Models’, ICCV (1987) V. Caselles, R. Kimmel, G. Sapiro: Geodesic Active Contours. IJCV22(1): 61-79 (1997) K. Siddiqi, Y. Lauzière, A. Tannenbaum, S. Zucker: Area and length minimizing flows for shape segmentation. IEEE TIP 7(3): 433-443 (1998) Gestalt-based approaches Agnès Desolneux, Lionel Moisan, Jean-Michel Morel: Meaningful Alignments. International Journal of Computer Vision 40(1): 7-23 (2000)
����������������������������������������������������������������� 7 Learning-based approaches Boundary or non-boundary? Use human-annotated segmentations Use human-annotated segmentations S. Konishi, A.Yuille, J. Coughlan, S.C. Zhu, “Statistical Edge Detection: Learning and Evaluating Edge Cues”, IEEE PAMI, 2003 D. Martin, C. Fowlkes, J. Malik. "Learning to Detect Natural Image Boundaries Using Local Brightness, Color and Texture Cues", IEEE PAMI, 2004
����������������������������������������������������������������� 8 Progress during the last 40 years Humans Berkeley gPb, ‘08 Berkeley PB, ‘04 Canny+ Hysteresis Prewitt, 1965
����������������������������������������������������������������� 9 A closer look into gPb: features Local features (Pb, 2004) Global features (gPb, 2008) N-Cuts eigenvectors r θ (x,y) In specific:
����������������������������������������������������������������� 10 A closer look into gPb: classifier Logistic regression
����������������������������������������������������������������� 11 Talk outline Boundary Detection (35’) Logistic regression and Anyboost F-measure Boosting MIL and boundary detection Monte Carlo approximations for large-scale datasets Monte Carlo approximations for large-scale datasets Appearance descriptors and boundary detection Object Detection (15’) Coarse-to-fine inference (parsing) Model learning
����������������������������������������������������������������� 12 Learning Given: Training set of feature-label pairs Wanted: `simple’ that `works well’ on `simple’: quantified by VC dimension, curvature,… `works well’: quantified by loss criterion
����������������������������������������������������������������� 13 Logistic regression Linear function: Log-likelihood of training pair: Loss function: Optimization: Newton-Raphson (IRLS)
����������������������������������������������������������������� 14 Anyboost Additive form: At each round, add optimal pair See training cost as function of Steepest descent direction: Find `closest’ to Adaboost: exponential loss sign weight
����������������������������������������������������������������� 15 Side-by-side Logistic regression Anyboost � Additive � Linear � Summands: features � Summands: features � Summands: weak learners � Summands: weak learners � fixed � added `on the fly’ � � : Newton-Raphson : Coordinate descent � Cost: exponential loss (Adaboost) � Cost: minus label log likelihood Connections: M. Collins, R. Schapire, Y. Singer `Logistic Regression, AdaBoost and Bregman Distances’ COLT (2000)
����������������������������������������������������������������� 16 A compact combination Goal: quick classification, using small (e.g. ) feature set. � Additive � (linear part) � Remaining summands: weak learners (nonlinearities) � : Newton-Raphson, at each iteration � Slower, but off-line � Cost?
����������������������������������������������������������������� 17 Talk outline Boundary Detection (35’) Logistic regression and Boosting, Anyboost F-measure Boosting MIL and boundary detection Monte Carlo approximations for large-scale datasets Monte Carlo approximations for large-scale datasets Appearance descriptors and boundary detection Object Detection (15’) Coarse-to-fine inference (parsing) Model learning
����������������������������������������������������������������� 18 Cost function for training Training set Classifier Loss additive additive non-additive: F-measure, Area Under Curve (AUC),… - potentially better suited for the problem - but also potentially non-convex (local optimality) T. Joachims, `A Support Vector Method for Multivariate Performance Measures’, ICML, 2005 M. Jansche, `Maximum Expected F-Measure Training Of Logistic Regression Models’, EMNLP, 2005 M. Ranjbar, G. Mori and Y. Wang `Optimizing Complex Loss Functions in Structured Prediction’ ECCV, 2010
����������������������������������������������������������������� 19 F-measure Goal: deal with unbalanced datasets (many negative) no reward for true negative decisions Predicted label true positives misses false alarms precision recall F-measure: geometric mean of precision and recall
����������������������������������������������������������������� 20 F-measure approximation predicted label differentiable approximation approximate F-measure M. Jansche, ‘Maximum Expected F-Measure Training Of Logistic Regression Models’, EMNLP, 2005
Recommend
More recommend