Dynamically shaping the reordering search space of phrase-based SMT - PowerPoint PPT Presentation

Dynamically shaping the reordering search space of phrase-based SMT Arianna Bisazza & Marcello Federico

Phrase-based SMT • No ¡sentence ¡structure, ¡can ¡only ¡model ¡local ¡dependencies ¡ • Wrt ¡tree-­‑based ¡SMT: ¡smaller ¡models, ¡faster ¡decoding, ¡very ¡ compe>>ve ¡for ¡transla>ng ¡between ¡similar ¡languages ¡ • Most ¡popular ¡framework ¡in ¡SMT ¡produc>on ¡scenarios ¡today ¡ ¡ 2 ¡ 2 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

Phrase-based SMT • No ¡sentence ¡structure, ¡can ¡only ¡model ¡local ¡dependencies ¡ • Wrt ¡tree-­‑based ¡SMT: ¡smaller ¡models, ¡faster ¡decoding, ¡very ¡ compe>>ve ¡for ¡transla>ng ¡between ¡similar ¡languages ¡ • Most ¡popular ¡framework ¡in ¡SMT ¡produc>on ¡scenarios ¡today ¡ ¡ • Problem: ¡doesn’t ¡handle ¡well ¡long-­‑range ¡reordering! ¡ • Goal ¡of ¡this ¡work: ¡dynamically ¡shape ¡the ¡space ¡of ¡reorderings ¡ explored ¡during ¡search ¡ • BeNer ¡transla>on ¡and ¡faster ¡decoding ¡with ¡loose ¡reordering ¡ contraints ¡ 3 ¡ 3 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

Phrase-based SMT Disto. ¡scores ¡ Disto. ¡scores ¡ ¡ ¡ ¡word S1 ¡ ¡ ¡ word S2 ¡ ¡ ¡word S3 ¡ ¡ ¡ ¡word S4 ¡ ¡ word S5 ¡ ¡ ¡ ¡ word S6 ¡ ¡ ¡ word S7 ¡ ¡ ¡ ¡ ¡ SRC: ¡ ¡TRG: ¡ word T1 ¡ ¡ ¡ word T2 ¡ ¡ ¡ ¡ ¡ ¡word T3 ¡ ¡ ¡word T4 ¡ ¡ ¡ ¡ ¡ ¡ ¡. ¡ ¡. ¡ ¡. ¡ LM ¡scores ¡ LM ¡scores ¡ ¡ ¡ ¡ ¡ ¡α TM ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ α TM-­‑i ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ α LM ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡α RM ¡ ¡ ¡+ ¡ + ¡ ¡ ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ logP TM-­‑d (f|e) ¡ logP TM-­‑i (e|f) ¡ logP LM (e) ¡ logP RM (f t-­‑ 1 ,f t ) ¡ 4 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

Reordering search space 5 ¡ 5 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

Reordering search space • Searching ¡over ¡all ¡permuta>ons ¡is ¡NP-­‑hard ¡ • Hard ¡reordering ¡constraints ¡applied ¡on ¡word-­‑to-­‑word ¡jumps ¡ 6 ¡ 6 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

Reordering search space • Searching ¡over ¡all ¡permuta>ons ¡is ¡NP-­‑hard ¡ • Hard ¡reordering ¡constraints ¡applied ¡on ¡word-­‑to-­‑word ¡jumps ¡ w 0 ¡ w 1 ¡ w 2 ¡ w 3 ¡ w 4 ¡ w 5 ¡ w 6 ¡ w 7 ¡ w 8 ¡ w 9 ¡ <s> ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ w 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ w 1 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ w 2 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ w 3 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ w 4 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ w 5 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ w 6 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ w 7 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ w 8 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ ¡. ¡. ¡. ¡ ¡ w 9 ¡ 10 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 7 ¡ 7 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

Reordering search space • Searching ¡over ¡all ¡permuta>ons ¡is ¡NP-­‑hard ¡ • Hard ¡reordering ¡constraints ¡applied ¡on ¡word-­‑to-­‑word ¡jumps ¡ w 0 ¡ w 1 ¡ w 2 ¡ w 3 ¡ w 4 ¡ w 5 ¡ w 6 ¡ w 7 ¡ w 8 ¡ w 9 ¡ <s> ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ w 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ w 1 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ w 2 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ w 3 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ Linear ¡distor>on ¡limit ¡(DL) ¡ w 4 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ w 5 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ w 6 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ w 7 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ w 8 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ ¡. ¡. ¡. ¡ ¡ w 9 ¡ 10 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ DL=3 ¡ 8 ¡ 8 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

w 0 ¡ w 1 ¡w 2 ¡ w 3 ¡ w 4 ¡ w 5 ¡ w 6 ¡ w 7 ¡ w 8 ¡ w 9 ¡ w 10 ¡ <s> ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ 10 ¡ The problem with DL w 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ w 1 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ w 2 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ w 3 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ w 4 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ w 5 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ w 6 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ w 7 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ w 8 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ Arabic-­‑English ¡ w 9 ¡ 10 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ w 10 ¡ 11 ¡10 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ EN ¡ EN ¡ AR ¡ AR ¡ 9 ¡ 9 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡

w 0 ¡ w 1 ¡w 2 ¡ w 3 ¡ w 4 ¡ w 5 ¡ w 6 ¡ w 7 ¡ w 8 ¡ w 9 ¡ w 10 ¡ <s> ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ 10 ¡ The problem with DL w 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ w 1 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ w 2 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ w 3 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ w 4 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ w 5 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ w 6 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ w 7 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ 2 ¡ w 8 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ 1 ¡ Arabic-­‑English ¡ w 9 ¡ 10 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 0 ¡ w 10 ¡ 11 ¡10 ¡ 9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ EN ¡ EN ¡ AR ¡ AR ¡ 10 ¡ 10 ¡ Bisazza ¡& ¡Federico ¡– ¡Dynamically ¡shaping ¡the ¡reordering ¡search ¡space ¡of ¡PSMT ¡