Experimental Models for Valida3ng Technology Marvin V. - PowerPoint PPT Presentation

Experimental ¡Models ¡for ¡Valida3ng ¡ Technology ¡ Marvin ¡V. ¡Zelkowitz ¡ ¡ P ¡R ¡E ¡S ¡E ¡N ¡T ¡E ¡D ¡BY ¡: ¡Djedjiga ¡OuAoua ¡ ¡

INTRODUCTION ¡ ¡ ¡ ¡ ¡ Effec3ve ¡soBware ¡(new ¡technology) ¡: ¡ ¡ we ¡can ¡have ¡these ¡aEributes ¡ low ¡cost, ¡reliable, ¡rapidly ¡developed, ¡safe, ¡or ¡has ¡some ¡other ¡relevant ¡ aEribute. ¡ ¡ ¡ One ¡technique ¡is ¡more ¡or ¡less ¡effec3ve ¡than ¡another ¡ � Need ¡Measure ¡each ¡soLware ¡aEribute ¡ � number ¡of ¡failures ¡per ¡day, ¡ � errors ¡found ¡during ¡development ¡ � MTBF ¡(mean ¡Ame ¡between ¡failures) ¡ ¡ � count ¡of ¡the ¡number ¡of ¡errors ¡found ¡during ¡tesAng ¡ ¡: ¡ ¡are ¡there ¡errors ¡ remaining ¡to ¡be ¡found ¡? ¡ ¡ ¡ ¡ ¡ ¡……. ¡

INTRODUCTION ¡ We ¡should ¡do ¡experimenta3on : ¡ ¡ • EvaluaAon ¡aEribute ¡ ¡ • Determine ¡whether ¡methods ¡used ¡ ¡effecAve ¡and ¡necessary ¡ ¡ ¡ ¡ Now ¡In ¡most ¡case ¡: ¡ the ¡creator ¡of ¡the ¡technology ¡ ¡ • implements ¡the ¡technology ¡ ¡ • shows ¡that ¡it ¡works. ¡ ¡ ¡ we ¡need ¡to ¡do ¡more ¡than ¡simply ¡say, ¡“I ¡tried ¡it, ¡and ¡I ¡like ¡it.” ¡ o Researchers ¡write ¡papers ¡that ¡explain ¡some ¡new ¡technology; ¡then ¡ they ¡perform ¡“experiments” ¡to ¡show ¡how ¡effecAve ¡the ¡technology ¡is. ¡

HOW ¡DO ¡WE ¡EXPERIMENT? ¡ Experimenta3on ¡: ¡is ¡a ¡crucial ¡part ¡of ¡aEribute ¡evaluaAon ¡and ¡can ¡help ¡ determine ¡whether ¡methods ¡used ¡in ¡accordance ¡with ¡some ¡theory ¡during ¡ product ¡development ¡will ¡result ¡in ¡soLware ¡being ¡as ¡effecAve ¡as ¡necessary ¡ ¡ ¡ ¡ How ¡to ¡experiment ¡ : ¡ ¡ ¡ • we ¡collect ¡enough ¡data ¡from ¡a ¡sufficient ¡number ¡of ¡subjects ¡all ¡adhering ¡ to ¡the ¡same ¡treatment, ¡in ¡order ¡to ¡obtain ¡a ¡staAsAcally ¡significant ¡result ¡ on ¡the ¡aEribute ¡of ¡concern, ¡compared ¡to ¡some ¡other ¡treatment ¡ ¡ ¡ � One ¡type ¡of ¡experimentaAon: ¡ ¡ ¡Data ¡collecAon ¡and ¡analysis ¡ ¡ Others ¡approaches ¡grouped ¡in ¡4 ¡general ¡categories ¡(4 ¡categories ¡of ¡ experimenta3on): ¡ ¡ � ScienAfic ¡method ¡: ¡test ¡alternaAve ¡variaAons ¡of ¡the ¡hypothesis ¡ ¡ � Engineering ¡method ¡: ¡test ¡a ¡soluAon ¡to ¡a ¡ ¡hypothesis, ¡improve ¡the ¡soluAon ¡ ¡ � Empirical ¡method ¡: ¡validate ¡a ¡given ¡hypothesis ¡by ¡a ¡staAsAcal ¡method. ¡ Data ¡is ¡collected ¡to ¡verify ¡the ¡hypothesis ¡ � AnalyAcal ¡method ¡ ¡: ¡ ¡we ¡developed ¡a ¡formal ¡theory ¡ ¡ • ¡ ¡

Scien3fic ¡method ¡ ¡ hEp://www.sciencebuddies.org/science-­‑fair-­‑projects/project_scienAfic_method.shtml ¡ ¡ ¡

Engineering ¡method ¡ hEp://ssds-­‑science5774.weebly.com/scienAfic-­‑method-­‑and-­‑the-­‑engineering-­‑design-­‑ process.html ¡ ¡

Empirical ¡method ¡ ¡ • ObservaAon: ¡The ¡collecAng ¡and ¡ organisaAon ¡of ¡empirical ¡facts; ¡ Forming ¡hypothesis. ¡ • InducAon: ¡FormulaAng ¡ hypothesis. ¡ • DeducAon: ¡DeducAng ¡ consequences ¡of ¡hypothesis ¡as ¡ testable ¡predicAons. ¡ • TesAng: ¡TesAng ¡the ¡hypothesis ¡ with ¡new ¡empirical ¡material. ¡ • EvaluaAon: ¡EvaluaAng ¡the ¡ outcome ¡of ¡tesAng ¡ hEps://en.wikipedia.org/wiki/Empirical_research ¡ ¡ ¡ ¡

HOW ¡DO ¡WE ¡EXPERIMENT? ¡ common ¡: ¡ ¡collecAon ¡of ¡data ¡on ¡the ¡development ¡process ¡or ¡the ¡ product ¡itself ¡ ¡ ¡ ¡ In ¡an ¡experiment, ¡a ¡researcher ¡manipulates ¡one ¡or ¡more ¡ variables ¡: ¡ ¡ • independent ¡variable ¡( ¡factors) ¡ • ¡dependent ¡variables ¡ • ¡experimental ¡units ¡: ¡ ¡ ¡

HOW ¡DO ¡WE ¡EXPERIMENT? ¡ 1-­‑Factor ¡ ¡(independent ¡variable): ¡ ¡is ¡explanatory ¡variable ¡manipulated ¡by ¡the ¡ experimenter. ¡Each ¡factor ¡has ¡two ¡or ¡more ¡ levels ¡(i.e., ¡different ¡values ¡of ¡the ¡factor). ¡ CombinaAons ¡of ¡factor ¡levels ¡are ¡called ¡ treatments . ¡ ¡ • 2 ¡factors ¡: ¡dosage ¡of ¡Vitamin ¡C ¡and ¡dosage ¡of ¡Vitamin ¡E. ¡ ¡ • 6 ¡Treatments ¡: ¡ 2-­‑ ¡Dependent ¡variable . ¡The ¡dependent ¡variable ¡in ¡this ¡experiment ¡would ¡be ¡some ¡ measure ¡of ¡health ¡(annual ¡doctor ¡bills, ¡number ¡of ¡colds ¡caught ¡in ¡a ¡year, ¡number ¡of ¡days ¡ hospitalized, ¡etc.). ¡ 3-­‑Experimental ¡units ¡(subject). ¡The ¡recipients ¡of ¡experimental ¡treatments ¡: ¡people ¡ (parAcipants), ¡plants, ¡animals ¡(subjects), ¡ ¡lab, ¡. ¡ o the ¡researcher ¡is ¡studying ¡the ¡ possible ¡effects ¡of ¡Vitamin ¡C ¡and ¡ Vitamin ¡E ¡on ¡health. ¡ ¡ hEp://staErek.com/experiments/what-­‑is-­‑an-­‑experiment.aspx?Tutorial=AP ¡ ¡

The ¡goal ¡of ¡an ¡experiment ¡ : ¡ o collect ¡enough ¡data ¡from ¡a ¡sufficient ¡number ¡of ¡ subjects ¡ ¡ o ¡ ¡ ¡In ¡order ¡to ¡– ¡obtain ¡a ¡staAsAcally ¡significant ¡result ¡ on ¡the ¡aEribute ¡compared ¡to ¡ ¡some ¡other ¡treatment ¡ ¡

Characteris3cs ¡of ¡a ¡Well-­‑Designed ¡Experiment ¡ 1-­‑Replica3on. ¡ReplicaAon ¡refers ¡to ¡the ¡pracAce ¡of ¡assigning ¡each ¡ treatment ¡to ¡many ¡experimental ¡units. ¡ ¡ 2-­‑ ¡influence ¡: ¡ ¡we ¡need ¡to ¡know ¡the ¡impact—that ¡is, ¡the ¡influence— that ¡a ¡given ¡experimental ¡design ¡has ¡on ¡the ¡results ¡of ¡an ¡experiment. ¡ ¡ ¡ They ¡Classify ¡: ¡ ¡Methods ¡passive ¡and ¡Methods ¡acAve ¡ 3-­‑ ¡Temporal ¡proper3es ¡: ¡ Data ¡collecAon ¡may ¡be ¡historical ¡(for ¡example, ¡ archaeological) ¡or ¡current ¡(for ¡example, ¡monitoring ¡a ¡current ¡project). ¡Historical ¡ data ¡will ¡certainly ¡be ¡passive, ¡but ¡may ¡be ¡missing ¡just ¡the ¡informaAon ¡we ¡need ¡to ¡ come ¡to ¡a ¡conclusion ¡ 3-­‑Local ¡Control ¡: ¡refers ¡to ¡steps ¡taken ¡to ¡reduce ¡the ¡effects ¡of ¡extraneous ¡variables ¡(i.e., ¡ variables ¡other ¡than ¡the ¡independent ¡variable ¡and ¡the ¡dependent ¡variable). ¡ ¡

Characteris3cs ¡of ¡a ¡Well-­‑Designed ¡Experiment ¡ o Example ¡of ¡no ¡controls ¡ Consider ¡this ¡example. ¡A ¡drug ¡manufacturer ¡tests ¡a ¡new ¡cold ¡ medicine ¡with ¡200 ¡parAcipants ¡-­‑ ¡100 ¡men ¡and ¡100 ¡women. ¡ The ¡men ¡receive ¡the ¡drug, ¡and ¡the ¡women ¡do ¡not. ¡At ¡the ¡ end ¡of ¡the ¡test ¡period, ¡the ¡men ¡report ¡fewer ¡colds. ¡ it ¡is ¡impossible ¡: ¡ ¡to ¡say ¡whether ¡the ¡drug ¡was ¡effecAve. ¡ we ¡don’t ¡consider ¡: ¡ • The ¡men ¡are ¡less ¡vulnerable ¡to ¡the ¡parAcular ¡cold ¡virus ¡ circulaAng ¡during ¡the ¡experiment ¡ ¡ • The ¡men ¡experienced ¡a ¡placebo ¡effect. ¡

VALIDATION ¡MODELS ¡ ¡ o We ¡describe ¡now ¡several ¡approaches ¡and ¡the ¡results ¡of ¡a ¡study ¡and ¡how ¡ ¡these ¡ approaches ¡ ¡have ¡been ¡used ¡: ¡ ¡ ¡ ¡ ¡ Valida3on ¡Models ¡: ¡ They ¡idenAfy ¡ ¡12 ¡methods ¡used ¡by ¡researchers ¡to ¡develop ¡ new ¡technology ¡that ¡have ¡been ¡used ¡in ¡the ¡computer ¡field ¡: ¡ 1. ¡Project ¡monitoring ¡: ¡ObservaAonal ¡ ¡ 2. Case ¡study ¡: ¡ObservaAonal ¡ ¡ 3. AsserAon ¡ ¡: ¡ ¡informal ¡(no ¡validaAon) ¡ 4. Field ¡study ¡: ¡ ¡ObservaAonal ¡ ¡ 5. Literature ¡search ¡: ¡Historical ¡ ¡ 6. Legacy ¡: ¡Historical ¡ ¡ 7. Lessons ¡learned ¡: ¡Historical ¡ ¡ 8. StaAc ¡analysis ¡: ¡Historical ¡ ¡ 9. Replicated ¡: ¡controlled ¡ ¡ 10. SyntheAc ¡: ¡controlled ¡ ¡ 11. Dynamic ¡analysis ¡: ¡controlled ¡ ¡ 12. SimulaAon ¡: ¡controlled ¡ ¡