¡ The ¡Hermeneu*cs ¡of ¡Distant ¡ Listening ¡to ¡Spoken ¡Word ¡Texts ¡with ¡ High ¡Performance ¡Sound ¡ Technologies ¡for ¡Access ¡and ¡ Scholarship ¡ ¡ ¡ Tanya ¡Clement, ¡Assistant ¡Professor ¡ School ¡of ¡Informa*on ¡ University ¡of ¡Texas ¡at ¡Aus*n ¡
• Bernstein, ¡Charles. ¡ Close ¡Listening : ¡Poetry ¡and ¡the ¡ Performed ¡Word . ¡Oxford ¡University ¡Press, ¡1998: ¡3-‑26. ¡ Print. ¡ • Clement, ¡T., ¡Tcheng, ¡D., ¡Auvil, ¡L., ¡Capitanu, ¡B., ¡and ¡ Barbosa, ¡J. ¡" Distant ¡Listening ¡ to ¡Gertrude ¡Stein's ¡ 'Melanctha': ¡Using ¡Similarity ¡Analysis ¡in ¡a ¡Discovery ¡ Paradigm ¡to ¡Analyze ¡Prosody ¡and ¡Author ¡Influence." ¡ Literary ¡and ¡Linguis5c ¡Compu5ng ¡28.4 ¡(2013): ¡ 582-‑602. ¡ • Clement, ¡T. ¡" Distant ¡Listening ¡or ¡Playing ¡Visualiza*ons ¡ Pleasantly ¡with ¡the ¡Eyes ¡and ¡Ears." ¡ Digital ¡Studies ¡/ ¡Le ¡ champ ¡numérique . ¡3.2 ¡(2012). ¡ ¡
h_p://blogs.ischool.utexas.edu/hipstas/ ¡
HiPSTAS ¡team ¡ 1. Tanya ¡Clement , ¡[PI] ¡ 2. Lore4a ¡Auvil ¡[Co-‑PI] ¡is ¡a ¡Senior ¡Project ¡ Coordinator ¡at ¡the ¡Illinois ¡Informa*cs ¡ Ins*tute ¡(I3) ¡at ¡the ¡University ¡of ¡Illinois ¡at ¡ Urbana-‑Champaign ¡ 3. David ¡Tcheng ¡[Co-‑PI] ¡is ¡a ¡Research ¡ Programmer ¡at ¡I3; ¡ARLO ¡developer ¡ 4. Tony ¡Borries ¡is ¡a ¡Research ¡Programmer ¡ working ¡as ¡a ¡consultant ¡with ¡I3; ¡programmer ¡
HiPSTAS ¡collec*ons ¡ • poetry ¡from ¡PennSound ¡at ¡the ¡University ¡of ¡ Pennsylvania ¡30,000 ¡audio ¡files ¡ • folklore ¡at ¡the ¡Dolph ¡the ¡Briscoe ¡Center ¡for ¡ American ¡History ¡at ¡UT ¡Aus*n, ¡57 ¡feet ¡of ¡ tapes ¡(reels ¡and ¡audiocasse_es) ¡ • speeches ¡at ¡the ¡Lyndon ¡B. ¡Johnson ¡Library ¡and ¡ Presiden*al ¡Museum ¡(LBJ ¡Library) ¡in ¡Aus*n ¡ • storytelling ¡tradi*ons ¡at ¡the ¡Na*ve ¡American ¡ Projects ¡(NAP) ¡at ¡the ¡American ¡Philosophical ¡ Society ¡in ¡Philadelphia ¡, ¡50 ¡tribes, ¡3,000 ¡hours ¡
Other ¡collec*ons ¡of ¡interest ¡to ¡ HiPSTAS ¡Par*cipants ¡ • Field ¡recordings ¡(200,000 ¡recordings) ¡American ¡Folklife ¡ Center, ¡Library ¡of ¡Congress ¡ • 30, ¡000 ¡hours, ¡Oral ¡histories, ¡Storycorps ¡ • Speeches ¡in ¡the ¡Southern ¡Chris*an ¡Leadership ¡Conference ¡ recordings, ¡Emory ¡University ¡ ¡ • 700 ¡recordings ¡in ¡the ¡Elliston ¡Poetry ¡Collec*on ¡at ¡the ¡ University ¡of ¡Cincinna* ¡ ¡ ¡ • 36 ¡interviews ¡in ¡the ¡Dust, ¡Drought ¡and ¡Dreams ¡Gone ¡Dry: ¡ Oklahoma ¡Women ¡and ¡the ¡Dust ¡Bowl ¡(WDB) ¡oral ¡history ¡ project ¡out ¡of ¡the ¡Oklahoma ¡State ¡Libraries ¡ ¡
HiPSTAS ¡is ¡NOT ¡about ¡ ¡ searching ¡or ¡analyzing ¡sound ¡ by ¡searching ¡or ¡indexing ¡text ¡
Energy ¡represented ¡by ¡ ¡ a ¡heat ¡based ¡color ¡scheme. ¡ White ¡– ¡ho_est, ¡most ¡intense ¡ ¡ Yellow ¡ HZ, ¡a ¡unit ¡ Red ¡ of ¡ ¡ Green ¡ frequency ¡ ¡ Blue ¡ Black ¡– ¡coolest, ¡least ¡intense ¡ Time ¡
HiPSTAS ¡Par*cipants ¡Using ¡ARLO ¡ • segmen*ng: ¡semi-‑automa*cally ¡ • searching ¡for ¡discrete ¡sounds ¡(poets, ¡series, ¡ci*es, ¡affinity ¡ groups ¡like ¡Black ¡Mountain) ¡ • Searching ¡for ¡rela*onships ¡across ¡voice ¡quali*es: ¡husky ¡ voices, ¡whispery ¡voices, ¡etc. ¡ • voice ¡prin*ng ¡-‑-‑ ¡iden*fy ¡a ¡voice ¡ • elimina*ng ¡duplica*on ¡ ¡ • Ra*ng ¡quality, ¡low ¡amplitude ¡files ¡and ¡fix ¡them ¡ ¡ • iden*fying ¡variants ¡ • compara*ng ¡room ¡tone, ¡live ¡vs. ¡studio ¡sounds, ¡mic ¡used ¡ • genre ¡detec*on ¡(singing, ¡instrumental, ¡applause; ¡laughter; ¡ performance ¡vs. ¡“casual” ¡speech) ¡ ¡
Different ¡voices ¡ Laynor ¡ Stein ¡ OpenMary ¡ Spectogram ¡created ¡with ¡ ARLO ¡of ¡the ¡line ¡“. ¡. ¡. ¡some ¡such ¡thing.” ¡(by ¡OpenMary, ¡ Gertrude ¡Stein, ¡and ¡Gregory ¡Laynor) ¡from ¡Gertrude ¡Stein's ¡ The ¡Making ¡of ¡ Americans ¡ ¡
Same ¡content, ¡same ¡voices, ¡performance ¡ versions ¡ Pound’s ¡Canto ¡XLV ¡recorded ¡in ¡DC, ¡1958 ¡and ¡Harvard, ¡1939 ¡
Different ¡content, ¡same ¡voices ¡ DC, ¡1958 ¡ Harvard, ¡1939 ¡ “design” ¡vs. ¡“delight” ¡in ¡Pound’s ¡Canto ¡XLV ¡recorded ¡in ¡DC, ¡1958 ¡and ¡Harvard, ¡1939 ¡ ¡
Finding ¡similar ¡prosodic ¡pa_erns ¡ “Forgive ¡me” ¡in ¡William ¡Carlos ¡Williams, ¡“This ¡is ¡Just ¡to ¡Say”, ¡Dec., ¡1951, ¡Harvard ¡
Iden*fying ¡different ¡pa_erns ¡ Frost ¡reading ¡poems ¡on ¡Side ¡B. ¡of ¡William ¡A. ¡Owens’ ¡folklore ¡recordings ¡ ¡
Iden*fying ¡genres ¡ Excerpt ¡from ¡a ¡2007 ¡interview ¡with ¡Larry ¡Aitken, ¡the ¡tribal ¡historian ¡from ¡the ¡ Leech ¡Lake ¡Band ¡of ¡Ojibwe ¡conducted ¡by ¡Dr. ¡Tim ¡Powell ¡when ¡he ¡was ¡director ¡ of ¡the ¡Center ¡for ¡NaIve ¡American ¡studies ¡at ¡the ¡University ¡of ¡Pennsylvania. ¡ The ¡second ¡image ¡has ¡been ¡tagged ¡by ¡a ¡user ¡to ¡show ¡the ¡different ¡ways ¡that ¡ English, ¡spoken ¡Ojibwe, ¡drum ¡beats, ¡and ¡chanIng ¡are ¡visualized. ¡ ¡
Room ¡Sounds: ¡Kitchen ¡
Use ¡case ¡#3: ¡finding ¡similar ¡pa_erns ¡ Finding ¡“Forgive ¡Me” ¡in ¡ARLO ¡
Facilita*ng ¡Mark ¡up ¡ PennSound ¡Tagging ¡Interface ¡
What ¡poets ¡want ¡to ¡mark ¡up ¡ PennSound ¡Tagging ¡Interface ¡
A ¡brief ¡history ¡of ¡classifica*ons ¡ • Johansson, ¡S*g. ¡1995. ¡“The ¡Encoding ¡of ¡Spoken ¡Texts.” ¡ Computers ¡and ¡the ¡Humani5es ¡29 ¡(2): ¡149–58. ¡ • Karpiński, ¡Maciej. ¡2012. ¡“The ¡Boundaries ¡of ¡Language: ¡ Dealing ¡with ¡Paralinguis*c ¡Features.” ¡ Lingua ¡ Posnaniensis ¡54 ¡(2). ¡ • Bernstein, ¡Charles ¡“Making ¡Audio ¡Visible: ¡Poetry’s ¡ Coming ¡Digital ¡Presence.” ¡In ¡ ADack ¡of ¡the ¡Difficult ¡ Poems: ¡Essays ¡and ¡Inven5ons. ¡University ¡Of ¡Chicago ¡ Press, ¡2011: ¡107-‑119. ¡Print. ¡ • Crystal, ¡David, ¡and ¡Quirk, ¡Randolph ¡(1964). ¡ Systems ¡of ¡ Prosodic ¡and ¡Paralinguis5c ¡Features ¡in ¡English . ¡The ¡ Hague: ¡Mouton, ¡4 ¡
Paralinguis*cs ¡ • Prosody ¡ Prosody, ¡which ¡has ¡been ¡defined ¡by ¡linguists ¡as ¡ comprising ¡varying ¡degrees ¡of ¡intona*on, ¡stress, ¡ and ¡rhythm, ¡conveys ¡meaning ¡through ¡phrasing ¡ and ¡prominence. ¡
Paralinguis*cs ¡ • Vocal ¡quality ¡ Crystal ¡and ¡Quirk ¡dis*nguish ¡between ¡voice ¡ quali5es , ¡which ¡include ¡different ¡modes ¡(normal ¡ voice, ¡whisper, ¡breathiness, ¡huskiness, ¡creak, ¡ false_o, ¡and ¡resonance); ¡and ¡voice ¡ qualifica5ons , ¡which ¡ordinarily ¡interrupt ¡speech ¡ (laughter, ¡giggling, ¡tremulousness, ¡sobbing, ¡and ¡ crying) ¡(Crystal ¡and ¡Quirk, ¡1964). ¡ ¡
TEI ¡Transcrip*ons ¡of ¡Speech ¡ h_p://www.tei-‑c.org/release/doc/tei-‑p5-‑doc/en/html/TS.html ¡
Recommend
More recommend
