zkusit pomocí GPT4 určovat téma básně

[ptakopysk]

Jednak bychom tím možná mohli měřit smysluplnost básně --- pokud je smysluplná tak by asi měla mít jasnější téma...?

A jednak by se nám tio mohlo hodit jako anotace datasetu, abychom pak mohli fine-tunovat model, který bude generovat báseň na dané téma.

[ptakopysk]

Bendík diplomka:
https://dspace.cvut.cz/handle/10467/108779

[ptakopysk]

Možná pomocí GPT4 to neni vono.
Zkoušeli jsme ÚFAL KER ale asi keywordy neni to co chcem.
Asi kouknout na HuggingFace co tam je za modely který třeba určujou téma textu? (Klidně na angličtině, můžem to protáhnout překladem, to na téma asi nevadí.)

[jinymusim]

V tom článku On the power of special-purpose GPT models to create and evaluate new poetry in old styles, tam používají gpt-3.5 a promptují ho sadou kategorií ze kterých má vybrat.

Zkouším to teď pomocí mistralu a něco to dělá.

[ptakopysk]

Stav a myšlenky a plány k tomu po dnešku:

• @jinymusim vygeneroval summaries a categories pomocí Mixtral-Instruct 8x7B (nikoli cswiki mistral) pro celý korpus:
  • výsledek: /net/projects/EduPo/data/ccv-new-summary
  • kód: https://github.com/jinymusim/GPT-Czech-Poet/blob/main/PoetGen/utils/test_sumarization_llama_cpp.py
• na pohled je to celkem pěkné
  • neumíme zodpovědně posoudit kvalitu, ale zdá se, že to není úplně bad
  • na to asi potřebujem básnické kolegy aby na to mrkli -> plán na pátek
• zvlášť kratší básně to spíš celé přepíše do anglické prózy než aby je to shrnovalo -> možná chcem agresivnější sumarizaci? One sentence? Interpret and analyze?
• @davidmarecek zkusí něco podobného pomocí GPT na malém množství básní pro porovnání
• v pátek se taky zeptáme, jestli na tohle jsou nějaký data

Shrnutí obsahu básně může bejt dobrá cesta k vyhodnocování kvality a smysluplnosti básně, asi.

[jinymusim]

Je to pomoci Mixtral-Instruct 8x7B! cswikimistral nefuguje dobře.

[davidmarecek]

české a anglické vygenerované summaries pomocí GPT4 pro 30 náhodně vybraných básní jsou v /net/projects/EduPo/data/ccv-new-summary-gpt4

[ptakopysk]

Přeložil jsem Lindatem pro tadytěch 30 básní summaries od Michala Lindatem a přidal to do těch Michalovo Jsonů.
Jednoduché vylistítko a zobrazítko zde:
https://ufallab.ms.mff.cuni.cz/cgi-bin/rosa/edupo/scripts/show_poems.sh

[ptakopysk]

...a navíc jsme teď ještě přidali Lindat překlady EN summaries do těch Davidovo fajlů, takže každej gpt4 fajl má teď 3 summaries: vygenerovanou EN, vygenerovanou CS, a EN přeloženou do CS.