On Evaluation of Natural Language Processing Tasks: Is Gold Standard Evaluation Methodology a Good Solution?

Varování

Publikace nespadá pod Filozofickou fakultu, ale pod Fakultu informatiky. Oficiální stránka publikace je na webu muni.cz.

Název česky	K evaluaci úkolů zpracování přirozeného jazyka: je metodologie používající "gold standardy" dobrým řešením?
Autoři	KOVÁŘ Vojtěch JAKUBÍČEK Miloš HORÁK Aleš
Rok publikování	2016
Druh	Článek ve sborníku
Konference	Proceedings of the 8th International Conference on Agents and Artificial Intelligence
Fakulta / Pracoviště MU	Fakulta informatiky
Citace
Obor	Informatika
Klíčová slova	Natural Language Processing; Applications; Evaluation
Popis	Práce se zabývá problémy v metodologii vyhodnocování v oblasti zpracování přirozeného jazyka (NLP). Většinou jsou pro takové vyhodnocování používána tzv. "gold standard" data. Diskutujeme problémy a validitu tohoto přístupu a navrhujeme aplikačně orientovanou alternativu.
Související projekty:	Harvesting big text data for under-resourced languages Hyperintensionální logika pro analýzu přirozeného jazyka