Textová analýza neoznačuje pojmy, které končí tečkou

[ovitovec]

Asi tím, který působí největší problémy je to, že pokud je slovo ukončeno tečkou - například ve věte: "..... was found missing." - i pokud je "missing." přidáno jako vyhledávací text, tak ho textová analýza neodhalí. Platí pro veškeré pojmy, za kterými je bez mezery tečka. - je to docela častý výskyt, vzhledem ke slovosledu v AJ.
Ten samý problém má analýza i se slovy s pomlčkou.
https://kbss.felk.cvut.cz/termit-csat/#/
Slovník komponent a závad

2. je to vážný problém - neodhaluje to pojmy

[ovitovec]

TERMIT také neoznačí pojem, který není oddělen z obou stran mezerou - tedy, pokud je překlep, pomlčka, tečka, slovo bez mezery apod., tak to z pravidla pojem neoznačí. Např.: "worklight assy-the parts was found missing"
"worklight assy" je ve vyhledávacích pojmech, ale nebylo označeno.

[ovitovec]

Pojí se s předchozím bodem, kdy jde slova s pomlčkou uvnitř - např. cover-end, retainer-clip, spring-assy - i pokud jsou tato slova> přiřazena jako vyhledávací text, tak ho analýza neodhalí

[ahmadjana]

@blcham
analyzing the problem (technical perspective): it is a Morphodita issue.
it takes the chunk, and tokenizes it. the token could be word+dot. so, it considers this as one token.

[blcham]

@ahmadjana So what do you suggest ?

[ahmadjana]

@blcham
Because it is a morphodita issue, it is possible to report the issue to the morphodia people.
Or: maybe, we can take the tokens and check if it ends with a dot or not.
if yes , remove the dots from the token.

[blcham]

It seems to me, that it is quite standard problem in NLP so i would think there is a solution for that in Morphodita (maybe some configuration?)

Or: maybe, we can take the tokens and check if it ends with a dot or not. if yes , remove the dots from the token.

I guess it depends in which part of NLP process this can be applied. Maybe we can apply this while trying to find out if the token is in our vocabulary ?!