Automatic Summarizing the News from Inform.kz by Using Natural Language Processing Tools

2021

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/sist50301.2021.9465885
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

The rapid rise of the information on the web brought up new problems of data access and processing. Therefore there is a need for tools that will help to overcome the problem of management and handling the Big Data in a quick manner. The primary goal of this work is to propose an efficient method for automatic text summarization by using Natural Language Processing (NLP) and Machine Learning (ML) techniques. This research introduces an abrupt, easily understandable and uncomplicated implementation of this method via overusing Python programming language. Efficient performance is necessary in web search tasks where an enormous of unstructured data need to be summarized very quickly. The novelty of the work is that text summarization is implemented on Kazakh texts. Extractive summarization uses new, keywords focused, approach. Contribution of the work is manually created stop words used for text summarization specifically for Kazakh language and dataset constructed by scraping news from country's largest international news portal www.inform.kz. State-of-the-art results of the work show that it is possible to implement automatic text summarization for Kazakh language.