Identity resolving and grouping of digital evidence of suspects using face recognition technologies and software intelligent agents system based on non- axiomatic reasoning : doctoral dissertation

Abstract

The work of criminal police in modern society is characterized by the proliferation of data and information to be processed, greater demands for restrictions on personal data, increased public monitoring, and higher expectations in the efficiency of detecting perpetrators, but still lack resources, both human and material. One of the more complex tasks is to resolve the identity, the change of which seeks to cover up criminal activities, i.e., the perpetrator himself, who is on the run. In order to resolve the identity, it is necessary to group and present all available evidence related to specific persons. The thesis proposes a clustering approach by comparing pairs of face feature vectors extracted from images created in unconstrained conditions and based on reasoning using non-axiomatic logic and graphs. Face clusters will be the central points around which data from various police reports will be grouped. A system model has also been proposed in which software agents will play a significant role, primarily in connecting the distribution environment points formed in practice by police information systems. The clustering approach was experimentally tested with six different face image databases characterized by the fact that they were created in a way that simulates unconstrained conditions. The obtained results of the proposed solution are compared with other state-of-the-art methods. The results showed that the approach gives similar but mostly better results than the others. What gives a notable advantage over other methods is the possibility of using mechanisms from non-axiomatic logic such as revision and deduction, which can be used to acquire new knowledge based on information from different system nodes, or in the local knowledge base, respectively.

Рад криминалистичке полиције у савременом друштву одликује пролиферација података и информација које треба обрађивати, већи захтеви за ограничењима у раду са личним подацима, појачани надзор пре свега јавности, већа очекивања у ефикасности откривања извршилаца кривичних дела, али и даље недостатак ресурса, како људских тако и материјалних. Један од сложенијих задатака јесте разрешавање идентитета чијом променом се настоје прикрити криминалне активности, односно сам извршилац који је у бекству. Да би се разрешио идентитет, потребно је груписати и презентовати све расположиве доказе везане за одређене особе. У дисертацији је предложен нови приступ кластеровању поређењем парова вектора одлика лица екстрахованих из слика насталих у неконтролисаним условима, а заснован на резоновању применом неаксиоматске логике и графова. Кластери слика лица представљају централне тачке око којих се групишу подаци из различитих полицијских извештаја. Такође је предложен модел система у коме ће значајну улогу имати софтверски агенти, пре свега у повезивању тачака дистрибуираног окружења које у пракси формирају полицијски информациони системи. Нови приступ кластеровању је експериментално испитан са шест различитих база података лица карактеристичних по томе што су креиране на начин којим се симулирају неконтролисани услови. Добијени резултати предложеног решења су упоређени са осталим врхунским методама. Резултати су показали да приступ даје приближне, али углавном боље резултате од осталих. Оно што даје посебну предност у односу на остале методе јесте могућност коришћења механизама из неаксиоматске логике попут ревизије и дедукције, помоћу којих се могу стицати нова знања на основу информација из различитих нодова система, или у локалној бази знања, респективно.