В последнее время многие государства резко озаботились проблемой тунеядства. С этим, как известно, боролись во времена позднего СССР, когда у власти был Юрий Андропов. Сейчас же история повторяет виток уже в наше время.
В СМИ уже не раз дебатировались инициативы в Беларуси и России по принятию «антитунеядского» законодательства, а теперь специалисты из Telenor Group Research, MIT Media Lab, Flowminder Foundation и Стокгольмской школы экономики получили удобный и достаточно точный инструмент для изучения общества, который может с высокой долей вероятности прогнозировать занятость населения.
Эта система работает на основе анализа данных из социальных сетей и метаданных сетей сотовой связи. Как отмечается, это первое в мире исследование, которое позволяет вычислить безработных на индивидуальном уровне с помощью глубинного обучения по логам сотовой сети. Причём речь идёт о вычислении в том числе профессий.
Исследователи подчёркивают, насколько важно иметь точную статистику безработных в обществе. Это важный экономический индикатор для изучения рынка труда, который помогает строить экономические прогнозы и управлять экономикой. Хотя избыток свободных трудовых ресурсов приятен для работодателей, но государство обычно ставит целью снизить безработицу ниже определённого уровня.
Обычно узнать информацию о безработных тяжело, ведь далеко не все люди без официального трудоустройства регистрируются в органах служб занятости. К примеру, в Украине многие мужчины ищут неофициальную работу, чтобы не попасть в поле зрения военкоматов. Социальные же опросы отнимают немало времени и ресурсов, при этом не давая чёткой картины.
Суть нового исследования такова: сотовые телефоны сейчас есть даже у бомжей, поэтому анализ метаданных обеспечивает практически полный охват трудоспособного населения во многих странах (в целом мобильники есть у более 50% населения Земли). О таком охвате социологи могут только мечтать. Инженеры показали, что метаданные сотовой сети обеспечивают достаточный пространственный охват и точность во времени, чтобы проводить эффективный дата-майнинг.
Исследователями была применена модель глубинного обучения на массивном наборе данных, полученных в одной бедной южноазиатской стране. Для обучения программы использовали результаты опроса 200 тысяч человек в домохозяйствах, проведённого местным оператором сотовой связи. Люди сообщали о своём статусе занятости и профессии, выбирая из 18 видов занятий.
Также лля глубинного обучения взяли мобильные логи за срок шесть месяцев у 76 тысяч из вышеуказанных 200 тысяч опрошенных. Информацию анонимизировали, программа не имела доступа к номерам телефонов, именам абонентов, содержимому разговоров и текстовых сообщений. Естественно, имея такой доступ в стиле СОРМ, можно профилировать людей практически со стопроцентной точностью. В данном случае ставилась задача провести научное исследование, не нарушая права человека.
Из мобильных логов исследователи выделили переменные трёх типов: финансовые (сумма пополнения счёта, расходы на связь, частота пополнения, соотношение между максимальной и минимальной суммой пополнения счёта и др.), перемещения по местности (домашний район/сота, энтропия мест посещения, радиус инерции сечения, количество посещённых мест и др.) и социальные функции (количество разговоров с контактом, энтропия контактов, продолжительность разговора, количество SMS, объём интернет-трафика, количество MMS, количество и продолжительность видеозвонков, частота использования дополнительных услуг оператора и др.).
Модель со всеми переменными протестировали на нескольких алгоритмах, в том числе GBM (gradient boosted machines), RF (random forest), SVM (support vector machines) и kNN (K-nearest neighbors). По итогу была составлена многослойная нейросеть. Точнее, 18 моделей для каждого вида профессии (включая безработных). Обучение и тестирование осуществлялись с распределением данных 75% и 25%.
Как оказалось, нейросеть лучше всего определяет офисных сотрудников (клерков). По использованию мобильной связи они выдают себя с точностью 73,5%. Сложнее всего определить по метаданным сотовой сети квалифицированных сотрудников (61,9%). Средний показатель по всем профессиональным группам составил 67,5%. Как и офисные сотрудники, безработные определяются тоже очень хорошо с вероятностью 70,4%.
Таким образом, система достаточно чётко может спрогнозировать деятельность безработных и, фактически, обнаружить их. При этом, в странах, где ввели или собираются ввести налог на тунеядцев, такая нейросеть поможет пополнять бюджет. Будет выявлять незарегистрированных безработных, которые укрываются от налоговой инспекции. По предполагаемой профессии человека можно ещё таргетировать рекламу.
Напомним, что ранее мы уже писали, как нейросеть научили определять преступников по лицам.
