Профессиональное обучение и переподготовка безработных: статистическое оценивание эффективности программ

Короткий опис

Год:
2002
Автор научной работы:
Ниворожкин, Антон Михайлович
Ученая cтепень:
кандидат экономических наук
Место защиты диссертации:
Ростов-на-Дону
Код cпециальности ВАК:
08.00.12
Специальность:
Бухгалтерский учет, статистика
Количество cтраниц:
209
Оглавление диссертации
кандидат экономических наук Ниворожкин, Антон Михайлович

ВВЕДЕНИЕ
Глава 1 Методологические подходы к оцениванию активных программ на рынке труда
1.1 Активные программы на рынке труда: международный 23 опыт
1.2 Роль и функции государственной службы занятости России 26 в организации обучения и переобучения безработных
1.3 Обзор и анализ опыта оценки активных программ на рынке 38 труда России, их роль в повышении эффективности работы службы занятости
1.4 Методологические подходы к оценке эффективности 49 социальных программ
1.5 Статистическая методология использования 66 нерандомизированных данных при оценке эффективности программ на основе сравнения по подобию
Глава 2 Статистические методы и модели оценки эффекта программ
2.1 Общая постановка проблемы оценивания эффективности 82 программ подготовки и переподготовки безработных в службе занятости на индивидуальном уровне
2.2 Статистическая техника и спецификация методов оценки 86 эффективности программ
2.3 Применение метода наименьших квадратов (МНК) при 92 оценке эффективности программ
2.4 Инструментальные переменные в моделях оценки 95 эффективности
2.5 Концепция Дж.Хекмана элиминирования смещения данных в моделях оценки эффективности программ
2.6 Математико-статистическая модель сравнения по подобию 107 и его разновидности метода отбора подобного по склонности
Глава 3 Статистический анализ и моделирование эффекта профессионального обучения и переподготовки безработных (по данным ГУ «Ростовский городской центр занятости населения»)
3.1 Характеристика состояния рынка труда и регистрируемой 121 безработицы Ростова-на-Дону в 1997-2000 гг
3.2 Проблемы смещения данных о безработице в регистре 125 безработных службы занятости
3.3 Характеристика данных, используемых в статистических 132 моделях
3.4 Оценка индивидуального эффекта программ повышения 136 квалификации и переподготовки безработных в службе занятости г.Ростова-на-Дону

Введение диссертации (часть автореферата)
На тему "Профессиональное обучение и переподготовка безработных: статистическое оценивание эффективности программ"
Актуальность темы исследования. Одним из результатов трансформации централизованной российской экономики в рыночную стал отказ от важнейшего принципа социализма - полной занятости. Среди основных причин, объяснявших низкую эффективность прежней модели хозяйствования, выделялась избыточность рабочей силы на государственных предприятиях. Действительно, в странах Восточной и Центральной Европы произошел резкий скачок безработицы. Так, в 1996 году уровень безработицы в Болгарии составлял 12,5%, в Венгрии - 10,5%, Польше - 13,6%). В России в силу различных причин уровень безработицы долго был ниже. Однако сегодня Россия вошла в число стран с высоким уровнем безработицы.
Как известно, статистика учитывает два вида безработицы: общую и регистрируемую. Уровень общей безработицы, определяемый по методологии Международной Ассоциации Труда (МОТ) путем выборочных обследований, в России существенно выше, чем уровень регистрируемой безработицы.
Таблица 1
Масштабы безработицы в России
1992 1996 1997 1998 1999 2000
Численность безработных, заре - гистрированных в С'З (тыс.чел.) 578 2506 1999 1929 1263 1037
В % от жономически активного населения:
Зарегистрированная 0.8 3,6 2.9 2.9 1.7 1,4
Общая безработица 5.2 10.0 12.2 13.5 12.8 10,2
Обратилось по вопросу трудоустройства: всего (тыс.чел.) 2437.6 5279.8 4599.0 4739.1 4299.6 4745,9
В том числе занятые трудовой деятельностью (тыс.чел.) 95.9 150.2 102,9 119.0 113.3 177.7
Источник: «Социальное положение и уровень жизни населения России. 2001». Москва. Госкомстат РФ, 2002 г.
Хотя регистрируемая безработица существенно ниже оцениваемой по методологии Международной Организации Труда, при сопоставлении её масштабов не следует ориентироваться только на относительные показатели -емкость российского рынка труда очень велика. Кроме того, правила получения официального статуса безработного в Государственной службе занятости (СЗ) таковы, что менее одного из четырех незанятых граждан, обращающихся в СЗ, получают этот статус.
Столь существенные различия в соотношениях уровней общей и регистрируемой безработицы свидетельствуют о неоднозначности процессов, происходящих на рынке труда.
Следует заметить, что принудительно высвобождаемые работники (по сокращению штатов, при ликвидации, банкротстве предприятий и др.) практически все переходят на учет в СЗ, поскольку по закону им в этом случае гарантируются сохранение трудового стажа, всех социальных льгот. Боле того, выплата выходного пособия и пособия по безработице, производится с участием СЗ, а при условии участия в программах профессиональной подготовки и переподготовки производится выплата стипендии за период обучения. Таким образом, специфика и социальная значимость этого сегмента рынка труда диктуют необходимость углубленных исследований различных сторон его функционирования.
Процессы, протекающие в экономике переходного периода, предлагают уникальный по своим возможностям естественный эксперимент. Возможность наблюдать изменение экономической формации общества, интеграцию вновь созданных рынков в мировую структуру, а так же поведение, в этом контексте, домохозяйств и индивидов, имеет огромную теоретическую и практическую значимость.
Формирование рынка труда в России имело одним из следствий сдвиг в спросе на определенные профессии и, соответственно, несбалансированность между спросом и предложением рабочей силы. С одной стороны, структурный кризис производства, вызванный вхождением России с рыночное пространство, заметно изменил относительную ценность различных навыков, начался процесс массового сокращения рабочих мест, высвобождения значительных контингентов работников, профессиональные навыки и квалификация которых оказались невостребованными в новых экономических условиях. С другой стороны, формирующаяся рыночная среда постоянно порождает потребность в новых рабочих местах, профессиях. Быстрые структурные сдвиги в экономике предполагают, что работники должны успевать за ними и приобретать новые профессиональные навыки, которые позволят им использовать новые технологии и отвечать возрастающим запросам работодателей. В этой связи резко возрастает значимость институтов профессионального обучения и переобучения работников, которые призваны способствовать скорейшему переходу их в более эффективные отрасли экономики, адаптации к новым социально-экономическим условиям, повышению материального благосостояния.
В этой напряженной социально-экономической ситуации государство в лице СЗ взяло на себя значительную нагрузку по профессиональной реабилитации» работников, ставших «лишними» в рыночной экономике. С момента легализации безработицы в Российской Федерации и создания государственной службы занятости в числе приоритетных направлений политики в области содействия занятости населения было названо развитие трудовых ресурсов, поощрение создания новых рабочих мест и ряд других. Одним из важнейших инструментов осуществления этой политики является активная деятельность СЗ по профессиональной подготовке и переподготовке граждан. Согласно Закону о занятости населения «Безработные граждане имеют право на получение бесплатной профессиональной ориентации, профессиональную подготовку и переподготовку по направлению службы занятости»1. «Государство гарантирует безработным гражданам бесплатное обучение новой профессии (специальности), повышение квалификации по направлению службы занятости населения.»2 Возможность получения новой профессии, совершенствование прежних навыков создают дополнительные возможности для этих людей при поиске новой работы. Это особенно важно для той части работников, которые впервые выходят на рынок труда для поиска работы после окончания учебных заведений, в том числе и профессиональных, и не могут её найти, их материальное и профессиональное благополучие в значительной степени зависит от эффективности тех программ, которые им предлагает СЗ.
1 Закон Российской Федерации «О занятости населения в Российской Федерации». Принято Верховным
Советом РСФСР 19 апреля 1991 года. Раздел II. статья 9. " Там же Раздел III. статья 12
Оценка эффективности предполагает сопоставление затрат и результатов: R = затраты (единицы измерения эффекта). Теоретически данный метод является одним из простейших, однако на практике возникают существенные трудности в выявлении и правильной оценке затрат и выгод. При использовании этого метода важно выбрать правильные показатели, использовать последовательные экономические допущения для того, что бы результаты оценок были сравнимы во времени и между различными программами.
Эффективность, в контексте рассматриваемой проблемы, представляет собой результативность политики, проводимой государственной службой занятости, в отношении безработных, вступающих в ППП. Эффективность в таком широком контексте весьма многоаспектное понятие, которое можно характеризовать в разрезе экономической или социальной эффективности3, макроэкономической, групповой или индивидуальной эффективности4 и др.
В рамках диссертационного исследования эффективность определяется как оценка выигрыша в заработной плате для безработных, вступающих в ППП: выигрывают ли безработные, проходящие ППГ1 в СЗ, в заработке по сравнению с теми безработными, кто не проходил эту подготовку?
Каким образом социально-демографический, профессионально-квалификационный состав безработных определяет вероятность вступления безработного в ППП? Какие факторы влияют на распределение безработных Смирнов С.Н. Методы оценки государственной политики занятости Вопросы статистики. 1998. №4.
4 Прокопов Ф. Малева T Политика противодействия безработице. VI.: РОССПЭН. 1999. по видам обучения? Ответы на эти вопросы помогут дать оценку экономической и социальной эффективности программ ППП для её непосредственных участников и разработать рекомендации по их совершенствованию.
В общем случае при оценке эффективности выделяют качественные и количественные подходы. Основой качественных подходов является изучение реакции индивидов на проведение программы. Обычно они осуществляются путем социологических опросов, например, с целью выявления информированности общественности о возможности участия в программе. Преимущество таких подходов состоит в сравнительной гибкости методик и возможности их адаптации к конкретной ситуации. Использование качественных подходов позволяет расширить понимание позиций всех заинтересованных сторон, уяснить институциональные особенности среды осуществления проекта. Их недостатком является существенный субъективизм при анализе и сборе данных. Обоснованность и надежность собранных данных, так же как и выводы, сделанные на их основе, зависят в значительной степени от информированности и квалификации интервьюера, кроме того, обобщение полученных результатов, а, следовательно, и их экстраполяции на другие программы - весьма проблематична.
Количественные методы призваны дать материальную оценку выгод получаемых от участия в программе. Для выделения минимально необходимых параметров оценки необходимо определение группы воздействия программы и ожидаемого результата, создание сравнительной ситуации, которая бы достаточно точно описывала то, что случилось бы, если бы программа не была проведена. Другими словами, чтобы определить эффект программы необходимо знать как бы повели себя ее участники, если программа проведена не была. Существенной сложность оценки эффекта ППП, проводимых в реальной жизни, является то, что отбор их участников не является случайным, и традиционные статистические методы оценки в таком случае будут давать существенное смещение результатов. В ситуации дефицита средств, выделяемых на социальные программы, объективная их оценка их эфективности, основанная на адекватном статистическом инструментарии, безусловно, - актуальная задача, требующая проведения всесторонних научных исследований и практической реализации.
Степень разработанности проблемы. Вопросам участия безработных в активных программах профессиональной подготовки на рынке труда посвящено значительное число как теоретических, так и эмпирических публикаций в западной литературе. Однако проблема оценки эффективности экономических и социальных результатов таких программ, выработка критериев их оценивания является одной из наиболее дискуссионных.
В отечественной литературе число работ, посвященных этой проблеме, невелико, что связано с относительной новизной изучаемых институтов на российском рынке труда. Теоретические и методические проблемы организации государственной службы занятости в России и измерения эффективности её деятельности, в том числе и программ профессионального обучения и переподготовки безработных рассмотрены в работах Т.М.Малевой и Ф.Т.Прокопова которые определили эффективность, как результативность политики, проводимой государственной службой занятости. Серию работ по методам оценки социальной и экономической эффективности государственной политики занятости опубликовал С.Н.Смирнов6, предложивший ряд количественных показателей для её измерения, в основе которых лежит сопоставление показателей регистрируемой безработицы и расходов фонда занятости. Методологические подходы макроэкономической оценки эффективности политики на рынке труда развиты в работе А.Кашепова . Метод оценки эффективности работы территориальных СЗ, предложенный А.Седловым и В.Каревым , базируется на данных внутренней отчетности служб. Его основная идея состоит в сопоставлении абсолютных значений частных показателей отчетного периода с базовым и агрегировании относительных значений в сводные показатели. Оригинальные показатели эффективности работы СЗ предложены О.Колесниковой9, в частности, показатель сдержанной общей безработицы, учитывающий не только трудоустройство безработных, но трудоустройство всех граждан, обратившихся в СЗ за содействием в поиске работы. Среди работ отечественных экономистов, посвященных эффективности программ профессионального обучения и переподготовки безработных, выделяются исследования, проводимые в рамках института сравнительных исследований Прокопов Ф.Т. Малева Т.М. Политика противодействия безработице. М.: РОССПЭН. 1999.
6. Смирнов С.Методы оценки эффективности государственной политики занятости /,' Вопросы статистики. 1008. ,»4.
Кашепов А. Об оценке эффективности политики на рынке труда Общество и экономика. №6, 2001. s Седлов А. Карев В. Оценка эффективности работы службы занятости Общество и экономика. № 6. 2001. Колесникова О. Об оценке эффективности работы службы занятости .Человек и труд. №3, 2002. трудовых отношений (ИСИТЭО) группой ученых под руководством В.Кабалиной. в которых глубоко исследуются различные аспекты эффективности профессионального обучения и переподготовки безработных на основе использования доступной статистики и информации, собранной в ходе специально организованных обследований. Авторы развивают в своих работах социологический подход к измерению эффективности формальных посредников на рынке труда.
Методологические основы оценки эффективности социальных программ наиболее полно развиты в работах ведущего эксперта Всемирного банка М.Равальона1" (M.Ravallion). Важным аспектом количественной оценки эффективности программ является то, что для определения минимально необходимых параметров необходимо определение группы воздействия программы и ожидаемого результата, создание сравнительной ситуации, которая бы достаточно точно описывала то, что случилось бы, если бы программа не была проведена. Существенной сложностью оценки эффекта ППП, проводимых в реальной жизни, является то, что отбор их участников не является случайным и традиционные статистические методы оценки в таком случае дают существенное смещение результатов. Исторически статистические методы оценки эффективности воздействия программ возникли и получили свое развитие в медицинских экспериментах при изучении влияния новых методов терапии на выздоровление больного. Их
10 Ravallion V1. (I999). "The Mster of the Vanishing Benefits: Ms. Speeds Analyst's Introduction to Evaluation." Policy Research Working Paper No. 2153. становление связано с именами В.Кокрена (Cochran, W.G.), Д. Рубина (Rubin, D.B). П. Розенбаума (Rosenbaum, P.R.). Совсем недавно, в конце 80-х годов, они проникли в исследования по оценке эффективности активных программ на рынке труда, образовательных программ, программ по борьбе с бедностью. Наиболее полный обзор их представлен в энциклопедическом справочнике по экономике труда, опубликованном под редакцией нобелевского лауреата Дж.Хекмана (Heckman, J.) Основополагающими в данной области являются и другие публикации Дж. Хекмана и его соавторов, таких как Х.Ичимура (Ichimura.H.). П.Тодд (Todd, Р.), Р. Лалонд (Lalonde,R.).
Следует отметить, что математико-статистические методы анализа данных на основе многомерной классификации и распознавания образов, которые лежат в основе представленных выше работ зарубежных авторов, фундаментально проработаны в трудах отечественных ученых: С.А. Айвазяна, В.С.Мхитаряна, В.М.Бухштабера, И.С.Енюкова, Л.Д.Мешалкина, Н.Г.Загоруйко и ряда других. Однако они не нашли пока отражения в исследованиях по оценке эффективности социальных программ в рыночной экономике. В отечественной литературе в настоящий момент образовался значительный пробел в освещении статистических и эконометрических методов оценки эффективности социальных программ в условиях переходной экономики, в частности, программ профессиональной подготовки и переподготовки, безработных. Одной из известных нам работ подобного рода является статья К.Сибирьяновой, Дж.Эрла и М.Бергера", в которой анализируются факторы, влияющие на принятие решения о переобучении для работников реструктурируемых предприятий России.
Практическая значимость и недостаточная изученность проблем статистической оценки эффективности социальных программ, в частности, программ профессиональной подготовки и переподготовки безработных в государственной службе занятости, обуславливает необходимость и актуальность разработок теоретико-методологического и прикладного характера, совершенствование статистического и эконометрического инструментария, адаптацию зарубежного опыта к реалиям транзитивной экономики России. Понимание важности и актуальности этой проблемы определило цель диссертационного исследования, которая состоит в развитии статистической методологии и подборе адекватного эконометрического инструментария для оценки эффекта профессиональной подготовки и переподготовки безработных, зарегистрированных в государственной службе занятости.
Для осуществления поставленной цели были определены следующие задачи исследования:
• выбор и обоснование статистических и эконометрических методов и моделей оценки эффективности программ подготовки и переподготовки безработных в государственной службе занятости;
11 «Worker Training in a Restructuring Economy: Evidence from the Russian Transition» - Working Paper Number 331. August 2000. William Davidson Institute. USA
• выявление комплекта факторов, влияющих на выбор безработным, зарегистрированным в СЗ. определенной ППП;
• оценка для безработных, прошедших через СЗ. среднего индивидуального эффекта участия в ППП;
• оценка и сравнение эффективности различных программ ППП, предлагаемых в СЗ;
Объект исследования - безработные, зарегистрированные в СЗ г.Ростова-на-Дону1" в период с 1.01.2000 по 31.12.2000 гг.
Предметом исследования является средний индивидуальный экономический эффект от прохождения безработными ППП, количественное выражение закономерностей поведения безработных в СЗ, проявляющихся в выборе стратегии участия в ППП.
Эмпирической базой для теоретических обобщений и практических разработок стали материалы по проблемам занятости, опубликованные в отечественных и зарубежных монографиях и экономических журналах, которые систематизированы, изучены, обобщены и прокомментированы соискателем. Источником данных для анализа и моделирования является информация карточки персонального учета лица, обратившегося в течение 2000 года в государственную службу занятости по г. Ростову-на-Дону, а так же данные, опубликованные Госкомстатом РФ.
РосIов-на-Дон - крчшеишиП промышленный центр юга России с уровнем обшей и регистрируемой безработицы б.ппким к показателям в лрi и. крупных городах страны.
Теоретической и методологической основой диссертационного исследования явились работы ведущих отечественных и зарубежных специалистов по проблемам статистического и эконометрического моделирования оценки эффективности социальных программ, в частности, программ профессиональной подготовки и переподготовки безработных. Работа опирается на нормативные и законодательные акты Российской Федерации, методические рекомендации Госкомитета по статистике РФ и Международной Организации Труда.
Для решения поставленных задач в диссертационной работе использовались методы экономико-статистического анализа, реализация которых осуществлялась на базе алгоритмического и программного обеспечения пакетов статистических программ SAS и STATA, а так же программного обеспечения, разработанного автором.
Положения диссертации, выносимые на защиту.
• Активные программы на рынке труда, такие как профессиональное обучение и переподготовка безработных, субсидии для создания рабочих мест, помощь в поиске нового места работы, являются неотъемлемой частью современной рыночной экономики. Изучение практического и теоретического опыта ведущих индустриальных стран по проведению таких программ, позволяет рассмотреть их через призму процессов, происходящих на рынке труда в переходной экономике России.
• Современная статистическая методология анализа данных, полученных с без соблюдения принципов случайного отбора, предлагает подходы к пониманию причин, размеров и последствий смещения данных для оценки эффективности программ. Данная методология включает широкий спектр методов, позволяющих оценить величину смещения, выявить степень влияния на этот процесс ненаблюдаемых факторов, предлагает способы корректировки для проведения исследований адекватных реальным социальным процессам.
• Наиболее широко используемыми статистическими методами, применяемыми для оценки эффективности программ, являются метод наименьших квадратов (МНК), метод оценки с помощью инструментальных переменных, двухшаговая модель Хекмана. Аналитический обзор этих методов в разрезе оценки эффективности программ службы занятости, привел к выводу о том, что возможности применения этих методов существенно ограничены характером смещения располагаемых данных и целями проведения оценки.
• При оценке эффективности активных программ на рынке труда альтернативой экспериментальным (рандомизированным) методам могут служить квази-экспериментальные методы, главным достоинством которых является то, что они позволяют использовать данные, полученные непосредственно во время осуществления программы, требуют меньше времени и средств на осуществление оценки по сравнению с другими методами. С помощью квази-экспериментальных методов выделяются две группы: экспериментальная, подвергшаяся воздействию программы, и контрольная, сходная по своим наблюдаемым характеристикам с экспериментальной группой. Для достижения максимального правдоподобия между группами, различия между ними элиминируются с помощью статистического метода сравнения по подобию и его разновидности — отбора подобного по склонности (вероятности).
• Описан и обоснован новый статистический метод, пригодный для изучения эффекта программ — метод отбора подобного по склонности. Данный метод позволяет уменьшить смешение данных, связанное с фактом самоотбора безработных в программы. Его основным достоинством является то, что он позволяет свести множество сравниваемых характеристик к единой ко м п оз ит н о й х ар а кте р и с т и ке.
• Поскольку при сопоставлении участников и неучастников ППП зачастую невозможно найти двух индивидов с абсолютно одинаковыми коэффициентами склонности, в диссертационной работе приводится ряд статистических методов, пригодных для проведения такого сопоставления, среди которых наиболее обоснованными являются методы, основанные на коэффициенте склонности: метод стратификации; метод ближайшего соседа; метод сопоставления по радиусу.
• В ситуации дефицита средств, выделяемых на ППП, необходим постоянный мониторинг их исполнения и эффективности. Для его осуществления возможна организация выборочного наблюдения за частью безработных, тру доустроенных СЗ спустя некоторое время, например, год для оценки реальных социальных и экономических выгод, полученных безработными, прошедшими ППП.
Научная новизна диссертационного исследования состоит в обосновании и апробации подходов и методов, базирующихся на статистической методологии, которые учитывают выборочное смещение данных, создают возможность для формирования надежных количественных оценок эффективности программ профессиональной подготовки и переподготовки безработных в государственной службе занятости.
Элементы научной новизны состоят в следующем:
• очерчен спектр возможных эконометрических процедур, позволяющих произвести оценку активных программ на рынке труда с учетом смещения выборки и их адекватности реальным ситуациям, возникающим на изучаемом сегменте рынка труда (СЗ);
• обоснована целесообразность применения квази-экпериментального подхода при оценке эффекта социальных программ по сравнению с экспериментальным подходом, показаны его достоинства и недостатки при оценке программ профессиональной подготовки и переподготовки в СЗ;
• впервые в исследованиях российского рынка труда предложен и адаптирован для оценки эффективности программ профессиональной подготовки и переподготовки службы занятости статистический метод отбора подобного по склонности, являющийся надежным инструментом сравнения групп безработных при оценке результатов программ в ситуации, когда отбор участников является не случайным; приведен перечень ситуаций, ограничивающий применение метода отбора подобного по склонности;
• выявлено, что в числе наблюдаемых факторов, влияющих на решение безработного, зарегистрированного в СЗ. участвовать в ППП. определяющими являются социально-демографические и профессиональные характеристики безработного, а так же законодательные правила приоритетного вовлечения в ППП определенных категорий безработных;
• обнаружена тенденция, состоящая в том, что многие безработные, переходят в ППП по истечении срока получения пособия по безработице, что является дестимулирующим фактором при поиске работы и создает возможный «стигма-эффект» для нанимателя.
• выявлена существенная неоднородность распределения безработных по программам в разрезе видов обучения, типов учебных заведений и стоимости программ, что объясняется как вариацией наблюдаемых (социально-демографических, профессиональных), так и не наблюдаемых (предпочтения нанимателей) факторов;
• обоснована и предложена схема мониторинга для оценки социальной и экономической эффективности ППП.
Теоретическая и практическая значимость диссертационной работы определяется изучением и анализом актуальных проблем, связанных с оценкой эффективности социальных программ, осуществляемых в переходной экономике в условиях жесткого бюджетного дефицита, а так же необходимостью выбора и адаптации статистических и эконометрических методов, адекватно отражающих изучаемые процессы, происходящие на российском рынке труда.
Разработанные модели и методы можно использовать как инструментарий теоретического анализа поведения индивида на определенном сегменте рынка труда (в государственной службе занятости) для количественной оценки эффекта прохождения ППП.
Апробация результатов исследования. Основные положения диссертационного исследования представлялись на втором всероссийском симпозиуме по прикладной и промышленной математике (Москва 2001г.), Международной научно-практической конференции «Занятость в XXI веке: формы, тенденции изменения, закономерности и мера» (Ростов-на-Дону 2002), межрегиональной научно-практической конференции «Финансовая политика российского государства: противоречия и пути решения» (Ростов-на-Дону 2002), научно-практическая конференция «Проблемы теории и практики региональной статистики (Ростов-на-Дону 2002) и ряде других.
По теме диссертации получен грант (№ SP-02-2-12) Независимого Института Социальной Политики.
Публикации. Основные положения диссертации изложены в 8 научных публикациях общим объемом 1,8 печ.л.
Структура работы.
Диссертация состоит из введения, трех глав и заключения. Содержание работы изложено на 172 страницах основного текста. В списке литературы 142 библиографических наименования, приложения выполнены на 23 страницах. Всего 209 страниц, включая 8 рисунков, 3 графика и 16 таблиц.

Список літератури

Заключение диссертации
по теме "Бухгалтерский учет, статистика", Ниворожкин, Антон Михайлович
ЗАКЛЮЧЕНИЕ
В настоящее время существует серьезный пробел в оценке эффективности активных программ СЗ. Это связано как с относительной новизной изучаемых институтов, так и с методологическими и методическими трудностями получения корректных оценок на микроуровне. Электронная база данных, которая ведется в службе занятости г. Ростова-на-Дону о лицах, обратившихся за содействием в поиске работы, предоставляет возможность восполнить данный пробел. Уникальная возможность работы с этой базой данных позволила автору диссертации произвести детальный анализ эффективности участия в программах ППП в новом методологическом и методическом ключе.
В диссертационном исследовании развита статистическая методология оценки эффективности социальных программ и обоснованы новые эконометрические методы, реализующие эти подходы.
Решение поставленных в диссертации задач позволило сформулировать ряд выводов.
• Активные программы на рынке труда в транзитивной экономике
России являются важным инструментом, позволяющим снизить социальную и экономическу ю напряженность на рынке труда. Это связано действием двух разнонаправленных факторов. С одной стороны, структурные сдвиги в экономике привели к тому, что профессиональные навыки и квалификация которых оказались невостребованными в новых экономических условиях. С другой стороны, формирующаяся рыночная среда постоянно порождает потребность в новых рабочих местах, профессиях. В этой связи резко возрастает значимость институтов профессионального обучения и переобччения работников, которые функционируют в условиях острого бюджетного дефицита. Мониторинг эффективности функционирования таких программ позволит улучшить качество и своевременность решений, принимаемых для совершенствования программ профессионального обучения и переобучения безработных.
• Сравнительный анализ статистических данных результативности функционирования ППП в СЗ, проведенный для России в целом и для Ростова-на-Дону выявил значительное сходство тенденций их развития, что свидетельствует о том, что полученные результаты могут с некоторыми ограничениями быть генерализованы для всех крупных индустриальных городов.
• Осуществление оценки эффективности ППП на микроуровне представляется более адекватным для локальных рынков труда, поскольку уровень заработной платы и занятости в значительной степени определяются экономическими и социальными условиями места их осуществления.
• Поскольку эффективность ППП представляет собой не что иное, как результативность политики СЗ в отношении безработных прошедших программы, то возможны широкие трактовки этого понятия, в частности анализ макроэкономической эффективности, финансовой эффективности, индивидуальной, групповой и др. При формулировке показателей эффективности выделяют качественные и количественные подходы. Предложенный в диссертации подход не противоречит обсуждаемым в литературе, а является их логическим дополнением и развитием.
• Критическим обстоятельством, затрудняющим проведение надежных оценок эффективности на микроуровне, является то, что они проводятся на основе информации, полученной с нарушением принципов случайного отбора, связанных с тем, что регистрация безработных в СЗ и вступление в ППП носит в значительной степени характер самоотбора, значительным источником смещения оценок являются ненаблюдаемые факторы. Статистическая методология оценки эффективности ППП позволяет выявить все возможные источники смещения и обосновать выбор эконометрических методов элиминирующих их.
• Надежные способы оценки эффективности ППП по нерандомизированным данным дают квази-экспериментальные методы, достоинством которых является то. что они позволяют работать с данными, полученными во время осуществления программы, требуют меньше средств и времени по сравнению с другими методами. В частности, наиболее обоснованным представляется метод отбора подобного по склонности (вероятности).
• Выявлено, что на решение безработного участвовать в ППП и на его выбор определенного вида ППП влияет комплекс наблюдаемых и ненаблюдаемых факторов. В числе не наблюдаемых факторов значимыми представляется субъективные факторы, связанные с личной мотивацией безработного и предпочтениями нанимателей. Одним из важных результатов анализа является то, что выявлена тенденция, состоящая в том, безработные, стремятся перейти в ППП по истечении срока получения пособия по безработице, что, в конечном счете, является дестимулирующим фактором поиска работы и создает возможный «стигма-эффект» для нанимателя.
• Оценку эффективности ППП по критерию заработной платы необходимо проводить спустя некоторый период времени, например, год, когда эффект ППП проявится наиболее ярко. Оценка по критерию заработной платы, полученной при трудоустройстве, представляется методологически не вполне правильной, поскольку на этот критерий оказывают значительное влияние неформальные контракты с нанимателями, устанавливающими «испытательный срок». Проведение более точной оценки эффективности ППП возможно лишь при проведении в СЗ мониторинга программ.
• Осуществление мониторинга эффективности ППП технически легко реализуемо при условии ведения базы данных на электронных носителях. Случайный отбор пяти или десяти процентов безработных, зарегистрированных в изучаемом периоде, позволит сохранить в выборке структуру общей совокупности, а наличие адресов респондентов позволит провести опрос, в котором достаточно лишь уточнить позицию, занимаемую работником на момент опроса и текущую заработную плату.

Список литературы диссертационного исследования
кандидат экономических наук Ниворожкин, Антон Михайлович, 2002 год
1. Адам Я. Инфляция и безработица (Канада)//Вопросы экономики. 1991. -Л«1. - С.28-42.
2. Айвазян С.А. Мхитарян B.C. Теория вероятностей и прикладная статистика. М.ЮНИТИ-ДАНА, 2001. - 656 С.
3. Айвазян С.А. Основы эконометрики . М.ЮНИТИ-ДАНА. 2001. - 424 С.
4. Алехина И. Социально-демографическая концепция регулирования рынка труда (Швеция)/7Вопросы общественных наук.- 1991.-№87,- С.77-78.
5. Ананьев А. Новые процессы занятости населения в условиях перехода к рыночной экономике/УВопросы экономики .- 1995.- № 5.- С.39-47.
6. Башкатов Б.И., Карпухина Г.Ю. Международная статистика труда: Учебник. М.: Издательство «Дело и Сервис», 2001. - 208 с.
7. Бреев Б. Становление рыночных отношений и занятость населения/Юбщество и экономика.- 1995. №7.- С. 162-165.
8. Бухалков М., Бабордина О. Эффективная занятость персонала как фактор роста проду ктивности труда// Человек и Труд. 2001. - №10. -С.21-22.
9. Вазина К., Солоничева В., Котов В. Модели организации структур службы занятости//Человек и труд. 1995.- №6.- С.4-7.
10. Вильховченко Э. В поисках альтернативной трудовой жизни:3арубежный опыт//Мировая экономика и международные отношения,- 1995,- №10.С.46-57.
11. П.Вишневская Н. Российский рынок рабочей силы и опыт запада// Мировая экономика и международные отношения. 1992. - №8. - С.42-51.
12. Виноградова Е. Социальная роль предприятий: мнения руководителей// Мониторинг общественного мнения: экономические и социальные перемены 1997. - Л»5. - С.33.
13. Глинкина С. Куликова Н. Синицкая И. Формирование рынка труда и политика занятости в Восточной Европе//Мировая экономика и международные отношения. 1993.-№11.- С.26-38.
14. Ы.Голландцева Т. Гривна И. Временная занятость как форма активного содействия занятости безработных граждан// Человек и Труд. 1999.-№11.- С.25-27.
15. Греций Ю., Дановский С. Ярмарки вакансий: Сравнительные результаты// Человек и Труд. 2000. - №10. - С.44-45.
16. Данилов А., Кисилев Г. Профориентация и психологическая поддержка населения: требуется правовая база// Человек и Труд. 2000. - №8. -С.39-41.
17. Денисова И., Фрибель Г., Садовникова Е. Особенности российского рынка труда: что тормозит его развитие?//Человек и труд. 1999. -№11. - С. 19-24.
18. Доллан Э. Дж., Домненко Б.И. Экономикс (анголо-русский словарь-справочник)// М.-.Лазурь 1994. - С.340
19. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методьг.Учебник,- М.Финансы и статистика, 1998. 352 с.
20. Елкина В.Н., Загоруйко Н.Г., Новоселов Ю.А. Математические методы агроинформатики. Новосибирск: Институт математики СО РАН, 1987, 92 с.
21. Закон Российской Федерации «О занятости населения в Российской Федерации». Принято Верховным Советом РСФСР 19 апреля 1991 года.
22. Капелюшников Р. Российский рынок труда: Адаптация без реструктуризации. В сб. Некоторые аспекты теории переходной экономики. М.: ИМЭМО РАН, 1999.
23. Кашепов А. Об оценке эффективности политики на рынке труда/Юбщество и экономика. 2001. - №6. - С.55-79
24. Комлев А. Обучение, открытое для всех//Человек и Труд. 2000. - №11. -С.58.
25. Котляр А. Теоретические проблемы занятости остаются актуальными//Человек и труд,- 1996.-№5.-С.9-10.
26. Коммандер С. Емцов Р. Безработица в России: масштабы, структура, детерминиру ющие факторы '/'Общество и экономика,-1995.- №4.-С.86-110.
27. Кондаков И„ Сухарев А. Методологические обоснования зарубежных теорий профессионального развития//Вопр.психологии. 1989. №5. - С. 158164.
28. Кутепова Н. Содействие занятости социально уязвимых групп населения. М. 1995.32 с.
29. Лукин В. Тихонова Е., Лаптев А. Психологическая помощь как эллемент профориентации молодежи// Человек и Труд. 2001. - №3. -С.56-58.
30. Лясников Н. Мотивы выбора профессии// Человек и труд. №2000. -С.42-43.
31. Майднер Р. Активная политика на рынке трудовых ресурсов:Опыт Швеции//Социалистический труд.- 1991. №5.- С.56-63.
32. Малышева С. Реальная безработица и виртуальная реальность// Человек и Труд. 1999. - №6. - С.38-39.
33. Миллер Я. Проблемы безработицы в Е1ольше//Проблемы теории и практики управления.- 1995.- №3.- С.82-85.
34. Мкртчян Г.М., Чистяков И.М. Молодежь москвы на рынке труда// Социс. 2000. - №12. - С.42-49.
35. Монусова Г. Незанятость в России: Вынужденная или добровольная?// Вопросы экономики. 2000. - №9. - С. 10-25.
36. Моськин Р. Повышение качества трудовых ресурсов// Человек и труд. -2001,-№9. С. 50-51.
37. Настиченко А„ Гривина И., Котикова Г. Профессиональное обучение безработных:региональные программы//Человек и труд.- 1995. №5. -С.8-11.
38. Ниворожкина Л.И., Ниворожкин Е.М., Шухмин А.Е. Моделирование поведения населения на рынке труда крупного городапродолжительность регистрируемой безработицы). Российская программа экономических исследований. Нау чный доклад № 01/08.
39. Петренко В. Не сколько женщинам нужна политика, сколько они нужны ей// Человек и Труд. 2002. - №5. - С.48-53.
40. Позднякова А. Центры занятости и кадровые агества: не аниподы, а потенциальные партнеры// Человек и труд. 2002. - №4. - С.66-69.
41. Похвощев В. формирование эффективной занятости в период становления регулируемой рыночной экономики. М., 1995. 135 С.
42. Прикладная статистика: Классификация и снижение размерности: Справ.изд./ С.А.Айвазян, В.М.Бухштабер, И.С.Енюков, Л.Д.Мешалкин; Под.ред. С.А.Айвазяна. МлФинансы и статистика, 1989. - 607 с.
43. Прокопов Ф.Т., Малева Т.М. Политика противодействия безработице. -М.: РОССПЭН, 1999 .
44. Рикка С. Служба занятости. М., 1993. 299 с.
45. Ржаницына Л. Политика в области женской занятости//Вопросы экономики.- 1995,- №5. С.90-97.
46. Российский рынок труда и политика занятости: парадигмы и парадоксы. — Государственная и корпоративная политика занятости. / Малева Т.; под ред. Т. Малевой. М.: Московский центр Карнеги, 1998. - с. 129130.
47. Ростов-на-Дону в цифрах Статистический сборник/ Ростовский областной комитет государственной статистики
48. Рыбаков Л. О проблемах трудоустройства молодых специалистов// Человек и Труд. 2001. - 1. - С.70.
49. Седлов А. Карев В. Оценка эффективности работы службы занятости/ Общество и экономика. 2001. - Л» 6. - С. 127-136.
50. Семенов А. Принципы и механизмы создания рабочих мест // Экономика труда. 2000. - №2. - С.40-47.
51. Семенов А., Кузнецов С. Рабочие места как основа занятости// Экономист. 1996. - Л у 7. - С.37-46.
52. Силин А. Правовые аспекты сокращения численности или штата работников на предприятиях Запада и России в условиях рыночной экономики (сравнительный анализ)//труд за рубежом.- 1995,- №3.- С.40.
53. Смирнов С. Н. Методы оценки эффективности государственной политики занятости // Вопросы статистики. 1998. - №4. - С.29-35.
54. Смирнов С. Н. Система оценок эффективности политики занятости в регионах // Человек и труд. 1996. - № 12. - С.30-33.
55. Смирнов С.Н. Региональные аспекты социальной политики. М.: Гелиос АРВ, 1999.
56. Советский энциклопедический словарь. М.: Советская Эциклопедия, 1979. - С. 1575
57. Соловьев А., Шолохов И. Профилирование безработных// Человек и труд. 2001. -№3. - С. 10-13.
58. Соловьев А., Вишневская Л. Перестать готовить безработных// Человек и труд. 2000. - Л1-6. - С.54-56.
59. Социальная статистика: Учебник/под ред. чл.кор. РАН И.И.Елисеевой. -3-е изд., перераб. И доп.- М.: Финансы и статистика, 2001. -480 с.
60. Харламов А.Активная политика на рынке труда: итоги и перспективы/УЧеловек и труд. 1998.-№1. -С.33-36.
61. Харман Г. Современный факторный анализ. М.: Статистика. 1972. -С.486.
62. Царцидзе М. Между неэффективной занятостью и безработицей Человек и Труд. 1998. - №5. С.57-62.
63. Четвернина Т., Лакунина Л. Напряженность на российском рынке труда и механизмы ее преодоления// Вопросы экономики. 1998. - No 2,-С.122-126.
64. Angrist, Joshua and Alan Krueger (1999) "Empirical Strategies in Labor Economics", in Orley Ashenfelter und David Card, eds. Handbook of Labor Economics, Volume ЗА. Amsterdam: North-Holland. 1277-1366.
65. Angrist, Joshua. Guido Imbens and Donald Rubin. 1996. "Identification of Causal Effects Using Instrumental Variables with discussion." Journal of the American Statistical Association. 91(434). 444-472.
66. Bjorklund, Anders and Robert Moffitt (1987) "The Estimation of Wage Gains and Welfare Gains in Self-Selection Models." Review of Economics and Statistics. 69(1). 42-49
67. Bratberg, Espen, Astrid Grasdal and Alf Erling Risa (2001) "Evaluating Social Policy by Experimental and Nonexperimental Methods." Unpublished working paper. Univ ersity of Bergen.
68. Cochran, W.G. (1968). "The effectiveness of adjustment by subclassification in removing bias in observational studies." Biometrics, 24, pp. 295-313.
69. Connors, A.F. et alia (1996). "The effectiveness of right heart catheterization in the initial care of critically ill patients." Journal of the American Medical Association, 276, pp. 889-897.
70. Cook, E.F. and Goldman, L. (1988). "Asymmetric stratification: an outline for an efficient method for controlling confounding in cohort studies." American Journal of Epidemiology, 127, pp. 626-639.
71. Cook. E.F. and Goldman. L. (1989). "Performance of tests of significance based on stratification by a multivariate confounder score or by a propensity score." Journal of Clinical Epidemiology, 42. pp. 317-324.
72. D'Agostino, R., Jr. and Rubin, D.B. (1997). "Estimation and Use of Propensity Scores with Incomplete Data." Revision to appear in Journal of the American Statistical Association.
73. Dehejia, Rajeev and Sadek Wahba (1999) "Causal Effects in Non-experimental Studies: Reevaluating the Evaluation of Training Programs." Journal of the American Statistical Association. 94: 1053-1062.
74. Drake, C. and Fisher. L. (1995). "Prognostic Models and the Propensity Score." International Journal of Epidemiology, 24, pp. 185-187.
75. Eastwood, E.A. and Fisher, G.A. (1988). "Skills acquisition among matched samples of institutionalized and community-based persons with mental-retardation." American Journal on Mental Retardation, 93, pp. 75-83.
76. Eichler, Martin and Michael Lechner (2001) "An Evaluation of Public Employment Programmes in the East German State of Sachsen-Anhalt." Labour Economics. Forthcoming.
77. Eissa, Nada (1996) "Labor Supply and the Economic Recovery Tax Act of 1981." In Martin Feldstein and James Poterba, eds., Empirical Foundations of Household Taxation. Chicago: University of Chicago Press. 5-32.
78. Fiebach, N.H. et alia (1990). "Outcomes in patients with myocardial-infarction who are initially admitted to stepdown units — data from the multicenter chest pain study." American Journal of Medicine, 89, pp. 15-20.
79. Friendlander, Daniel and Phil Robbins (1995) "Evaluating Program Evaluations: New Evidence on Commonly Used Nonexperimental Methods." American Economic Review. 85(4): 923-937.
80. Gu, X.S. and Rosenbaum. P.R. (1993). "Comparison of multivariate matching methods: structures, distances, and algorithms." Journal of Computational and Graphical Statistics, 2. pp. 405-520.
81. Harrell. F.E. et alia (1990). "Statistical-methods in SUPPORT." Journal of Clinical Epidemiology. 43. pp. S89-S98.
82. Heckman, James (1996) "Comment." In Martin Feldstein and James Poterba, eds. Empirical Foundations of Household Taxation. Chicago: University of Chicago Press. 32-38.
83. Heckman. James (1997) "Instrumental Variables: A Study of Implicit Behavioral Assumptions Used in Making Program Evaluations." Journal of Human Resources. 32(3). 441-452.
84. Heckman, James , Hidehiko Ichimura, Petra Todd and Jeffrey Smith (1998) "Characterizing Selection Bias Using Experimental Data." Econometrica. 66(5): 1017-1098.
85. Heckman, James, Hidehiko Ichimura and Petra Todd (1997) "Matching as an Econometric Evaluation Estimator: Evidence from Evaluating a Job Training Program." The Review of Economic Studies. 64: 605-654.
86. Heckman, James, Jeffrey Smith and Nancy Clements (1997) "Making the Most Out of Programme Evaluations and Social Experiments: Accounting for Heterogeneity in Programme Impacts." Review of Economic Studies. 64(4): 487-535.
87. Heckman, James, Robert LaLonde and Jeffrey Smith (1999), "The Economics and Econometrics of Active Labor Market Programs", In Orley Ashenfelter and David Card, eds. Handbook of Labor Economics, Volume ЗА. Amsterdam: North-Holland. 1865-2097.
88. Hirano, Keisuke, Guido Imbens, and Geert Ridder (2000) "Efficient Estimation of Average Treatment Effects Using the Estimated Propensity Score." NBER Technical Working Paper No. 251.
89. Imbens. Guido (2000) "The Role of the Propensity Score in Estimating Dose-Response Functions." Biometrika. 87: 706-710.
90. Kane, R. et alia (1991). "Improving primary care in nursing homes." Journal of the American Geriatric Society, 39, pp. 359-367.
91. LaLonde. Robert (1986) "Evaluating the Econometric Evaluations of Training Programs with Experimental Data." American Economic Review. 76(4): 604-620.
92. Lavori, P.W. and Keller, M.B. (1988). "Improving the aggregate performance of psychiatric diagnostic methods when not all subjects receive the standard test." Statistics in Medicine, 7, pp. 723-737.
93. Lechner, Michael (2000) "An Evaluation of Public-Sector-Sponsored Continuous Vocational Training Programs in East Germany." Journal of Human Resources. 35(2): 347-375.
94. Lechner, Michael (2001) "Programme Heterogeneity and Propensity Score Matching: An Application to the Evaluation of Active Labour Market Policies." Rev iew of Economics and Statistics. Forthcoming.
95. Lechner, Michael and Ruth Miquel (2001) "A Potential Outcome Approach to Dynamic Programme Evaluation Part I: Identification." Discussion paper 2001-16, University of St. Gallen.
96. Manski, Charles (1989) "The Anatomy of the Selection Problem." Journal of Human Ressources. 24: 343-360.
97. Manski. Charles (1990) "Nonparametric Bounds on Treatment Effects." American Economic Review, Papers and Proceedings. 80: 319-323.
98. Manski, Charles (1997) "Monotone Treatment Response." Econometrica. 65: 131 1-1334.
99. Manski, Charles and John Pepper (2000) "Monotone instrumental variables: with an application to the returns to schooling." Econometrica. 68: 997-1010.
100. Moffitt, Robert (1991) "Program Evaluation with Nonexperimental Data." Evaluation Review. 15(3). 291-314.1 18. Raaum, Oddbjorn and Hege Torp (2001) "Labour Market Training in Norway Effects on Earnings." Labour Economics, forthcoming.
101. Ravallion M. (1999). "The Mystery of the Vanishing Benefits: Ms. Speedy Analyst's Introduction to Evaluation." Policy Research Working Paper No. 2153.
102. Regner, Hakan (2001) "A Nonexperimental Evaluation of Training Programs for the Unemployed in Sweden." Labour Economics, forthcoming.
103. Rosenbaum. P. and Rubin, D.B. (1983a). "The central role of the propensity score in observational studies for causal effects." Biometrika, 70, pp. 41-55.
104. Rosenbaum. P.R. and Rubin, D.B. (1983b). "Assessing sensitivity to an unobserved binary covariate in an observational study with binary outcome." The Journal of the Royal Statistical Society. Series B, 45, pp. 212-218.
105. Rosenbaum. P.R. and Rubin, D.B. (1984). "Reducing bias in observational studies using sub-classification on the propensity score." Journal of the American Statistical Association, 79, pp. 516-524.
106. Rosenbaum. P.R. and Rubin, D.B. (1985a). "Constructing a control group using multivariate matched sampling methods that incorporate the propensity score." The American Statistician, 39, pp. 33-38.
107. Rosenbaum, P.R. and Rubin, D.B. (1985b). "The bias due to incomplete matching." Biometrics, 41, pp. 103-116.
108. Rosenbaum, Paul (1984) "From Association to Causation in Observational Studies: The Role of Tests of Strongly Ignorable Treatment Assignment." Journal of the American Statistical Association. 79: 41-48
109. Rosenbaum, Paul (1984) "The Consequences of Adjustment for a Concominat Variable That Has Been Affected by the Treatment." The Journal of the Royal Statistical Society, Series A. 147: 656-666.
110. Rosenbaum. Paul (2001) "Stability in the Absence of Treatment." Journal of the American Statistical Association. 96. 210-219.
111. Rosenbaum, Paul and Donald Rubin (1983) "The Central Role of the Propensity Score in Observational Studies for Causal Effects." Biometrica. 70: 41-50.
112. Rosenbaum, Paul and Donald Rubin (1985) "The Bias Due to Incomplete Matching." Biometrics. 41: 103-116.
113. Rubin, D.B. (1973). "The Use of Matched Sampling and Regression Adjustment to Remove Bias in Observational Studies." Biometrics, 29, 1, pp. 184-203.
114. Rubin. D.B. (1979). "Using Multivariate Matched Sampling and Regression Adjustment to Control Bias in Observational Studies." The Journal of the American Statistical Association. 74. 366. pp. 318-328.
115. Rubin, D.B. (1980). "Bias Reduction Using Mahalanobis' Metric Matching." Biometrics. 36. pp. 295-298.
116. Rubin. D.B. and Thomas, N. (1992a). "Affmely invariant matching methods with ellipsoidal distributions." The Annals of Statistics, 20, pp. 1079-93.
117. Rubin, D.B. and Thomas, N. (1992b). "Characterizing the effect of matching using linear propensity score methods with normal covariates." Biometrika, 79, pp. 797-809.
118. Rubin, D.B. and Thomas, N. (1996). "Matching using estimated propensity scores: relating theory to practice." Biometrics, 52, pp. 249-264.
119. Rubin, D.B. and Thomas, N. (1997). "Combining propensity score matching with additional adjustments for prognostic covariates." Submitted to The Journal of the American Statistical Association, Applications.
120. Rubin, Donald (1979) "Using Multivariate Matched Sampling and Regression Adjustment to Control Bias in Observational Studies." Journal of the American Statistical Association. 74: 318-328.
121. Sianesi, Barbara (2001) "An Evaluation of the Active Labour Market Programmes in Sweden." Unpublished manuscript. University College London.
122. Stone, R.A. et alia (1995). "Propensity score adjustment for pretreatment differences between hospitalized and ambulatory patients with community-acquired pneumonia." Medical Care, 33, pp. 56-66.