КРАЕВСКИЙ В. В., ХУТОРСКОЙ А. В. Оценка имеет различные способы выражения: устные суждения педагога, письменные качественные характеристики

ОСНОВЫ ОБУЧЕНИЯ. ДИДАКТИКА И МЕТОДИКА

Оценка имеет различные способы выражения: устные суждения педагога, письменные качественные характеристики, систематизированные по определенным параметрам аналитические данные. Оценка чаще всего завершается отметкой – условным обозначением в виде числа, буквы, кодовых знаков. К функциям оценки относятся:

мотивационная функция -оценка поощряет образовательную деятельность ученика и стимулирует ее продолжение;

диагностическая функция - оценка указывает на причины тех или иных образовательных результатов ученика;

воспитательная функция -оценка формирует самосознание и адекватную самооценку учебной деятельности школьника;

информационная функция - оценка свидетельствует о степени успешности ученика в достижении образовательных стандартов, овладении знаниями, умениями и способами деятельности, развитии способностей и других личностных образовательных приращениях.

Оценке подлежит в первую очередь уровень достижения учеником образовательных стандартов. Для каждого учебного курса существуют требования к уровню подготовки выпускников основной школы, которые представляют собой краткую характеристику минимально необходимых результатов, которые должны быть достигнуты. Планируемые результаты обучения описываются обычно в содержательно-деятельностной форме и характеризуют виды деятельности ученика по отношению к содержанию учебного курса.

Оцениванию подлежат также те направления и результаты деятельности учеников, которые определены в рабочей программе педагога и в индивидуальных образовательных программах школьников.

Оценка - часть образовательного процесса, в котором ученик выступает полноправным субъектом. Одна из задач педагога - обучение детей навыкам самооценки. С этой целью учитель всякий раз выделяет и поясняет критерии оценки и учит детей формулировать их в зависимости от поставленных целей и особенностей образовательного продукта[151].

ПО МАТЕРИАЛАМ КНИГИ:

ПЕДАГОГИКА /

КРИВШЕНКО Л. П., ВАЙНДОРФ-СЫСОЕВА М. Е. И ДР.

Результаты контроля учебно-познавательной деятельности учащихся выражаются в ее оценке. Оценка – это определение степени усвоенности знаний, умений и навыков.

Количественным выражением оценки является отметка.

Отметка – это условное выражение количественной оценки знаний, умений и навыков обучаемых в цифрах или баллах.

До настоящего времени не только в педагогической практике, но и в дидактической и методической литературе термины «оценка» и «отметка» иногда понимаются как синонимы. Так, часто, когда имеется в виду отметка, говорят «оценка» (выставление оценок, система оценок и т. д.). Между тем «оценка» и «отметка» – понятия хотя и близкие, но далеко не идентичные.

Оцениваться результаты обучения могут не только отметкой, но и другими средствами. Например, это может быть словесное одобрение и неодобрение, вынесение благодарности, награждение грамотами и медалями и т. д.

Большое значение имеет объективная оценка, единый подход к определению качества знаний. Проблема эта не простая, особенно если учесть, что оценка знаний – тонкий и острый инструмент воздействия на учащегося. Высокая оценка знаний может и воодушевлять обучающегося к учению, но может и расхолаживать его в работе. Еще сильнее воздействует неудовлетворительная оценка: она может и побуждать к усилению учебной работы, и убивать охоту к учению. Вот почему в последние годы в печати возникают острые дискуссии, которые облекаются то в форму борьбы с завышением отметок, то принимают форму предложений о переводе из класса в класс независимо от качества знаний[152].

ПО МАТЕРИАЛАМ КНИГИ:

ЗАГВЯЗИНСКИЙ В. И.

ТЕОРИЯ ОБУЧЕНИЯ:

СОВРЕМЕННАЯ ИНТЕРПРЕТАЦИЯ

Важнейшие требования, предъявляемые к оценке знаний:

– объективность: оценивание действительных успехов и недостатков работы учащихся, отсутствие предвзятости в оценке;

– субъективность: гуманистический подход, учет реальных возможностей, здоровья учащихся, стимулирующий, а не дезорганизующий эффект оценивания;

– систематичность, которая во многом зависит от возраста учащихся. В частности, текущий контроль играет тем большую роль, чем младше учащиеся, по мере их взросления уместен больший акцент на периодический и итоговый виды контроля;

– открытость (гласность) и обоснованность оценки и выставленной отметки, для чего нередко требуется особая аргументация;

– действенность, которая может выражаться в советах, указаниях о том, как улучшить достижения, на что обратить внимание, каким способом работать дальше.

Необходимо различать контроль и оценивание процесса, когда ведущую роль играют коррекционная и стимулирующая функции, и контроль и оценивание результатов. Итоговая оценка должна в первую очередь отражать результат. Если ученик затрудняется, ошибается, но затем преодолел трудности, исправил ошибки, он заслуживает высокой итоговой оценки и отметки. Оценка не должна прямо отражать прилежание, уровень интереса к предмету, быть наказанием за недостаточную ответственность или нарушение дисциплины[153].

ПО МАТЕРИАЛАМ КНИГИ:

ГОЛУБ Б. А.

ОСНОВЫ ОБЩЕЙ ДИДАКТИКИ

Чем больше объективности при оценке знаний учащихся, независимо от учебного предмета, тем больше это стимулирует учащихся. Как правило, оценка должна ставиться за уровень и характер знаний, но не в порядке награды или наказания за поведение на уроке. Требования к оценке должны быть оптимальными (незавышенными и незаниженными). Так называемое «завышение» оценки снижает уровень развития учащихся, уровень их знаний. Вместе с тем, слишком высокие требования тоже вредны, они снижают интерес к учебе.

Недопустимо влияние на оценку негативного отношения учителя к отдельным учащимся («больше тройки не получишь» и т. п.).

Наиболее объективным критерием оценки всегда должна являться программа соответствующего учебного предмета.

Сохраняя объективность, необходимо, учитывать при оценке знаний и некоторые привходящие моменты: например, оцениваются текущие знания или итоговые (экзамен, четвертная оценка и т. п.), старательность ученика, стабильность его учебной работы и т. д. Необходимо учитывать и особенности учебного предмета, а при оценке знаний по отдельным разделам, их взаимосвязь и т. д.[154].

§ 7. ОТМЕТКА В СИСТЕМЕ ОЦЕНИВАНИЯ:
ПРОШЛОЕ, НАСТОЯЩЕЕ, БУДУЩЕЕ

ПО МАТЕРИАЛАМ КНИГИ:

БАСОВА Н. В.

ПЕДАГОГИКА И ПРАКТИЧЕСКАЯ ПСИХОЛОГИЯ[155]

В России дискуссия о целесообразности применения отметок в обучении началась более 100 лет тому назад в Петербургском педагогическом обществе. Тогда известный педагог С. И. Миропольский предсказал: «Смерть баллам грозит неизбежная; не нынче, завтра, но дни их сочтены». Дискуссия по «классным отметкам» вновь развернулась в конце XIX в. на совещании начальников Санкт-Петербургского округа. Совещание пришло к выводу о неудобстве сложившейся системы отметок, однако не смогло предложить более рациональную альтернативу.

После Октябрьской революции в мае 1918 г. было принято постановление «Об отмене отметок», подписанное народным комиссаром просвещения А. В. Луначарским. Это был один из первых шагов Народного комиссариата просвещения по реформе образования. В постановлении говорилось, что применение балльной системы для оценки познаний и поведения учащихся отменяется во всех без исключения случаях школьной практики. Перевод из класса в класс и выдача свидетельств производится на основании успехов учащихся по отзывам педагогического совета об исполнении учебной работы.

Обучение без отметок в советской школе не увенчалось успехом. Причин было много: отметки были изъяты из школьной практики без соответствующей реорганизации самого процесса обучения, его содержания, мотивационной направленности учащихся, без переподготовки педагогических кадров. Обучение без отметок было преждевременным для становящейся советской школы. На этом этапе оно привело к бесконтрольности учебного процесса. Поэтому восстановление в 1935 г. словесной пятибалльной системы, а затем с 1944 г. переход на цифровую пятибалльную систему имел прогрессивное значение для повышения ответственности учителей, учащихся и родителей за то, чтобы учащиеся овладевали прочными знаниями, навыками и умениями. Однако в последующие годы отметка в школе вобрала в себя многие функции. Начав с роли показателя уровня знаний и стимулятора школьника к учению, она стала олицетворять чуть ли не всю личность школьника, оповещая его об успехах и неудачах в учении, стала мерилом работы учителя и всей школы, «зеркалом» качества учебно-воспитательной работы.

В. А. Сухомлинский писал: «С первых дней школьной жизни на тернистом пути учения перед ребенком появляется идол ‒ отметка. Для одного ребенка он добрый, снисходительный, для другого ‒ жестокий, безжалостный, неумолимый. Почему это так, почему он одному покровительствует, а другого тиранит, ‒ детям непонятно. Ведь не может 7-летний ребенок понять зависимость оценки от своего труда, от личных усилий ‒ для него это пока еще непостижимо. Он старается удовлетворить или на худой конец ‒ обмануть идола и постепенно привыкает учиться не для личной радости, а для отметки».

Слишком много функций вобрала в себя отметка и в конечном итоге «девальвировалась».

Педагоги и психологи не раз отмечали, что низкие учебные оценки в результате неправильных умозаключений нередко отрицательно сказываются на общем самоуважении учащегося. На основании низкой оценки его знаний по тому или иному предмету, которая иной раз свидетельствует о случайном пробеле в образовании, учащийся делает вывод о своей «неспособности» к данному предмету, а порой и о низком уровне своих способностей вообще. Отрицательный учебный опыт, неудачи ‒ одна из главных причин нежелания продолжать учебу. Пониженное самоуважение ‒ сопутствующий фактор многих правонарушений подростков. Бывает, что учащийся что-то недопонял, недоучил. За ним утверждается репутация лентяя, и он начинает пропускать занятия, т. е. возникает конфликт. Конфликты порождают в молодежи обиду, упрямство, лень, злобу, сначала на предмет, на преподавателя, потом на школу, государство и т. д. От конфликтов страдают все: учащиеся, преподаватели, родители, но расплачиваются больше всех учащиеся.

С 60-х годов в Грузии в ряде школ ведется безотметочное обучение, построенное на содержательно-оценочной основе. Автор этого метода Шалва Александрович Амонашвили отметок не ставит, учат детей оценивать знания своего товарища. На стадии «безэталонной» учебно-познавательной деятельности учащихся педагог использует словесные стимулирующие корректировки; «Я рад твоим успехам!», «Попробуй сделать вот так». Бывают развернутые оценочные суждения, в которых сначала говорится, что сделано хорошо, а над чем еще необходимо поработать. При таком подходе в школе царит атмосфера взаимного доверия.

Итак, попытки безотметочного обучения есть и, видимо, они имеют свою положительную сторону (на начальном этапе обучения, с трудными учащимися). Но они не могут стать обязательными для всех учебных заведений, ибо оценка дает возможность обратной связи учащийся ‒ учитель. Выставляя отметки, учитель не только оценивает знания учащихся, но и воспитывает их. Если педагог ставит подряд тройки всем, то он сам дает себе оценку. О нем складывается общественное мнение как о брюзге, необъективном учителе, как о человеке, которому нельзя верить.

Между тем известно, что тройки эти будут разными. В иную тройку вложено столько труда, что проникаешься чувством уважения к этому человеку, а другая тройка ‒ следствие разболтанности и лени. Важно, сколько труда вложил учащийся в эту оценку и каких результатов добился. Именно так оценивал ответы учащихся В. А. Сухомлинский. Его принцип оценки заключался в том, чтобы оценивать не знание само по себе и не старание, а именно продвижение вперед, т. е. результат соединения знания со старательностью. И еще одна важная мысль В. А. Сухомлинского: «Нельзя ловить учеников на незнании, надо добиться, чтобы они узнали, поняли, справились с работой, и лишь тогда ставить отметку; отметка не может быть наказанием, средством принуждения, угрозой, отметка всегда говорит об успехе».

Вопрос об отметках до сих пор не решен.

В. П. Симонов считает возможным «в основу контроля эффективности образовательного процесса во всех учебных заведениях положить 5 последовательных показателей выявления его итогов (пять показателей степени обученности)».

I - «различение» (распознавание), или уровень знакомства, характеризует низкую степень обученности...

II - «запоминание». При этой степени обученности человек может пересказать содержание определенного текста, правила, воспроизвести формулировку того или иного закона, но это не может служить доказательством его понимания...

III - «понимание» (наиболее важный и существенный показатель). По определению Н. И. Кондакова, «понимание - процесс нахождения существенных признаков и связей исследуемых предметов и явлений, выделение их из массы несущественного, случайного на основе их анализа и синтеза, применение правил логического умозаключения, установление сходства и различия причин, вызвавших появление данных объектов и их развития, сопоставления полученной информации с имеющимися знаниями».

IV - «элементарные (простейшие) умения и навыки» (репродуктивный уровень) ... т. е. использование знаний в выполнении простейших (алгоритмизированных) заданий: человек решает типовые задачи с использованием условных знаков и правил, вскрывает легко обнаруживаемые причинно-следственные связи при разборе теоретического материала и определенные несложные теоретические положения умеет связать с практикой. Элементарные умения и навыки - показатель довольно высокой степени обученности, позволяющий обучаемому реализовать свой «банк знаний»...

V - «перенос». Этот показатель мы понимаем как «положительное влияние ранее усвоенного навыка на овладение новыми (по А. В. Петровскому)». Такое мнение В. П. Симонова нашло поддержку среди преподавателей учреждений среднего и высшего профессионального образования. Высказываются предложения решить «эту проблему сверху, централизованно», предлагается 25-балльная оценка уровня обученности по предложенной
В. П. Симоновым схеме.

Слишком мала возможность наших оценок. Поэтому преподаватели самостоятельно изыскивают способы и критерии оценок. Так, один преподаватель ставил отметки по такому принципу:

5 - знает и понимает,

4 - не знает, но понимает,

3 - знает, но не понимает,

2 - не знает и не понимает.

Хуже всего троечники. Двоечник выучит и, может быть, поймет. А что делать с троечником?

Очень важно комментировать поставленные оценки и ставить их так, чтобы учащиеся не сомневались в их правильности, и тем более недопустимо доводить дело до обиды, озлобления и конфликта. Ни в коем случае нельзя ошибки и незнание превращать в предмет насмешки и издевательства. Насмешка и издевательство никогда не были стимулами к совершенствованию, скорее, наоборот. И если ученик заслуживает, не скупиться на похвалу. Похвала, сдержанная, но похвала: «Вы отвечали не совсем хорошо, но лучше, чем в прошлый раз» и т. п. Важно найти доброе слово для ученика. Иногда все сказанное преподавателем должно быть просто не до конца обнаженной правдой…

В заключение хочется подчеркнуть, что умение правильно пользоваться оценкой - очень важное педагогическое искусство. Главное - не забывать, что оценка (отметка) прямым образом зависит от цели обучения[156].

ПО МАТЕРИАЛАМ КНИГИ:

ЗАГВЯЗИНСКИЙ В. И.

ТЕОРИЯ ОБУЧЕНИЯ:

СОВРЕМЕННАЯ ИНТЕРПРЕТАЦИЯ

В российской школе до революции практиковалась шестибалльная система отметок ‒ с баллами от «О» до «5». В 1918 г. оценка «О» была упразднена, и вскоре произошел переход на словесную четырехбалльную систему: «отлично», «хорошо», «удовлетворительно», «неудовлетворительно». Затем вводится пятибалльная система – от «1» до «5». Постепенно из школьной практики исчезает «единица», и система становится четырехбалльной: «2», «3», «4», «5», но по отношению к слабым и сильным ученикам она в действительности оказывается двухбалльной: соответственно «2» или «3», «4» или «5». Понятно, что малый «разброс» баллов затрудняет объективное оценивание, снижает стимулирующую роль отметки. Учителя ухитряются прибегать к собственным усовершенствованиям: используют знаки «+» и «–» («пять с минусом», «четыре с плюсом» и т. д.), ставят отметки разной жирности (жирная «пятерка» – это одно, жирная «двойка» или «единица» – совсем другое).

В мире существуют и более «растянутые» шкалы оценок: девяти-, десяти-, двенадцатибалльные, а в некоторых странах Африки – даже тридцати- и стобалльные системы. Однако такие растянутые системы, имея в виду немалую произвольность выставления даже обычной отметки, таят в себе опасность приблизительности и произвола. Как учитель объяснит ученику, за что он выставил ему 87 баллов, если тот претендует на 89 или 90? У нас в ряде опытных образовательных учреждений проходят проверку двенадцати– и четырнадцатибалльная системы выставления отметок. Эти системы, в частности, рассчитаны на оценку дифференцированных вариантов обучения. В таком случае определенное количество баллов дает выбор варианта (за вариант повышенной трудности – балл выше), а остальные баллы – за качество выполнения задания.

Поиски способов совершенствования учета и оценки успешности обучения привели, с одной стороны, к отказу от выставления отметок, а с другой – к более точным и обоснованным способам балльной оценки.

Ш. А. Амонашвили доказал, что в начальной школе можно вообще перейти к безотметочному обучению, заменив его развернутыми характеристиками, куда более информационными и полезными и для ученика, и для родителей, чем «голый» оценочный балл. В Германии были эксперименты по введению диагностических листов, в которых давались словесные и цифровые характеристики знаний, мотивов учения, развития мышления, а также по использованию табель-сообщений, в которых выделялись поведение учащихся, особые интересы, способности, навыки, уровень успеваемости и действительные возможности ученика по разным учебным предметам[157].

ПО МАТЕРИАЛАМ КНИГИ:

ПЕДАГОГИКА /

КРИВШЕНКО Л. П., ВАЙНДОРФ-СЫСОЕВА М. Е. И ДР.

Балльная система оценки знаний учащихся существовала в России еще до революции 1917 г. Оценка знаний осуществлялась по шестибалльной системе с баллами от нуля до пяти. Затем нулевая оценка была упразднена, система оценивания превратилась в пятибалльную.

Отношение к оцениванию результатов обучения в баллах в истории школы было различным. После 1917 г. получила развитие идея обучения без отметок. Учебная деятельность в советской школе должна быть ориентирована на самостоятельность, инициативу, творческий характер учения. Непригодными были признаны прежние методы дисциплинирования учащихся с помощью отметок.

В 1918 г. вышло постановление Наркомпроса РСФСР «Об отмене отметок», которым было определено: 1) применение балльной системы для оценки познаний и поведения учащихся отменяется во всех без исключения случаях школьной практики; 2) перевод из класса в класс и выдача свидетельств производится на основании успехов учащихся по отзывам педагогического совета об исполнении учебной работы.

Запрещались любые виды экзаменов: вступительные, переводные и выпускные. Отменялась индивидуальная проверка учащихся на уроке. Лишь в крайних случаях допускалась фронтальная устная проверка и письменные работы зачетного характера. Рекомендовались периодические беседы с учащимися по пройденной теме, их выступления о прочитанных книгах, статьях. Приветствовались отчеты учащихся о самостоятельно выполненных работах по личному выбору. Вместо традиционной системы контроля основной формой стал самоконтроль, выявление достижений не отдельного ученика, а школьного коллектива. Получили широкое распространение тестовые задания как одна из форм самоконтроля.

Обучение без отметок имело определенные положительные стороны, так как развивало у части обучаемых самостоятельность. Но в большинстве своем такое обучение привело к снижению качества знаний, ухудшению дисциплины. Школьники перестали регулярно заниматься в школе и дома, посещать занятия. Поэтому сначала стихийно стали вводиться различные формы контроля, а в 1932 г. официально восстановлен принцип систематического учета знаний каждого ученика на основе индивидуального подхода.

В сентябре 1935 г. вводятся пять словесных оценок: «отлично», «хорошо», «удовлетворительно», «плохо», «очень плохо», которые просуществовали до конца 1943 г.

В январе 1944 г. было принято решение заменить словесные оценки на цифровую пятибалльную систему оценивания успеваемости и поведения учащихся. В вышедшей вслед за этим постановлением Инструкции о применении цифровой пятибалльной системы оценки были сформулированы параметры, за что выставляется та или иная отметка.

Введение регулярного учета знаний оправдало себя, учебная подготовка и дисциплина учащихся повысились.

Сложившаяся система оценивания результатов учебной деятельности в виде баллов, несмотря на недостатки, до сих пор не нашла себе достойной замены, хотя некоторые педагоги, ученые выступают против существующей системы оценки степени обученности. Их главные аргументы:

– обученность фактически оценивается трехбалльной шкалой (отметки «1» и «2» фиксируют незнание);

– недостоверность оценки обученности (отметки «5», «4», «3» одинаково ставятся в классах для одаренных детей, в классах общеобразовательных школ, в классах коррекционно-развивающего обучения. Они не равнозначны);

– трехбалльная шкала недостаточна, чтоб оценить знания учащихся (поэтому преподаватели используют суррогатную шкалу: к баллам добавляют «плюсы» и «минусы») (В. П. Симонов).

Учеными предлагаются новые оценочные шкалы: десятибалльные, двенадцатибалльные, стобалльные и др.[158].

ПО МАТЕРИАЛАМ КНИГИ:

ПОДЛАСЫЙ И. П.

ПЕДАГОГИКА. НОВЫЙ КУРС

Научно-исследовательские учреждения РАО предложили новые оценочные шкалы, которые проходят экспериментальную проверку в различных регионах страны. Некоторые регионы склонны принять двенадцатибалльную систему оценок, в которой кроме названных десяти баллов существует два экстремальных: балл «1» - «спасайте» - свидетельствует о том, что учащийся требует немедленной индивидуальной помощи или особенного внимания, вплоть до помещения в специальное учебное учреждение; высший балл «12» - экстремальный максимум («ура»), свидетельствующий о появлении способного и чрезвычайно одаренного учащегося, которого следует обучать индивидуально по специальной программе или же в учебном заведении с углубленным изучением предметов.

Несмотря на преимущества десяти- и двенадцатибалльной шкал оценок, они, учитывая инертность школьной системы, вряд ли будут внедрены в широкую практику в ближайшее время. Поэтому педагоги ищут способы повышения стимулирующей роли пятибалльной шкалы. Можно выделить несколько таких способов.

Первый способ - выставление оценок со знаками «плюс» и «минус». Существующие правила ведения классных журналов не позволяют учителям использовать оценки с дополнительными обозначениями. В этих условиях педагог идет на компромисс: в классном журнале выставляет привычные оценки без плюсов и минусов, а в своей записной книжке - уточненные.

Второй способ состоит в том, что цифровая балльная оценка дополняется словесной. Этот способ не имеет инструктивного запрета, но используется педагогами редко и без желания, поскольку требует дополнительных затрат времени в условиях его дефицита на уроке.

Иногда учитель применяет третий способ - выставление оценки в дневнике, которое сопровождается записью, адресованной родителям. При этом используется опора на мотив ответственности учащегося перед семьей. В этом не было бы ничего необычного, если бы не одно обстоятельство. Если просмотреть записи в дневниках, то можно убедиться, что они преимущественно имеют негативный характер. Но отрицательная стимуляция разрушает мотив. Известно, что в 5 - 6 классах роль мотива ответственности постоянно снижается, но снижается она, как показали исследования, не для всех обучаемых, а только для тех, в дневниках которых преобладают замечания.

Четвертый способ заключается в опоре на коммуникативный мотив. Каждому, оказывается, не безразлично, как к нему относятся товарищи, что они думают. Педагог должен это использовать. Но не злоупотребляя негативным стимулированием, приводящим к разрушению мотива. В дореволюционных гимназиях существовало правило: хвалить учащегося перед классом можно, а ругать, высказывать неодобрение - нет. Неплохо было бы и современным педагогам вспомнить это правило.

Пятый способ заключается в усилении коммуникативного воздействия. Для этого необходимо приучать учащихся к сопереживанию успехов и неудач товарищей по классу.

Шестой способ - использование экранов успеваемости. В классной комнате вывешивается экран, на котором выставляются все оценки всех обучаемых. Этот способ имеет недостатки: может способствовать воспитанию зазнайства у отличников и безразличия у отстающих, если надлежащим образом не нацелить обучаемых на правильное восприятие информации.

Седьмой способ - организация соревнования с самим собой: в конце каждой недели обучаемый получает словесную оценку «лучше» или «хуже». Если успеваемость за прошедшую неделю снижается, то учащийся проигрывает в соревновании, даже если он при этом и остается отличником. И наоборот, слабый выигрывает, когда начинает работать лучше. В соревновании с самим собой все обучаемые находятся в одинаковых условиях - неуспевающий может победить в нем, если получит на одну неудовлетворительную оценку меньше, чем за прошлую неделю. А отличник проиграет, когда вместо привычной пятерки получит лишь четверку. Как видим, это соревнование не по успеваемости, а по изменению успеваемости[159].

ПО МАТЕРИАЛАМ КНИГИ:

АМОНАШВИЛИ Ш. А.

Наши рекомендации