На прошлом уроке мы получили ссылки на курсы. Теперь я предлагаю вам закрепить ваши знания разобрав более сложный по структуре код. Для разбора возьмём основную страницу по Python — https://koddom.com/kodim/ .Сразу импортируем необходимые библиотеки и получим HTML парсер. Вы сразу же увидите что кода на данной странице намного больше, чем в предыдущем примере. Это связано […]
И так, мы получили код для анализа, теперь мы можем получать необходимые объекты. Давайте попробуем получить список доступных курсов на koddom.com, указанных в самом низу в виде красных кнопок. Сначала найдём эти кнопки в коде. Пролистайте код в самый низ. Там вы увидите блок div принадлежащий к классу share. Здесь вы видите закомментированные кнопки, которые […]
Помните тот замечательный вкусный суп с буквами, который готовила вам мама? Сейчас мы тоже будем вариться в нечто подобном, только на программном языке. Как вы могли заметить, когда мы выводим на экран результат нашего запроса, то получаем слишком много текста, из которого нам может понадобиться только малая часть! Замечательная библиотека BeautifulSoup поможет нам сфокусироваться на […]
Прежде чем начать обрабатывать станицу, нам необходимо отправить запрос на сервер и получить её. Это мы можем сделать используя библиотеку requests. Всё что необходимо — просто передать адрес сайта в метод get(). При этом нам вернётся объект страницы у которого есть атрибут text, в нём содержится весь HTML код страницы необходимый нам для обработки данных. […]
Наверняка вы слышали о BigData — это наука занимающаяся обработкой больших данных. Но для того чтобы обрабатывать данные их для начала необходимо как-то собрать. Одним из способов является парсинг (parsing — разбор на составляющие) сайтов. Конечно можно и вручную составлять таблицы просматривая каждую страницу сайта, но это достаточно долго и утомительно. А если данные на […]
ссылка на репл если окно ниже не работает На предыдущем уроке мы написали функцию, которая «прогуливается» по указанной директории и выводит на экран наименования всех файлов, которые она нашла. Давайте немного модифицируем нашу функцию. Во-первых, переименуем её в find_big_file(dir). Изменения должны коснуться трёх строк. Во-вторых, вместо того чтобы переписывать переменную name, объявим отдельную переменную abs_name, […]
Теперь, когда наши файлы отсортированы и раскиданы по разным папкам , наша файловая система очень напоминает реальные условия. Заказчик, который попросил нас написать эту программу, хочет расширить функционал и хочет иметь возможность выводить на экран все файлы, которые у него хранятся в папке downloads, минуя вложенные папки. До сортировки, когда все файлы хранились в одной […]
Начнём с Папок для файлов. В предыдущем уроке мы все команды вбивали в окно консоли. Теперь же попробуем использовать наши знания для написания файла с программой, которая будет сортировать файлы в папке. Не забудем импортировать библиотеку import os и создадим методом mkdir() папку downloads. При первом запуске должна создастся папка и никаких ошибок быть не […]
Первую часть урока все команды мы будем писать в консоли питона. Но всё что мы пишем в этом окне, мы можем писать и в тексте программы. Делаем мы это с целью демонстрации возможности консоли Python, библиотека os идеально для этого подходит. И так, создав новый репл, под вкладкой Console введите команду import os Теперь нам […]
Работа с консольной строкой Python при помощи библиотеки os и path. Для чего нужна библиотека os в Python ? Библиотека os, а так же встроенный в неё модуль path, используется как альтернативный метод работы с командной строкой компьютера. Изучив принципы работы с модулем os, вам нет необходимости заучивать команды терминала различных операционных систем, таких как […]