Semalt ექსპერტი გთავაზობთ Javascript– ს ვებ – გვერდის გადაკვრის სახელმძღვანელოს

ვებ სკრაპინგი შეიძლება იყოს კრიტიკული მონაცემების შესანიშნავი წყარო, რომელიც გამოიყენება ნებისმიერი ბიზნესში გადაწყვეტილების მიღების პროცესში. ამრიგად, ეს არის მონაცემთა ანალიზის ძირითადი, რადგან ეს არის სანდო მონაცემების შეგროვების ერთადერთი დარწმუნებული გზა. მაგრამ იმის გამო, რომ გადასატანი ონლაინ შინაარსის რაოდენობა ყოველთვის იზრდება, შესაძლოა თითქმის შეუძლებელი გახდეს თითოეული გვერდის ხელით გადაწევა. ეს ავტომატიზაციისკენ მოუწოდებს.

მიუხედავად იმისა, რომ იქ უამრავი ინსტრუმენტია, რომლებიც მორგებულია სხვადასხვა ავტომატიზირებული ჯართების პროექტებისთვის, მათი უმრავლესობა პრემიაა და ძვირი დაგიჯდებათ. ეს არის სადაც Puppeteer + Chrome + Node.JS. ეს სახელმძღვანელო დაგეხმარებათ ამ პროცესის საშუალებით, რომ უზრუნველყოთ ვებ – გვერდების ავტომატურად დაშლა.

როგორ მუშაობს კონფიგურაცია?

მნიშვნელოვანია აღინიშნოს, რომ JavaScript– ზე ცოტა ცოდნა ამ პროექტში დაგეხმარებათ. დამწყებთათვის, ზემოთ მოყვანილი 3 პროგრამების მიღება ცალ-ცალკე მოგიწევთ. Puppeteer არის კვანძის ბიბლიოთეკა, რომლის საშუალებითაც შესაძლებელია Chrome– ის გარეშე გაკონტროლება. Headless Chrome ეხება ქრომის გაშვების პროცესს მისი GUI- ს გარეშე, ან სხვა სიტყვებით რომ ვთქვათ, ქრომის გარეშე. თქვენ უნდა მოაწყოთ კვანძი 8+ მისი ოფიციალური ვებ – გვერდიდან.

პროგრამების დაყენების შემდეგ, დროა შექმნათ ახალი პროექტი, რათა დაიწყოთ კოდის შემუშავება. იდეალურ შემთხვევაში, ეს JavaScript არის scraping იმის გამო, რომ თქვენ იყენებთ კოდს ავტომატიზაციის პროცესის ავტომატიზაციისთვის. Puppeteer– ს შესახებ მეტი ინფორმაციისთვის იხილეთ მისი დოკუმენტაცია, არსებობს ასობით მაგალითი, რომელთა საშუალებითაც შეგიძლიათ ითამაშოთ.

როგორ ავტომატიზაცია JavaScript scraping

ახალი პროექტის შექმნისას განაგრძეთ ფაილის შექმნა (.js). პირველ რიგში, თქვენ მოგიწევთ დარეკვა Puppeteer– ს დამოკიდებულებაზე, რომელიც ადრე დაყენებული გაქვთ. ამის შემდეგ მოჰყვება პირველადი ფუნქცია "getPic ()", რომელიც ინახავს ყველა ავტომატიზაციის კოდს. მესამე ხაზი მოიძიებს ფუნქციას "getPic ()" ისე, რომ გაუშვით. იმის გათვალისწინებით, რომ getPic () ფუნქცია წარმოადგენს "async" ფუნქციას, ამის შემდეგ ჩვენ შეგვიძლია გამოვიყენოთ დალოდების გამოხატულება, რომელიც შეაჩერებს ფუნქციას, ხოლო "დაპირების" მოლოდინში მოლოდინში გადავწყვეტთ, სანამ გადავიდეთ კოდის შემდეგ სტრიქონზე. ეს ფუნქციონირებს, როგორც პირველადი ავტომატიზაციის ფუნქცია.

როგორ გამოვიწვიოთ უფროს ქრომი

შემდეგი კოდი: "const ბრაუზერი = დაელოდეთ puppeteer.Lanunch ();" ავტომატურად წამოაყენებს მარიონეტს და შეასრულებს ქრომის მაგალითს, ახდენს მას ახლადშექმნილ "ბრაუზერის" ცვლასთან. გაგრძელება შექმენით გვერდი, რომელიც შემდეგ გამოყენებული იქნება URL- ზე ნავიგაციისთვის, რომლის გადაწერა გსურთ.

როგორ გადაიტანოთ მონაცემები

Puppeteer API საშუალებას გაძლევთ გაითვალისწინოთ ვებ – გვერდის სხვადასხვა საშუალებები, როგორებიცაა საათი, ფორმაში შევსება, აგრეთვე მონაცემების კითხვა. თქვენ შეგიძლიათ მიმართოთ მას, რომ მიიღოთ მჭიდრო მოსაზრება, თუ როგორ შეგიძლიათ ავტომატიზაცია მოახდინოთ ამ პროცესების. "ჯართის ()" ფუნქცია გამოყენებული იქნება ჩვენი ჯართის კოდირების შესასვლელად. გააგრძელეთ კვანძის scrape.js ფუნქციის ამოღება, scraping პროცესის დასაწყებად. შემდეგ მთლიანმა კონფიგურაციამ ავტომატურად უნდა დაიწყოს საჭირო შინაარსის გამოქვეყნება. მნიშვნელოვანია გვახსოვდეს, რომ გაიაროთ თქვენი კოდი და შეამოწმოთ, რომ ყველაფერი მუშაობს დიზაინის შესაბამისად, რათა თავიდან აიცილოთ შეცდომები.