Script maken
- Topic starter mark30049
- Startdatum
- Recente activiteit Recente activiteit:
- Reacties 17
- Weergaven 1.245
- Volgers 5
- Lid sinds
- 1 sep 2007
- Berichten
- 7.683
- Waardering
- 396
Kevinson
Ripped Bodybuilder
- Lid sinds
- 6 jun 2011
- Berichten
- 3.259
- Waardering
- 310
- Lengte
- 1m78
- Massa
- 85kg
- Vetpercentage
- 12%
Ik heb afgelopen 2 weken een script geschreven die facebookpagina's scraped
In principe is Linux (Kali distro) je beste optie. Taal zal Python worden, in combinatie met Chrome webdriver, zodat je een browser kan aansturen.
Met andere talen zal het niet zo simpel gaan. Heb een scraper geprobeerd te maken met C# en Java, maar ging niet goed.
Kunstmatige intelligentie heb je hier ABSOLUUT NIET voor nodig. Wel kennis van HTML, omdat je de websites moet ontleden. Facebook was een fking drama, kostte dagen om te vinden waar in de source ik naar moest zoeken.
---------- Toegevoegd om 22:25 ---------- De post hierboven werd geplaatst om 21:17 ----------
Dump eens de sourcecode of zo van één van die pagina's.
- Lid sinds
- 1 sep 2007
- Berichten
- 7.683
- Waardering
- 396
AI en scraping gaan heeeel goed samen.
Laatst bewerkt:
Kevinson
Ripped Bodybuilder
- Lid sinds
- 6 jun 2011
- Berichten
- 3.259
- Waardering
- 310
- Lengte
- 1m78
- Massa
- 85kg
- Vetpercentage
- 12%
Dat is amper ai te noemen als je het mij vraagt, in mijn en zijn geval dan. Bij complexere scraping komt er wel wat bij kijken ja, hoewel nog beperkt.
- Lid sinds
- 1 sep 2007
- Berichten
- 7.683
- Waardering
- 396
Tja, ik noem het beestje gewoon zoals het genaamd is. Om dan te zeggen is absoluut niet nodig is dan weer geheel aan de andere kant van het spectrum. Heel veel gebruikte technieken zijn gewoon puur AI, niks meer of minder, of vinden hun roots daar. Al dan wel of niet gemakkelijk of beperkt is dan weer een andere discussie; je kan het zo gek maken als je wilt. Ik hou dan weer vooral van het gekke, voor het leermoment
Kevinson
Ripped Bodybuilder
- Lid sinds
- 6 jun 2011
- Berichten
- 3.259
- Waardering
- 310
- Lengte
- 1m78
- Massa
- 85kg
- Vetpercentage
- 12%
Tja, ik noem het beestje gewoon zoals het genaamd is. Om dan te zeggen is absoluut niet nodig is dan weer geheel aan de andere kant van het spectrum. Heel veel gebruikte technieken zijn gewoon puur AI, niks meer of minder, of vinden hun roots daar. Al dan wel of niet gemakkelijk of beperkt is dan weer een andere discussie; je kan het zo gek maken als je wilt. Ik hou dan weer vooral van het gekke, voor het leermoment
Daar heb je gelijk in, ja. Aangezien ik mij meer bevind in de game development denk ik bij AI te snel aan pathfinding, flocking, autonomous behavior etc.
- Lid sinds
- 8 jun 2009
- Berichten
- 141
- Waardering
- 10
- Lengte
- 1m87
- Massa
- 87kg
- Lid sinds
- 1 sep 2007
- Berichten
- 7.683
- Waardering
- 396
ik ook
momenteel werk ik zelf aan een pathfinding systeem met navmeshes in mn eigen basic rendering engine.
Kevinson
Ripped Bodybuilder
- Lid sinds
- 6 jun 2011
- Berichten
- 3.259
- Waardering
- 310
- Lengte
- 1m78
- Massa
- 85kg
- Vetpercentage
- 12%
ik ook
momenteel werk ik zelf aan een pathfinding systeem met navmeshes in mn eigen basic rendering engine.
Vet, vind pathfinding persoonlijk wel interessant, maar ook ingewikkeld. Werk momenteel aan een top-down combinatie van Tower defense, RTS en RPG, maar schiet niet echt op
Galen
Peter Bond
Super Mod
Elite Member
15 jaar lid
Supplementen
Anabolen
Technologie
Wetenschap
10.000 likes
10.000 berichten
- Lid sinds
- 8 okt 2010
- Berichten
- 33.796
- Waardering
- 22.804
- Lengte
- 1m96
- Massa
- 102kg
- Vetpercentage
- 11%
Komop, op wat linkjes klikken en enquetes automatisch invullen heb je noch KI nodig, noch goede programmeerskills.is zeker mogelijk, als je goed kan programmeren en verstand hebt van kunstmatige intelligentie
Denk dat je weinig hoeft te ontleden voor 'n enquete. Gewoon de input fields vullen en post'en. Nuttige data uit FB halen, anders dan via de API, is een ander verhaal ja.Ik heb afgelopen 2 weken een script geschreven die facebookpagina's scraped
In principe is Linux (Kali distro) je beste optie. Taal zal Python worden, in combinatie met Chrome webdriver, zodat je een browser kan aansturen.
Met andere talen zal het niet zo simpel gaan. Heb een scraper geprobeerd te maken met C# en Java, maar ging niet goed.
Kunstmatige intelligentie heb je hier ABSOLUUT NIET voor nodig. Wel kennis van HTML, omdat je de websites moet ontleden. Facebook was een fking drama, kostte dagen om te vinden waar in de source ik naar moest zoeken.
---------- Toegevoegd om 22:25 ---------- De post hierboven werd geplaatst om 21:17 ----------
Dump eens de sourcecode of zo van één van die pagina's.
Kevinson
Ripped Bodybuilder
- Lid sinds
- 6 jun 2011
- Berichten
- 3.259
- Waardering
- 310
- Lengte
- 1m78
- Massa
- 85kg
- Vetpercentage
- 12%
Komop, op wat linkjes klikken en enquetes automatisch invullen heb je noch KI nodig, noch goede programmeerskills.
Denk dat je weinig hoeft te ontleden voor 'n enquete. Gewoon de input fields vullen en post'en. Nuttige data uit FB halen, anders dan via de API, is een ander verhaal ja.
In principe is het de website source downloaden, openen met beautifulsoup4 (die maakt er een dikke tag tree van). Handmatig in de source naar bepaalde classes zoeken, die vervolgens in je code invullen en ernaar zoek. Daarna kan je met regex etc. informatie eruit halen. Is wel een pijn in de kont, 3k lines of zo.
Ik gebruik enkel de graph om usernames om te zetten naar UID en vice versa (graph.facebook.com/username en graph.facebook.com/UID), aangezien dat gewoon publiekelijk beschikbaar is. Ik heb nu geloof ik 100 van mijn vrienden gescraped, heb nog wat issues met opnieuw scrapen bij een fout. In totaal zo'n 25.000 vriendschappen, maar ik heb het idee dat er wat missen. Veel van mijn vrienden moeten ook weer vrienden van elkaar zijn, maar die zie ik nog niet echt.
- Lid sinds
- 1 sep 2007
- Berichten
- 7.683
- Waardering
- 396
Goed is natuurlijk relatief, maar je moet zeker wel wat meer kunnen dan een loopje maken. En KI is gewoon een onderdeel bij scraping, of je het nu leuk vindt of niet. Gebruik je tutorials en frameworks dan is het al een ander verhaal, wat begrijpen of zelf doen betreft. Maar ook dan is KI vaak op de achtergrond in bepaalde vorm geïmplementeerd, en dan bedoel ik geen computer die door de Turing test komt
.Maar dit moet jij toch weten?
Een en ander ligt natuurlijk ook de enquêtes die je krijgt, ik heb het ook een paar keer gedaan en er zitten soms toch bizar ingewikkeld opgestelde enquêtes tussen die verder gaan dan simpel linkjes klikken of "dingetjes" aantikken/invullen.
Laatst bewerkt:
Galen
Peter Bond
Super Mod
Elite Member
15 jaar lid
Supplementen
Anabolen
Technologie
Wetenschap
10.000 likes
10.000 berichten
- Lid sinds
- 8 okt 2010
- Berichten
- 33.796
- Waardering
- 22.804
- Lengte
- 1m96
- Massa
- 102kg
- Vetpercentage
- 11%
Alle enquetes die ik ooit heb ingevuld waren HTML forms met vinkjes plaatsen of velden invullen. Nu moet ik bekennen dat ik niet enorm veel enquetes in m'n leven heb ingevuld, maar denk dat je daarmee de overgrote meerderheid al hebt omschreven. De specifieke enquetes die TS bedoelt ken ik ook: jiggies, euroclix, prijz, moneymiljonairs, etc. (geen idee of ze nog bestaan), die heb je daarmee ook omschreven. Ik heb namelijk exact hetgeen wat TS wil al in het verleden gedaan: ik kon toen nauwelijks programmeren. Destijds deed ik het met wat reguliere expressies die ik had gegoogled met een combinatie van iets wat op autohotkey leek (ben de naam vergeten) en javascript. Je hebt er echt geen verstand van KI voor nodig. Tenzij je de toepassing van wat regex ed. op HTML forms al onder KI schaart (wat feitelijk wel een vorm van scraping is) kun je pretty much everything wel onder de noemer KI laten vallen.
pump beast
Competitive Bodybuilder
- Lid sinds
- 2 sep 2012
- Berichten
- 1.820
- Waardering
- 135
pump beast
Competitive Bodybuilder
- Lid sinds
- 2 sep 2012
- Berichten
- 1.820
- Waardering
- 135
Galen
Peter Bond
Super Mod
Elite Member
15 jaar lid
Supplementen
Anabolen
Technologie
Wetenschap
10.000 likes
10.000 berichten
- Lid sinds
- 8 okt 2010
- Berichten
- 33.796
- Waardering
- 22.804
- Lengte
- 1m96
- Massa
- 102kg
- Vetpercentage
- 11%
Is voor mij zéér lang geleden, maar biedt Euroclix een soort overzicht met de dingen waar je op kunt klikken binnen hun website? Zo ja; leer een beetje JavaScript zodat je alles kunt doen met de DOM waar je zin in hebt.
Joeysneider
Novice
- Lid sinds
- 18 mrt 2015
- Berichten
- 6
- Waardering
- 0
- Lengte
- 1m92
- Massa
- 94kg
