Het Wat heb jij vandaag geprogrammeerd? topic

Eig gisteren
Maar een klein algoritme geschreven om dingen te verzenden van een server naar een PC, zodat het ontcijferen van wat ik stuur moeilijker gaat worden voor een evt hacker. Uiteraard komt er ook een SSL omheen wanneer dit wordt verstuurd die hij dan ook nog door moet komen.

T is een simpel algoritme, maar volgensmij vrij moeilijk te kraken, en natuurlijk met dank aan Jesse voor t mee denken

Bartv schreef:

Eig gisteren
Maar een klein algoritme geschreven om dingen te verzenden van een server naar een PC, zodat het ontcijferen van wat ik stuur moeilijker gaat worden voor een evt hacker. Uiteraard komt er ook een SSL omheen wanneer dit wordt verstuurd die hij dan ook nog door moet komen.

T is een simpel algoritme, maar volgensmij vrij moeilijk te kraken, en natuurlijk met dank aan Jesse voor t mee denken

De beste test om te kijken of het niet te kraken is om het online te gooien en een beloning te geven als iemand het kraakt. Denk dat het dan binnen no time gekraakt is

Rik schreef:

Eerdere citaten tonen

Bartv schreef:

Eig gisteren

Maar een klein algoritme geschreven om dingen te verzenden van een server naar een PC, zodat het ontcijferen van wat ik stuur moeilijker gaat worden voor een evt hacker. Uiteraard komt er ook een SSL omheen wanneer dit wordt verstuurd die hij dan ook nog door moet komen.

T is een simpel algoritme, maar volgensmij vrij moeilijk te kraken, en natuurlijk met dank aan Jesse voor t mee denken
De beste test om te kijken of het niet te kraken is om het online te gooien en een beloning te geven als iemand het kraakt. Denk dat het dan binnen no time gekraakt is

De gegevens die erin staan kan je als hacker niks leuks mee doen. Enige wat je ermee kan doen is kijken wat t serial nummer is die op dat moment aangemaakt zou moeten worden
En elk algoritme is wel te kraken, en eentje die ik nu zelf heb gemaakt is zeker makkelijk te kraken door goede hackers. Maar t is beter dan helemaal niets

http://dev.dylaan.nl/play

Moet alleen nog:
- om de beurt
- detecteren wie wint
- meer controles op server aangezien je kan cheaten
- game resetten als iemand weg gaat

Simulatie scriptje gemaakt in Java die x aantal spelers tegen elkaar simuleert met allemaal een verschillende rating. Er blijft uit eindelijk dan een winnaar over

Wat voor spel simuleert het?

Of is het gewoon zoiets als

70 + 45 = 115,
dus (70/115)*100= ~60% kans op winst
dus (45/115)*100= ~40% kans op winst

Ja op dit moment het laatste en puur de ratings met elkaar aan het simuleren

In enkele minuten een (heel) simpele webcrawler geschreven. Werkte opzich wel goed, maar mn huidige opzet zorgt ervoor dat ik teveel memory gebruik
Kon toch nog 16.000 URLs binnenhalen voor hij uiteindelijk crashte, en hij bleef een beetje vasthaken op Wikipedia omdat daar ook zoveel links op staan

Raaoul schreef:

In enkele minuten een (heel) simpele webcrawler geschreven. Werkte opzich wel goed, maar mn huidige opzet zorgt ervoor dat ik teveel memory gebruik
Afbeelding

Kon toch nog 16.000 URLs binnenhalen voor hij uiteindelijk crashte, en hij bleef een beetje vasthaken op Wikipedia omdat daar ook zoveel links op staan
Afbeelding

Leuk... DDoS by crawler??... Of zit er een crawl limiet op?

Raaoul schreef:

In enkele minuten een (heel) simpele webcrawler geschreven. Werkte opzich wel goed, maar mn huidige opzet zorgt ervoor dat ik teveel memory gebruik
Afbeelding

Kon toch nog 16.000 URLs binnenhalen voor hij uiteindelijk crashte, en hij bleef een beetje vasthaken op Wikipedia omdat daar ook zoveel links op staan
Afbeelding

Heb je het threaded gemaakt?
Dus dat ie bij elke nieuwe link een subproces aan maakt om die link dan weer te volgen?
Overigens kan je een crawl-depth instellen. Dus dat ie maar tot x aantal links blijft volgen.
Ook zou ik met een soort queue werken. Dus je hebt bijvoorbeeld maximaal 50 workers die links zoeken. Op het moment dat er geen vrije workers meer zijn zet je de eerstvolgende link in de wachtrij. Op het moment dat een worker alle beschikbare links heeft gevonden en opgeslagen zet ie zichzelf weer als vrij waardoor hij een nieuwe link uit de queue op kan pakken die nog niet geïndexeerd is.

Ja Rik, het was inderdaad threaded, was ook de reden dat hij out of memory ging. Voor iedere link zou hij een nieuwe thread maken. Ik had verwacht dat een andere thread eerder ging zijn met crawlen op momenten, en dat de huidige thread dan gewoon zou afsterven, maar dat is niet gebeurd.
Idealer zou zijn om een nieuwe thread te maken voor iedere domeinnaam, zodat hij niet voor every single link een thread spawned.

Maar, jouw idee van workers is idd beter.

toevoeging op 11 december 2014, 16:37:00:

Sevvlor schreef:

Leuk... DDoS by crawler??... Of zit er een crawl limiet op?

Ik had een check lopen die iedere 5 seconden checkte of mijn urls.txt niet groter dan 10 GIG zou worden Maar DDoSsen via mijn crawler zou moeilijk zijn, aangezien hij op dit moment van 1 network komt, niet verspreid ofzo.

Aan het experimenteren met PHP door een ajax framework te maken.

[COLOR= #0000BB]<?php

$page[/COLOR] [COLOR= #007700]= new[/COLOR] Page[COLOR= #007700]();[/COLOR]

[COLOR= #0000BB]$button[/COLOR] [COLOR= #007700]= new[/COLOR] ButtonControl[COLOR= #007700]();[/COLOR]
[COLOR= #0000BB]$button[/COLOR][COLOR= #007700]->[/COLOR]setValue[COLOR= #007700]([/COLOR][COLOR= #DD0000]Click me[/COLOR][COLOR= #007700]);[/COLOR]

[COLOR= #0000BB]$page[/COLOR][COLOR= #007700]->[/COLOR]addControl[COLOR= #007700]([/COLOR][COLOR= #0000BB]$button[/COLOR][COLOR= #007700]);[/COLOR]

[COLOR= #0000BB]$page[/COLOR][COLOR= #007700]->[/COLOR]getEventDispatcher[COLOR= #007700]()->[/COLOR]addListener[COLOR= #007700]([/COLOR]ControlEvent[COLOR= #007700]::[/COLOR]EVENT_MOUSE_CLICK[COLOR= #007700], function([/COLOR]ControlEvent [COLOR= #0000BB]$controlEvent[/COLOR][COLOR= #007700])[/COLOR] use [COLOR= #007700]([/COLOR][COLOR= #0000BB]$button[/COLOR][COLOR= #007700])
{[/COLOR]
    [URL="http://www.php.net/if"]if[/URL] [COLOR= #007700]([/COLOR][COLOR= #0000BB]$controlEvent[/COLOR][COLOR= #007700]->[/COLOR]getControl[COLOR= #007700]() ==[/COLOR] [COLOR= #0000BB]$button[/COLOR][COLOR= #007700])
    {[/COLOR]
        [COLOR= #0000BB]$button[/COLOR][COLOR= #007700]->[/COLOR]setValue[COLOR= #007700]([/COLOR][COLOR= #DD0000]Hello World[/COLOR][COLOR= #007700]);
    }
});[/COLOR]

?>

Deze code zorgt er voor dat als je op de button clicked, de value word aangepast naar Hello World.

Raaoul schreef:

Aan het experimenteren met PHP door een ajax framework te maken.

[COLOR= #0000BB]<?php

$page[/COLOR] [COLOR= #007700]= new[/COLOR] Page[COLOR= #007700]();[/COLOR]

[COLOR= #0000BB]$button[/COLOR] [COLOR= #007700]= new[/COLOR] ButtonControl[COLOR= #007700]();[/COLOR]
[COLOR= #0000BB]$button[/COLOR][COLOR= #007700]->[/COLOR]setValue[COLOR= #007700]([/COLOR][COLOR= #DD0000]Click me[/COLOR][COLOR= #007700]);[/COLOR]

[COLOR= #0000BB]$page[/COLOR][COLOR= #007700]->[/COLOR]addControl[COLOR= #007700]([/COLOR][COLOR= #0000BB]$button[/COLOR][COLOR= #007700]);[/COLOR]

[COLOR= #0000BB]$page[/COLOR][COLOR= #007700]->[/COLOR]getEventDispatcher[COLOR= #007700]()->[/COLOR]addListener[COLOR= #007700]([/COLOR]ControlEvent[COLOR= #007700]::[/COLOR]EVENT_MOUSE_CLICK[COLOR= #007700], function([/COLOR]ControlEvent [COLOR= #0000BB]$controlEvent[/COLOR][COLOR= #007700])[/COLOR] use [COLOR= #007700]([/COLOR][COLOR= #0000BB]$button[/COLOR][COLOR= #007700])
{[/COLOR]
    [URL="http://www.php.net/if"]if[/URL] [COLOR= #007700]([/COLOR][COLOR= #0000BB]$controlEvent[/COLOR][COLOR= #007700]->[/COLOR]getControl[COLOR= #007700]() ==[/COLOR] [COLOR= #0000BB]$button[/COLOR][COLOR= #007700])
    {[/COLOR]
        [COLOR= #0000BB]$button[/COLOR][COLOR= #007700]->[/COLOR]setValue[COLOR= #007700]([/COLOR][COLOR= #DD0000]Hello World[/COLOR][COLOR= #007700]);
    }
});[/COLOR]

?>

Deze code zorgt er voor dat als je op de button clicked, de value word aangepast naar Hello World.

Zou jij mij willen uitleggen hoe dit dan wordt omgezet naar AJAX of iets dergelijks?
En betekent dit gewoon, zoals met JS AJAX, dat als je nu op die button klikt, de value gelijkt aangepast wordt zonder refresh? Dat zou voor mij fantastisch zijn

Ja, value wordt aangepast zonder te refreshen. Beetje ingewikkeld om in detail uit te leggen, maar als er wat meer af is zal ik beginnen pushen naar Github zodat je zelf kan zien hoe het werkt.

Maar zo zit het in elkaar:

1) button word gerenderd bij request aan de pagina
2) bij click word er een request gedaan naar server
3) server roept de event aan
4) server kijkt naar de verschillen (wat is er anders aan de classes en attributes) en geeft die terug in JSON
5) de JS ontvangt de verschillen en past ze toe op het element.

Raaoul schreef:

Ja, value wordt aangepast zonder te refreshen. Beetje ingewikkeld om in detail uit te leggen, maar als er wat meer af is zal ik beginnen pushen naar Github zodat je zelf kan zien hoe het werkt.

Maar zo zit het in elkaar:

1) button word gerenderd bij request aan de pagina
2) bij click word er een request gedaan naar server
3) server roept de event aan
4) server kijkt naar de verschillen (wat is er anders aan de classes en attributes) en geeft die terug in JSON
5) de JS ontvangt de verschillen en past ze toe op het element.

Eigenlijk zit het dus ongeveer hetzelfde in elkaar als gewoon AJAX, maar dan via PHP code en met classes en attributes die JSON teruggeven?

Want zelf maak ik via JS een nieuw AJAX request aan naar een PHP pagina die gegevens terug geeft via JSON en daar doe ik iets weer mee, via de gewone weg dus. Maar zo zou het best chill zijn