User avatar
Coralie Renée @globcoco@mamot.fr
2y
Hey everyone. Looks like my site is scrappable.

I have my website on carrd and my blog on blogstatic.

Question: how can I avoid that? (Don't ask me to do my own website with html and css or something like that. I don’t have your knowledge and your skills)
2
2
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
There are websites that teach how to scrap 😱🤬😤

Like this one scrapfly.io
1
2
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
Other question...

If you have a website done with only html and css, can you avoid any scrapping?
1
2
0
0
User avatar
Cellix 🐿️no_ai @cellix@peculiar.florist
2y
@globcoco À moins de mettre ton site hors-ligne ou de conditionner son accès à une authentification préalable (mais cela ôte tout l’intérêt d’un site vitrine), il n’y a aucune chance que tu y arrives, et ce, quelle que soit la façon dont tu crées ton site. C’est l’essence même du Web.

Maintenant, la question à se poser est : pourquoi voudrais-tu empêcher le scrapping ?
⭐1
2
0
0
1
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Bizarre comme question en fait.

@pierrot@smugcat.moe
1
0
0
0
User avatar
PYM le pirate capoeiriste @pmartin@mastodon.obspm.fr
2y
@globcoco @cellix @pierrot@smugcat.moe Je pense que la question ne veut pas dire la même chose pour tlm qu'elle parait étrange.

Le scraping maintenant a le sens pour beaucoup de monde de "pomper le contenu d'un site pour nourrir une IA".

Mais le scraping est bien + ancien que ça et au départ c'est juste "faire lire un site par un prog", par exemple pour générer un aperçu de lien ou adapter les sites pour l'accessibilité ou construire un outil autour (interagir avec un site de banque depuis le terminal)
⭐1
1
1
0
1
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@pmartin @cellix @pierrot@smugcat.moe

C'est pas faux mais la ligne est assez poreuse entre les 2...
1
0
0
0
User avatar
PYM le pirate capoeiriste @pmartin@mastodon.obspm.fr
2y
@globcoco @cellix @pierrot@smugcat.moe C'est-à-dire que le scrapping est une technique avec plein de finalités et que le pompage par les IA n'est qu'une de ces nombreuses finalités.

Empêcher totalement le scrapping (ce qui est très dur en soi… historiquement les capcha ça sert à ça… mais lesIA sont meilleures que les humain pour les passer 😅) c'est comme interdire les couteaux car qqn pourrait se couper avec. Mais en même temps il n'y a pas beaucoup de solution (en théorie si : une licence qui interdirait)
1
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@pmartin @cellix @pierrot@smugcat.moe

Ayé, je suis déprimée 😔
1
0
0
0
User avatar
PYM le pirate capoeiriste @pmartin@mastodon.obspm.fr
2y
@globcoco @cellix @pierrot@smugcat.moe Comme je t'ai un peu déprimée, j'ai cherché une solution pour toi… et au moins pour les 2 plus gros modèle (OpenAI et Google Bard) il y a une solution simple et qui semble marcher : un texte à mettre dans le fichier robot.txt à la racine du site :

www.eff.org/deeplinks/2023/12/no-robotstxt-how-ask-chatgpt-and-google-bard-not-use-your-website-training

Il ne faut jamais laisser qqn déprimer 😤
1
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@pmartin @cellix @pierrot@smugcat.moe

Awwww. 🥺

Bah... alors là, ça me touche & ça va dans le bon sens. 1000 mercis. 💖

Si je peux te demander 1 autre conseil...

J'ai 1 serie d'ateliers & de programmes de coaching ke je suis en train 2 transformer en mode DIY, ke les gens peuvent faire tout seuls. Iels vont avoir accès à du texte & des audios. Yaura des ebooks & des cours en ligne... Les plateformes LMS st svt suggérés com la voie à suivre. J'ai vu Moodle (ke j'aime pas) & d'autres...

1/2
1
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@pmartin @cellix @pierrot@smugcat.moe

2/2

Ya rien ki me dit ke c secure. Yaurait 1 moyen pour 1 non techie comme moi de creer tout ça simplement et ethiquement tout en evitant le scraping?
1
0
0
0
User avatar
PYM le pirate capoeiriste @pmartin@mastodon.obspm.fr
2y
@globcoco @cellix @pierrot@smugcat.moe C'est dur à dire pour le côté "facile à faire" car il y a tout un spectre entre "non techie" et "dev geek hardcore". Mais dans tous les cas si tu veux éviter le scraping d'IA ça consiste juste à poser un fichier texte à la racine du site donc c'est compatible qq soit la solution que tu utiliseras.
1
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@pmartin @cellix @pierrot@smugcat.moe

Cool. Merci bcp. 🙏
0
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Pour éviter de produire du contenu que des 🤬🤬🤬 peuvent piquer... sans me le dire.

Pour ke les choses soient claires, j'evite l'IA
1
0
0
0
User avatar
Cellix 🐿️no_ai @cellix@peculiar.florist
2y
@globcoco Elle est peut-être bizarre, ma question, mais j’ai bien fait de la poser car elle permet de préciser les choses. 😅

Alors concernant les humains, déjà, comme précisé précédemment, tu ne peux pas empêcher le scrapping. Quand bien même ce serait possible, un humain motivé trouverait toujours un moyen de copier le contenu (par bête copier-coller, capture d’écran, etc.). La seule chose que tu peux faire à ce niveau, c’est de créer une page de mentions légales sur ton site, où tu précises, par exemple, qu’il est interdit de copier sans ta permission (il doit y avoir un tas de modèles, sur le net, pour remplir ta page de mentions légales) et d’attaquer en justice si tu découvres que tu as été flouée par quelqu’un. Pour pîus de détail, il faut voir avec un juriste, parce que ce n’est pas mon domaine.

Concernant les machines, maintenant, et l’IA en particulier, ce n’est pas le scrapping que tu veux empécher, mais tout simplement l’accès à ton site Web.

Pour cela, plusieurs méthodes possibles (à voir ce qu’il est possible de faire avec carrd) :

- Un bête robots.txt à la racine de ton site. Exemple de fichier ici. Note : cela ne marche que pour les bots qui respectent les standards, seulement, donc ce n’est pas une garantie de blocage à 100%.
- Autre méthode, plus drastique : mettre un fichier .htaccess à la racine de ton site pour bloquer les user agents des bots. Mais cela suppose que ton site est servi avec Apache, sinon, cela ne marche pas.
- Si tu as ton propre serveur (mais avec carrd, il y a peu de chances), jouer avec les règles du firewall, mais c’est déjà d’un autre niveau.
⭐3
4
1
0
3
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Vi... mais là t'as été précis et ça c'est cool... donc si ton intention etait de pouvoir ensuite preciser les choses... bah t'as réussi 😁
⭐1
0
0
0
1
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Je peux faire 1 copier coller de la liste? Et ensuite ajouter à mesure que le nombre augmente ? 🙄
1
0
0
0
User avatar
Cellix 🐿️no_ai @cellix@peculiar.florist
2y
@globcoco Yep.
⭐3
1
0
0
3
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Merci Cellix. 😘
0
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Je regarderais ça.

Merci bcp 😍😍😍

Sais-tu s'il fo te mefier de cloudflare?
1
0
0
0
User avatar
Cellix 🐿️no_ai @cellix@peculiar.florist
2y
@globcoco Ça, c’est délicat. 😅 Si tu coupes cloudflare, tu coupes à peu prês 50% du Web (dont ton propre site !).
⭐2
2
0
0
2
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Prout de chez prout. 😑😑😑
0
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Pdt que je t'ai sous le coude, tu penses kon peut faire 1 site de e-learning (avec accès privé) sans passer par les plateforme de LMS, juste avec 1 site "normal"?
1
0
0
0
User avatar
Cellix 🐿️no_ai @cellix@peculiar.florist
2y
@globcoco Ça dépend ce que tu appelles un site « normal ».

Avec Carrd, il faut regarder les plugins qu’ils proposent, mais j’en doute fort.
Avec des trucs du genre Wordpress, tu dois pouvoir à peu près t’en tirer, moyennant quelques plugins (à voir si ceux-ci sont suffisants).
En faisant ton site à la mano, très certainement, mais j’ai cru comprendre que cela ne faisait pas partie de tes objectifs 😅 (et cela implique un bon niveau de développement, du temps, etc.).
⭐3
2
0
0
3
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Ce serait possible avec juste du html et css?
0
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Merci de ta reponse au fait.

Site normal, ce serait 1 site statique (markdown, html et css) 🤔?
1
0
0
0
User avatar
Cellix 🐿️no_ai @cellix@peculiar.florist
2y
@globcoco Alors là, clairement non 😕
⭐2
1
0
0
2
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Bon bah tant pis. 🤐
0
0
0
0
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@cellix

Bon j'ai mis tout ça sur mon blog et mon site.

🤞
⭐1
1
0
0
1
User avatar
Kahte🐿️ @Kahte@masto.bike
2y
@globcoco Bisous ma Coralie Mimi 😘😘😘😘 @cellix
⭐1
1
0
0
1
User avatar
Coralie Renée @globcoco@mamot.fr
2y
@Kahte @cellix

Bibis choupinette. 💖💖💝💝💖💖💝💝💖💖💝💝
0
0
0
0