Jump to content

Ficheiros alterados e robots.txt sem intervenção minha!!


Heirophant
 Share

Recommended Posts

Boa tarde, tenho um problema no meu site. Os ficheiros index (.php ou .html) são modificados regularmente sem intervenção minha. É sempre adicionada uma tag com as indicações noindex, nofollow, o que não é bom para os motores de busca. Os ficheiros no entanto não aparentam ter sido modificados uma vez que não é alterada a data de modificação.

Além disso é também criado um ficheiro robots.txt que tem regras para que os bots dos motores de busca não consigam pesquisar os ficheiros do site (nenhum deles). Isto é feito de forma automática, penso eu, mas não deveria acontecer. Alguma sugestão sobre o que possa ser? Problema no servidor? Alguém teve acesso aos meus dados?...

Obrigado!

Link to comment
Share on other sites

boas... sinceramente não percebi... tens de dar mais informação...

é um servidor teu? só tu é que tens acesso? é partilhado? está num provider com administração? podes dar o endereço para analisar? fazer um scan para ver se há bots ou algo marado a correr no servidor

que SO e serviços estão a correr? um nmap de fora que mostra? o nessus detecta algo? correste algum AV?

pareceme que é um serviço administrativo que faz isso ou pode alguem querer que esse site fique anonimo e escondido... pode ter lá algo que não queira que fique indexado  ?

que ficheiros estão no robots.txt??

a nivel de cracking o robots server para se saber o que está escondido.. como sabem se está escondido é porque pode ter valor... por isso quase nao se usa o robots... é facil demais para um cracker sacar esse file e saber quais os ficheiros escondidos.. mas como já têm acesso ao ficheiros acho que isto não acrescentaria nada ao possivel cracker...

fiquei muito interessado por esta questão... a nivel de investigação ainda não tinha sido reportado esse comportamento... seria interessante se fornecesses mais info sobre isso...

tudo isso que falas está relacionado com motores de busca... a TAG noindex serve para dizer que esse file não deve ser indexado e para caso já ter sido, que seja removida da indexação

o nofolow serve para indicar aos motores de busca para não seguirem os links nessa pagina...

há ferramentas e scripts para automatizar isso... mas se és o administrador e não sabes de nada... ou alguem está a correr isso no teu server por brincadeira ou...

pode ser um interessante caso para investigar...  😞

give us more info and we will help

teckV - hatchepsut

Link to comment
Share on other sites

Muito obrigado pela resposta, aqui ficam os dados que pediste:

O host é na webhs (mas quando estava na trignosfera aconteceu-me o mesmo). É um servidor partilhado sim. O servidor é Linux mas não sei que distro.

O robots.txt tinha apenas uma única linha, um "disalow /" ou qualquer coisa do género. Sei que é para não permitir qualquer página aos bots dos motores de busca.

Quando apago esse ficheiro, passados 1 ou 2 dias volta a lá estar. Mais engraçado é que tinha um robots.txt numa outro pasta (dedicada a um fórum) e esse foi alterado e colocado lá a linha "Disalow /" no final de todas as outras instruções que eu tinha posto (não permitir imagens por exemplo para reduzir tráfego).

Quanto á tag já tinha andado por aí a pesquisar mas nada falava sobre o facto de essa tag ser lá metida, sem qualquer modificação na data e hora da última modificação, o que é muito estranho (ex: meto no servidor o ficheiro correcto no dia 3 de janeiro; no dia 5 de janeiro no ftp diz-me que o ficheiro foi modificado no dia 3 mas agora já contém essa tag).

Quanto a segurança, peço desculpa mas não percebo nada disso lol. No meu cpanel não tem possibilidade de correr anti virus. No entanto no antigo host (trignosfera) tinha mas nada era encontrado. Nesse antigo host também chegamos a restringir o acesso ftp e ao cpanel por IP e mesmo assim continuava a acontecer (isto depois deu origem a problemas bem mais graves como base de dados totalmente corrompida!!).

Eu faço acesso ao ftp através de Mac OS X mas ainda assim corri vários antivirus e nada!

Obrigado pela atenção

Link to comment
Share on other sites

Já tentaste alterar a password e ver se continua?

Estás a user scripts codados por ti, ou por outros? Se forem scripts tipo de SMF, Wordpress, ou outros do género, quais estás a utilizar? Estão actualizados?

Em último caso, acho que devias contactar o serviço técnico e tentar expor o teu problema.

Nick antigo: softclean | Tens um projeto? | Wiki P@P

Ajuda a comunidade! Se encontrares algo de errado, usa a opção "Denunciar" por baixo de cada post.

Link to comment
Share on other sites

Já tentaste alterar a password e ver se continua?

Estás a user scripts codados por ti, ou por outros? Se forem scripts tipo de SMF, Wordpress, ou outros do género, quais estás a utilizar? Estão actualizados?

Em último caso, acho que devias contactar o serviço técnico e tentar expor o teu problema.

Sim ja alterei a password mas volta a ocorrer algum tempo mais tarde.

Utilizo wordpress e vbulletin nas suas últimas versões.

Neste momento estou a tentar resolver o problema com o suporte técnico do alojamento. Vamos ver no que dá...

Obrigado

Link to comment
Share on other sites

não há problema    😄

começamos por analisar o comportamento...

entendemos o comportamento?... sim (retira o teu site de indexação de motores de busca)

é um comportamento prejudicial e afecta o serviço?... não

a questão ficaria então... se ninguem mais tivesse acesso autorizado ao servidor seria estranho... seria preciso alguem ter furtado credenciais para poder fazer isso... mas como sabes o servidor não é teu.. tu contratas um serviço de aluguer de espaço e não de administração... logo há outrem autorizado a administrar o servidor...

concluo que quase de certeza que é o serviço onde estás alojado que faz isso.. eu não concordo com eles e acho estranho que o façam... contacta-os e questiona isso

eles estão a forçar o retirar do teu site de indexação... será porque querem vender serviço de indexação??

os pontos de segurança que falei seria para o caso de ser um servidor teu onde fosses root... aqui o teu caso nao se aplica e como tal não necessitas fazer nada

é uma situação de prestação de serviço e não outra coisa qualquer

de qualquer forma e tendo em conta o estado da web eu faria os tais scans periodicamente... mas isso sou eu  😛   (já vi demais)

não há razao para te preocupares e deves questionar o teu provider sobre isso... apenas

teckV

Link to comment
Share on other sites

Estou a tentar resolver com o suporte mas também me dizem que será fruto de um software instalado por mim. Neste caso será o vBulletin.

Vou tentar perceber porque e ver toda e qualquer configuração relativa a este comportamento, se é que há alguma. Talvez vez algum add-on esquisito.

Enfim... obrigado a todos. Caso tenha alguma novidade deixo aqui.

Link to comment
Share on other sites

Mais uma actualização:

Continuam a ser alterados os ficheiros do meu site :/

Não acredito que seja nenhum tipo de software, uma vez que são editados vários ficheiros, em várias directorias. Há outros que nunca foram alterados.

Já mudei a password várias vezes, e o suporte naão consegue explicar também o sucedido.

Normalmente o que me adicionam às páginas é: <META NAME="robots" CONTENT="NOFOLLOW,NOINDEX">

Hoje descobri cerca de 10 páginas com essa alteração!!

Só existe uma conta de FTP (a minha) e não tenho a password escrita em lado nenhum...

Alguma ideia?

Obrigado

Link to comment
Share on other sites

O robots.txt é o ficheiro q os bots dos motores de pesquisa utilizam para ir buscar regras para actualizarem as suas bases de dados.

Esse ficheiro deve ser criado e mantido por ti de acordo com as regras q quiseres definir.

Podes pesquisar na net pelo padrão desse ficheiro.

Se não tiveres para te preocupar com isso, deixa estar o q foi gerado.

Matraquilhos para Android.

Gratuito na Play Store.

https://play.google.com/store/apps/details?id=pt.bca.matraquilhos

Link to comment
Share on other sites

O robots.txt é o ficheiro q os bots dos motores de pesquisa utilizam para ir buscar regras para actualizarem as suas bases de dados.

Esse ficheiro deve ser criado e mantido por ti de acordo com as regras q quiseres definir.

Podes pesquisar na net pelo padrão desse ficheiro.

Se não tiveres para te preocupar com isso, deixa estar o q foi gerado.

O meu problema já nem tem sido esse. O meu problema voltou a ser a edição das páginas sem eu fazer nada!! (o mesmo acontecia com o robots...)

Link to comment
Share on other sites

Consegues ver a data de edição? São horas certas, por exemplo 15:30 ou 03:00?

Pergunto isto, porque pode ser um serviço que actua com um cron job e nesse caso é provável que seja a horas "certas".

Nick antigo: softclean | Tens um projeto? | Wiki P@P

Ajuda a comunidade! Se encontrares algo de errado, usa a opção "Denunciar" por baixo de cada post.

Link to comment
Share on other sites

Acho que já sei. No WordPress, nas Opções de Privacidade, colocas "Quero que o meu blog seja visível para todos, incluindo motores de busca (tais como Google, Sphere, Technorati) e arquivadores."

Vou experimentar. Aliás, vou remover o Blog até porque não o suo neste momento. Vamos ver no que dá.

Caso tenha actualizações, deixarei aqui. Da próxima vez vou tentar recolher dados mais concretos e detalhados.

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

By using this site you accept our Terms of Use and Privacy Policy. We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.