Ficheiros alterados e robots.txt sem intervenção minha!!

[Heirophant 0]

Boa tarde, tenho um problema no meu site. Os ficheiros index (.php ou .html) são modificados regularmente sem intervenção minha. É sempre adicionada uma tag com as indicações noindex, nofollow, o que não é bom para os motores de busca. Os ficheiros no entanto não aparentam ter sido modificados uma vez que não é alterada a data de modificação.

Além disso é também criado um ficheiro robots.txt que tem regras para que os bots dos motores de busca não consigam pesquisar os ficheiros do site (nenhum deles). Isto é feito de forma automática, penso eu, mas não deveria acontecer. Alguma sugestão sobre o que possa ser? Problema no servidor? Alguém teve acesso aos meus dados?...

Obrigado!

[herakty 2]

boas... sinceramente não percebi... tens de dar mais informação...

é um servidor teu? só tu é que tens acesso? é partilhado? está num provider com administração? podes dar o endereço para analisar? fazer um scan para ver se há bots ou algo marado a correr no servidor

que SO e serviços estão a correr? um nmap de fora que mostra? o nessus detecta algo? correste algum AV?

pareceme que é um serviço administrativo que faz isso ou pode alguem querer que esse site fique anonimo e escondido... pode ter lá algo que não queira que fique indexado  👎

que ficheiros estão no robots.txt??

a nivel de cracking o robots server para se saber o que está escondido.. como sabem se está escondido é porque pode ter valor... por isso quase nao se usa o robots... é facil demais para um cracker sacar esse file e saber quais os ficheiros escondidos.. mas como já têm acesso ao ficheiros acho que isto não acrescentaria nada ao possivel cracker...

fiquei muito interessado por esta questão... a nivel de investigação ainda não tinha sido reportado esse comportamento... seria interessante se fornecesses mais info sobre isso...

tudo isso que falas está relacionado com motores de busca... a TAG noindex serve para dizer que esse file não deve ser indexado e para caso já ter sido, que seja removida da indexação

o nofolow serve para indicar aos motores de busca para não seguirem os links nessa pagina...

há ferramentas e scripts para automatizar isso... mas se és o administrador e não sabes de nada... ou alguem está a correr isso no teu server por brincadeira ou...

pode ser um interessante caso para investigar... 

give us more info and we will help

teckV - hatchepsut

[pedrotuga 27]

Que tipo de alojamento usas? Não estás a usar uma daquelas empresas de alojamento gratuito?

[Heirophant 0]

Muito obrigado pela resposta, aqui ficam os dados que pediste:

O host é na webhs (mas quando estava na trignosfera aconteceu-me o mesmo). É um servidor partilhado sim. O servidor é Linux mas não sei que distro.

O robots.txt tinha apenas uma única linha, um "disalow /" ou qualquer coisa do género. Sei que é para não permitir qualquer página aos bots dos motores de busca.

Quando apago esse ficheiro, passados 1 ou 2 dias volta a lá estar. Mais engraçado é que tinha um robots.txt numa outro pasta (dedicada a um fórum) e esse foi alterado e colocado lá a linha "Disalow /" no final de todas as outras instruções que eu tinha posto (não permitir imagens por exemplo para reduzir tráfego).

Quanto á tag já tinha andado por aí a pesquisar mas nada falava sobre o facto de essa tag ser lá metida, sem qualquer modificação na data e hora da última modificação, o que é muito estranho (ex: meto no servidor o ficheiro correcto no dia 3 de janeiro; no dia 5 de janeiro no ftp diz-me que o ficheiro foi modificado no dia 3 mas agora já contém essa tag).

Quanto a segurança, peço desculpa mas não percebo nada disso lol. No meu cpanel não tem possibilidade de correr anti virus. No entanto no antigo host (trignosfera) tinha mas nada era encontrado. Nesse antigo host também chegamos a restringir o acesso ftp e ao cpanel por IP e mesmo assim continuava a acontecer (isto depois deu origem a problemas bem mais graves como base de dados totalmente corrompida!!).

Eu faço acesso ao ftp através de Mac OS X mas ainda assim corri vários antivirus e nada!

Obrigado pela atenção

[Heirophant 0]

Que tipo de alojamento usas? Não estás a usar uma daquelas empresas de alojamento gratuito?

Não é a webhs como disse. Um empresa muito bem cotada. Além disso, antes utilizava a trignosfera e era a mesma coisa.

[softklin 12]

Já tentaste alterar a password e ver se continua?

Estás a user scripts codados por ti, ou por outros? Se forem scripts tipo de SMF, Wordpress, ou outros do género, quais estás a utilizar? Estão actualizados?

Em último caso, acho que devias contactar o serviço técnico e tentar expor o teu problema.

[Heirophant 0]

Já tentaste alterar a password e ver se continua?

Estás a user scripts codados por ti, ou por outros? Se forem scripts tipo de SMF, Wordpress, ou outros do género, quais estás a utilizar? Estão actualizados?

Em último caso, acho que devias contactar o serviço técnico e tentar expor o teu problema.

Sim ja alterei a password mas volta a ocorrer algum tempo mais tarde.

Utilizo wordpress e vbulletin nas suas últimas versões.

Neste momento estou a tentar resolver o problema com o suporte técnico do alojamento. Vamos ver no que dá...

Obrigado

[herakty 2]

não há problema   

começamos por analisar o comportamento...

entendemos o comportamento?... sim (retira o teu site de indexação de motores de busca)

é um comportamento prejudicial e afecta o serviço?... não

a questão ficaria então... se ninguem mais tivesse acesso autorizado ao servidor seria estranho... seria preciso alguem ter furtado credenciais para poder fazer isso... mas como sabes o servidor não é teu.. tu contratas um serviço de aluguer de espaço e não de administração... logo há outrem autorizado a administrar o servidor...

concluo que quase de certeza que é o serviço onde estás alojado que faz isso.. eu não concordo com eles e acho estranho que o façam... contacta-os e questiona isso

eles estão a forçar o retirar do teu site de indexação... será porque querem vender serviço de indexação??

os pontos de segurança que falei seria para o caso de ser um servidor teu onde fosses root... aqui o teu caso nao se aplica e como tal não necessitas fazer nada

é uma situação de prestação de serviço e não outra coisa qualquer

de qualquer forma e tendo em conta o estado da web eu faria os tais scans periodicamente... mas isso sou eu    (já vi demais)

não há razao para te preocupares e deves questionar o teu provider sobre isso... apenas

teckV

[djthyrax 10]

Acho que estão a ver a coisa pelo lado errado.

O host é na webhs (mas quando estava na trignosfera aconteceu-me o mesmo).

Já verificaste se nenhum dos software está a alterar o robots.txt?

[Heirophant 0]

Estou a tentar resolver com o suporte mas também me dizem que será fruto de um software instalado por mim. Neste caso será o vBulletin.

Vou tentar perceber porque e ver toda e qualquer configuração relativa a este comportamento, se é que há alguma. Talvez vez algum add-on esquisito.

Enfim... obrigado a todos. Caso tenha alguma novidade deixo aqui.

[Heirophant 0]

Mais uma actualização:

Continuam a ser alterados os ficheiros do meu site :/

Não acredito que seja nenhum tipo de software, uma vez que são editados vários ficheiros, em várias directorias. Há outros que nunca foram alterados.

Já mudei a password várias vezes, e o suporte naão consegue explicar também o sucedido.

Normalmente o que me adicionam às páginas é: <META NAME="robots" CONTENT="NOFOLLOW,NOINDEX">

Hoje descobri cerca de 10 páginas com essa alteração!!

Só existe uma conta de FTP (a minha) e não tenho a password escrita em lado nenhum...

Alguma ideia?

Obrigado

[bruno1234 20]

O robots.txt é o ficheiro q os bots dos motores de pesquisa utilizam para ir buscar regras para actualizarem as suas bases de dados.

Esse ficheiro deve ser criado e mantido por ti de acordo com as regras q quiseres definir.

Podes pesquisar na net pelo padrão desse ficheiro.

Se não tiveres para te preocupar com isso, deixa estar o q foi gerado.

[Heirophant 0]

O robots.txt é o ficheiro q os bots dos motores de pesquisa utilizam para ir buscar regras para actualizarem as suas bases de dados.

Esse ficheiro deve ser criado e mantido por ti de acordo com as regras q quiseres definir.

Podes pesquisar na net pelo padrão desse ficheiro.

Se não tiveres para te preocupar com isso, deixa estar o q foi gerado.

O meu problema já nem tem sido esse. O meu problema voltou a ser a edição das páginas sem eu fazer nada!! (o mesmo acontecia com o robots...)

[softklin 12]

Consegues ver a data de edição? São horas certas, por exemplo 15:30 ou 03:00?

Pergunto isto, porque pode ser um serviço que actua com um cron job e nesse caso é provável que seja a horas "certas".

[Heirophant 0]

O mais engraçado em tudo isto é que os ficheiros não têm a data/hora de edição alterada. Ou seja, têm a data/hora em que foram enviados para o servidor!!  Daí eu achar tudo isto muito estranho!!

Mas houve alguns que tinham as horas disponíveis, mas sinceramente não me lembro como eram as horas.

[scorch 19]

Acho que já sei. No WordPress, nas Opções de Privacidade, colocas "Quero que o meu blog seja visível para todos, incluindo motores de busca (tais como Google, Sphere, Technorati) e arquivadores."

[Heirophant 0]

Acho que já sei. No WordPress, nas Opções de Privacidade, colocas "Quero que o meu blog seja visível para todos, incluindo motores de busca (tais como Google, Sphere, Technorati) e arquivadores."

Vou experimentar. Aliás, vou remover o Blog até porque não o suo neste momento. Vamos ver no que dá.

Caso tenha actualizações, deixarei aqui. Da próxima vez vou tentar recolher dados mais concretos e detalhados.